公告版位

新版部落格:blog.changyy.org

目前分類:實作筆記 (341)

瀏覽方式: 標題列表 簡短摘要

連續幾天晚睡。主要是想解決一個 bug,這是用 C 語言開發的 tools,但每次都要讀取很多筆資料時才會出現,每一次運作要將三個小時才會看到這個現象,慶幸的,還是追到了。

這個現象碩班時就碰過了,所以知道要處理,然而我碩一下才開始寫 C 語言,恰好是經驗最淺得時候寫了一些 tools ,不曉得還暗藏多少 bug 啊!未來只能繼續見招拆招 。請看看下面的例子:

changyy 發表在 痞客邦 留言(1) 人氣()

目前我用的面板,出自於 myjourney911 實作:痞客邦管理後台 > 部落格 > 樣式選擇 > 電影 > [電影樣式] 帶我去遠方

changyy 發表在 痞客邦 留言(1) 人氣()

在還沒有搞清楚 Hive 以前,一直以為 HadoopDB 底部用 Databases 會有所限制,例如有 A, B 和 C 三台電腦構成的 Cluster ,若分別在 A, B 和 C 上各別建立資料庫以及 T1 跟 T2 兩個 Table, 當我透過 Hive 進行 Join 的查詢時,會不會因為資料不在同一個資料料庫裡而查不到呢?或是 Table 不在同一個資料庫裡就無法  Join 呢?如果你已經讀過 Hive 的設計架構,那肯定很清楚在使用 Hive on Hadoop 時,並不需要擔心這些事。

這個實驗很簡單,就只是要測試 HadoopDB 是否真的能提供 Join 功能,這是一開始上司丟給我的問題。當時我還不了解 Hive 因此也稍微存疑。了解 Hive 後,方知這些問題是由 Hive 解決,當然 HadoopDB 就不會碰到一樣的問題啦。但還是花一點點時間把實驗作完囉!

changyy 發表在 痞客邦 留言(0) 人氣()

最近開始收到一堆垃圾信件,其中有一項是非常擾人的!那就是 Yahoo Group 的邀請函!特別是一堆愛寄垃圾信的人,他們就只要去新增一個 Yahoo Group 後,把他們要寄的人通通加進去,之後就只要對 Group 發信就可以變成寄群組信那樣,達到寄廣告信的目的

可惡的是 Yahoo Group 預設是被加的人,自動默認加入,然後要取消它還得自己去回信取消!搞得自己還得動手處理,今天忍不住想去寄信給 Yahoo ,慶幸地發現已經有人咆哮過了,哈。

changyy 發表在 痞客邦 留言(3) 人氣()


圖片來源:http://hadoop.apache.org/hive/

changyy 發表在 痞客邦 留言(0) 人氣()

太習慣寫 php 了,其實也有一陣子用 php 當作 script 管機器,最近則是試過 python ,所以,就來試試 bash 吧!

首先會碰到的問題是如何處理參數,這部分可以在 Getopt and getopts 看到很豐富的範例,接下來還可以逛逛 鳥哥的 Linux 私房菜 - 第十三章、學習 Shell Scripts #善用判斷式 ,就可以完成很多事囉!接著我想做的字串取代,就可以使用 sed 來處理,相關參考資料 Bash Shell: Replace a string with another string in all files using sed and perl -pie

changyy 發表在 痞客邦 留言(0) 人氣()

這陣子開始發現 Hinedo 無法播放廣播了,很容易猜想是 Hichannel 改變了播放廣播的架構,這導致不只 Hinedo 不能播放,其他利用類似原理提供廣播的播放軟體也一樣失效。原本打算抽空去看的,但最後一直沒播出時間,今天無意間閒逛,發現在 PTT 的 EZsoft 看到有人提出修正囉!

請更新 Play.vbs ,把該檔第 6 列進行更新

changyy 發表在 痞客邦 留言(0) 人氣()

+ =HadoopDB
圖片來源:http://hadoop.apache.org/http://wiki.postgresql.org/

changyy 發表在 痞客邦 留言(3) 人氣()

Yahoo! News & Plurk

靠機器人救 Karma!由於 Karma 值的不穩定,乾脆實做一隻 Plurk 機器人好了,這次實做參考 [PHP] Official Plurk API 之PHP - cURL 使用教學

changyy 發表在 痞客邦 留言(6) 人氣()


圖片來源:http://hadoop.apache.org/

changyy 發表在 痞客邦 留言(17) 人氣()

第一次使用時,因為我沒 public ip 的機器,所以就嘗試架在 EC2 上,奢侈啊。過了一陣子,我發表一篇文章紀錄:Wretch 無名小站 API - Yahoo! Developer,然後有人留言請教,於是我找了另一台機器,但我也發現碰到一樣的問題,但礙於時間關係,所以遲遲沒有幫忙,隨意 Google 關鍵字,可能是在做專題吧?!真是抱歉,現在我有空了,就在仔細紀錄一下吧!

關於 Yahoo API ,我只嘗試 無名小站 API ,主因是以前我自己曾使用 PHP 與 cURL 來模擬瀏覽器,以程式自動化完成登入,並且發表文章到無名網誌,但這種客制化的行為真的不如使用官方的 API 啦,因此還滿興奮有這個東西的出現,然而,我還是比較希望它提供 XMLRPC 。

changyy 發表在 痞客邦 留言(8) 人氣()

Source: http://en.wikipedia.org/wiki/Cosine_similarity

changyy 發表在 痞客邦 留言(0) 人氣()

前陣子開始用 VirtualBox ,因為上次抓的 VMWare Server 版無法在 Windows 7 x64 安裝,是連安裝檔都無法正常執行,所以,就開始嘗試 VirtualBox 啦。

我覺得它小而巧,我挺喜歡整個都包在一個檔,可以很方便地搬動。但有一點我一直很不解,為什麼我把虛擬機器設成 NAT 時,它的確可以透過我本機電腦的網路服務連出去,但本機電腦卻連不進虛擬機器,我對這點很疑惑。這樣的 NAT 服務有點怪,跟我在 VMWare 上的使用或是在 FreeBSD 上架設 NAT 的服務有所差別,之後我就一直沒再理他,直到最近工作的事靠一段落後,又再次看到這篇文章 營造 Linux 學習環境的好用工具 VirtualBox !第二次看到時,我終於想通該怎樣搞了。

changyy 發表在 痞客邦 留言(0) 人氣()

這週發現,原先在 Amazon EC2 上,從 Quick Start 開啟的機器,有一些不一樣了。開啟的機器無論 Linux 或 Windows 系統,它們的一開始只被分配小量的硬碟空間,如 15GB 等,跟之前不太一樣,上周開 Linux 機器時,至少提供 140 GB 的暫存空間。而以前用 Bundle 建立的系統依舊還可以透過原先開機器的方式進行。

幾天前,我還以為 Create Image (EBS AMI) 跟 Bundle Instance (S3 AMI) 是相同的服務,直到今天中午才發現是不一樣的,雖然它們有共同的功能,那就是備份系統,但整個過程是不一樣的。主要是現在從 Quick Start 開啟的新機器,它們的系統碟已經換成 EBS Volume 了,簡單的說,建立一台機器時,會自動在 Volume 區建立一顆硬碟並且使用它。目前我還沒搞清楚計費的差別,畢竟現在這種新的方式,多用了一個 EBS Volume 服務,感覺會多收費 :P 而使用舊有的 AMI ,在建立機器時,其 root device 是 instance-store 的型式,只有 EBS 型式的才能使用 Create Image (EBS AMI) 的方式備份喔。而流程上是將系統碟製作 snapshot ,如此一來,新開機器的系統碟就是透過 snapshot 來複製出來,以此達成開啟新機器的動作。

changyy 發表在 痞客邦 留言(0) 人氣()

既然寫了 Amazon EC2 使用教學 - 以 EBS Volumes & Snapshots 增加和管理永久的硬碟空間 備份資料的方式,接著就要介紹一下備份系統。

EC2 機器關機後,除了資料不會儲存外,對系統的更動也不會保留,因此,辛苦設定好的系統環境必須要有備份的機制,這就是 Bundle 的服務。這個服務能夠讓你先專心設定一台機器,接著安置好環境後,可以在用 Create Instance 的方式,一次建立多台機器,有點類似以前用 Norton Ghost  安裝大量機器的概念(主要建立在硬體規格一樣),另外,Clonezilla 再生龍 是免費的軟體,也可以負責這類服務 。

changyy 發表在 痞客邦 留言(1) 人氣()

Amazon EC2 可以很方便地叫幾台電腦出來,然而每一台關機後資料是不會留下來的,如其名,機器只在來計算為主。目前我用便宜的機器大概有 140 GB 的空間可用,大部分的應用都很充足,但為了能夠把實驗資料留下,就必須使用 EBS(ELASTIC BLOCK STORE)服務,其中  Volumes 用來增加儲存空間,而 Snapshots 能對Volumes 進行硬碟備份。

在使用 EBS Volumes 服務前,需要留意自己開的機器所在的區域,因為增加的硬碟要跟機器在同一區才行。以下則簡單列出 Linux 與 Windows 上掛載新硬碟的過程。

changyy 發表在 痞客邦 留言(1) 人氣()

EC2 Instance list @ 20091210

關於如何在 EC2 上新增一台機器,可以參考這篇 Amazon Elastic Compute Cloud (EC2) 使用教學 - 以 Windows Server 2003 與 RDP 為例 ,其中只要在選 Instance 時,改選 Linux 機器就行啦。

changyy 發表在 痞客邦 留言(1) 人氣()

最近常用 Eee PC 打打字,發現很容易不小心按到觸控面板,結果就打字的東西就會亂飄,然而上次仔細一看卻沒發現任何開關它的熱鍵,就不了了之。

剛剛又不小心弄到,就上網找一下資料,發現有關閉的方式,但我不確定原先舊有的是否就有,因為我已經是先更新了觸控面板的驅動程式才去做設定。所以,可以先試著去找看看,若沒有下面所提到的設定再去安裝新的觸控面板驅動程式吧!

changyy 發表在 痞客邦 留言(0) 人氣()

Amazon Elastic Compute Cloud 簡稱 Amazon EC2 或 EC2 ,它是眾多雲端運算平台之一。至於何時會需要用到雲端計算呢?我覺得可以思考一些情境,例如突然需要一堆電腦來幫計算研究數據,或是想要開發網站服務但手邊的機器不足,然後又非常急迫,這時候就可以考慮使用這類平台,可以很輕鬆快速的得到一群電腦!當然,手邊沒幾個銅板是不行的(還有信用卡)!

雲端運算是當下很紅的名詞,最近被要求一下要熟悉 EC2 ,所以就來強迫自己寫一篇使用教學,在 Google 上使用 "EC 教學" 關鍵字,其實已經可以找到不錯的文章: Amazon EC2 簡易操作筆記 (使用 EC2 Console)  與 Amazon EC2 使用操作筆記 (使用 Elasticfox) ,另外則是官方的介紹 Amazon Elastic Compute Cloud - Getting Started Guide (API Version 2009-08-15)

changyy 發表在 痞客邦 留言(1) 人氣()

Plurk 一陣子,官方終於將 Plurk API 弄出來囉,如此有更統一的 API 來把玩,最棒的是不必擔心用的 Unofficial Plurk API 會不會哪一天掛掉,當然並不是說官方的就不會更改 API 架構,只是換個角度想,API 的維護交給官方,讓製作 Plurk 架構的人處理,比自行摸索要來的更有效率。(...突然回想起當初去hack某家網誌發文的辛苦歷程...)

Plurk API 上有 Java 跟 Python 的範例程式,但竟然沒有我最擅長使用的 PHP 。所以,就來試試 PHP 吧!

changyy 發表在 痞客邦 留言(1) 人氣()