一週過了,心情還沒調適回來,參加這次雲端計算比賽,雖然沒並沒很明確的做出什麼,甚至最後僅花了兩天開始衝 Hadoop Streaming 與簡單 Web 介面實作,也感到樂趣無窮。

至於為啥會只有兩天實作?實在是一開始太鬆散,最初一兩天先裝裝機器,接著我開始用 Java 來實作,用這三年沒寫過的語言,事實證明,儘管還沒忘光卻也不夠好。在倒數三天時,有不少突碰性的討論與設計,最重要的是設計資料格式,我覺得這是最有成就感的部分,無論最後有沒被欣賞,都夠囉。

談談 Hadoop 的架構,分成 Map 與 Reduce 架構,前者主要處理 Partition 的部分,後者則是 Merge 動作,而 Hadoop 另一個特色是能提供 Sorting 功能,完全符合碩班老師的教導,面對大資料不外乎三件事:Partition、Sort 和 Merge 。

另外,Map 和 Reduce 接收統一格式的設計,以至於推導出此架構,真是很變化無窮,感覺得出來設計此架構的人是非常有實力與經歷的。回想起周遭的生活,倒比較少有這樣的感覺,很多事都是為 Special Case 處理,顯少有 General Purpose 的設計。慶幸的,經過這幾天的腦力激盪,完成一個小小的 General Purpose 架構的雛型,挺爽快的。

差不多該調整步調了。


changyy 發表在 痞客邦 PIXNET 留言(0) 人氣()