前幾天有一則新聞報導,台灣是世界上玩臉書比例最高的地方。大家有沒有想過,到底臉書要儲存多少資料,應該是天文數字吧?而且臉書是如何做到,幾乎所有的資訊可以即時反應?難道是使用超級電腦?而且旁邊跳出來的廣告,又往往與你個人有關,好像有讀心術呢!

20138月23日東吳大學潘校長帶領了訪問團到華府訪問,由於內人是商數系校友,所以出席餐會。席間,也是商數系畢業的社資處許主任,對東吳未來的展望作了一些簡短介紹,其間特別提及新成立的海量資料(Big Data)硏究中心,成為台灣第一所有針對海量資料硏究的大學,也引起了我談一談的興趣。

海量(巨量)資料(Big Data)處理這個名詞,大約在三年前(2010年),突然出現在資訊世界,好像一夜之間暴紅,再紅的發紫,從大學到政府,從個人到大公司,大家都在談論。其實這套理論早在十多年前就已經在資訊學術界萌芽,雅虎首先將之運用在其資料儲存及處理,同時期如孤狗,亞馬遜,WalMart與後來的臉書等大公司也都將這套Big Data理論運用的嚇嚇叫!

事實上,自從過去十多年來,數位資訊科技日漸成熟,我們生活的世界幾乎全部可以換算成數位碼,也就是0與1的排列組合,經由網路的傳輸,無遠弗界,將每種排列組合形成一種模組,不同的模組就代表了這個花花世界的每一個事與物。所以,不論是一張照片還是一段影片在網路上都只是一些0與1,這也是有線電視數位傳輸的方式。所以理論上,全世界的每一個人,在他的電腦上,智慧手機上的每一個動作(當然包含電子郵件,所打開過的網站,和網友的對談),以及任何與網路聯線的機器(例如飛機,X光機...)產生出的數據,都可以被用數位方式記錄下來,而美國國家安全局,也利用過濾網路數位資料的方式,監視著全世界。

0與1的排列組合

很多人會問,這怎麼可能?要有多大的儲存硬體?多貴呀!這個問題也就是為什麼,這種處理海量資料(Big Data)的軟體理論,在十多年前就被發展出來,卻等到這兩三年才突然變的蓬勃熱門起來。因為硬體的儲存,及數位資料壓縮技術突飛猛進,而使得硬體價錢一落千丈,這就讓許多公司或政府,可以比較輕鬆的建立海量資料中心。

非常費電的數據中心

但是,如果只有海量資料(Big Data)的儲存,而不能快速的存取,也是枉然。每個人都有用孤狗搜尋的經驗吧!能在天文數字的孤狗資料中,在一秒鐘之內找到你所要的資料。這是如何做到的?絶對不是靠所謂超級電腦,而是把許許多多可能和你我手上功能差不多的電腦,利用平行運算的方式加在一起處理資料,理論上這種加法,是可以加到無限大,而且永遠保持一樣的速度。

然而,再者,在商言商,如果資金只有進而沒有出,也不會吸引投資人。所以因為有幾家新成立的或是大型廠商,成功的把海量數據資料(Big Data)轉成商業模式而賺了大錢之後,讓所有人眼睛一亮,原來數據可以轉換成金礦。

40年前的電腦打孔卡

在談天時,我提到,跟據我的觀察,台灣過去數十年資訊業發展,太注重於資訊硬體的發展或代工,而忽視軟體業,社會上提到某人是竹科硬體工程師,無不投以羨慕的眼光,如果是軟體工程師則沒有反應,似乎軟體從業人員只是硬體的附屬品。這個現象和美國,印度,剛好相反。在美國的職場中充滿著高薪的軟體工程師職位,薪資甚至不輸給醫師、律師。

如何要把台灣的軟體行業獨立壯大,必須提高軟體行業的薪資,才能吸引真正聰明,有創意的年輕人參與。上面所提到的臉書,就是一個成功的例子,一個聰明的哈佛小子,在運用了無中生有的軟體,發展了一個新的商業模式,創造了一個數百億美金的虛擬帝國。所創造的產值可能超過竹科所有的廠家總和吧(我沒有真正算過)!

所以,硬體的價值有限,只會一天比一天廉價,而軟體的價值才會是無限大的!

而如何建立未來的科技模式呢?我的建議是,可能找幾個真正聰明的,在不同領域,不同年紀的電腦玩家(不是電玩玩家),讓他們天馬行空的幻想,如何去處理他們現在的生活,以及創造他們未來的世界,建立起一些模式後,再以軟體結合,或許可以創造一些我們老一輩,所謂有經驗的人,想都想不到的東西。至於是否有商業價值,以後再說吧!想一想,就算五年前,又有誰知道臉書的價值在那裏呢?

這也是多年前,我在修約翰霍普金斯大學的第一門軟體工程課時,教授所訂定的學期作業,要求天馬行空的幻想,可惜當時沒想到要發展臉書,否則今天我也是億萬富翁!

 

順便一提:我試著將此文寫得通俗一點,除了Big Data之外,不提其他專有名詞。

 

 

 

arrow
arrow
    文章標籤
    Big Data
    全站熱搜

    Julian九里安西王 發表在 痞客邦 留言(24) 人氣()