前幾天有一則新聞報導,台灣是世界上玩臉書比例最高的地方。大家有沒有想過,到底臉書要儲存多少資料,應該是天文數字吧?而且臉書是如何做到,幾乎所有的資訊可以即時反應?難道是使用超級電腦?而且旁邊跳出來的廣告,又往往與你個人有關,好像有讀心術呢!
8月23日東吳大學潘校長帶領了訪問團到華府訪問,由於內人是商數系校友,所以出席餐會。席間,也是商數系畢業的社資處許主任,對東吳未來的展望作了一些簡短介紹,其間特別提及新成立的海量資料(Big Data)硏究中心,成為台灣第一所有針對海量資料硏究的大學,也引起了我談一談的興趣。
海量(巨量)資料(Big Data)處理這個名詞,大約在三年前(2010年),突然出現在資訊世界,好像一夜之間暴紅,再紅的發紫,從大學到政府,從個人到大公司,大家都在談論。其實這套理論早在十多年前就已經在資訊學術界萌芽,雅虎首先將之運用在其資料儲存及處理,同時期如孤狗,亞馬遜,WalMart與後來的臉書等大公司也都將這套Big Data理論運用的嚇嚇叫!
事實上,自從過去十多年來,數位資訊科技日漸成熟,我們生活的世界幾乎全部可以換算成數位碼,也就是0與1的排列組合,經由網路的傳輸,無遠弗界,將每種排列組合形成一種模組,不同的模組就代表了這個花花世界的每一個事與物。所以,不論是一張照片還是一段影片在網路上都只是一些0與1,這也是有線電視數位傳輸的方式。
所以理論上,全世界的每一個人,在他的電腦上,智慧手機上的每一個動作(當然包含電子郵件,所打開過的網站,和網友的對談),以及任何與網路聯線的機器(例如飛機,X光機...)產生出的數據,都可以被用數位方式記錄下來,而美國國家安全局,也利用過濾網路數位資料的方式,監視著全世界。
0與1的排列組合
很多人會問,這怎麼可能?要有多大的儲存硬體?多貴呀!這個問題也就是為什麼,這種處理海量資料(Big Data)的軟體理論,在十多年前就被發展出來,卻等到這兩三年才突然變的蓬勃熱門起來。因為硬體的儲存,及數位資料壓縮技術突飛猛進,而使得硬體價錢一落千丈,這就讓許多公司或政府,可以比較輕鬆的建立海量資料中心。

非常費電的數據中心
但是,如果只有海量資料(Big Data)的儲存,而不能快速的存取,也是枉然。每個人都有用孤狗搜尋的經驗吧!能在天文數字的孤狗資料中,在一秒鐘之內找到你所要的資料。這是如何做到的?絶對不是靠所謂超級電腦,而是把許許多多可能和你我手上功能差不多的電腦,利用平行運算的方式加在一起處理資料,理論上這種加法,是可以加到無限大,而且永遠保持一樣的速度。
然而,再者,在商言商,如果資金只有進而沒有出,也不會吸引投資人。所以因為有幾家新成立的或是大型廠商,成功的把海量數據資料(Big Data)轉成商業模式而賺了大錢之後,讓所有人眼睛一亮,原來數據可以轉換成金礦。
40年前的電腦打孔卡
在談天時,我提到,跟據我的觀察,台灣過去數十年資訊業發展,太注重於資訊硬體的發展或代工,而忽視軟體業,社會上提到某人是竹科硬體工程師,無不投以羨慕的眼光,如果是軟體工程師則沒有反應,似乎軟體從業人員只是硬體的附屬品。這個現象和美國,印度,剛好相反。在美國的職場中充滿著高薪的軟體工程師職位,薪資甚至不輸給醫師、律師。
如何要把台灣的軟體行業獨立壯大,必須提高軟體行業的薪資,才能吸引真正聰明,有創意的年輕人參與。上面所提到的臉書,就是一個成功的例子,一個聰明的哈佛小子,在運用了無中生有的軟體,發展了一個新的商業模式,創造了一個數百億美金的虛擬帝國。所創造的產值可能超過竹科所有的廠家總和吧(我沒有真正算過)!
所以,硬體的價值有限,只會一天比一天廉價,而軟體的價值才會是無限大的!
而如何建立未來的科技模式呢?我的建議是,可能找幾個真正聰明的,在不同領域,不同年紀的電腦玩家(不是電玩玩家),讓他們天馬行空的幻想,如何去處理他們現在的生活,以及創造他們未來的世界,建立起一些模式後,再以軟體結合,或許可以創造一些我們老一輩,所謂有經驗的人,想都想不到的東西。至於是否有商業價值,以後再說吧!想一想,就算五年前,又有誰知道臉書的價值在那裏呢?
這也是多年前,我在修約翰霍普金斯大學的第一門軟體工程課時,教授所訂定的學期作業,要求天馬行空的幻想,可惜當時沒想到要發展臉書,否則今天我也是億萬富翁!
順便一提:我試著將此文寫得通俗一點,除了Big Data之外,不提其他專有名詞。
- 10樓. iM2015/01/15 07:58讚!!希望有一點點用處呢! 九里安西王(Julian) 於 2015/01/20 06:51回覆
- 9樓. SANDY2014/09/28 15:36
因為這個月初才看到台灣新聞談Big Data 的新聞 , 後來看到您這篇 , 天哪 , 台灣現在才談Big data
實在太慢了 , 難怪台灣的精英人才沒有舞台發展 , 都跑到國外去了 ........ 現在台灣硬體工業越來越不行 .... 技術員 , 工程師 流動性 超高 .... 而且很多都污染環境 ... 真的有點跟不上國際潮流 ....
- 8樓. 漫步在雲端2014/06/29 18:47
把圖書館的書還了
拿起大數據閱讀
想到應回過頭來複習大哥的文章
您是學生物科技的嗎 後來才改念資訊嗎
當年霍普金斯大學已經該始研究big data嗎
那台灣遠遠落後外國
如果沒有創造力的分析人才 大量數據不具商業價值
難怪goole的搜尋引擎 這麼好用
大數據雖然被硏究了十數年
但是
一直到三年前才突然爆發
大家都在談
這是因為軟硬體發展到了可以支持大數據的結果
台灣地小人稠
本來就應該發展軟體才是
但是普遍英文太差
靠硬體工業還能撐多久 九里安西王(Julian) 於 2014/07/02 10:38回覆 - 7樓. 鄉下老師2014/03/03 06:53我就是可憐的台灣軟體工程師,但是我只想「做對的事情」!有您這種先進的真知灼見加持,我會更有鬥志。台灣不是不用軟體,但是只會向國外買,如你所說的被賣了還替人數鈔票!我希望用相對便宜的價錢開發一些國內「專家們」認定只有外國才有的軟體,替自己與後進們開出一條在業界存活地小路。等您很久了,常常拜讀您針對台灣IT發展及評論的格文,中肯,又一針見血,非常佩服,但是台灣有其他更多的人在關心嗎?
個人身在國外,憂心忡忡,也是希望能帶動一些人對所謂電腦科技的正確概念。
台灣地小人稠,應該以印度為師,發展軟體工業,又環保,而不是利潤少又污染的硬體。
不然的話,遲早會軟硬兼失呀! 九里安西王(Julian) 於 2014/03/03 09:59回覆 - 6樓. ynn6002014/01/18 22:05
感謝你的用心和體諒, 我這個電腦白癡完全看得懂. ^-^
ynn
不客氣呢!這也是我寫此文的目的之一。 九里安西王(Julian) 於 2014/01/19 06:13回覆 - 5樓. 漫步在雲端2014/01/08 21:18
軟體工程師的薪水
為什麼比硬體工程師少
開發應用軟體不是比較困難嗎
抱歉 說了一堆外行話
全世界大概只有台灣的軟體工程師薪水少,因為台灣不重視軟體嘛! 九里安西王(Julian) 於 2014/01/09 10:51回覆 - 4樓. 好宅豬大叔2013/10/07 23:08沒想到我的老母校組團出國訪問。我們還見過前兩任的劉姓東吳校長們! 九里安西王(Julian) 於 2013/10/08 02:52回覆
- 3樓. OldMan - 風景線2013/09/05 01:09
退休後開始天天上FB,顧名思義,social meidia嘛。
台灣的經濟環境,硬體工程師需求大吧。例如,設計app只能買2千萬人,可是製作手機,手提,router,甚至server,可以賣全世界。而且,雖說硬體除了材料設計等,還是以軟體為核心,同樣要有程式開發的訓練吧。
- 2樓. 卡娃思2013/09/03 22:20
臉書,我玩了,不過是在離開工作職場,回歸家庭主婦後開始摸索,工作中是不碰的。
這二年很多的關心行動付出來自臉書,親朋好友見面機會少的,從臉書大家彼此關注,過年相聚時刻,話題聊不完,因為知道親人間發生了哪些事,對人際關係的互動,有它的作用。大家似乎不再那麼的冷漠了,
只是,有些親友把不宜公開的私密事情公開,看了真是都替他們緊張。
有時候正面的訊息,會購買推廣,瀏覽的朋友會比較多。商業訊息太多的時候,我只有隱藏那動態。
閱讀本文,很輕鬆,通俗的確不離專業的表達,謝謝您!
謝謝您的美言!題目比較硬,反應稍冷呢!
事實上,最危險的行為是公開自己的生日。尤其在美國,所有的個人隱私都連接著個人生日。
我也希望把Big Data的觀念,推廣出去,以及重視軟體發展。
九里安西王(Julian) 於 2013/09/04 08:43回覆 - 1樓. 貓弟2013/09/02 19:43
我不玩臉書耶~也沒有臉書的帳號
落伍了嗎?
科技進步這麼快,很少有人可以跟上所有的最新科技!您寫部落格,就已經比90%以上的其他人先進了吧! 九里安西王(Julian) 於 2013/09/03 05:19回覆
























