剛剛聽廣播在講 open data ，才讓我對於 big data （海量數據）所將產生的新產業恍然大悟。（是的，你小孩的未來可能在裡面。）
因為還蠻重要的，所以我決定先把它寫完，再去做其他的事。
我先解釋一下什麼是 big data ?
後來的網路公司例 Facebook ，從另一個角度來看，其實是一家數據公司。
因為 facebook 的使用者，會不斷把自身的所有資訊，從出生日期、居住地、學經歷、感情狀況、人際關係、圖片、影片、甚至每一次編輯/修改/刪除的動作記錄……通通傳送到 facebook 的主機裡。
這些資料能做什麼？
嗯，這些資料其實比使用者還了解自己，如果你能正確解讀這些資料的話。
你光看一個不認識的人的臉書頁面，你就可以知道他的喜好是什麼、行為模式是什麼、活動範圍在哪裡；如果能夠從facebook的主機裡，看到關於他的更多數據，你就幾乎可以完全拚湊出這個人的全貌，甚至預測他的行為。
（這邊先叉開提一下我之前講的「意識數位化」。
像臉書得到的資料，就是一種外部資訊。他並不知道你是誰，也不知道你的意識是如何運作的，但它卻可以推算出你的行為模式，還有你遇到什麼事情的時候會有什麼反應？
所以我們可能沒有辦法直接打造「意識」，但我們可以創造一個機制，讓它對於外來事物的反應，就像他的意識存在一樣。
例：如果你能繼續每天接到心愛的人打電話跟你聊天，那麼你就不會感覺到他其實已經過世，因為他的意識被延續了下來。）
在facebook，他們把這些數據資料拿來賣廣告。
但實際上，在這些數據裡面還有很多很多對人類更重要的東西，但我們並不知道怎麼去使用它。
講另一個例子是google。
如果你搜尋某個藥品（或徵狀）的關鍵字，那麼很可能你就是某種病的患者。
所以有人用google的資料，去比對特定關鍵字和某些疾病流行的區域之間的關聯性，結果發現這兩者之間的確有關聯。
而且不僅於此，利用這個原理，甚至可以用來預測什麼地方已經發生什麼傳染病，時間比衛生機關的通報更早。
（另外，廣播裡的來賓就講到，"最近雞蛋的價格上漲，雞農說是因為天氣熱，下蛋的產量下降導致價格上漲。"
但他們分析數十年的資料後卻發現，蛋的價格跟天氣溫度之間並沒有關聯…）
所以這裡面的意義是—
隨著能搜集到的數據越來越大，我們將需要越來越多的「數據分析工程師」。
但其實「統計分析」這一門學科存在已久，不過你應很少聽誰統計系畢業以後就不愁吃穿....
原因就是，「統計分析」只是一個工具，而 big data 時代所真正需要的，是知道「該提什麼問題的人」；如果你知道要去分析「關鍵字跟疾病之間」的關係（然後用關鍵字去預測疾病的傳播），那麼你就值錢，但如果你只負責分析，那你不過是個勞力工。
美國前聯準會主席葛林斯潘，在年輕時就曾經透過分析上市公司（鋼鐵，或飛機製造公司）的財務報表，然後推算出美國國防部所擁有的飛機數量和飛行出勤架次(機密資料)，結果相去不遠而聲名大噪。
所以下一代真正要學的，是怎麼使用「統計分析」去得到一些有用的東西(也就是「怎麼提出問題」)，而這需要更多的創造力，而不單單只是技術……
---------
廣播裡還提到，美國的農作物公司「孟山都」（透過基因改造的專利，壟斷了整個美國農作物市場的公司），最近買下了一家氣象公司，要來分析氣候跟農作物之間的關係。
所以可想而知，這個時代我們將會越來越了解"不同事物之間彼此的關聯性有哪些"。
（例如：美國家庭裡有個遊泳池的，比家裡有一把槍的，兒童的意外死亡率更高。而開車時繫上安全帶，遠比你的車子有沒有安全氣囊來得重要。）
所以這的確會是一個產業，我們將會需要更多知道該怎麼從數據裡發掘有用東西的人。
來賓說，他去歐洲看到了一家只有六個年輕人的數據公司，而這家公司成立短短半年就開始獲利。
但台灣還沒有開始。
PS. 雖然之前也看了很多關於 big data 的文章，但總是不知所云。今天總算豁然開朗啊！
留言列表
