大數據 Big Data，這個用來形容資料爆炸量、多樣化以及數據更新快速的專有名詞，主要還是由物聯網傳感器、行動裝置…等小型設備所運算結果集結成的。
有人預測 2015年，將是大數據 Big Data 相當成功的一年。諷刺的是，這裡指的不是因為他們能精通 Hadoop 或 Spark 等複雜卻高效率的分布式計算系統。反過來說，2015 年我們將使用更優於 Hadoop 工具的方式，來處理過去使用大數據時伴隨而來的問題。
其中最大的變化在於，能有效佈署與管理收納網路服務的 Docker、企業計算容量等…開源技術的崛起，但相較於大數據能造成的潛在影響力還是相形見絀。知名彈性整合公司 SnapLogic 的 Darren Cunninhgam 更強調，幾乎所有具指標性的大企業，趨勢顯示最終還是會回歸數據基本面。
▲ SnapLogic 公司的 Darren Cunninhgam 在 Twitter 以 Big、small、fast、slow…等來形容大數據Big Data 千變萬化特性。
但問題是，大多時刻我們探討這些數據的機會，遠多於投入實際使用。早在 2013 年，Darren Cunninhgam 即指出每個人都知道他們需要做的事情與大數據息息相關，但實際上卻很少人懂得如何運用。即便 2014 年都快已過完，這現象始終沒改變。大多數企業仍然沒有對這些數據資料花費太多心思，甚至對一些人來說這更是個複雜難題，除了專業科學家會好好使用外，這些付費就能取得的 open-source 工具，對一般人來說要使用實在太困難了。
甚至多數人對大數據長久下來一直充滿誤解。舉個例子，來自 Bloomberg（專業財經媒體）負責人Matt Hunt 宣稱：「在 Bloomberg 我們並沒有大數據問題，反而是有中量資訊（medium data）問題，這裡指的中量資訊指的是量夠大、但適用於單一設備上，但並不需要龐大巨量的集群數據，相當於 Terabytes 兆位元，而不需要達 PB 等級。」
日前與相關 IT 機構合作的 NewVantage 透過調查表示，大數據能以 PB 等級的驚人單位產生新聞，但大多數企業實際上也只需要管理到 Terabytes 等級的數量。只有 28％ 的人認為，與其挑戰大數據所帶來龐大的資料數據，他們更關心的是資料種類多樣性與更新速度。
在即將邁入 2015 年此刻，許多企業仍因被迫使用 Hadoop 工具來面對他們的數據而飽受掙扎，特別當他們不斷使用這些錯誤工具，套用在只能處理中量資訊資料的應用程序中。
提到 2015 大數據 Big Data 趨勢，用「Big Data Gets Little」這句話就能看出端倪。有鑑於物聯網之於行動裝置的重要性，我們不能再單純以近乎失去判斷力、甚至盲從迷信的心態面對這些大數據工具。不過，Hadoop 是否還能像今年在物聯網中扮演重要角色？
Cloudera 公司創始人之一 Mike Olson 認為：「新一代數據庫技術，並不會去破壞現有大企業習於使用的 OLTP 及OLAP 等結構化數據處理與分析的市場，它雖然擁有前所未有的對於新數據分析與解鎖能力，甚至能讓我們以不同觀點去瞭解這世界上各種事物，無論是創造新機會或新市場，對大數據來說基本上還是須依靠物聯網，才能創造出更巨大機會。」
不過對 Hadoop 來說，雖為目前最理想用來處理大量數據的工具，卻沒有足夠即時分析數據的能力。為能有效追蹤物聯網數據，NoSQL 數據庫對 Hadoop 來說扮演重要輔助角色，使得能夠即時回應實用數據成為可能。
有鑑於物聯網產生數據（包括透過全新傳感器、全新的數據類型…等）不斷變化的特性，像 NoSQL 這樣的數據庫是必須存在的，Machina 在一份研究中更假設：「從來自愈來愈多不同傳感器、設備、或應用程序產生出愈來愈多的指數，一個事件會伴隨出更多樣化結構數據，這些附加數據範圍從企業系統到眾包數據，都必須經過整合才能傳成有效資料。」
很多大數據工作迄今已將 Hadoop 與相關數據庫系統或 RDBMS 做整合，但這卻不是最理想的整合方式。根據權威 IT 行業分析機構 Gartner 指出，「因為物聯網與各種行動裝置應正迫使我們思考產生變化，並影響到我們之於這些數據的互動方式。」
在 2015 年，更多的大數據將同步從企業數據資料庫轉移至 Hadoop 端、或從嚴謹的 RDBMS 轉移到更靈活的 NoSQL。毫無疑問地，物聯網是成為這場變革的最大驅動力。
留言
張貼留言