他山之石
作者:
據IDC預測,到2020年,全球以電子形式存儲的數據量將達到35ZB,是2009年全球存儲量的40倍。根據IDC的統計,在2010年底全球數據量已經達到了120萬PB或1.2ZB。如果將這些數據都刻錄在DVD上,那麼光把這些DVD盤片堆疊起來的長度可以往返地球和月球之間(單程約24萬英裏)。
眾所周知,數據可以分為3種:結構化數據、半結構化數據和非結構化數據。其中,大多數的數據屬於企業業務過程中產生的文檔等非結構化數據。
大數據時代已經到來,悲觀者深為數據的管理和維護而憂慮,樂觀者則看到了大數據的大價值。何謂大數據,目前沒有統一的定義,通常認為它是海量的非結構化數據,其特點是數據量很大,數據的形式多樣化。如何存儲這些快速增長的海量數據?如何對大數據進行分析處理,挖掘出其價值?這些問題成為幾乎所有企業麵臨的共同挑戰。
大數據時代的挑戰與目標
大數據時代的挑戰包括:如何實現高效、智能的大數據存儲?非結構化數據正在呈海量增長趨勢,如何對其進行有效的管理和應用?現有數據保護與文檔歸檔機製能否應對日益增長的海量數據?如何攻克移動數據管理的難點問題?如何在複雜的數據環境下實現可靠的數據安全?這些正逐漸成為CIO所麵臨的共同挑戰。
但是我們發現,這些來自大數據的挑戰,歸納起來主要隻有兩點:
其一,管理好大數據,包括大數據的產生、存儲、保護、歸檔,到安全維護等各個方麵。從根本上講,這屬於IT管理維護範疇,隻不過數據量超出常規管理範圍後,管理、維護的難度大幅度提高。
其二,應用好大數據。這是企業數據管理的最終目標。大數據即意味著大價值,數據與數據、數據與人、數據與業務的關聯性能給企業帶來巨大的價值。大數據應用的挑戰既有應對數據的流動性、關聯性、智能化所帶來的挑戰,也有基於大數據進行深度挖掘所帶來的挑戰。
但是,這兩點之間是相輔相成,管理和維護的目的是使用,使用的基礎是好的管理維護。
雲計算與大數據 時代的交集
說到大數據的管理和使用,很多人都會想到雲計算。雲計算技術可以實現IT資源的自動化管理和配置,降低IT管理的複雜性,提高資源利用效率。
對企業來說,主要的業務由私有雲支撐,而非關鍵業務或者突發性業務可以采用公共雲資源。私有雲與公共雲需要無縫連接,形成合理的混合雲環境。
可見,雲計算可以承載大數據,大數據的管理和應用,可以通過雲計算的資源共享、高可擴展性、服務特性來搭建和運營。
大數據的大內涵
大數據與雲計算的交集是外部交集,大數據內部的關聯、挖掘才是大數據的大內涵。這個調整遠遠超過雲計算的應用難度,數據與數據的複雜關係,比如跨應用係統的結構化數據與非結構化數據的關聯;海量數據的存儲以及數據的分享;數據(結構化與非結構化)與業務和決策間的關聯。
解決這個問題的一個思路是EMC提出的信息生命周期思想,但是在很多業界同行看來,這個思想在雲計算和大數據時代需要得到升華,而這個方向就是智能,而且是全麵的智能。IBM提出了智慧的地球,而我國新興的IT企業代表愛數則提出了基於統一智能和信息生命周期思想框架的智能數據管理解決方案。
這是大數據管理和應用的一個新思路。愛數相關負責人介紹,這種統一的框架采用的是雲計算結構,其主要技術突破在於資源池化和對法規管理的遵從,從數據生成階段就將大數據納入到生命周期管理中,通過統一的智能策略,不但能對數據進行很好的運維和保護,還能在數據使用和挖掘階段與業務結合起來,提供統一的數據信息平台。
數據之道 智取未來
在大數據時代,無論是對企業用戶還是對IT供應商來說,管理、使用大數據都需要有大思維和大規劃。
在IT領域,計算時代成就了Wintel為代表的一批廠商,那個時代的旋律是摩爾定律;網絡互通時代正在成就包括Google、Facebook、騰訊為代表的網絡新貴,這個時代的主旋律是互通;大數據時代的到來,為更多的廠商帶來了機會,而這個時代的主基調無可厚非是智能。
正所謂,數據之道,智取未來。