大數據時代，互聯網企業的核心技術是什么呢？

首先，我認為大數據就是互聯網發展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。

其次，想要系統的認知大數據，必須要全面而細致的分解它，我著手從三個層面來展開：

第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。我會從大數據的特征定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；從對大數據的現在和未來去洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

第二層面是技術，技術是大數據價值體現的手段和前進的基石。我將分別從云計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從采集、處理、存儲到形成結果的整個過程。

第三層面是實踐，實踐是大數據的最終價值體現。我將分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。最早提出大數據時代到來的是麥肯錫：“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來?！?br />
業界（IBM 最早定義）將大數據的特征歸納為4個“V”（量Volume，多樣Variety，價值Value，速Velocity），或者說特點有四個層面：第一，數據體量巨大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數據類型繁多。比如，網絡日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業價值高。第四，處理速度快。最后這一點也是和傳統的數據挖掘技術有著本質的不同

速度、速度還是速度，最快的服務器響應速度始終是公司不懈的追求，傳統的mysql基本上已經遇到了技術瓶頸，因為mysql屬于關系型數據庫，其中表結構相對的比較固定，而且有太多的不用到的功能，這拖累了這種關系型數據庫的性能，而nosql（Not Only SQL）也就是非關系型數據庫才會應用而生，當然除了這些之外，多線程，高并發等的相關技術的整合才會使服務器性能獲得極大的提升。

在大數據背景下， 互聯網企業的核心技術是對海量數據進行分析和處理的能力。 對數據進行分析的能力主要還是來自于machine learning和統計學方面的知識。 同時， 對數據進行適當預處理的水平也在很大程度上能左右數據分析，預測的結果。尤其是現在市面上的大數據處理工具，平臺只有那么有限的幾種， 除非自己開發算法，否則各個公司使用的軟件都大同小異， 在這種情況下， 對數據的預處理， 挖掘出數據中隱含的額外feature就顯得十分重要了。

關于數據預處理的重要性， 我有切身體會。 當我還是University Of Pennsylvania的學生的時候， 我上了Machine Learning這門課， 這門課的final project就是訓練一個music genre predictor，根據歌詞判定歌曲的種類， 歌曲種類判定的準確率決定每個小組的名次。 所有的小組獲得的都是同樣的10000首歌詞作為training set， 然后對一組含有200首的歌test set進行判定。 我們小組使用了SVM＋神經網絡訓練了一個predictor， 我們最后以93%的準確率排名第二， 領先第三名不到0.5%。 但是第一名的準確率超過96%。 他們同樣使用了SVM，但是在此之前， 他們對training set進行了預處理， 把每首歌詞中的標點符號提取出來， 作為一個額外的feature，這使得他們最后訓練出來的predictor準確率大幅領先其他組。

大數據可以按數據流分為數據收集，數據分析，數據展示幾個部分。
技術上也是圍繞這幾部分開展，現在比較火熱的技術集中在數據分析。
商業上，由于數據價值體現在數量上，還體現在信息密集度、關聯度，將來也可能出現數據交易分享，甚至是平臺。只有這樣才能更多發揮數據的價值。