在大數(shù)據(jù)面前，每個人都是赤裸的

導(dǎo)讀：剪不斷理還亂，大數(shù)據(jù)和云計算，人工智能，以及5G之間究竟什么關(guān)系。

「我的女兒還是高中生，你們卻給她郵寄嬰兒服和嬰兒床的優(yōu)惠券，這是在鼓勵她懷孕嗎？」

一個男子沖進一家商店，要求經(jīng)理出來見他，并怒不可遏地說出了上述這句話。

幾天后，經(jīng)理打電話向這個男人致歉時，他的語氣卻變得平和了起來：

「我跟我女兒談過了，她的預(yù)產(chǎn)期是8月份。是我完全沒有意識到這個事情的發(fā)生，說抱歉的人應(yīng)該是我。」

——《大數(shù)據(jù)時代》

上面這段內(nèi)容講的是美國一家零售商通過分析大量女性的消費記錄，根據(jù)購物的內(nèi)容變化來推測懷孕的月份乃至預(yù)產(chǎn)期，據(jù)此來精準(zhǔn)投放購物廣告。

結(jié)果表明，擁有大量數(shù)據(jù)的機器比粗心的父親更早知道女兒的身體狀況。這無疑是讓人汗顏的。

這個例子僅僅只是大數(shù)據(jù)應(yīng)用的一個縮影。事實上，在這個大數(shù)據(jù)時代，萬事萬物產(chǎn)生的海量數(shù)據(jù)之中蘊藏著豐富的信息，把握好了就是無數(shù)的商機。

什么是大數(shù)據(jù)？

從字面的意思來看，大數(shù)據(jù)就是大量的數(shù)據(jù)。業(yè)界一般認(rèn)為數(shù)據(jù)量達到普通的設(shè)備存不下，算不動的程度，就可以稱之為大數(shù)據(jù)了。

「大數(shù)據(jù)又稱為巨量資料，指的是在傳統(tǒng)數(shù)據(jù)處理應(yīng)用軟件不足以處理的大或復(fù)雜的數(shù)據(jù)集的術(shù)語?！?/p>

——維基百科

「大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)?！?/p>

—— 百度百科

「大數(shù)據(jù)由巨型數(shù)據(jù)集組成，這些數(shù)據(jù)集大小常超出人類在可接受時間下的收集、庋用、管理和處理能力。」

——MBA智庫

從上面的幾種定義可以看出，首先，數(shù)據(jù)量要大到常規(guī)方式無法處理的程度；再者，大數(shù)據(jù)作為信息資產(chǎn)，需要通過處理從中獲取價值信息。

大數(shù)據(jù)到底有多大？

普通個人電腦所能存儲的數(shù)據(jù)，一般是幾百個GB到幾個TB的級別。

例如，常見的固態(tài)硬盤，512GB就已經(jīng)比較大了；常見的機械硬盤，可達1TB/2TB/4TB的容量。

表達數(shù)據(jù)容量的KB，MB，GB和TB之間的關(guān)系，大家應(yīng)該都很熟悉了：

KB(Kilo Byte) — 千字節(jié)，也就是1024B

MB(MegaByte) — 兆字節(jié)，也就是1024KB

GB(GigaByte) — 吉字節(jié)，也就是1024MB

TB(Tera Byte) — 太字節(jié)，也就是1024GB

而大數(shù)據(jù)是什么級別呢？PB/EB級別。其實就是在TB的基礎(chǔ)上每一級接著乘以1024。

PB(Peta Byte) — 皮字節(jié)，也就是1024TB

EB(Exa Byte) — 艾字節(jié)，也就是1024PB

ZB(Zetta Byte) — 澤字節(jié)，也就是1024EB

YB(YottaByte) — 堯字節(jié)，也就是1024ZB

上述的這些大的單位在日常生活中幾乎接觸不到，而且常人也已經(jīng)無法直觀地感受到這些單位能大到什么讓人吃驚的程度。下面我們舉個簡單的例子來說明。

一本《紅樓夢》：純文本（未壓縮），約2MB

一張1200萬像素的照片（未壓縮）：約34MB

一部90分鐘的電影（H.264編碼）：約2.5GB（也就是2500MB）

這樣算下來，一塊1TB的硬盤大約可以存儲50萬本電子書，3萬張圖片，400部電影。假定三天時間看完一本書，這50萬本就需要4000多年才能看完。

1PB的容量大約可存儲5億本書，3千萬張圖片，或40萬部90分鐘的電影?？磿臅r間過于夸張就不說了，這些電影也需要持續(xù)近140年時間才能看完。

1EB這個單位的龐大已經(jīng)超乎了人們的想象，僅僅存放這些數(shù)據(jù)需要大約2000個機柜的存儲設(shè)備。

如果并排放這些機柜，可以連綿1.2公里那么長。如果擺放在機房里，需要21個標(biāo)準(zhǔn)籃球場那么大的機房，才能放得下。

真的有企業(yè)會產(chǎn)生如此海量的數(shù)據(jù)嗎？

事實上，阿里、百度、騰訊這樣的互聯(lián)網(wǎng)巨頭，因為其擁有數(shù)億的用戶，這些海量用戶產(chǎn)生的數(shù)據(jù)量早已超越PB級，接近EB級。

大數(shù)據(jù)是怎樣產(chǎn)生的？

隨著互聯(lián)網(wǎng)，物聯(lián)網(wǎng)的發(fā)展，萬事萬物皆可連接，皆可源源不斷地產(chǎn)生數(shù)據(jù)，從涓涓細流匯聚成汪洋大海。

經(jīng)過移動互聯(lián)網(wǎng)的大爆發(fā)，中國的上網(wǎng)用戶數(shù)已經(jīng)約等于智能手機的用戶數(shù)，通過4G網(wǎng)絡(luò)隨時連接，實時在線。

這些用戶在手機上的每一次滑動和點擊，都會被各式各樣的APP上傳并存儲，以及在微博，微信，知乎，抖音等各種社交或者UGC類APP上創(chuàng)作的文本，圖片和視頻，形成海量的數(shù)據(jù)。

物聯(lián)網(wǎng)方面也不遑多讓。據(jù)GSMA智庫預(yù)測，到2025年全球?qū)?8億移動物聯(lián)網(wǎng)連接（總共31億蜂窩物聯(lián)網(wǎng)連接），以及138億工業(yè)物聯(lián)網(wǎng)連接，其中63億在亞太地區(qū)和中國，占總數(shù)的65%。

如果放在以前，計算機的硬件（存儲，計算）等資源還很金貴的情況下，這些數(shù)據(jù)只能是經(jīng)過簡單匯總之后就被丟掉。

然而隨著技術(shù)的發(fā)展，計算機硬件的存儲和計算能力越來越強，越來越不值錢，這些原本被認(rèn)為食之無肉棄之有味數(shù)據(jù)才能被大量存儲和處理，并挖掘價值。

目前微信擁有11億的用戶，每天發(fā)送數(shù)百億條消息，還有朋友圈，支付，掃一掃，搖一搖等多種行為都存儲在微信的后臺。

如果要從這些海量數(shù)據(jù)中分析所有微信用戶的行為習(xí)慣，比如每天的使用時長，偏好發(fā)語音還是文字，對哪些類型的公眾號感興趣等數(shù)據(jù)就沒有那么簡單了。

這就是各種大數(shù)據(jù)技術(shù)誕生及發(fā)展的驅(qū)動力。

大數(shù)據(jù)有哪些特點？

由于大數(shù)據(jù)的描述眾說紛紜，4個V，5個V，乃至8個V的說法都有。本文就簡采用IBM的4V說：大量（Volume），高速（Velocity），多樣（Variety），價值（Value）。

1、大量：這一點是大數(shù)據(jù)最基礎(chǔ)的屬性，前面講過了。也就是說：大數(shù)據(jù)分析的是所有樣本，不是隨機抽樣，因此可進行多維度，任意縮放地進行分析。

2、高速：數(shù)據(jù)產(chǎn)生快，對分析和使用的速度要求也很高。如果像刻舟求劍一樣，分析地雖然精確，但耗時過長，以至于結(jié)論早已過時，終究是沒有用處的。

試想一下，在網(wǎng)上買書的時候，系統(tǒng)會根據(jù)目前瀏覽的書來智能推薦用戶還可能感興趣的其他書，這個是要求秒級響應(yīng)的。如果過了半小時才算出結(jié)果來，用戶很可能早都購物結(jié)束了。

3、多樣：數(shù)據(jù)的來源多種多樣，格式不一，既有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，更多的則是非結(jié)構(gòu)化數(shù)據(jù)。

結(jié)構(gòu)化數(shù)據(jù)就是可以按照預(yù)定義的關(guān)系模型來存儲的數(shù)據(jù)。

非結(jié)構(gòu)化數(shù)據(jù)指的那些沒有固定格式，內(nèi)容需要分析識別才知道的數(shù)據(jù)，一般就是網(wǎng)頁，圖片，音頻，視頻等數(shù)據(jù)。這些數(shù)據(jù)占比可達80%以上。

也就是說，大數(shù)據(jù)不是精確性，而是混雜性。這些數(shù)據(jù)不論格式，只要擁有可供挖掘的信息，就都來者不拒。

4、價值：數(shù)據(jù)雖多，但價值密度很低，必須經(jīng)過大量的分析和提取，才能較為準(zhǔn)確地發(fā)現(xiàn)其中蘊藏的規(guī)律。

據(jù)不完全統(tǒng)計，公安機關(guān)全國每年需要存儲的數(shù)據(jù)量高達3.3EB，結(jié)合視頻監(jiān)控和人臉識別，實現(xiàn)犯罪嫌疑人的快速識別和實時布控。

中國的犯罪率是很低的，收集并存儲如此多的數(shù)據(jù)，就是為了進行大海撈針，可見大數(shù)據(jù)的價值密度之低。

并且，大數(shù)據(jù)的價值體現(xiàn)在對數(shù)據(jù)內(nèi)部隱含的相關(guān)性的挖掘，而非對因果性的求索。這個世界是復(fù)雜的，有相關(guān)性的事件之間不一定有直接的因果關(guān)系。

我們不必糾結(jié)于事件之間具體的前因后果，只要知道它們之間是有正向或者負向聯(lián)系的，只需照著做就能體現(xiàn)數(shù)據(jù)分析的價值了。這是一種實用主義的態(tài)度。

舉例來說，沃爾瑪超市發(fā)現(xiàn)把啤酒和尿布放在一起時，啤酒的銷量會大幅增加。此時擺在老板面前兩個選擇：是繼續(xù)研究苦苦研究這個現(xiàn)象內(nèi)在的因果關(guān)系呢，還是趕緊所有門店都如此配置起來好更快地賺錢？

答案顯然是后者。大數(shù)據(jù)分析是用來發(fā)現(xiàn)相關(guān)性來創(chuàng)造價值的，而非探索因果關(guān)系進行科研。

大數(shù)據(jù)有哪些用處？

01、用戶畫像

「千萬人撩你，不如一人懂你。」在現(xiàn)實世界里，唯一懂你的TA就是默默關(guān)注著你的大數(shù)據(jù)。

你的一舉一動，都被各種APP記錄下來并進行分析，找出典型特征，并據(jù)此跟你打上各式各樣的標(biāo)簽。這些標(biāo)簽匯聚起來就是你這個人在網(wǎng)絡(luò)上的化身，美其名曰「用戶畫像」。

通過搜集并分析多維數(shù)據(jù)，這些用戶畫像可以包含生活中的方方面面，每一個用戶在大數(shù)據(jù)面前都是一絲不掛的。基于對用戶的了解，各種各樣的精準(zhǔn)營銷就可以高效進行了。

如此一來，你打開購物APP，醒目位置顯示的都是自己想要買的東西；打開資訊APP，頭條里面推薦的都是自己偏好的內(nèi)容；打開搜索引擎，搜出來的東西都正好是自己想要找的。

亞馬遜技術(shù)專家曾經(jīng)說過：「如果系統(tǒng)運作良好，亞馬遜應(yīng)該只推薦你一本書，而這本書就是你將要買的下一本書?！?/p>

02、決策支撐

在移動通信領(lǐng)域，所有用戶產(chǎn)生了海量的信令交互，網(wǎng)絡(luò)測量報告，以及各種各樣的業(yè)務(wù)數(shù)據(jù)。

這些信息都是被記錄下來的，除了可以用來追蹤用戶，解決故障之外，還能用來了解自身的網(wǎng)絡(luò)覆蓋，容量，用戶滿意度等指標(biāo)，并能和對手進行對比分析。

基于這些大數(shù)據(jù)的分析結(jié)果，網(wǎng)絡(luò)優(yōu)化，用戶體驗提升等操作都可以有的放矢，更為方便高效。

在醫(yī)療領(lǐng)域，大量患者產(chǎn)生的海量數(shù)據(jù)可以用來進行臨床治療對比，藥品研發(fā)，疾病診斷，甚至還能作為醫(yī)保政策，額度等調(diào)整優(yōu)化的依據(jù)。

除了上面的例子之外，大數(shù)據(jù)還在互聯(lián)網(wǎng)，金融，以及各種垂直行業(yè)內(nèi)部都有著豐富的應(yīng)用場景?？偨Y(jié)起來就是「知己知彼，百戰(zhàn)不殆」，「運籌帷幄，決勝千里」。

大數(shù)據(jù)和云計算，人工智能及5G之間有什么關(guān)系？

由于大數(shù)據(jù)分析需要對大量的數(shù)據(jù)進行分解，統(tǒng)計，匯總，一臺機器肯定搞不定，于是就有了分布式計算的方法。

也就是說，將大量的數(shù)據(jù)分成很多的小份，每臺機器只處理其中的一小份，多臺機器并行處理，處理速度得以大幅提升。

例如著名的Terasort對1個TB的數(shù)據(jù)排序，如果單機處理，怎么也要幾個小時，但并行處理，僅需要209秒即可完成。

在分布式計算框架下，大數(shù)據(jù)的處理，可以分為數(shù)據(jù)收集，數(shù)據(jù)存儲，數(shù)據(jù)處理（資源管理與服務(wù)協(xié)調(diào)，計算引擎），數(shù)據(jù)分析，數(shù)據(jù)可視化這幾層。

大數(shù)據(jù)需要大量的服務(wù)器資源，但這些資源可能并不是隨時都滿負荷工作的。例如使用大數(shù)據(jù)來分析公司的財務(wù)情況，可能只需一周分析一次，但把這成千上萬臺機器放在機房里，每周用一次是非常浪費的。

這正是云計算誕生的初衷。如果能在不同的時間，把這些閑置機器提供的網(wǎng)絡(luò)，存儲以及計算能力共享給其他用戶使用，資源的利用率將大大提升。

云計算通過硬件資源的虛擬化，相當(dāng)于平臺的提供者，而大數(shù)據(jù)是海量數(shù)據(jù)的高效處理，相當(dāng)于云計算平臺上的大型應(yīng)用。

那大數(shù)據(jù)和人工智能有沒有關(guān)系？實際上，大數(shù)據(jù)是人工智能發(fā)展的前提。

目前人工智能的主流算法是深度學(xué)習(xí)，其能夠大展身手需要兩個條件：強大的計算能力和高質(zhì)量的大數(shù)據(jù)。其中最具有代表性的系統(tǒng)，就是著名的「谷歌大腦」。

這是一個龐大的深度學(xué)習(xí)計算框架，擁有數(shù)萬臺高性能的計算機和頂級圖形處理器組成的計算單元，可以完成大規(guī)模，多維度，多層次的深度學(xué)習(xí)模型訓(xùn)練。

據(jù)悉，在谷歌大腦建立不久，谷歌就使用了一個擁有16000的CPU組成的超大規(guī)模計算機集群，讓機器用深度學(xué)習(xí)模型自己「看」了一千萬段視頻，終于把人工智能訓(xùn)練地學(xué)會了如何從視頻中辨認(rèn)出一只貓來。

因此，沒有大數(shù)據(jù)所提供的足夠的學(xué)習(xí)樣本，深度學(xué)習(xí)系統(tǒng)搭建得再完美也沒用。對人工智能來說，深度學(xué)習(xí)算法是靈魂，云計算是肉體，大數(shù)據(jù)則是糧食。

沒有糧食，肉體和靈魂就都成了空中樓閣。只有這三者合力，才能揭開人工智能應(yīng)用的新篇章。

而5G提供的萬物互聯(lián)，正是人工智能的糧食——大數(shù)據(jù)產(chǎn)出的肥沃土壤。

這就是大數(shù)據(jù)和云計算，人工智能，以及5G之間剪不斷理還亂的聯(lián)系。

好了，本期的內(nèi)容就到這里，希望對大家有所幫助。

參考文獻：

1、《大數(shù)據(jù)時代》，維克托?邁爾?舍恩伯格，肯尼思?庫尼耶

2、《看懂“大數(shù)據(jù)”，這一篇就夠了！》，鮮棗課堂

3、《大數(shù)據(jù)技術(shù)體系詳解，原理，架構(gòu)與實踐》，董西成