3G時代的文字和圖片、4G時代的圖片與視頻、5G時代的短視頻和直播，多樣化信息給人們?nèi)粘Ｉ顜淼?，除了精神上的愉悅和感官上的刺激之外，也帶來了?shù)據(jù)的瘋狂增長。

從2009年“大數(shù)據(jù)”成為互聯(lián)網(wǎng)技術(shù)行業(yè)的流行詞開始，至今已過去10余年，它已不再是“潮流”，它已然成為組成現(xiàn)代生活的基礎(chǔ)。

世界正在經(jīng)歷一場以大數(shù)據(jù)、云計算等為代表的信息技術(shù)變革。大數(shù)據(jù)對社會生產(chǎn)生活產(chǎn)生的影響絕不限于技術(shù)層面，更本質(zhì)上，它為我們看待世界提供了一種全新的方法——決策行為將日益基于數(shù)據(jù)分析做出，數(shù)據(jù)成為重要的戰(zhàn)略資源和新生產(chǎn)要素。

今天小億就來說說與大數(shù)據(jù)有關(guān)的知識，以及大數(shù)據(jù)如今主要應(yīng)用在哪些領(lǐng)域？發(fā)展到現(xiàn)在又產(chǎn)生了哪些問題？

—  01  —什么是大數(shù)據(jù)？

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中，大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進行分析處理的分析方法；

而研究機構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)；

根據(jù)維基百科的定義，大數(shù)據(jù)是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。

我們這里主要采用第三種定義，即所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到獲取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策的目的資訊。

—  02  —大數(shù)據(jù)、數(shù)據(jù)分析和數(shù)據(jù)挖掘的區(qū)別

大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘的區(qū)別是，大數(shù)據(jù)是互聯(lián)網(wǎng)的海量數(shù)據(jù)挖掘，而數(shù)據(jù)挖掘更多是針對內(nèi)部企業(yè)行業(yè)小眾化的數(shù)據(jù)挖掘，數(shù)據(jù)分析就是進行做出針對性的分析和診斷。

大數(shù)據(jù)需要分析的是趨勢和發(fā)展，數(shù)據(jù)挖掘主要發(fā)現(xiàn)的是問題和診斷。

1.大數(shù)據(jù)

指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

2.數(shù)據(jù)分析

是指用適當?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細研究和概括總結(jié)的過程。這一過程也是質(zhì)量管理體系的支持過程。在實用中，數(shù)據(jù)分析可幫助人們作出判斷，以便采取適當行動。

3.數(shù)據(jù)挖掘

又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫知識發(fā)現(xiàn)(英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。數(shù)據(jù)挖掘通常與計算機科學(xué)有關(guān)，并通過統(tǒng)計、在線分析處理、情報檢索、機器學(xué)習、專家系統(tǒng)(依靠過去的經(jīng)驗法則)和模式識別等諸多方法來實現(xiàn)上述目標。

數(shù)據(jù)挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

根據(jù)信息存儲格式，用于挖掘的對象有關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、數(shù)據(jù)倉庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、異質(zhì)數(shù)據(jù)庫以及Internet等。

大數(shù)據(jù)是范圍比較廣的數(shù)據(jù)分析和數(shù)據(jù)挖掘。按照數(shù)據(jù)分析的流程來說，數(shù)據(jù)挖掘工作較數(shù)據(jù)分析工作靠前些，二者又有重合的地方，數(shù)據(jù)挖掘側(cè)重數(shù)據(jù)的清洗和梳理。數(shù)據(jù)分析處于數(shù)據(jù)處理的最末端，是最后階段。數(shù)據(jù)分析和數(shù)據(jù)挖掘的分界、概念比較模糊，模糊的意思是二者很難區(qū)分。大數(shù)據(jù)概念更為廣泛，是把創(chuàng)新的思維、信息技術(shù)、統(tǒng)計學(xué)等等技術(shù)的綜合體，每個人限于學(xué)術(shù)背景、技術(shù)背景，概述的都不一樣。

—  03  —如今大數(shù)據(jù)主要應(yīng)用領(lǐng)域？

1.企業(yè)經(jīng)營管理

企業(yè)內(nèi)部的經(jīng)營交易信息、互聯(lián)網(wǎng)中的商品物流信息、人與人交互信息、位置信息等數(shù)據(jù)是現(xiàn)代企業(yè)的重要資源，是企業(yè)運用科學(xué)管理、決策分析的基礎(chǔ)。對于一般的企業(yè)而言，大數(shù)據(jù)的作用主要表現(xiàn)在兩個方面：

（1）幫助企業(yè)了解用戶

大數(shù)據(jù)可以通過相關(guān)性分析，將客戶和產(chǎn)品、服務(wù)進行關(guān)系串聯(lián)，對用戶的偏好進行定位，從而提供更精準、更有導(dǎo)向性的產(chǎn)品和服務(wù)，提升銷售業(yè)績。比如，大數(shù)據(jù)幫助社交網(wǎng)站提供更準確的好友推薦，為用戶提供更精準的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。  

在電商領(lǐng)域，大數(shù)據(jù)幫助企業(yè)提升營銷的針對性，降低物流和庫存的成本，減少投資的風險，以及幫助企業(yè)提升廣告投放精準度，例如幫助電商公司向用戶推薦商品和服務(wù)，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標，幫助用戶找到最合適的商品購買時期、商家和最優(yōu)惠價格；

（2）幫助企業(yè)了解自己

企業(yè)生產(chǎn)經(jīng)營需要大量的資源，大數(shù)據(jù)可以分析和鎖定資源的具體情況，例如儲量分布和需求趨勢。這些資源的可視化，可以幫助企業(yè)管理者更直觀地了解企業(yè)的運作狀態(tài)，更快地發(fā)現(xiàn)問題，及時調(diào)整運營策略，降低經(jīng)營風險。

2.智慧城市

眾所周知，在疫情期間“健康碼”的快速問世，為處于疫情之下的人們提供了出行的方便。AI測溫設(shè)備的應(yīng)用，避免了公共場所人員的聚集，同時也為工廠復(fù)工提供可靠的保障……以上都是大數(shù)據(jù)在智慧城市中的應(yīng)用。除此以外，大數(shù)據(jù)幫助城市預(yù)防犯罪，實現(xiàn)智慧交通，提升緊急應(yīng)急能力；電力企業(yè)會通過大數(shù)據(jù)實時做數(shù)據(jù)的監(jiān)測和預(yù)測，讓我們更好、更方便做這種電力的調(diào)度。

甚至如今的政務(wù)服務(wù)基于大數(shù)據(jù)運用開發(fā)的城市政務(wù)服務(wù)系統(tǒng)，真正實現(xiàn)了讓市民足不出戶辦理各項政府管理事務(wù)。比如政務(wù)服務(wù)“指尖辦理、秒批服務(wù)”就是利用大數(shù)據(jù)、人工智能等先進技術(shù)，實現(xiàn)網(wǎng)上申請、無人干預(yù)自動審批服務(wù)、審批結(jié)果主動及時送達的政務(wù)服務(wù)新模式。讓政府在需要的時間、需要的地方出現(xiàn)，做實服務(wù)內(nèi)容，進一步優(yōu)化服務(wù)資源，給市民帶來較強的獲得感與幸福感。

3.智慧交通

隨著城市的不斷發(fā)展，以及車流量、人流量的不斷增大，各大城市都在不同程度上出現(xiàn)了交通壓力日益增大的現(xiàn)象，由此帶來了交通擁堵、環(huán)境污染、交通違章等問題，這些問題影響著交通體系的正常運轉(zhuǎn)，同時也考驗著城市交通部門的應(yīng)對以及調(diào)度能力。  

而大數(shù)據(jù)可以整合運政、執(zhí)法、出租、公交、應(yīng)急等數(shù)據(jù)資源，建成交通大數(shù)據(jù)中心，為交通運輸信息化建設(shè)的各項應(yīng)用提供高性能、高擴展性的數(shù)據(jù)支持。在應(yīng)用層面，一方面可以從智能數(shù)據(jù)應(yīng)用入手，實時監(jiān)控分析道路車流量，依據(jù)動態(tài)的交通數(shù)據(jù)，自動切換和調(diào)配交通系統(tǒng)，從而調(diào)節(jié)交通流量。另一方面，交通部門可以通過實時、全面的數(shù)據(jù)可視化系統(tǒng)，呈現(xiàn)交通運行關(guān)鍵數(shù)據(jù)，為關(guān)鍵的決策進行支撐。  

通過交通多維度指標數(shù)據(jù)宏觀綜合監(jiān)測城市、行政區(qū)和重點區(qū)域的交通整體運行情況，同時可以分鐘級監(jiān)測突發(fā)交通擁堵，幫助城市交通決策者量化掌控城市交通運行情況，提高決策效率與能力，進而實現(xiàn)城市智慧交通管理和運行。

4.智慧醫(yī)療

大數(shù)據(jù)在醫(yī)療中更是有著比較廣泛的應(yīng)用。在我國，國家政策已深入醫(yī)療信息化改革，各地正大力推進以電子病歷為核心的醫(yī)院信息化建設(shè)，積極探索并建立以電子健康檔案為核心的區(qū)域醫(yī)療信息平臺。醫(yī)療信息化的廣泛應(yīng)用在科學(xué)研究 、醫(yī)療服務(wù)、健康保健和衛(wèi)生管理過程中形成了健康醫(yī)療大數(shù)據(jù)。  

比如現(xiàn)在的基因工程以及疾病的預(yù)測分析和每個病人的手術(shù)方案等等，可能都會用到大數(shù)據(jù)。 大數(shù)據(jù)幫助醫(yī)療機構(gòu)建立患者的疾病風險跟蹤機制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機構(gòu)為患者提供定制的藥物。  

4.智慧農(nóng)業(yè)

人口增長與消費推動對農(nóng)業(yè)生產(chǎn)增長的需求，而氣候變化和地球可持續(xù)發(fā)展也已成為粗放型農(nóng)業(yè)發(fā)展頭上的緊箍咒。而隨著傳感器、算力和算法的發(fā)展農(nóng)業(yè)是最能從大數(shù)據(jù)中受益的行業(yè)之一，能實現(xiàn)生產(chǎn)效率的飛躍。

例如將農(nóng)場坐標和相關(guān)信息上傳至大數(shù)據(jù)平臺，與實時氣象信息，比如溫度、濕度、風力、雨水等進行整合分析，幫助農(nóng)場判斷每個地塊的播種、收獲、耕作時間。與此同時，還可以利用大數(shù)據(jù)進行土壤成分分析，形成報告，時刻監(jiān)測種植活動導(dǎo)致成分動態(tài)變化的數(shù)據(jù)指標，并依據(jù)數(shù)據(jù)及時補充作物時所需要的肥料、水分，對未來產(chǎn)量進行預(yù)估，精確安排農(nóng)場的生產(chǎn)計劃。

—  04  —大數(shù)據(jù)的應(yīng)用發(fā)展過快也存在問題

1.大數(shù)據(jù)殺熟

2018年開始，“大數(shù)據(jù)殺熟”即受到廣泛關(guān)注和報道。殺熟機制受益于大數(shù)據(jù)技術(shù)的發(fā)展，當大數(shù)據(jù)技術(shù)越發(fā)達，智能化程度越高，當平臺經(jīng)營者擁有市場支配地位、數(shù)據(jù)的收集與運用能力，將會積累起隱性侵害熟客消費者的能力。

大數(shù)據(jù)殺熟對消費者、社會將產(chǎn)生長期危害。對于消費者個人來說，一次交易中或許僅僅是價格的小數(shù)額差異，但當消費者對平臺產(chǎn)生依賴，長期而言交易成本不降反升，侵害了消費者的公平交易權(quán)；對于全社會而言，殺熟行為破壞了誠實信用的基本原則，降低消費者的消費欲望，導(dǎo)致全社會交易成本的上升。

2.數(shù)據(jù)隱私安全

隨著中國網(wǎng)民規(guī)模的急劇增長，大數(shù)據(jù)的匯集不可避免地加大了公民個人信息和隱私數(shù)據(jù)信息泄露的風險，2021年“3·15”晚會曝光的“人臉信息濫用”、“簡歷信息泄露”事件再次敲響了數(shù)據(jù)安全的警鐘。

在大數(shù)據(jù)發(fā)展日益蓬勃的時代，每個人的信息變得愈發(fā)透明化。伴隨著云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、人工智能等新技術(shù)的發(fā)展，網(wǎng)絡(luò)邊界被不斷打破，敏捷創(chuàng)新、安全合規(guī)驅(qū)動快速轉(zhuǎn)型，數(shù)據(jù)泄露事件在各個行業(yè)頻頻發(fā)生，個人、企業(yè)和社會都在面臨數(shù)字化的轉(zhuǎn)型帶來的數(shù)據(jù)安全風險。那么安全體系的建設(shè)尤為重要和關(guān)鍵，而其中數(shù)據(jù)安全和隱私保護則是安全體系的重中之重。

—  05  —小結(jié)

未來隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展借助條形碼、二維碼、RFID等能夠唯一標識產(chǎn)品，傳感器、可穿戴設(shè)備、智能感知、視頻采集、增強現(xiàn)實等技術(shù)可實現(xiàn)實時的信息采集和分析，大數(shù)據(jù)的身影將無處不在。

站在競爭的維度上來說，未來各行業(yè)是數(shù)據(jù)之爭，真正能建構(gòu)牢固“護城河”的核心要素一定落在數(shù)據(jù)上。因此我們需要注意以下三點：

第一，數(shù)據(jù)的準確性、完整性、可追溯性、持續(xù)性、真實性和共享性，這些品質(zhì)決定著應(yīng)用模型的質(zhì)量，也決定最終的落地成果；

第二，那些占據(jù)著特定的應(yīng)用場景，并且更早、更多地獲取數(shù)據(jù)的領(lǐng)域，競爭的優(yōu)勢會更明顯；

第三，數(shù)據(jù)的安全和隱私保護，決定了大數(shù)據(jù)在各行業(yè)的應(yīng)用最終可以走多遠。

關(guān)于億信華辰

億信華辰是中國專業(yè)的智能數(shù)據(jù)產(chǎn)品與服務(wù)提供商，一直致力于為政企用戶提供從數(shù)據(jù)采集、存儲、治理、分析到智能應(yīng)用的智能數(shù)據(jù)全生命周期管理方案，幫助企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動、數(shù)據(jù)智能，已積累了8000多家用戶的服務(wù)和客戶成功經(jīng)驗，為客戶提供數(shù)據(jù)分析平臺、數(shù)據(jù)治理系統(tǒng)搭建等專業(yè)的產(chǎn)品咨詢、實施和技術(shù)支持服務(wù)。