1. 大數(shù)據(jù)人才需求企業(yè)畫像

如果沒有對數(shù)據(jù)進行整合、清理、分類，那么海量數(shù)據(jù)是沒有價值的，客戶畫像就是通過數(shù)據(jù)技術(shù)將海量的客戶數(shù)據(jù)整合成對企業(yè)有價值的標(biāo)簽集。企業(yè)搜集來自線上線下各觸點、各渠道的客戶數(shù)據(jù)，通過設(shè)定規(guī)則和權(quán)重制定客戶畫像的維度。最終才能實現(xiàn)完整的畫像，以上這些方法論可以從創(chuàng)略科技的客戶數(shù)據(jù)平臺中的案例中體現(xiàn)，你可以去搜索下，看看實際案例。

2. 如何用大數(shù)據(jù)構(gòu)建精準(zhǔn)用戶畫像

采集畫面數(shù)據(jù)進行電腦記憶

3. 大數(shù)據(jù)人才需求報告

大數(shù)據(jù)對人才的要求能力很多，本文就大數(shù)據(jù)分析師的通用能力做一下回答：

1、取數(shù)能力

由于數(shù)據(jù)以多維度的方式存儲在數(shù)據(jù)庫的各個表里面，所以要求分析師具備較強的取數(shù)能力按照合理的統(tǒng)計口徑的從數(shù)據(jù)庫中取出數(shù)據(jù)并做合理的呈現(xiàn)（有的是直接拉去數(shù)據(jù)即可，有的需要通過報表呈現(xiàn)）

技能：SQL、Tabeleau、Python

2、寫報告能力

根據(jù)公司的運營活動、產(chǎn)品模塊變化，統(tǒng)計關(guān)鍵指標(biāo)的變化，分析運營活動（產(chǎn)品模塊更新等）效果的好壞，投入產(chǎn)出比是否合理等

技能：Excel、PPT、ThinkCell、Python

3、業(yè)務(wù)洞察能力

通過對消費者的洞察、競爭對手的市場動作，提出公司運營活動的意見、產(chǎn)品改進的方向。

技能：業(yè)務(wù)邏輯、商業(yè)洞察、競爭力分析等

4、算法能力

根據(jù)歷史數(shù)據(jù)、用戶的消費習(xí)慣，用算法預(yù)測未來的用戶行為變化

技能：Python、R、SAS

4. 大數(shù)據(jù)分析人才需求

現(xiàn)在大數(shù)據(jù)的話，就業(yè)崗位和就業(yè)薪資還是不錯的，而且現(xiàn)在的市場對大數(shù)據(jù)也很友好，現(xiàn)在大數(shù)據(jù)專業(yè)的就業(yè)前景很不錯，一方面企業(yè)對大數(shù)據(jù)人才需求大，另一方面國家也在大力度的支持大數(shù)據(jù)的發(fā)展，有很多工作了幾年，想在職提升或者是轉(zhuǎn)行的，有很多都選擇了尚學(xué)堂的線上課程，百戰(zhàn)程序員學(xué)習(xí)，因為在自己的話，辭職去學(xué)，也很冒險，很多基本都是參加的線上學(xué)習(xí)，而且現(xiàn)在市場線上教育已經(jīng)成趨勢，現(xiàn)在的工作各方面待遇很可觀，這里的管理制度還是相對較為嚴苛的，老師會關(guān)注各個學(xué)員的學(xué)習(xí)狀態(tài)，還有專業(yè)的職業(yè)素養(yǎng)課和就業(yè)指導(dǎo)課，教學(xué)及就業(yè)質(zhì)量比較靠譜。也有免費的資料可以學(xué)習(xí)，也可以先看看免費的資料再做決定。

大數(shù)據(jù)崗位匱乏，正處風(fēng)口，我國大數(shù)據(jù)人才需求達到180萬，目前只有不到30萬人，人才缺口還將進一步擴大。在IT技術(shù)中，有不少技術(shù)因為人才的飽和，就業(yè)競爭力已經(jīng)相對較大。而大數(shù)據(jù)的人才需求正處于供不應(yīng)求的狀態(tài)，人才的緊缺決定了大數(shù)據(jù)職位薪資水平，平均8K起步。而從工作經(jīng)驗來看，69.1%的企業(yè)對求職者的要求是經(jīng)驗不限，這對于正在需求工作，特別是應(yīng)屆大學(xué)生而言，無疑是千載難逢的機遇，當(dāng)下是學(xué)習(xí)大數(shù)據(jù)黃金時間點。

目前國內(nèi)大數(shù)據(jù)工程師工作領(lǐng)域大致可分為四類：①數(shù)據(jù)開發(fā)工程師：負責(zé)數(shù)據(jù)接入、數(shù)據(jù)清洗、底層重構(gòu)，業(yè)務(wù)主題建模等工;大數(shù)據(jù)整體的計算平臺開發(fā)與應(yīng)用;?②數(shù)據(jù)分析師：在擁有行業(yè)數(shù)據(jù)的電商、金融、電信、咨詢等行業(yè)里做業(yè)務(wù)咨詢，商務(wù)智能，出分析報告。③數(shù)據(jù)挖掘工程師：在多媒體、電商、搜索、社交等大數(shù)據(jù)相關(guān)行業(yè)里做機器學(xué)習(xí)算法實現(xiàn)和分析。④科學(xué)研究方向：在高校、科研單位、企業(yè)研究院等高大上科研機構(gòu)研究新算法效率改進及未來應(yīng)用。

5. 基于大數(shù)據(jù)企業(yè)畫像

大數(shù)據(jù)在企業(yè)中的運用場景非常多，這里稍作總結(jié)：

個性化營銷：

當(dāng)下的大數(shù)據(jù)信息采集遵循以消費者和銷售商為中心，利用電子媒介等方式建立資料庫，然后通過科學(xué)分析確定可能購買的消費者，制訂出一套可操性強的銷售推廣方案這一規(guī)律，通過收集消費者的資料和交易記錄，甚至是社交關(guān)系，針對不同消費者的不同特征，指定精確的營銷策略，提高市場轉(zhuǎn)化率，從而提升企業(yè)的利潤空間。

數(shù)據(jù)驅(qū)動的精準(zhǔn)營銷：

以數(shù)據(jù)為基礎(chǔ)，建立用戶畫像，利用標(biāo)簽，讓系統(tǒng)進行智能分組，獲得不同類型的目標(biāo)用戶群，針對每一個群體策劃并推送針對性的營銷。精準(zhǔn)化營銷具有極強的針對性，是企業(yè)和用戶之間點對點的交互，而且一直以來都是快速獲取用戶和提高轉(zhuǎn)化的利器。它不但可以讓營銷變得更加高效，也能為企業(yè)節(jié)約成本。

客戶流失預(yù)警：

大數(shù)據(jù)技術(shù)解決了數(shù)據(jù)管理問題，通過解決存儲、分析、檢索大量多樣化的結(jié)構(gòu)化非結(jié)構(gòu)化的數(shù)據(jù)，并且隨著數(shù)據(jù)的增加可以彈性的擴展，這就讓企業(yè)可以接觸到用戶的實時行為，能更好的提供流失預(yù)警。此外，精湛的數(shù)據(jù)匹配能力能鏈接客戶在各個渠道上的交互數(shù)據(jù)，建立起一個全面的360度畫像，全面了解客戶，將它轉(zhuǎn)化為可執(zhí)行的數(shù)據(jù)決策。

企業(yè)商業(yè)決策：

如前所述，企業(yè)的商業(yè)決策已經(jīng)變得與數(shù)據(jù)密不可分。以蘇寧為例，其數(shù)據(jù)部門需要為業(yè)務(wù)部門提供多重服務(wù)。首先是報表服務(wù)，為運營部門提供實時的、豐富的、準(zhǔn)確的數(shù)據(jù)支持，其次是引擎服務(wù)，應(yīng)用大數(shù)據(jù)的技術(shù)去驅(qū)動前臺的業(yè)務(wù)，它已經(jīng)直接嵌入到企業(yè)的生產(chǎn)經(jīng)營活動中，直接影響到企業(yè)的整個業(yè)務(wù)。

對客戶價值的識別和挖掘：

嵌入商業(yè)智能的CRM可以或者或者對客戶資料進行篩選分析，根據(jù)客戶消費行為和身份信息，識別目標(biāo)客戶;從客戶的興趣愛好分析其感興趣的產(chǎn)品;從歷史營業(yè)信息挖掘埋伏商機等等···多維度分析潛客戶，判斷其能否為企業(yè)帶來可估的價值，是客戶開拓的關(guān)鍵一步。利用CRM對客戶數(shù)據(jù)結(jié)束多層次分析，可以或者或者幫助企業(yè)更深入地理解客戶的其實意圖，最大化地開拓客戶價值。

庫存管理和物流配送：

對于電商或O2O公司來說，庫存管理和物流配送是業(yè)重要的競爭力。通過數(shù)據(jù)的分析和挖掘，可以精準(zhǔn)測算出不同品類商品的庫存水平，同時獲取最佳用戶體驗與物流整體配送效益的平衡。

6. 基于大數(shù)據(jù)技術(shù)的用戶畫像設(shè)計

大數(shù)據(jù)的數(shù)據(jù)來源主要有三個渠道，分別是物聯(lián)網(wǎng)系統(tǒng)、傳統(tǒng)信息處理系統(tǒng)以及互聯(lián)網(wǎng)應(yīng)用（Web和App），所以要想獲得大數(shù)據(jù)就要從這三個渠道來獲取。

物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的數(shù)據(jù)占據(jù)著大數(shù)據(jù)中的重要比例，物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)多以非結(jié)構(gòu)化數(shù)據(jù)為主，包括視頻、音頻、傳感數(shù)據(jù)等等。物聯(lián)網(wǎng)的應(yīng)用領(lǐng)域眾多，比如工業(yè)物聯(lián)網(wǎng)、農(nóng)業(yè)物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、智慧城市等都會產(chǎn)生大量的數(shù)據(jù)，通常情況下這些數(shù)據(jù)的采集都是有嚴格要求的，是不能開放給個人的。如果個人要想獲得這部分數(shù)據(jù)，一個比較可行的方案是跟數(shù)據(jù)采集者進行合作，比如做數(shù)據(jù)分析等業(yè)務(wù)。

傳統(tǒng)信息系統(tǒng)涵蓋的領(lǐng)域非常廣泛，有政務(wù)系統(tǒng)、企業(yè)ERP、教育信息系統(tǒng)、醫(yī)療信息系統(tǒng)等等，傳統(tǒng)信息系統(tǒng)涵蓋的數(shù)據(jù)多以結(jié)構(gòu)化數(shù)據(jù)為主，而且往往有較高的精確度和關(guān)聯(lián)關(guān)系，這部分數(shù)據(jù)的價值密度也是相對比較高的。

但是傳統(tǒng)信息系統(tǒng)涵蓋的數(shù)據(jù)往往涉及到個人隱私、商業(yè)機密等內(nèi)容，所以這部分內(nèi)容通常是受到嚴密保護的。隨著大數(shù)據(jù)技術(shù)的發(fā)展，業(yè)界對于政務(wù)系統(tǒng)的數(shù)據(jù)開放的呼聲越來越高，經(jīng)過脫敏的數(shù)據(jù)往往并不會對個人隱私構(gòu)成侵犯，所以未來某些政務(wù)系統(tǒng)的大數(shù)據(jù)會陸續(xù)開放出來。

互聯(lián)網(wǎng)應(yīng)用也是產(chǎn)生大數(shù)據(jù)的重要基礎(chǔ)之一，包括各種Web應(yīng)用以及大量的App產(chǎn)品，這部分數(shù)據(jù)多以半結(jié)構(gòu)化為主，數(shù)據(jù)內(nèi)容也存在真假難辨的情況，但是由于這部分數(shù)據(jù)的價值密度相對還是比較高的，所以現(xiàn)在不少互聯(lián)網(wǎng)公司就是基于這些數(shù)據(jù)對用戶進行“畫像”，從而進行多維度的分類。

7. 大數(shù)據(jù)用戶畫像技術(shù)架構(gòu)

數(shù)據(jù)時代，移動互聯(lián)、社交網(wǎng)絡(luò)、數(shù)據(jù)分析、云服務(wù)等應(yīng)用的迅速普及，對數(shù)據(jù)中心提出革命性的需求，存儲基礎(chǔ)架構(gòu)已經(jīng)成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業(yè)連鎖、醫(yī)療、金融、新媒體、廣電等各個領(lǐng)域新興應(yīng)用層出不窮。數(shù)據(jù)的價值日益凸顯，數(shù)據(jù)已經(jīng)成為不可或缺的資產(chǎn)。作為數(shù)據(jù)載體和驅(qū)動力量，存儲系統(tǒng)成為大數(shù)據(jù)基礎(chǔ)架構(gòu)中最為關(guān)鍵的核心。

　　傳統(tǒng)的數(shù)據(jù)中心無論是在性能、效率，還是在投資收益、安全，已經(jīng)遠遠不能滿足新興應(yīng)用的需求，數(shù)據(jù)中心業(yè)務(wù)急需新型大數(shù)據(jù)處理中心來支撐。除了傳統(tǒng)的高可靠、高冗余、綠色節(jié)能之外，新型的大數(shù)據(jù)中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特征，才能滿足具備大數(shù)據(jù)特征的應(yīng)用需求。這些史無前例的需求，讓存儲系統(tǒng)的架構(gòu)和功能都發(fā)生了前所未有的變化。

基于大數(shù)據(jù)應(yīng)用需求，“應(yīng)用定義存儲”概念被提出。存儲系統(tǒng)作為數(shù)據(jù)中心最核心的數(shù)據(jù)基礎(chǔ)，不再僅是傳統(tǒng)分散的、單一的底層設(shè)備。除了要具備高性能、高安全、高可靠等特征之外，還要有虛擬化、并行分布、自動分層、彈性擴展、異構(gòu)資源整合、全局緩存加速等多方面的特點，才能滿足具備大數(shù)據(jù)特征的業(yè)務(wù)應(yīng)用需求。

　　尤其在云安防概念被熱炒的時代，隨著高清技術(shù)的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高分辨率的攝像機面市，大數(shù)據(jù)對存儲設(shè)備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性，系統(tǒng)可擴展性、性能及成本各方面因素。

　　目前市場上的存儲架構(gòu)如下：

(1)基于嵌入式架構(gòu)的存儲系統(tǒng)

　　節(jié)點NVR架構(gòu)主要面向小型高清監(jiān)控系統(tǒng)，高清前端數(shù)量一般在幾十路以內(nèi)。系統(tǒng)建設(shè)中沒有大型的存儲監(jiān)控中心機房，存儲容量相對較小，用戶體驗度、系統(tǒng)功能集成度要求較高。在市場應(yīng)用層面，超市、店鋪、小型企業(yè)、政法行業(yè)中基本管理單元等應(yīng)用較為廣泛。

(2)基于X86架構(gòu)的存儲系統(tǒng)

　　平臺SAN架構(gòu)主要面向中大型高清監(jiān)控系統(tǒng)，前端路數(shù)成百上千甚至上萬。一般多采用IPSAN或FCSAN搭建高清視頻存儲系統(tǒng)。作為監(jiān)控平臺的重要組成部分，前端監(jiān)控數(shù)據(jù)通過錄像存儲管理模塊存儲到SAN中。

　　此種架構(gòu)接入高清前端路數(shù)相對節(jié)點NVR有了較高提升，具備快捷便利的可擴展性，技術(shù)成熟。對于IPSAN而言，雖然在ISCSI環(huán)節(jié)數(shù)據(jù)并發(fā)讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬件平臺通用、海量數(shù)據(jù)可充分共享等優(yōu)點，仍然得到很多客戶的青睞。FCSAN在行業(yè)用戶、封閉存儲系統(tǒng)中應(yīng)用較多，比如縣級或地級市高清監(jiān)控項目，大數(shù)據(jù)量的并發(fā)讀寫對千兆網(wǎng)絡(luò)交換提出了較大的挑戰(zhàn)，但應(yīng)用FCSAN構(gòu)建相對獨立的存儲子系統(tǒng)，可以有效解決上述問題。

　　面對視頻監(jiān)控系統(tǒng)大文件、隨機讀寫的特點，平臺SAN架構(gòu)系統(tǒng)不同存儲單元之間的數(shù)據(jù)共享冗余方面還有待提高;從高性能服務(wù)器轉(zhuǎn)發(fā)視頻數(shù)據(jù)到存儲空間的策略，從系統(tǒng)架構(gòu)而言也增加了隱患故障點、ISCSI帶寬瓶頸導(dǎo)致無法充分利用硬件數(shù)據(jù)并發(fā)性能、接入前端數(shù)據(jù)較少。上述問題催生了平臺NVR架構(gòu)解決方案。

　　該方案在系統(tǒng)架構(gòu)上省去了存儲服務(wù)器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統(tǒng)的寫入和檢索速度;同時也徹底消除了傳統(tǒng)文件系統(tǒng)由于供電和網(wǎng)絡(luò)的不穩(wěn)定帶來的文件系統(tǒng)損壞等問題。

　　平臺NVR中存儲的數(shù)據(jù)可同時供多個客戶端隨時查詢，點播，當(dāng)用戶需要查看多個已保存的視頻監(jiān)控數(shù)據(jù)時，可通過授權(quán)的視頻監(jiān)控客戶端直接查詢并點播相應(yīng)位置的視頻監(jiān)控數(shù)據(jù)進行歷史圖像的查看。由于數(shù)據(jù)管理服務(wù)器具有監(jiān)控系統(tǒng)所有監(jiān)控點的錄像文件的索引，因此通過平臺CMS授權(quán)，視頻監(jiān)控客戶端可以查詢并點播整個監(jiān)控系統(tǒng)上所有監(jiān)控點的數(shù)據(jù)，這個過程對用戶而言也是透明的。

(3)基于云技術(shù)的存儲方案

　　當(dāng)前，安防行業(yè)可謂“云”山“物”罩。隨著視頻監(jiān)控的高清化和網(wǎng)絡(luò)化，存儲和管理的視頻數(shù)據(jù)量已有海量之勢，云存儲技術(shù)是突破IP高清監(jiān)控存儲瓶頸的重要手段。云存儲作為一種服務(wù)，在未來安防監(jiān)控行業(yè)有著可觀的應(yīng)用前景。

　　與傳統(tǒng)存儲設(shè)備不同，云存儲不僅是一個硬件，而是一個由網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、軟件、接入網(wǎng)絡(luò)、用戶訪問接口以及客戶端程序等多個部分構(gòu)成的復(fù)雜系統(tǒng)。該系統(tǒng)以存儲設(shè)備為核心，通過應(yīng)用層軟件對外提供數(shù)據(jù)存儲和業(yè)務(wù)服務(wù)。

　　一般分為存儲層、基礎(chǔ)管理層、應(yīng)用接口層以及訪問層。存儲層是云存儲系統(tǒng)的基礎(chǔ)，由存儲設(shè)備(滿足FC協(xié)議、iSCSI協(xié)議、NAS協(xié)議等)構(gòu)成?；A(chǔ)管理層是云存儲系統(tǒng)的核心，其擔(dān)負著存儲設(shè)備間協(xié)同工作，數(shù)據(jù)加密，分發(fā)以及容災(zāi)備份等工作。應(yīng)用接口層是系統(tǒng)中根據(jù)用戶需求來開發(fā)的部分，根據(jù)不同的業(yè)務(wù)類型，可以開發(fā)出不同的應(yīng)用服務(wù)接口。訪問層指授權(quán)用戶通過應(yīng)用接口來登錄、享受云服務(wù)。其主要優(yōu)勢在于：硬件冗余、節(jié)能環(huán)保、系統(tǒng)升級不會影響存儲服務(wù)、海量并行擴容、強大的負載均衡功能、統(tǒng)一管理、統(tǒng)一向外提供服務(wù)，管理效率高，云存儲系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu)、高速緩存等方面入手，針對監(jiān)控應(yīng)用進行了優(yōu)化設(shè)計。數(shù)據(jù)傳輸可采用流方式，底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu)，大幅提高了系統(tǒng)性能。

　　高清監(jiān)控存儲是一種大碼流多并發(fā)寫為主的存儲應(yīng)用，對性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲解決方案采用獨特的大緩存順序化算法，把多路隨機并發(fā)訪問變?yōu)轫樞蛟L問，解決了硬盤磁頭因頻繁尋道而導(dǎo)致的性能迅速下降和硬盤壽命縮短的問題。

針對系統(tǒng)中會產(chǎn)生PB級海量監(jiān)控數(shù)據(jù)，存儲設(shè)備的數(shù)量達數(shù)十臺上百臺，因此管理方式的科學(xué)高效顯得十分重要。云存儲可提供基于集群管理技術(shù)的多設(shè)備集中管理工具，具有設(shè)備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運行狀態(tài)的監(jiān)控、主動報警，圖像化系統(tǒng)檢測等功能。在海量視頻存儲檢索應(yīng)用中，檢索性能尤為重要。傳統(tǒng)文件系統(tǒng)中，文件檢索采用的是“目錄-》子目錄-》文件-》定位”的檢索步驟，在海量數(shù)據(jù)的高清視頻監(jiān)控，目錄和文件數(shù)量十分可觀，這種檢索模式的效率就會大打折扣。采用序號文件定位可以有效解決該問題。

　　云存儲可以提供非常高的的系統(tǒng)冗余和安全性。當(dāng)在線存儲系統(tǒng)出現(xiàn)故障后，熱備機可以立即接替服務(wù)，當(dāng)故障恢復(fù)時，服務(wù)和數(shù)據(jù)回遷;若故障機數(shù)據(jù)需要調(diào)用，可以將故障機的磁盤插入到冷備機中，實現(xiàn)所有數(shù)據(jù)的立即可用。

　　對于高清監(jiān)控系統(tǒng)，隨著監(jiān)控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆疊擴展模式。

　　云存儲系統(tǒng)除上述優(yōu)點之外，在平臺對接整合、業(yè)務(wù)流程梳理、視頻數(shù)據(jù)智能分析深度挖掘及成本方面都將面臨挑戰(zhàn)。承建大型系統(tǒng)、構(gòu)建云存儲的商業(yè)模式也亟待創(chuàng)新。受限于寬帶網(wǎng)絡(luò)、web2.0技術(shù)、應(yīng)用存儲技術(shù)、文件系統(tǒng)、P2P、數(shù)據(jù)壓縮、CDN技術(shù)、虛擬化技術(shù)等的發(fā)展，未來云存儲還有很長的路要走。