一、什么是大數(shù)據(jù)

1.大數(shù)據(jù)（big data），在IT行業(yè)中稱之為巨量數(shù)據(jù)結(jié)合，它是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》 中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價(jià)值密度）、Veracity（真實(shí)性）。

2.大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

3.從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Big data）也吸引了越來(lái)越多的關(guān)注。分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)（Big data）通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

4.大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越成為數(shù)據(jù)的主要部分。據(jù)IDC的調(diào)查報(bào)告顯示：企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長(zhǎng)60%。大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒(méi)有必要神話它或?qū)λ?

5.保持敬畏之心，在以云計(jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本看起來(lái)很難收集和使用的數(shù)據(jù)開(kāi)始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類創(chuàng)造更多的價(jià)值。

6.其次，想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要而細(xì)致的分解它，著手從三個(gè)層面來(lái)展開(kāi)：

層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。在這里從大數(shù)據(jù)的特征定義理解行業(yè)對(duì)大數(shù)據(jù)的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)隱私這個(gè)特別而重要的視角審視人和數(shù)據(jù)之間的長(zhǎng)久博弈。

第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。在這里分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。

第三層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的終價(jià)值體現(xiàn)。在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個(gè)人的大數(shù)據(jù)四個(gè)方面來(lái)描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

現(xiàn)在的社會(huì)是一個(gè)高速發(fā)展的社會(huì)，科技發(fā)達(dá)，信息流通，人們之間的交流越來(lái)越密切，生活也越來(lái)越方便，大數(shù)據(jù)就是這個(gè)高科技時(shí)代的產(chǎn)物。阿里巴巴創(chuàng)辦人馬云來(lái)臺(tái)演講中就提到，未來(lái)的時(shí)代將不是IT時(shí)代，而是DT的時(shí)代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對(duì)于阿里巴巴集團(tuán)來(lái)說(shuō)舉足輕重。

有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。對(duì)于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競(jìng)爭(zhēng)的關(guān)鍵。

何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會(huì)關(guān)注的重要戰(zhàn)略資源，并已成為大家爭(zhēng)相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營(yíng)銷戰(zhàn)略計(jì)劃，搶占市場(chǎng)先機(jī)。

大數(shù)據(jù)離不開(kāi)云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺(tái)之一。自2013年開(kāi)始，大數(shù)據(jù)技術(shù)已開(kāi)始和云計(jì)算技術(shù)緊密結(jié)合，預(yù)計(jì)未來(lái)兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等新興計(jì)算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營(yíng)銷發(fā)揮出更大的影響力。

隨著大數(shù)據(jù)的快速發(fā)展，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會(huì)改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實(shí)現(xiàn)科學(xué)技術(shù)上的突破等.........

詳情請(qǐng)查看/

二、大數(shù)據(jù)就業(yè)前景

進(jìn)來(lái)，大數(shù)據(jù)這一詞的熱度一直灼燒著我們的耳膜。那么，大數(shù)據(jù)的就業(yè)前景到底怎樣？具體又能從事什么職位？

根據(jù)領(lǐng)英發(fā)布的《2016年中國(guó)互聯(lián)網(wǎng)熱職位人才報(bào)告》顯示，研發(fā)工程師、產(chǎn)品經(jīng)理、人力資源、市場(chǎng)營(yíng)銷、運(yùn)營(yíng)和數(shù)據(jù)分析是中國(guó)護(hù)理萬(wàn)網(wǎng)行業(yè)需求旺盛的職位。

目前，我國(guó)所擁有的大數(shù)據(jù)人才約為30萬(wàn)，到2018年，大數(shù)據(jù)專業(yè)人才的需求量預(yù)計(jì)還會(huì)有大幅度的增長(zhǎng)。而大數(shù)據(jù)相關(guān)的高端人才，缺口也才14萬(wàn)至19萬(wàn)之間。大數(shù)據(jù)分析師、工程師的人才缺口更是將達(dá)到150萬(wàn)之多。除了大量的人才需求外，經(jīng)驗(yàn)的積累也顯得尤為重要。擁有兩年工作經(jīng)驗(yàn)的數(shù)據(jù)分析師，月薪即可達(dá)到8k以上，擁有碩士學(xué)歷的數(shù)據(jù)分析師月薪能達(dá)到12k，5年工作經(jīng)驗(yàn)的數(shù)據(jù)分析師的年薪高達(dá)40萬(wàn)-60萬(wàn)。

在大數(shù)據(jù)的背景下，越來(lái)越多的企業(yè)、機(jī)構(gòu)、國(guó)家機(jī)關(guān)開(kāi)始重視了大數(shù)據(jù)在其從事領(lǐng)域的應(yīng)用。上到國(guó)防、軍事，下到互聯(lián)網(wǎng)、金融，乃至制造業(yè)、零售業(yè)、醫(yī)療、服務(wù)行業(yè)，都需要通過(guò)大數(shù)據(jù)項(xiàng)目來(lái)驅(qū)動(dòng)。就業(yè)范圍可謂相當(dāng)廣泛。

大數(shù)據(jù)專業(yè)的人才主要分為：大數(shù)據(jù)系統(tǒng)研發(fā)、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、大數(shù)據(jù)分析3大類。

常見(jiàn)的崗位有：

1.大數(shù)據(jù)系統(tǒng)架構(gòu)師

大數(shù)據(jù)平臺(tái)搭建、系統(tǒng)設(shè)計(jì)、基礎(chǔ)設(shè)施。

技能：計(jì)算機(jī)體系結(jié)構(gòu)、網(wǎng)絡(luò)架構(gòu)、編程范式、文件系統(tǒng)、分布并行處理等。

2.大數(shù)據(jù)系統(tǒng)分析師

面向?qū)嶋H行業(yè)領(lǐng)域，利用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)生命周期管理、分析和應(yīng)用。

技能：人工智能、機(jī)器學(xué)習(xí)、數(shù)理統(tǒng)計(jì)、矩陣計(jì)算、優(yōu)化方法。

3.hadoop開(kāi)發(fā)工