一、什么是大數(shù)據(jù)

1.大數(shù)據(jù)（big data），在IT行業(yè)中稱之為巨量數(shù)據(jù)結(jié)合，它是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

2.大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

3.從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘。但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。隨著云時代的來臨，大數(shù)據(jù)（Big data）也吸引了越來越多的關(guān)注。分析師團隊認(rèn)為，大數(shù)據(jù)（Big data）通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

4.大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來越成為數(shù)據(jù)的主要部分。據(jù)IDC的調(diào)查報告顯示：企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長60%。大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或?qū)λ?

5.保持敬畏之心，在以云計算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本看起來很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。

6.其次，想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要而細(xì)致的分解它，著手從三個層面來展開：

層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。在這里從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。

第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。在這里分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。

第三層面是實踐，實踐是大數(shù)據(jù)的終價值體現(xiàn)。在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實現(xiàn)的藍圖。平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。

現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。阿里巴巴創(chuàng)辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對于阿里巴巴集團來說舉足輕重。

有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)鍵。

何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計劃，搶占市場先機。

大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計算技術(shù)緊密結(jié)合，預(yù)計未來兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。

隨著大數(shù)據(jù)的快速發(fā)展，就像計算機和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實現(xiàn)科學(xué)技術(shù)上的突破等.........

詳情請查看/

二、大數(shù)據(jù)就業(yè)前景

進來，大數(shù)據(jù)這一詞的熱度一直灼燒著我們的耳膜。那么，大數(shù)據(jù)的就業(yè)前景到底怎樣？具體又能從事什么職位？

根據(jù)領(lǐng)英發(fā)布的《2016年中國互聯(lián)網(wǎng)熱職位人才報告》顯示，研發(fā)工程師、產(chǎn)品經(jīng)理、人力資源、市場營銷、運營和數(shù)據(jù)分析是中國護理萬網(wǎng)行業(yè)需求旺盛的職位。

目前，我國所擁有的大數(shù)據(jù)人才約為30萬，到2018年，大數(shù)據(jù)專業(yè)人才的需求量預(yù)計還會有大幅度的增長。而大數(shù)據(jù)相關(guān)的高端人才，缺口也才14萬至19萬之間。大數(shù)據(jù)分析師、工程師的人才缺口更是將達到150萬之多。除了大量的人才需求外，經(jīng)驗的積累也顯得尤為重要。擁有兩年工作經(jīng)驗的數(shù)據(jù)分析師，月薪即可達到8k以上，擁有碩士學(xué)歷的數(shù)據(jù)分析師月薪能達到12k，5年工作經(jīng)驗的數(shù)據(jù)分析師的年薪高達40萬-60萬。

在大數(shù)據(jù)的背景下，越來越多的企業(yè)、機構(gòu)、國家機關(guān)開始重視了大數(shù)據(jù)在其從事領(lǐng)域的應(yīng)用。上到國防、軍事，下到互聯(lián)網(wǎng)、金融，乃至制造業(yè)、零售業(yè)、醫(yī)療、服務(wù)行業(yè)，都需要通過大數(shù)據(jù)項目來驅(qū)動。就業(yè)范圍可謂相當(dāng)廣泛。

大數(shù)據(jù)專業(yè)的人才主要分為：大數(shù)據(jù)系統(tǒng)研發(fā)、大數(shù)據(jù)應(yīng)用開發(fā)、大數(shù)據(jù)分析3大類。

常見的崗位有：

1.大數(shù)據(jù)系統(tǒng)架構(gòu)師

大數(shù)據(jù)平臺搭建、系統(tǒng)設(shè)計、基礎(chǔ)設(shè)施。

技能：計算機體系結(jié)構(gòu)、網(wǎng)絡(luò)架構(gòu)、編程范式、文件系統(tǒng)、分布并行處理等。

2.大數(shù)據(jù)系統(tǒng)分析師

面向?qū)嶋H行業(yè)領(lǐng)域，利用大數(shù)據(jù)技術(shù)進行數(shù)據(jù)生命周期管理、分析和應(yīng)用。

技能：人工智能、機器學(xué)習(xí)、數(shù)理統(tǒng)計、矩陣計算、優(yōu)化方法。

3.hadoop開發(fā)工