《大數(shù)據(jù)技術(shù)套課件幻燈片完整版ppt教學(xué)教程最全電子講義(最新).pptx》由會員分享，可在線閱讀，更多相關(guān)《大數(shù)據(jù)技術(shù)套課件幻燈片完整版ppt教學(xué)教程最全電子講義(最新).pptx（473頁珍藏版）》請在匯文網(wǎng)上搜索。

1、第第1章章大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)技術(shù)概述本章主要內(nèi)容本章主要內(nèi)容隨隨著著互互聯(lián)聯(lián)網(wǎng)網(wǎng)技技術(shù)術(shù)的的蓬蓬勃勃發(fā)發(fā)展展，大大數(shù)數(shù)據(jù)據(jù)（bigdata）已已經(jīng)經(jīng)滲滲透透到到每每個個人人的的日日常常生生活活之之中中。傳傳統(tǒng)統(tǒng)的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘和和處處理理技技術(shù)術(shù)已已經(jīng)經(jīng)無無法法滿滿足足大大數(shù)數(shù)據(jù)據(jù)的的處處理理要要求求。大大數(shù)數(shù)據(jù)據(jù)技技術(shù)術(shù)的的核核心心在在于挖掘出數(shù)據(jù)中蘊(yùn)藏的價值。于挖掘出數(shù)據(jù)中蘊(yùn)藏的價值。本本章章主主要要介介紹紹大大數(shù)數(shù)據(jù)據(jù)的的發(fā)發(fā)展展歷歷史史、基基本本特特征征，大大數(shù)數(shù)據(jù)據(jù)處處理理框框架架，以以及及大大數(shù)數(shù)據(jù)據(jù)技技術(shù)術(shù)的的主要應(yīng)用領(lǐng)域主要應(yīng)用領(lǐng)域2 2第第1章章大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)技術(shù)

2、概述1.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史1.2大數(shù)據(jù)的基本特征大數(shù)據(jù)的基本特征1.3大數(shù)據(jù)處理框架大數(shù)據(jù)處理框架1.4大數(shù)據(jù)技術(shù)的主要應(yīng)用領(lǐng)域大數(shù)據(jù)技術(shù)的主要應(yīng)用領(lǐng)域3 31.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史4 4信息化浪潮信息化浪潮發(fā)生時間發(fā)生時間標(biāo)志標(biāo)志解決問題解決問題代表企業(yè)代表企業(yè)第一次浪潮1980年前后個人計算機(jī)信息處理Intel、AMD、IBM、蘋果、微軟、聯(lián)想、戴爾、惠普等第二次浪潮1995年前后互聯(lián)網(wǎng)信息傳輸雅虎、谷歌、阿里巴巴、百度、騰訊等第三次浪潮2010年前后物聯(lián)網(wǎng)、云計算和大數(shù)據(jù)信息爆炸將涌現(xiàn)出一批新的市場標(biāo)桿企業(yè)第四次？1.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史數(shù)據(jù)產(chǎn)

3、生方式的變革數(shù)據(jù)產(chǎn)生方式的變革5 51.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史HadoopHadoop項目誕生于項目誕生于項目誕生于項目誕生于20052005年，其最初只是年，其最初只是年，其最初只是年，其最初只是YahooYahoo公司用來解決網(wǎng)頁搜索問題的一個項目，后來因公司用來解決網(wǎng)頁搜索問題的一個項目，后來因公司用來解決網(wǎng)頁搜索問題的一個項目，后來因公司用來解決網(wǎng)頁搜索問題的一個項目，后來因其技術(shù)的高效性，被阿帕奇軟件基金會（其技術(shù)的高效性，被阿帕奇軟件基金會（其技術(shù)的高效性，被阿帕奇軟件基金會（其技術(shù)的高效性，被阿帕奇軟件基金會（ApacheApacheSoftwareFoundatio

4、nSoftwareFoundation）引入并成為開源應(yīng)用。）引入并成為開源應(yīng)用。）引入并成為開源應(yīng)用。）引入并成為開源應(yīng)用。HadoopHadoop本身不是一個產(chǎn)品，而是由多個軟件產(chǎn)本身不是一個產(chǎn)品，而是由多個軟件產(chǎn)本身不是一個產(chǎn)品，而是由多個軟件產(chǎn)本身不是一個產(chǎn)品，而是由多個軟件產(chǎn)品組成的一個生態(tài)系統(tǒng)。品組成的一個生態(tài)系統(tǒng)。品組成的一個生態(tài)系統(tǒng)。品組成的一個生態(tài)系統(tǒng)。從技術(shù)上看，從技術(shù)上看，從技術(shù)上看，從技術(shù)上看，HadoopHadoop關(guān)鍵服務(wù)主要包括：采用關(guān)鍵服務(wù)主要包括：采用關(guān)鍵服務(wù)主要包括：采用關(guān)鍵服務(wù)主要包括：采用HadoopHadoop分布式文件系統(tǒng)（分布式文件系統(tǒng)（分布式文件

5、系統(tǒng)（分布式文件系統(tǒng)（HDFSHDFS）的可靠數(shù)據(jù)存）的可靠數(shù)據(jù)存）的可靠數(shù)據(jù)存）的可靠數(shù)據(jù)存儲服務(wù)；儲服務(wù)；儲服務(wù)；儲服務(wù)；MapReduceMapReduce技術(shù)的高性能并行數(shù)據(jù)處理技術(shù)的高性能并行數(shù)據(jù)處理技術(shù)的高性能并行數(shù)據(jù)處理技術(shù)的高性能并行數(shù)據(jù)處理服務(wù)。這兩項服務(wù)為實現(xiàn)結(jié)構(gòu)化和復(fù)雜數(shù)據(jù)的快服務(wù)。這兩項服務(wù)為實現(xiàn)結(jié)構(gòu)化和復(fù)雜數(shù)據(jù)的快服務(wù)。這兩項服務(wù)為實現(xiàn)結(jié)構(gòu)化和復(fù)雜數(shù)據(jù)的快服務(wù)。這兩項服務(wù)為實現(xiàn)結(jié)構(gòu)化和復(fù)雜數(shù)據(jù)的快速、可靠分析奠定了基礎(chǔ)。速、可靠分析奠定了基礎(chǔ)。速、可靠分析奠定了基礎(chǔ)。速、可靠分析奠定了基礎(chǔ)。6 61.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史2008年，美國年，美國“計算社區(qū)

6、聯(lián)盟計算社區(qū)聯(lián)盟”（ComputingCommunityConsortium）發(fā)表了一份具有影響力的白）發(fā)表了一份具有影響力的白皮書皮書大數(shù)據(jù)計算：在商務(wù)、科學(xué)和大數(shù)據(jù)計算：在商務(wù)、科學(xué)和社會領(lǐng)域創(chuàng)造革命性突破社會領(lǐng)域創(chuàng)造革命性突破2009年，美國政府通過啟動年，美國政府通過啟動Data.gov網(wǎng)站網(wǎng)站的方式進(jìn)一步開放數(shù)據(jù)大門，并向公眾提的方式進(jìn)一步開放數(shù)據(jù)大門，并向公眾提供各種各樣的政府?dāng)?shù)據(jù)供各種各樣的政府?dāng)?shù)據(jù)7 71.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史2010年年2月，肯尼斯月，肯尼斯庫克爾在經(jīng)濟(jì)學(xué)人庫克爾在經(jīng)濟(jì)學(xué)人上發(fā)表長達(dá)上發(fā)表長達(dá)14頁的大數(shù)據(jù)專題報告頁的大數(shù)據(jù)專題報告數(shù)據(jù)，無所不在

7、的數(shù)據(jù)數(shù)據(jù)，無所不在的數(shù)據(jù)2011年年2月，月，IBM的沃森超級計算機(jī)每秒掃的沃森超級計算機(jī)每秒掃描并分析描并分析4TB（約（約2億頁的文字量）的數(shù)據(jù)，億頁的文字量）的數(shù)據(jù)，并在美國著名智力競賽電視節(jié)目危險邊并在美國著名智力競賽電視節(jié)目危險邊緣（緣（Jeopardy）上擊敗兩名人類選手而）上擊敗兩名人類選手而奪冠奪冠8 81.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史2011年年5月，全球知名咨詢公司麥肯錫全球月，全球知名咨詢公司麥肯錫全球研究院（研究院（McKinseyGlobalInstitute，MGI）發(fā)布一份報告）發(fā)布一份報告大數(shù)據(jù)：創(chuàng)新、大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域競爭和生產(chǎn)力

8、的下一個新領(lǐng)域2011年年12月，工業(yè)和信息化部發(fā)布的物月，工業(yè)和信息化部發(fā)布的物聯(lián)網(wǎng)聯(lián)網(wǎng)“十二五十二五”發(fā)展規(guī)劃中，信息處理發(fā)展規(guī)劃中，信息處理技術(shù)作為四項關(guān)鍵技術(shù)的創(chuàng)新工程之一被技術(shù)作為四項關(guān)鍵技術(shù)的創(chuàng)新工程之一被提出來，其中包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖提出來，其中包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析，這些都是大數(shù)據(jù)掘、圖像視頻智能分析，這些都是大數(shù)據(jù)的重要組成部分的重要組成部分9 91.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史2012年年3月，美國政府在白宮網(wǎng)站發(fā)布大月，美國政府在白宮網(wǎng)站發(fā)布大數(shù)據(jù)研究和發(fā)展倡議，這一倡議標(biāo)志著數(shù)據(jù)研究和發(fā)展倡議，這一倡議標(biāo)志著大數(shù)據(jù)已經(jīng)成為重要的時代特征

9、；美國政大數(shù)據(jù)已經(jīng)成為重要的時代特征；美國政府宣布投資府宣布投資2億美元以推動大數(shù)據(jù)技術(shù)發(fā)展，億美元以推動大數(shù)據(jù)技術(shù)發(fā)展，是大數(shù)據(jù)技術(shù)從商業(yè)行為上升到國家科技是大數(shù)據(jù)技術(shù)從商業(yè)行為上升到國家科技戰(zhàn)略的分水嶺戰(zhàn)略的分水嶺2012年年7月，聯(lián)合國在紐約發(fā)布一份關(guān)于大月，聯(lián)合國在紐約發(fā)布一份關(guān)于大數(shù)據(jù)政務(wù)的白皮書，總結(jié)各國政府如何利數(shù)據(jù)政務(wù)的白皮書，總結(jié)各國政府如何利用大數(shù)據(jù)更好地服務(wù)和保護(hù)人民用大數(shù)據(jù)更好地服務(wù)和保護(hù)人民10101.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史2012年年7月，為挖掘大數(shù)據(jù)的價值，阿里巴月，為挖掘大數(shù)據(jù)的價值，阿里巴巴集團(tuán)全面推進(jìn)巴集團(tuán)全面推進(jìn)“數(shù)據(jù)分享平臺數(shù)據(jù)分享平臺”戰(zhàn)略

10、，戰(zhàn)略，并推出大型的數(shù)據(jù)分享平臺并推出大型的數(shù)據(jù)分享平臺“聚石塔聚石塔”，為天貓、淘寶平臺上的電商及電商服，為天貓、淘寶平臺上的電商及電商服務(wù)商等提供數(shù)據(jù)云服務(wù)務(wù)商等提供數(shù)據(jù)云服務(wù)2014年年4月，世界經(jīng)濟(jì)論壇以月，世界經(jīng)濟(jì)論壇以“大數(shù)據(jù)的回大數(shù)據(jù)的回報與風(fēng)險報與風(fēng)險”為主題發(fā)布了全球信息技術(shù)為主題發(fā)布了全球信息技術(shù)報告（第報告（第13版）版）11111.1大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史2014年年5月，美國發(fā)布大數(shù)據(jù)：把握機(jī)遇，月，美國發(fā)布大數(shù)據(jù)：把握機(jī)遇，守護(hù)價值白皮書，再次重申要把握大數(shù)守護(hù)價值白皮書，再次重申要把握大數(shù)據(jù)可為經(jīng)濟(jì)社會發(fā)展帶來創(chuàng)新動力的重大據(jù)可為經(jīng)濟(jì)社會發(fā)展帶來創(chuàng)新動力

11、的重大機(jī)遇機(jī)遇2018年年10月，中國國際大數(shù)據(jù)大會聚焦大月，中國國際大數(shù)據(jù)大會聚焦大數(shù)據(jù)產(chǎn)業(yè)高質(zhì)量發(fā)展，圍繞數(shù)據(jù)產(chǎn)業(yè)高質(zhì)量發(fā)展，圍繞“大數(shù)據(jù)與實大數(shù)據(jù)與實體經(jīng)濟(jì)深度融合體經(jīng)濟(jì)深度融合”，從生態(tài)完善、技術(shù)突，從生態(tài)完善、技術(shù)突破、融合應(yīng)用、環(huán)境優(yōu)化等維度進(jìn)行了討破、融合應(yīng)用、環(huán)境優(yōu)化等維度進(jìn)行了討論，并且把大數(shù)據(jù)安全作為一個重要的研論，并且把大數(shù)據(jù)安全作為一個重要的研究領(lǐng)域究領(lǐng)域12121.2大數(shù)據(jù)的基本特征大數(shù)據(jù)的基本特征海量的數(shù)據(jù)規(guī)模（海量的數(shù)據(jù)規(guī)模（volume）快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系（velocity）多樣的數(shù)據(jù)類型（多樣的數(shù)據(jù)類型（variety

12、）低價值密度（低價值密度（value）真實性（真實性（veracity）13131.2大數(shù)據(jù)的基本特征大數(shù)據(jù)的基本特征海量的數(shù)據(jù)規(guī)模（海量的數(shù)據(jù)規(guī)模（volume）l l根據(jù)根據(jù)IDCIDC作出的估測，數(shù)據(jù)一直都在以每年作出的估測，數(shù)據(jù)一直都在以每年50%50%的速度增長，也就是說每兩年就增長一倍的速度增長，也就是說每兩年就增長一倍（大數(shù)據(jù)摩爾定律）：即人類在最近兩年產(chǎn)生（大數(shù)據(jù)摩爾定律）：即人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量14141Byte=23Bit1KB=210Bytes1MB=220Bytes1GB=230Bytes1TB=240B

13、ytes1PB=250Bytes1EB=260Bytes1ZB=270Bytes（2020年）1YB=280Bytes=1.2x10241.2大數(shù)據(jù)的基本特征大數(shù)據(jù)的基本特征快速的數(shù)據(jù)流轉(zhuǎn)快速的數(shù)據(jù)流轉(zhuǎn)15151.2大數(shù)據(jù)的基本特征大數(shù)據(jù)的基本特征多樣的數(shù)據(jù)類型（多樣的數(shù)據(jù)類型（variety）10%10%的結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中 90%90%的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相關(guān)關(guān)關(guān)關(guān)16161.2

14、大數(shù)據(jù)的基本特征大數(shù)據(jù)的基本特征低價值密度（低價值密度（value）17171.2大數(shù)據(jù)的基本特征大數(shù)據(jù)的基本特征真實性（真實性（veracity）l l微博、微信、支付寶、淘寶微博、微信、支付寶、淘寶微博、微信、支付寶、淘寶微博、微信、支付寶、淘寶l l企業(yè)物聯(lián)網(wǎng)企業(yè)物聯(lián)網(wǎng)企業(yè)物聯(lián)網(wǎng)企業(yè)物聯(lián)網(wǎng)18181.2大數(shù)據(jù)的基本特征大數(shù)據(jù)的基本特征討論討論大數(shù)據(jù)大數(shù)據(jù)=海量數(shù)據(jù)？海量數(shù)據(jù)？19191.3大數(shù)據(jù)處理框架大數(shù)據(jù)處理框架按照計算的類型，大數(shù)據(jù)處理框架可以劃按照計算的類型，大數(shù)據(jù)處理框架可以劃分為：分為：l l離線計算：數(shù)據(jù)相對固定，量大離線計算：數(shù)據(jù)相對固定，量大離線計算：數(shù)據(jù)相對固定，量大

15、離線計算：數(shù)據(jù)相對固定，量大l l批量計算：數(shù)據(jù)間斷更新，中大規(guī)模批量計算：數(shù)據(jù)間斷更新，中大規(guī)模批量計算：數(shù)據(jù)間斷更新，中大規(guī)模批量計算：數(shù)據(jù)間斷更新，中大規(guī)模l l實時計算：強(qiáng)調(diào)響應(yīng)時間，量小實時計算：強(qiáng)調(diào)響應(yīng)時間，量小實時計算：強(qiáng)調(diào)響應(yīng)時間，量小實時計算：強(qiáng)調(diào)響應(yīng)時間，量小l l流式計算：流式計算：流式計算：流式計算：數(shù)據(jù)連續(xù)動態(tài)更新或增加，量小數(shù)據(jù)連續(xù)動態(tài)更新或增加，量小數(shù)據(jù)連續(xù)動態(tài)更新或增加，量小數(shù)據(jù)連續(xù)動態(tài)更新或增加，量小批處理框架（如批處理框架（如Hadoop）、流處理框架）、流處理框架（如（如Storm）和混合框架（如）和混合框架（如Spark，F(xiàn)link）20201.3大數(shù)據(jù)

16、處理框架大數(shù)據(jù)處理框架HadoopHDFS和和MapReducel l主要支持離線和批量計算主要支持離線和批量計算主要支持離線和批量計算主要支持離線和批量計算l l數(shù)據(jù)存儲在分布式集群文件系統(tǒng)數(shù)據(jù)存儲在分布式集群文件系統(tǒng)數(shù)據(jù)存儲在分布式集群文件系統(tǒng)數(shù)據(jù)存儲在分布式集群文件系統(tǒng)HDFSHDFSl l計算使用計算使用計算使用計算使用MapReduceMapReduce組件組件組件組件優(yōu)點：優(yōu)點：l l易于編程、擴(kuò)展性強(qiáng)、高容錯性、易于編程、擴(kuò)展性強(qiáng)、高容錯性、易于編程、擴(kuò)展性強(qiáng)、高容錯性、易于編程、擴(kuò)展性強(qiáng)、高容錯性、PBPB級級級級缺點缺點l l不支持實時（毫秒響應(yīng)）不支持實時（毫秒響應(yīng)）不支持實時（毫秒響應(yīng)）不支持實時（毫秒響應(yīng)）l l不擅長流式不擅長流式不擅長流式不擅長流式l l不擅長不擅長不擅長不擅長DAGDAG計算（多次讀寫）計算（多次讀寫）計算（多次讀寫）計算（多次讀寫）21211.3大數(shù)據(jù)處理框架大數(shù)據(jù)處理框架流處理框架流處理框架（如（如Storm）l l低延遲（毫秒）、分布式、高性能、可擴(kuò)展、低延遲（毫秒）、分布式、高性能、可擴(kuò)展、低延遲（毫秒）、分布式、高性能、可擴(kuò)展、低