1.1 大數據時代
1.1.1 第三次信息化浪潮
1.1.2 信息科技為大數據時代提供技術支撐
1）存儲設備容量不斷增加
2）CPU處理能力大幅提升
3）網絡帶寬不斷增加
1.1.3 數據產生方式的變革促成大數據時代的來臨
運營式系統階段——>用戶原創內容階段——>感知式系統階段
1.1.4 大數據的發展歷程
萌芽期 上世紀90年代至本世紀初 商業智能工具和知識管理技術開始被應用
成熟期 本世紀前十年 Web2.0應用迅猛發展，非結構化數據大量產生，形成并行計算和分布式系統兩大核心技術
大規模應用期 2010年后 大數據應用滲透各行各業，數據驅動決策，信息社會智能化程度大幅提高
1.2 大數據概念
大數據不僅僅是數據的大量化，而是包含快速化、多樣化和價值化等多重屬性。
1.2.1 數據量大
1.2.2 數據類型繁多
大數據由結構化和非結構化數據組成的，10％的結構化數據，存儲在數據庫中，90％的非結構化數據，他們與人類的信息密切相關
1.2.3 處理速度快
1.2.4 價值密度低
但商業價值高
1.3 大數據的影響
全樣而非抽樣
效率而非精確
相關而非因果（例網上購物推薦相關產品）
1.4 大數據的應用
金融、汽車、零售、餐飲、電信、能源、政務、醫療、體育、娛樂等在內的社會各行各業都已經融入了大數據的印跡。
實例：美劇《紙牌屋》、“谷歌流感趨勢”，通過跟蹤搜索關鍵詞相關數據來判斷全美地區的流感情況
1.5 大數據關鍵技術

技術層面功能

數據采集	利用ETL工具將分布的、異構數據源中的數據如關系數據、平面數 據文件等，抽取到臨時中間層后進行清洗、轉換、集成，最后加載 到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎； 或者也可以把實時采集的數據作為流計算系統的輸入，進行實時處 理分析
數據存儲和管理	利用分布式文件系統、數據倉庫、關系數據庫、NoSQL數據庫、云 數據庫等，實現對結構化、半結構化和非結構化海量數據的存儲和 管理
數據處理與分析	利用分布式并行編程模型和計算框架，結合機器學習和數據挖掘算 法，實現對海量數據的處理和分析；對分析結果進行可視化呈現， 幫助人們更好地理解數據、分析數據
數據隱私和安全	在從大數據中挖掘潛在的巨大商業價值和學術價值的同時，構建隱 私數據保護體系和數據安全體系，有效保護個人隱私和數據安全

兩大核心技術分布式存儲 分布式處理

1.6 大數據計算模式

大數據計算模式解決問題

批處理計算	針對大規模數據的批量 處理
流計算	針對數據流的實時計算
圖計算	針對大規模圖結構數據的處理
查詢分析計算	大規模數據的存儲管理和查詢分析

1.7 大數據產業
大數據產業是指一切與支撐大數據組織管理和價值發現的相關企業經濟活動的集合

產業鏈環節包含內容

IT基礎設施層	包括提供硬件、軟件、網絡等基礎設施以及提供咨詢、規劃和系統集成服務的企業，比如 ，提供數據中心解決方案的IBM、惠普和戴爾等，提供存儲解決方案的EMC，提供虛擬化 管理軟件的微軟、思杰、SUN、Redhat等
數據源層	大數據生態圈里的數據提供者，是生物大數據（生物信息學領域的各類研究機構）、交通 大數據（交通主管部門）、醫療大數據（各大醫院、體檢機構）、政務大數據（政府部門 ）、電商大數據（淘寶、天貓、蘇寧云商、京東等電商）、社交網絡大數據（微博、微信 、人人網等）、搜索引擎大數據（百度、谷歌等）等各種數據的來源
數據管理層	包括數據抽取、轉換、存儲和管理等服務的各類企業或產品，比如分布式文件系統（如 Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、數據庫和 數據倉庫（Oracle、MySQL、SQL Server、HBase、GreenPlum等）
數據分析層	包括提供分布式計算、數據挖掘、統計分析等服務的各類企業或產品，比如，分布式計算 框架MapReduce、統計分析軟件SPSS和SAS、數據挖掘工具Weka、數據可視化工具Tableau 、BI工具（MicroStrategy、Cognos、BO）等等
數據平臺層	包括提供數據分享平臺、數據分析平臺、數據租售平臺等服務的企業或產品，比如阿里巴 巴、谷歌、中國電信、百度等
數據應用層	提供智能交通、智慧醫療、智能物流、智能電網等行業應用的企業、機構或政府部門，比 如交通主管部門、各大醫療機構、菜鳥網絡、國家電網等

1.8 大數據與云計算、物聯網的關系
1.8.1 云計算
1、云計算概念：云計算實現了通過網絡提供可伸縮的、廉價的分布式計算能力，用戶只需要在具 備網絡接入條件的地方，就可以隨時隨地獲得所需的各種IT資源
2、應用層：軟件即服務（SaaS）
平臺層：平臺即服務（PaaS）
基礎設施層：基礎設施即服務（IaaS）
SaaS:從一個集中的系統部署軟件，使之在一 臺本地計算機上(或從云中遠程地)運行 的一個模型。由于是計量服務，SaaS 允許出租一個應用程序，并計時收費
PaaS：類似于 IaaS，但是它包括操作系統和 圍繞特定應用的必需的服務
IaaS：將基礎設施(計算資源和存儲)作為服務 出租
3、云計算關鍵技術
包括：虛擬化、分布式存儲、分布式計算、多租戶等
4、云計算數據中心
云計算數據中心是一整套復雜的設施，包括刀片服務器、寬帶網絡連接、環境控 制設備、監控設備以及各種安全裝置等；數據中心是云計算的重要載體，為云計算提供計算、存儲、帶寬等各種硬件資源 ，為各種平臺和應用提供運行支撐環境；全國各地推進數據中心建設
1.8.2 物聯網
物聯網是物物相連的互聯網，是互聯網的延伸，它利用局部網絡或互聯網等通信 技術把傳感器、控制器、機器、人員和物等通過新的方式聯在一起，形成人與物 、物與物相聯，實現信息化和遠程管理控制
1、物聯網體系架構
2、物聯網關鍵技術
物聯網中的關鍵技術包括識別和感知技術（二維碼、RFID、傳感器等）、網絡與 通信技術、數據挖掘與融合技術等
3、物聯網產業
完整的物聯網產業鏈主要包括核心感應器件提供商、感知層末端設備提供商、網 絡提供商、軟件與行業解決方案提供商、系統集成商、運營及服務提供商等六大環節
1.8.3 大數據與云計算、物聯網的關系
云計算、大數據和物聯網代表了IT領域最新的技術發展趨勢，三者既有區別又有聯系
云計算為大數據提供了技術基礎
大數據為云計算提供用武之地
物聯網是大數據的重要來源
大數據技術為物聯網數據分析提供支撐
云計算為物聯網提供海量數據存儲能力
物聯網為云計算技術提供了廣闊的應用空間

小結
本章介紹了大數據技術的發展歷程，并指出信息科技的不斷進步為大數據時代提供 了技術支撐，數據產生方式的變革促成了大數據時代的來臨
? 大數據具有數據量大、數據類型繁多、處理速度快、價值密度低等特點，統稱 “4V”。大數據對科學研究、思維方式、社會發展、就業市場和人才培養等方面， 都產生了重要的影響，深刻理解大數據的這些影響，有助于我們更好把握學習和應 用大數據的方向
? 大數據在金融、汽車、零售、餐飲、電信、能源、政務、醫療、體育、娛樂等在內 的社會各行各業都得到了日益廣泛的應用，深刻地改變著我們的社會生產和日常生活
? 大數據并非單一的數據或技術，而是數據和大數據技術的綜合體。大數據技術主要 包括數據采集、數據存儲和管理、數據處理與分析、數據安全和隱私保護等幾個層 面的內容
? 大數據產業包括IT基礎設施層、數據源層、數據管理層、數據分析層、數據平臺層 和數據應用層，在不同層面，都已經形成了一批引領市場的技術和企業
? 本章最后介紹了云計算和物聯網的概念和關鍵技術，并闡述了大數據、云計算和物 聯網三者之間的區別與聯系

總結

以上是生活随笔為你收集整理的《大数据技术原理与应用》—— 提纲的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。