練功就要從扎馬步開始！就算得到九陰真經(jīng)基礎(chǔ)練不好，那也是竹籃打水一場空，所以我們從基礎(chǔ)聊起……

大綱：

介紹什么是云計(jì)算

介紹hadoop的由來

介紹hadoop的生態(tài)體系

1.什么是云計(jì)算
比較官方的描述：
云計(jì)算（英語：Cloud Computing），是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。典型的云計(jì)算提供商往往提供通用的網(wǎng)絡(luò)業(yè)務(wù)應(yīng)用，可以通過瀏覽器等軟件或者其他Web服務(wù)來訪問，而軟件和數(shù)據(jù)都存儲在服務(wù)器上。云計(jì)算服務(wù)通常提供通用的通過瀏覽器訪問的在線商業(yè)應(yīng)用，軟件和數(shù)據(jù)可存儲在數(shù)據(jù)中心。 狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源；廣義云計(jì)算指服務(wù)的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。它意味著計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。
摘自互動百科"http://www.baike.com/wiki/云計(jì)算"
我的理解：
假設(shè)有一個1T的文件需要處理，找一臺極度牛逼電腦肯定是干不了的。但是找一千臺電腦，每個電腦分1G，這樣不就輕松解決了嘛，這就是云計(jì)算。
云計(jì)算就是通過N太服務(wù)器集群，處理海量數(shù)據(jù)。
大家應(yīng)該都知道阿里云"http://www.aliyun.com/"。這就是提供云計(jì)算服務(wù)的典型代表。在阿里云系統(tǒng)中，阿里公司的機(jī)房含有N多臺服務(wù)器，我們在網(wǎng)站上可以購買他們的服務(wù)器。
在阿里云背后其實(shí)就是大規(guī)模的集群，并且可以管理，設(shè)置各種參數(shù)（CPU，內(nèi)存，帶寬）

2.hadoop的由來
hadoop來源于Google公司的三大論文：Bigtable、GFS（Google File System）、MapReduce。我們確實(shí)要感謝Google公司對計(jì)算機(jī)領(lǐng)域做出的貢獻(xiàn)。Google公司不公布源碼，但是他把思想傳遞給我們。
在hadoop的體系中的三大法寶：

hadoop	Google
Hbase	Bigtable
HDFS(Hadoop File System)	GFS(Google File System)
MapReduce	MapReduce

在附件中我提供了Google三大論文的中文版。有興趣的盆友可以看看

3.hadoop的生態(tài)系統(tǒng)

?說明：
HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) － HDFS (Hadoop Distributed File System)
MapReduce：并行計(jì)算框架，0.20前使用 org.apache.hadoop.mapred 舊接口，0.20版本開始引入org.apache.hadoop.mapreduce的新API
HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫。（HBase和Avro已經(jīng)于2010年5月成為頂級 Apache 項(xiàng)目）
Hive：數(shù)據(jù)倉庫工具，由Facebook貢獻(xiàn)。
Zookeeper：分布式鎖設(shè)施，提供類似Google Chubby的功能，一個分布式的、高可用性的協(xié)調(diào)服務(wù)。提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等，用于分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，由Facebook貢獻(xiàn)。
Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。
Pig:大數(shù)據(jù)分析平臺，為用戶提供多種接口。
Sqoop：于在HADOOP與傳統(tǒng)的數(shù)據(jù)庫間進(jìn)行數(shù)據(jù)的傳遞。

生態(tài)體系現(xiàn)在只做一個了解，知道hadoop是什么就行。后面博客會慢慢講解。

• 大小: 45.7 KB

• Google_云計(jì)算三大論文中文版.pdf (2.4 MB)
• 下載次數(shù): 70

• 查看圖片附件

總結(jié)

以上是生活随笔為你收集整理的001_扎马步_初识hadoop的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。