http://s3tools.org/s3cmd

Amazon Elastic MapReduce (Amazon EMR)簡介

? ? Amazon Elastic MapReduce (Amazon EMR) 是一種 Web 服務，提升企業(yè)、研究人員、數(shù)據(jù)分析師和開發(fā)人員輕松、經濟高效掌控海量數(shù)據(jù)的能力。它基于?Amazon EC2)技術和Amazon S3) 技術的 Web 規(guī)模基礎設施，是一種 Hadoop 托管服務運行架構。

? ? ?Amazon Elastic MapReduce自動加快MapReduce框架在Amazon EC2實例上的 Hadoop 部署速度，將任務流程中的數(shù)據(jù)細分為更小的數(shù)據(jù)塊，以進行并行處理（“分區(qū)映射”功能），最終還將經過處理的數(shù)據(jù)重新組合為最終解決方案（“規(guī)約分區(qū)”功能）。Amazon S3 可作為數(shù)據(jù)分析源，以及最終結果的輸出目的地。
? ? Amazon Elastic MapReduce能即時靈活配置自身所需容量大小，執(zhí)行數(shù)據(jù)密集型應用計算，完成 Web 索引、數(shù)據(jù)挖掘、日志文件分析、數(shù)據(jù)倉庫、機器學習、財務分析、科學模擬和生物信息研究任務。Amazon Elastic MapReduce技術讓您專注于數(shù)據(jù)分析，無需擔心費時的 Hadoop 集群設置、管理或調整，也無需擔心所依靠的計算能力。

Amazon Elastic MapReduce特點

? ? 訪問安全 – Amazon EMR可自動配置 Amazon EC2 防火墻，控制運行任務流程的實例的網絡訪問安全，并控制實例之間的訪問安全。任務流程也可在 Amazon Virtual Private Cloud (Amazon VPC) 中啟動，您通過指定希望的 IP 范圍來隔離計算實例，并使用行業(yè)標準加密 IPsec VPN 策略連接您現(xiàn)有的 IT 基礎設施，確保網絡安全無憂無慮。
? ? 第三方工具 – Amazon Elastic MapReduce完美支持眾多第三方工具和解決方案，方便用戶開發(fā)。例如，Karmasphere Analyst 可視化桌面工作區(qū)，可用于分析 Amazon Elastic MapReduce上的數(shù)據(jù)。它使用圖形化工具，可執(zhí)行基于 SQL 的結構化數(shù)據(jù)和非結構化數(shù)據(jù)查詢，并呈現(xiàn)可視化結果。Karmasphere Analyst 按小時計費，無前期費用投投入，亦免除簽訂長期使用合約之勞。
? ? 應變靈活–根據(jù)需要您能夠使用 Amazon Elastic MapReduce 運行任意數(shù)量的 Hadoop 計算實例。您可用一個、數(shù)百個甚至數(shù)千個實例來處理數(shù) GB、數(shù) TB 甚至數(shù) PB 的數(shù)據(jù)。您不但可在任務流程運行之際實時修改實例數(shù)量，而且還可根據(jù)需要同時運行任意多的任務流程。您在幾分鐘內即可立即開始加速處理大型 Hadoop 任務流程，無需等待數(shù)小時或數(shù)天。任務流程完成后，除非您另行指定，否則服務將自動終止實例，為您免除后顧之憂。
? ? 經濟實惠 – Amazon Elastic MapReduce 讓您尊享 Amazon 規(guī)模經濟效益。您只需為您實際消耗的計算容量支付極低的費用。Amazon Elastic MapReduce 經過優(yōu)化，可監(jiān)控您的任務流程的進度，停用完成流程的資源，盡力為您節(jié)省每一筆開支。
? ? 使用便捷 – 您尊享便捷服務，Amazon Elastic MapReduce 為您處理 Hadoop 集群設置、運行、和性能優(yōu)化；您只需專注數(shù)據(jù)分析，心無旁鶩。在我們提供的工具和示例數(shù)據(jù)處理應用程序幫助下，您無需編寫任何代碼，即刻上手。在您啟動任務流程之后，Amazon Elastic MapReduce 會處理 Amazon EC2 實例配置、安全設置、Hadoop 配置和設置、日志收集、運行狀況監(jiān)控以及其他硬件相關復雜問題，例如在運行的任務流程中自動刪除錯誤實例。
? ? 服務全球 – Amazon Elastic MapReduce 服務使用遍布全球的 EC2 基礎設施，現(xiàn)在以下地區(qū)可用：美國東部（弗吉尼亞北部）、美國西部（俄勒岡）、美國西部（加利福尼亞北部）、歐洲（愛爾蘭）、亞太地區(qū)（新加坡）、亞太地區(qū)（東京）、亞太地區(qū)（悉尼）、南美洲（圣保羅）和 AWS GovCloud（美國）地區(qū)。
? ? 與其他AWS服務集成天衣無縫 – Amazon Elastic MapReduce 與其他 AWS 服務（例如 Amazon S3、DynamoDB 和 EC2）集成天衣無縫，為數(shù)據(jù)處理應用程序提供了堅固基礎設施。該服務在 Amazon EC2 中運行任務流程，并在 Amazon S3 和/或 Amazon DynamoDB 存儲輸入和輸出數(shù)據(jù)，讓您尊享 Amazon 服務之大成。
? ? 服務可靠 – Amazon Elastic MapReduce 基于 Amazon 高度可靠的基礎設施構建而成，而且專門針對 Amazon 的基礎設施環(huán)境優(yōu)化了 Hadoop 性能。該服務能監(jiān)控任務流程執(zhí)行情況 – 重試失敗任務、關閉出現(xiàn)問題的實例、配置新節(jié)點替換故障節(jié)點，確保任務流程執(zhí)行流暢。 轉自:http://www.caecp.cn/News/News-1248.html Hadoop云服務之戰(zhàn)：微軟vs.亞馬遜 導讀：毫無疑問，Apache Hadoop軟件庫擁有當今最多的大數(shù)據(jù)分析思想。Gartner在2012年三月的報告中指出Hadoop作為一個流行的搜索詞，在網站上的搜索量增長很快。本文介紹了微軟和亞馬遜之間關于Hadoop的競爭。...

毫無疑問，Apache Hadoop軟件庫擁有當今最多的大數(shù)據(jù)分析思想。Gartner在2012年三月的報告中指出Hadoop作為一個流行的搜索詞，在網站上的搜索量已經比2011年增加了601.8%。Hadoop逐漸普及的背后主要的驅動力在于大數(shù)據(jù)和社交計算的炒作，廣泛的企業(yè)級開源軟件應用，擁有Hadoop熟練技能的開發(fā)人員資源池以及Hadoop可以用預期達成的性能以低廉的商業(yè)服務器集群成本交付高可用性。后面的這個性能讓企業(yè)能夠將Hadoop工作負載部署到IaaS和PaaS提供商的云上，代替數(shù)據(jù)中心資本投資中的幾次付費費用。

Apache軟件基金會將Hadoop描述為：

Apache Hadoop項目是用以開發(fā)可靠、可擴展且分布式的計算的開源軟件。

Apache Hadoop軟件庫是一種通過使用簡單的編程模型，跨計算機集群的大型數(shù)據(jù)集分布式處理框架。旨在從單一服務器擴展到成千上萬的機器，每一個產品本地計算并存儲。而不是依賴于硬件來交付高可用性，該軟件庫本身旨在檢測和處理應用層的失敗，從而交付計算機集群頂層的高可用性服務，每一個都可能發(fā)生故障。

商業(yè)開源分布式軟件，像紅帽Enterprise Linux，屬于企業(yè)級不可或缺的。Cloudera領先的商業(yè)Hadoop分布式用免費增值模式，提供了免費的Cloudera Distribution for Hadoop (CDH)，但是需要對支持和Cloudera Manager應用許可證。因為其商業(yè)模式和市場支配，Cloudera成為很多“紅帽Hadoop”的使用者的考慮對象。Yahoo!經典的Hadoop開發(fā)者，已經改變了野蠻，但是Cloudera卻在出售其“Hadoop圣經。”因此Yahoo!于2011年六月甩掉了其Hadoop工程師團隊，進入Hortonworks，Benchmark資本投資的一個新的實體，來獲取Hadoop的收益，從而與Cloudera競爭。Cloudera2012年三月宣布同IBM合作，將其CDH、Cloudera Manager同本地的IBM BigInsights平臺整合，并放入IBM的公有SmartCloud服務中。

亞馬遜的彈性MapReduce

亞馬遜Web服務（AWS）于2009年4月2日引入了彈性MapReduce服務（EMR），讓AWS成為基于云的Hadoop服務的祖父。EMR使用按需的EC2實例集群處理存儲于S3或者DynamoDB中的數(shù)據(jù)。專業(yè)的按需EMR實例陳本范圍從小型的每小時0.105美元到每小時0.864美元的大型Hi-CPU實例，包括EMR額外的費用。S3和Dynamo DB存儲為標準的按月付費，每GB數(shù)據(jù)傳輸?shù)絹嗰R遜數(shù)據(jù)中或者從亞馬遜數(shù)據(jù)中心輸出都適用。你可以按每小時付費或者你實際運行的實例付費。

AWS在EMR開始手冊中提供了代碼示例和教程，介紹在Linux、UNIX以及Windows語法中，通過EMR Command Line Interface (CLI)創(chuàng)建Streaming Job Flow。或者你可以適用Hive和亞馬遜EMR工作流創(chuàng)建和執(zhí)行一個簡單的Contextual Advertising，如圖一所示，EMR Management Console，鏈接中的博客描述了細節(jié)。

?

圖一圖解自動化彈性MapReduce和Hive工作流。你可以從CLI或者AWS管理控制臺運行交互的Hive會話。

這篇文章對比了用AWS Management Console(圖二)創(chuàng)建Hive工作流，而不是CLI，因為微軟的Apache Hadoop on Windows Azure (AHoWA)服務包括了交互式Hive控制臺，性能類似。Apache基金會將Hive描述為：

Hive是一個Hadoop的數(shù)據(jù)倉庫系統(tǒng)，促進簡化數(shù)據(jù)摘要、臨時查詢和存儲在Hadoop兼容文件系統(tǒng)中的大型數(shù)據(jù)集的分析。Hive提供了數(shù)據(jù)之上項目結構以及使用類SQL語言HiveQL查詢數(shù)據(jù)的一種機制。同時，HiveQL中不方便或者表達不清這個邏輯時，該語言可以讓傳統(tǒng)的map/reduce程序員插入其自定義的mappers和reducers。

?

圖二，AWS Management Console下Elastic MapReduce選項創(chuàng)建Job Flow頁面。點擊Create New Job Flow按鈕，可以選擇Contextual Advertising示例HiveQL聲明，轉換ad-server impression數(shù)據(jù)到Hive表中。此外，MapReduce操作生成匯總廣告效率的順序文件。

2012年5月31日，AWS升級EMR到最新的Hive版本（0.8.1）中。Hive能夠翻譯HiveQL聲明到MapReduce操作中并在執(zhí)行這個操作，相反本地文件中湖綜合公有云數(shù)據(jù)存儲（比如亞馬遜 S3或者Windows Azure blobs）的Hive表中的數(shù)據(jù)也是。例如，下面示例的HiveQL聲明創(chuàng)建了一個名為impressions的Hive表，在SerializeDeserialize (serde)格式中有七個字段，從S3中JavaScript Object Notation (JSON)格式存儲的ad-server impression日志文件……/表/ impressions folder：

CREATE EXTERNAL TABLE impressions (
requestBeginTime string
adId string,
impressionId string,
referrer string,
userAgent string,
userCookie string,
ip string )
PARTITIONED BY (dt string)
ROW FORMAT
serde 'com.amazon.elasticmapreduce.JsonSerde'
with serdeproperties ( 'paths'='requestBeginTime, adId,
impressionId, referrer,
userAgent, userCookie, ip' )
LOCATION '${SAMPLE}/tables/impressions' ;

Contextual Advertising工作流運行之前的聲明，存儲在S3腳本文件中，從而為后來的分析創(chuàng)建Hive表。第二個CREATE EXTERNAL TABLE聲明生成一個點擊表，從ad click日志數(shù)據(jù)和另一個impressions和clicks聯(lián)合的表。如果你使用推薦的大型實例，每個實例每小時0.42美元，需要一個關鍵或者兩個核心實例，成本是1.26美元。使用默認的小型實例，成本降到0.315美元。小型實例整個執(zhí)行時間大約是20分鐘。整個執(zhí)行完成后，管理控制臺停止運行所有實例。

進一步的操作會生成一個功能主頁表，可以用于計算一個廣告的點擊估價。以S3腳本的形式存儲這些估價HiveQL聲明，選擇一個而你不是第二步中的工作流處理示例腳本，在管理控制臺的S3選擇項中查看作為結果生成的S3文件。

微軟的Apache Hadoop on Windows Azure服務預覽

2011年12月14日SQL Server大數(shù)據(jù)團隊發(fā)布了Apache Hadoop on Windows Azure服務商業(yè)技術預覽（CTP）版本的邀請碼，該團隊期望在2012年初公諸于眾。微軟同Hortonworks合作，創(chuàng)建服務，提供核心的Hadoop/MapReduce功能、JavaScript庫，可以用JavaScript編寫MapReduce程序，用標準的Web瀏覽器運行工作，以及一個交互的JavaScript/Hive 控制臺來編寫和執(zhí)行HiveQL聲明。分析師使用Excel和其他的微軟商業(yè)智能（BI）工具可以下載一個Hive ODBC驅動和Excel插件，允許他們用BI工具，比如PowerPivot和PowerView，發(fā)布HiveQL查詢到分析結構或者非結構的Hadoop數(shù)據(jù)。預期AHoWA 用戶必須通過邀請碼郵件填寫一個簡要的調查。通過邀請碼登錄到AHoWA 網站，打開Request a New Cluster 頁面（圖三所示）。在預覽期間沒有AHoWA 資源消耗費用。然而，集群48小時候回收；你可以在24小時內重新創(chuàng)建一個，其生命周期持續(xù)6小時。

圖三，AhoWA網站的Metro-ized Create a New Cluster頁面。制定一個唯一的DNS命名，選擇一個集群大小并提供管理認證，啟用Request Cluster按鈕。分配一個大型集群的一個集群頭和四個工作結點只需要幾分鐘。

創(chuàng)建了集群后你可以運行九個示例Apache MapReduce中的一個，Pig、Sqoop和Mahout項目。或者你可以設置Windows Azure Marketplace Datamarket產品，Windows Azure對象容器或者亞馬遜S3文件所謂數(shù)據(jù)源，放入Hive表中，具體的介紹詳見鏈接的博客（圖四）。

?

圖四，從亞馬遜S3表格上傳。Manage Cluster頁面的啟動S3按鈕打開這個表格，需要你的AWS Access Key和Secret Key進行驗證。你為S3數(shù)據(jù)源文件選定具體的URL進入到HiveQL聲明中。

下面的HiveQL聲明鍵入在文本框中的數(shù)據(jù)顯示區(qū)域，創(chuàng)建了一個本地功能主頁Hive表，以Hadoop SEQUENCEFILE的格式有四列，用于后來的查詢：

CREATE EXTERNAL TABLE feature_index (
feature STRING,
ad_id STRING,
clicked_percent DOUBLE )
COMMENT 'Amazon EMR Hive Output'
STORED AS SEQUENCEFILE
LOCATION 's3n://oakleaf-emr/hive-ads/output/2012-05-29/feature_index';

點擊Evaluate按鈕執(zhí)行這個聲明，大約四秒的時間內清空文本框并創(chuàng)建一個鏈接到數(shù)據(jù)源（見圖五）。從S3數(shù)據(jù)源中選擇查詢下載數(shù)據(jù)。

?

圖五，去人HiveQL查詢的執(zhí)行。查看工作日志需要一個遠程桌面協(xié)議（RDP）連接到Azure High Performance Cluster中。

創(chuàng)建一個Hive表，增加其名稱到表格列表中，命名列到列列表中，執(zhí)行SELECT * FROM feature_index LIMIT ，20個查詢結果顯示出來，這是最先的20個結果（見圖六）。

?

圖六，第一個20行。花了7.265秒來執(zhí)行一個簡單的HiveQL SELECT查詢，由于互聯(lián)網延遲和相對較低的DSL連接。

AWS的Contextual Advertisin中的“Applying the Heuristic”部分建議執(zhí)行下面的示例HiveQL查詢對抗功能主頁表“功能'us:safari' and 'ua:chrome'如何執(zhí)行”：

SELECT ad_id, -sum(log(if(0.0001 > clicked_percent, 0.0001, clicked_percent))) AS value
FROM feature_index
WHERE feature = 'ua:safari' OR feature = 'ua:chrome'
GROUP BY ad_id
ORDER BY value DESC
LIMIT 100;

根據(jù)文章：

結果就是通過試探性的偶然點擊排序廣告。在這一點上，我們查閱廣告，假設蘋果產品的優(yōu)勢。

圖七展示了執(zhí)行之前查詢的結果，展示了最高點擊率的廣告：

?

圖七，返回的100個最高點擊率的第一個15行。Hive History數(shù)據(jù)并沒有顯示出來，期間兩個MapReduce工作已經執(zhí)行。

如果你對于集成PowerPivot和Excel，通過交互Hive控制臺生產數(shù)據(jù)感興趣，看看我的《Using Excel 2010 and the Hive ODBC Driver to Visualize Hive Data Sources in Apache Hadoop on Windows Azure》一文。為了給控制臺進行Windows Azure對象測試作為數(shù)據(jù)源，看《Using Data from Windows Azure Blobs with Apache Hadoop on Windows Azure CTP》一文。

總結

與微軟的AhoWA相比，亞馬遜的EMR是一個經驗豐富的Hadoop/MapReduce老手，AhoWA讓是預覽階段。二者都提供了Apache Hadoop完全詳細的核心功能，但是AhoWA用其交互式Hive和JavaScript控制臺贏得了可用性。如果你的分析團隊使用Excel或者其他的微軟BI工具，Hive ODBC驅動和Excel Hive Ad-In在增加性能方面就是贏家。

【編輯推薦】：

1、如何保護在Hadoop中的大數(shù)據(jù)

2、9大技巧 在Hadoop中保護大數(shù)據(jù) 安全

3、Hadoop之父勾勒大數(shù)據(jù)平臺的未來

?

摘自 http://www.cioage.com/art/201212/99902_2.htm

總結

以上是生活随笔為你收集整理的Amazon EMR（Elastic MapReduce）：亚马逊Hadoop托管服务运行架构Hadoop云服务之战：微软vs.亚马逊...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。