摘要： 阿里云E-MapReduce實踐 E-MapReduce的HBase集群間遷移 E-MapReduce提供HBase服務，本文介紹了幾種HBase集群間遷移的方法。 E-MapReduce中Spark 2.x讀寫MaxCompute數據 最新的aliyun-emapreduce-sdk將MaxCompute數據以DataSource的方式接入Spark 2.x，用戶可以使用類似Spark 2.x中讀寫json/parquet/csv的方式來訪問MaxCompute。

阿里云E-MapReduce實踐

• E-MapReduce的HBase集群間遷移
  E-MapReduce提供HBase服務，本文介紹了幾種HBase集群間遷移的方法。
• E-MapReduce中Spark 2.x讀寫MaxCompute數據
  最新的aliyun-emapreduce-sdk將MaxCompute數據以DataSource的方式接入Spark 2.x，用戶可以使用類似Spark 2.x中讀寫json/parquet/csv的方式來訪問MaxCompute。

資訊

• 數據API經濟與大規模數據流通：從水的寓言說起
  近期數據API接口服務逐漸興起，正因數據API服務允許需求方“挑數據”，并具備“開箱即用”以及降低交易成本與門檻等優點，將會成為數據能力開放與交易流通的重要手段。但數據API從當前的實踐來看遠非完美，運營不慎會導致類似金融領域洗錢行為的“洗數”活動出現，并在隱私保護、計費方面存在不足，因此本文提出了“增強型數據交換導向API”的概念，使得數據API經濟能在深思熟慮的頂層設計下運行。本文將從一個寓言故事引出上述探討。
• 對農業大數據資源目錄體系的一點思考
  筆者對農業大數據資源的目錄體系做了一些思考和探索，從多個維度和領域對農業大數據進行了初步的規劃分類，并對技術實現思路進行了初步的考慮。
• 基于MIT研發出腦控機器人：可使用腦波為機器人糾錯
  麻省理工學院的計算機科學和人工智能實驗室(CSAIL)的團隊和波士頓大學打造出了一種反饋系統，讓人類僅用大腦就可以迅速糾正機器人犯下的錯誤，這款 MIT 研發出的反饋系統能夠讓人類操作者僅通過大腦信號就能實時糾正機器人做出的選擇。
• （技術）基于Hadoop的數據倉庫Hive 基礎知識
  Hive是基于Hadoop的數據倉庫工具，可對存儲在HDFS上的文件中的數據集進行數據整理、特殊查詢和分析處理，提供了類似于SQL語言的查詢語言–HiveQL，可通過HQL語句實現簡單的MR統計，Hive將HQL語句轉換成MR任務進行執行。
• （技術）Flink-CEP論文與源碼解讀之狀態與狀態轉換
  Flink的CEP設計與實現重度參考了論文《Efficient Pattern Matching over Event Streams》。該文章結合論文談了Flink CEP的設計。
• （技術）Spark性能優化之道——解決Spark數據傾斜（Data Skew）的N種姿勢
  文結合實例詳細闡明了Spark數據傾斜的幾種場景以及對應的解決方案，包括避免數據源傾斜，調整并行度，使用自定義Partitioner，使用Map側Join代替Reduce側Join，給傾斜Key加上隨機前綴等。
• （技術）從0到1認識 Spark SQL Catalyst
  本文主要介紹SparkSQL的優化器系統Catalyst。

總結

以上是生活随笔為你收集整理的开源大数据周刊-第44期的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。