戳藍字“CSDN云計算”關注我們哦！

CSDN云計算授權轉載自阿里系統軟件技術

作者：臨石

打開一篇篇 IT 技術文章，你總能夠看到“大規模”、“海量請求”這些字眼。如今，這些功能強大的互聯網應用，都運行在大規模數據中心上。然而，對于大規模數據中心，你又了解多少呢？

實際上，除了閱讀一些科技文章之外，得到關于數據中心的信息非常難得。數據中心每個機器的運行情況如何？這些機器上運行著什么樣的應用？這些應用有什么特點？對于這些問題，除了少數資深從業者之外，普通學生和企業的研究者很難了解其中細節。

什么是 Alibaba Cluster Data?

那么，實施了一系列優化手段之后的計算機集群究竟是什么樣子？混部的情況究竟如何？

為了讓有興趣的學生以及相關研究人員，可以從數據上更加深入地理解大規模數據中心，我們特別發布了這份數據集（Alibaba Cluster Data V2018）。數據集中記錄了某個生產集群中服務器以及運行任務的詳細情況。我們希望這波數據的發布可以拉近我們與學術研究、業界同行之間的距離。

在數據集中，你可以詳細了解到我們是如何通過混部把資源利用率提高到 45%；我們每天到底運行了多少任務；以及業務的資源需求有什么特點。如何使用這份數據集，完全取決于你的需要。

這個數據可以做什么？

剛剛發布的 Alibaba Cluster Data V2018 包含 6 個文件，壓縮后大小近 50GB（壓縮前 270+GB），里面包含了 4000 臺服務器、相應的在線應用容器和離線計算任務長達 8 天的運行情況。

通過這份數據，你可以：

• 了解當代先進數據中心的服務器以及任務運行特點；

• 試驗你的調度、運籌等各種任務管理和集群優化方面的各種算法并撰寫論文；

• 利用這份數據學習如何進行數據分析，揭示更多我們自己都未曾發現的規律。

上面這幾點，沒有接觸過類似數據的朋友，可能對于這份數據的用處并沒有直觀的印象，下面我舉幾個簡單的例子：

• 電商業務在白天和晚上面臨的壓力不同，我們如何在業務存在波峰波谷的情況下提高整體資源利用率？

• 你知道我們最長的 DAG 有多少依賴嗎？

• 一個典型的容器存在時間是多久？

• 一個計算型任務的典型存在時間是多少？一個 Task 的多個 Instance 理論上彼此很相似，但是它們運行的時間都一樣嗎？

實際上，學者們甚至可以用這些數據作出更加精彩地分析。2017年，我們開放的第一波數據（Alibaba Cluster Data V2017），已經產生了多篇優秀的學術成果。

以下是學者們在論文中引用數據（Alibaba Cluster Data V2017）的例子，其中不乏被 OSDI 這樣頂級學術會議收錄的優秀文章。我們期待，未來你也能與我們共同分享你用這份數據產生的成果！

"LegoOS: A Disseminated, Distributed OS for Hardware Resource Disaggregation, Yizhou Shan, Yutong Huang, Yilun Chen, and Yiying Zhang, Purdue University. OSDI'18"?(Best paper award!）

"Imbalance in the Cloud: an Analysis on Alibaba Cluster Trace, Chengzhi Lu et al. BIGDATA 2017"

"CharacterizingCo-located Datacenter Workloads: An Alibaba Case Study, Yue Cheng, Zheng Chai,Ali Anwar. APSys2018"

"The Elasticity and Plasticity in Semi-Containerized Co-locating Cloud Workload: aView from Alibaba Trace, Qixiao Liu and Zhibin Yu. SoCC2018"

Cluster Data V2018 更出色

DAG 信息加入：我們加入了離線任務的 DAG 任務信息，據了解，這是目前來自實際生產環境最大的 DAG 數據。

究竟什么是 DAG？離線計算任務，例如 Map Reduce、Hadoop、Spark、Flink 中常用的任務，都是以有向無環圖（Directed Acyclic Graph，DAG）的形式進行編排的，其中涉及到任務之間的并行、依賴等方面。下面是一個 DAG 的例子。

規模更大：上一版數據包含了約 1300 臺機器在約 24 小時的內容數據，而新版 Cluster Data V2018 中包括了 4000 臺機器 8 天的數據。

數據獲取方式：

https://github.com/alibaba/clusterdata/blob/v2018/cluster-trace-v2018/trace_2018.md

1.微信群：

添加小編微信：color_ld，備注“進群+姓名+公司職位”即可，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！

2.征稿：

投稿郵箱：liudan@csdn.net；微信號：color_ld。請備注投稿+姓名+公司職位。

推薦閱讀

• 程序員怒了！阿里 Antd 圣誕彩蛋害我被離職了！

• 云計算到底是怎么玩的？

• 面向對象編程，再見！

• AI女性界的“扛把子”，憑一己之力迫使NIPS改名

• 00后也會「玩」區塊鏈，你對「朝陽」行業焦慮啥 ？| 圣誕特輯
  

• 20k~65k, 2018年最后一波熱門技術崗位, 立刻投簡歷, 跳槽才是加薪的捷徑
  

• 可替代Android的6大開源移動操作系統

• 程序員求助：被領導強行要求寫Bug該怎么辦？網友的回答讓我笑翻
  

點擊“閱讀原文”，打開 CSDN App 閱讀更貼心！

喜歡就點擊“好看”吧！

總結

以上是生活随笔為你收集整理的资源 | Alibaba Cluster Data 开放下载：270 GB 数据揭秘你不知道的阿里巴巴数据中心...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。