最近，AWS 推出了亞馬遜Apache Airflow托管工作流(MWAA)，這是一項全托管的服務，簡化了在 AWS 上運行開源版 Apache Airflow 和構建工作流來執行 ETL 作業和數據管道的工作。

Apache Airflow 是一個開源工具，用于通過編程的方式開發、調度和監控被稱為“工作流”的過程和任務序列。開發人員和數據工程師用 Apache Airflow 管理工作流，通過用戶界面(UI)來監控它們，并通過一組強大的插件來擴展它們的功能。但是，要使用 Apache Airflow，需要進行手動安裝、維護和擴展。現在，AWS 解決了這個問題，它為開發人員和數據工程師提供了 MWAA，讓他們可以在云端構建和管理自己的工作流，無需關心與管理和擴展 Airflow 平臺基礎設施相關的問題。

在 AWS 有關 MWAA 的新聞稿中，負責應用集成的副總裁 Jesse Dougherty 說：

客戶告訴我們，他們非常喜歡Apache Airflow，因為它加快了數據處理和機器學習工作流的開發，但他們希望能夠去掉擴展、運維和保護服務器方面的負擔。通過使用Amazon MWAA，客戶可以使用與現在相同的Apache Airflow平臺，同時獲得由AWS提供的可伸縮性、可用性和安全性。

Amazon MWAA 可以使用Amazon Athena獲取來自數據源(如Amazon Simple Storage Service)的輸入，在Amazon EMR集群上執行轉換，并使用生成的數據在Amazon SageMaker上訓練機器學習模型。此外，開發人員和數據工程師可以使用 Python 在 Amazon MWAA 中編寫有向無環圖(DAG)工作流。

來源：https://aws.amazon.com/managed-workflows-for-apache-airflow/

AWS 首席布道師 Danilo Poccia 在 NWAA 的一篇介紹博文中寫道：

你可以通過以下三個步驟來使用亞馬遜MWAA：

創建環境——每個環境都包含你的Airflow集群，包括調度器、工作程序和Web服務器。開發人員和數據工程師可以從控制臺、AWS命令行接口(CLI)或AWS SDK創建新的Amazon MWAA環境。

上傳DAG和插件到S3——Amazon MWAA自動將代碼加載到Airflow中。

在Airflow中運行DAG——從Airflow UI或命令行(CLI)運行DAG，并使用CloudWatch監控環境。

有了 MWAA，開發人員和數據工程師可以通過插件獲得開放可擴展性所帶來的好處，他們可以創建與工作流所需的 AWS 或內部資源發生交互的任務，包括 AWS Batch、Amazon CloudWatch、Amazon DynamoDB、AWS Lambda、Amazon Redshift、Amazon Simple Queue Service (SQS)和 Amazon Simple Notification Service(SNS)。

需要注意的是，AWS 還有其他工作流管理系統，比如Step Functions和AWS Glue。Hacker News 上的一位受訪者在一篇帖子中解釋說：

它是由內部的Orchestration團隊開發的——這個團隊也開發了Step Functions，并維護著AWS Simple Workflow。我認為Glue與其他的工作流系統不一樣——它針對ETL進行了深度優化。我相信，隨著時間的推移，會出現更多有關Step Functions和Apache Airflow的詳細指南，不過簡單地說，Step Functions是完全AWS原生的(并且是無服務器的)編配引擎。當然，Apache Airflow是一個開源的項目，它擁有一個由其他插件組成的多樣化生態系統。

MWAA 目前可在下列 AWS 區域使用：美國東部(俄亥俄州和弗吉尼亞州)、美國西部(俄勒岡州)、歐盟(斯德哥爾摩、愛爾蘭和法蘭克福)和亞太地區(東京、新加坡和悉尼)，其他更多地區將會陸續可用。此外，有關服務的詳細信息可以在文檔頁面上獲得，有關價格的詳細信息可以在定價頁面上獲得。

原文鏈接：

AWS Introduces Amazon Managed Workflows for Apache Airflow

延伸閱讀：

亞馬遜re:Invent綜述文章：｜解讀亞馬遜re:Invent首日，AWS CEO五十多次提及重塑 加速企業上云及數字創新-InfoQ

關注我并轉發此篇文章，私信我“領取資料”，即可免費獲得InfoQ價值4999元迷你書，點擊文末「了解更多」，即可移步InfoQ官網，獲取最新資訊～

總結

以上是生活随笔為你收集整理的亚马逊aws 服务器删除_AWS推出Apache Airflow全托管工作流MWAA的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。