背景

美團是數據驅動的技術公司， 非常重視使用數據的效率。為了達到這個目標，我們將數據以開放平臺的形式開放給需求方。例如，幫助需求方開發報表的報表開放平臺，幫助需求方獲取數據的自助查詢平臺，讓需求方參與數據建設的ETL開放平臺和調度管理服務。在這些開放平臺上，需求方填寫必要的配置，平臺負責根據這些配置產生需要的報表，導出數據，或者產生ETL流程并通過調度有序執行。通過這種方式，簡化用戶使用數據的流程，提高用戶使用數據的效率。

開放平臺的使用導致產生了大量的，不同類型的配置。起初，每個服務獨立保存和管理自己的配置。隨著開放平臺的發展，與開放力度的增加，開放平臺對配置的管理遇到了各種各樣的問題。主要體現在

可能由于用戶誤修改或者誤刪除了配置，導致了運行問題。希望能夠追溯配置的變更歷史，更好的找到，提醒，并修復類似的問題。

在開放平臺上，用戶可以自行測試不同的配置。但是用戶如果需要將自己的配置上線成為在線報表，或者添加到調度參與數據倉庫數據清洗，就需要確保用戶的配置的質量。必須經過數據組的審核，以保證系統的健壯性與邏輯的準確性。

每個開放服務的業務都與開放配置有關。這些配置的管理需求十分相似。每個服務都自行維護配置會增加開發成本和維護成本。

針對遇到的問題，我們首先詳細的分析了需求:

統一管理和存儲配置。支持不同服務器上的不同語言編寫的服務將配置統一存儲和管理，并可以按照需求調用。從而避免不同服務重復開發，增加開發成本和維護成本。

配置隔離。不同的開放平臺的配置互相之間是獨立的，統一管理和存儲，但是互相之間需要互不干擾。

版本控制。記錄配置的歷史變更。通過對比不同版本，可以追查修改人，修改原因，修改時間等。在用戶出現誤操作時，也可以有效的回滾，盡量的降低修復成本，從而降低出錯的成本，提高對用戶錯誤修改的容忍度。

審核功能。通過審核，對可能影響到系統正常運行的主要配置進行變更管理。每次變更，都必須經過審核。審核通過的變更才會被提交到系統中，參與系統的正常運行。

可視化頁面。為了方便測試，管理和運維，需要有方便的頁面支持瀏覽配置列表，查看和修改系統中已經存在的配置等。

以上需求為必須滿足的需求。為了能夠更方便的使用，還希望該解決方案能夠在配置審核通過時，通知使用該配置的服務，使其知曉該變更。

為了滿足上述需求，我們決定開發定制的統一集中管理配置的配置管理服務，命名為ConfHub，意為“配置的中心樞紐”。

配置規劃

集中管理配置時，不同應用之間的隔離就顯得非常重要。同時，應用對配置也有分類需求。所以，需要對配置進行規劃。

規劃的基本思路是，首先，把配置按照應用進行分類。每個配置屬于一個應用，每個應用下，可以有很多配置。在應用下設置命名空間，用來滿足應用內的配置分類需求。規劃方案如下圖：

這種配置規劃的方式避免了配置沖突。

版本管理

版本管理可以帶來很多好處，比如

錯誤修改時，進行回滾。

在有用戶惡意修改時，可以迅速修復。

執行異常時，根據最近版本修改的內容，定位系統錯誤的原因。

最基本的版本管理如下圖

這種基本的版本管理方案可以存儲配置的歷史變更。但實際使用中，并不能滿足需求。

在實際的配置使用時，配置需要最終進入生產環境，如報表開發平臺的配置產生報表供分析人員使用，ETL開放平臺的配置加入調度定時處理數據等。這些生產環境的配置的改動需要經過數據組審核。但在開發過程中，配置需要不停的變更。所以希望版本管理能支持在既不影響線上實際使用的配置的前提下，能夠隨意修改測試使用的配置。為了解決這種需求，我們對版本管理的邏輯進行了修改。如下圖所示

在用戶需要修改配置時，在測試環境版本中增加新的版本。測試時，使用最新的測試環境版本的配置進行測試。當用戶需要更新生產環境中使用的配置時，向數據組提交上線申請，系統會自動的將最新的測試環境版本和最新的生產環境版本的配置進行對比，并將對比結果發給相應負責人審核。審核通過的配置會被添加到生產環境版本中。

通過這種版本管理方法，既保證了生產環境版本是嚴格受控的，又能保證用戶可以自由的測試。

審核

為了保證生產環境運行的配置的質量，生產環境的配置的變更都必須進行審核。在這一點上，我們使用“人工審核，系統輔助”的方案。人工審核，確保配置質量，系統輔助，盡量減少審核人的工作量。

審核過程流程圖如下：

為了提高審核的效率，減少人工審核工作量，用戶在開放平臺，即配置的使用方，提交配置變更申請。配置使用方會首先對配置進行基本校驗，校驗通過的配置變更才會提交到配置管理系統。

目前，ConfHub滿足了現有開放平臺的配置管理需求，有效的支持各個開放平臺的發展。

后續，ConfHub主要發展方向是

部分開放平臺對配置管理有特殊的需求。在提供大體相同的配置管理方式后，ConfHub也需要提供一些更精細，更定制的配置管理方式。

開放的方式不止有開放平臺一種，而各種不同的開放方式，都有需要管理的配置。管理其他開放方式的配置，也是ConfHub的目標。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的数据开放平台的配置管理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。