目前，存算分離的方案相對已經比較成熟，容器化方案還處于探索和小規模應用階段，以 Spark 為例，方案大體上分為 2 種：

一種是 Spark Standalone，該方案僅對大數據系統做容器化部署改造，得益于容器輕量化、更細粒度的算力管理、任務隔離等特點，可以將主機劃分成更多小顆粒的任務單元，使主機資源利用率更高，同時兼顧用戶原有的使用習慣。

但此方案需要提前分配固定的容器數量，并保持容器的持續運行，無法對容器進行動態管理，資源的利用率雖然有所提升，但仍存在浪費。

另一種是 Spark On Kubernetes 集群方案，該方案使用 Kubernetes 替代 Yarn 來進行統一的資源編排和調度，技術上更貼近主流容器解決方案，免去了二層調度，可以進一步提升資源管理效率，相比 Standalone 方案，實現了對容器資源的動態管理，優化了資源分配。

然而，Kubernetes 不屬于 Hadoop 生態組件，與傳統 Spark on YARN 方案相比存在一些劣勢，如：缺少任務隊列、external shuffle service 等特性，且性能較差。因此在應用到生產系統時，還要做大量的功能增強、調度和性能優化，才能保持與傳統大數據平臺一致。

總結

以上是生活随笔為你收集整理的Spark On K8S与Spark On YARN方案相比之劣势的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。