雖然大數據依然如日中天，但該領域曾經的領頭羊 Cloudera、Hortonworks 和 MapR 三家公司最近步履蹣跚，多少掩蓋了其幾分風光。作為曾經的數據寵兒，過去籌集到的巨額投資源源不斷。

例如，英特爾公司就曾向 Cloudera 注入 7.66 億美元，這還僅僅只是一輪投資的數額！如今，這些大數據領域的重量級公司紛紛被迫瘦身，Cloudera 和 Hortonworks 合并，而 MapR 開始裁員。

與此同時，大數據領域的其他開源供應商(如 Elastic 和 MongoDB 公司)卻勢頭正猛。到底發生了什么事？

當然，這背后有種種原因，但其中一個事實是，老牌 Hadoop 供應商把大賭注押在了錯誤的目標用戶上，瞄準的是所謂數據中心的專職架構師。然而，市場已經轉向了在云計算環境中尋求自由的個體開發人員。

此消彼長

在那些靠 Hadoop 發家致富的供應商中，MapR 是最新的犧牲品。MapR 公司一度估值超過 10 億美元，但最近披露的消息是，除非能找到新的投資者，否則公司必須裁員 122 人，這個數量約占員工總數的 25%，而且裁員名單包括其首席執行官 John Schroeder、其他高管以及多名工程師，并且同時準備關閉其總部辦公場所。如果真能找到投資者的話，他們必須在 6 月 14 日前簽署協議，否則 MapR 的前景將會一片黯淡。

不過，最近大數據領域一直都不太平。根據 LinkedIn 的數據，在過去兩年中，MapR 公司已經縮水了 29%。無獨有偶，大概是因為 Cloudera 和 Hortonworks 這兩家公司無法單獨生存，于是它們進行了合并，但在合并之后不久，Cloudera 就宣布了其慘不忍睹的收益，預計收入比分析師預測少了 6900 萬到 8900 萬美元。與此同時，公司首席執行官 Tom Reilly、聯合創始人兼 CSO Mike Olson 雙雙宣布辭職。該公司股價隨即暴跌 40%。

以上種種結果似乎很容易就被歸咎于一個原因：之前的大數據領域被過度炒作，泡沫破滅后回歸現實，Hadoop 領頭羊已經潰不成軍。但這卻無法解釋為什么大數據領域的其他供應商卻依然在蓬勃發展。例如，MongoDB 數據庫產品受歡迎程度一直在增長，MongoDB 現在的受歡迎指數大約是 Oracle 和 MySQL 的三分之一，而五年前只有十分之一(https://db-engines.com/en/ranking)。這種受歡迎程度反過來良性地推動 MongoDB 公司的收入增長，最近收入已經躍升了 78%。

同樣，Elasticsearch 分布式搜索和分析引擎背后的公司 Elastic 在去年員工數量翻了一番，最近一個季度的收入增長了 70%。許多公司已經轉用 Elastic 的產品進行傳統的文本搜索和其他更多的搜索，比如英國倫敦的 Stansted 機場就使用 Elastic 工具來追蹤和可視化機場內的人員和行李流量，并提供實時分析。

大數據時代的劇本似乎讓人看不懂了。像 MongoDB 和 Elasticsearch 這樣的技術以及它們背后的公司從來沒有被認為能夠挑戰 Hadoop 和相關產品。然而現在看來，他們確實做到了。為什么會這樣?

預報：未來多云

其中一個答案是因為“云”，但它也只是一個多方面綜合效應的一個側面而已。正如 Anaconda 高級副總裁 Mathew Lodge 在一篇文章中所提及的，盡管 Cloudera、Hortonworks 和 MapR 這三家公司都在拼命從現有產品中尋求演進，但 AWS、微軟 Azure 和谷歌 Cloud 三巨頭打造的一站式云原生服務提供了“完全集成的產品系列，獲取成本更低，擴容更便宜”。企業用戶的目光紛紛投向了這些服務和產品。雖然 Hadoop 供應商以盡可能快的速度打造自己的云服務，但其速度根本趕不上那些云計算領域的重量級競爭對手。

雖然 Hadoop 在當時是頗具革命性的技術，但與云計算的替代方案相比，它的成本高得離譜。正如Clint Sharp 所指出的，“Hadoop 的主要應用場景一直是廉價的存儲。然而，有了云之后，存儲變得更廉價，更何況 S3+EMR 和其他服務的用戶體驗還提高了千倍不止。” 作為傳統專有數據倉庫的替代品，Hadoop 曾經是很不錯的選擇，但它現在已經遠比不上更現代的技術(甚至是基于云的 Snowflake 數據倉庫，等等)。

與此同時，云計算代表著處理數據的新方法。雖然它們本身不是完全同質的替代品，但與 MongoDB 或 Elasticsearch 一樣，它們解決了與 Hadoop 相同的問題，而且還簡單易用，沒有那些令人抓狂的麻煩。正如 MongoDB 的Joe Drumgoole 所說，“編寫有效的分布式 Map-reduce 算法真的非常非常困難。” 更糟糕的是，Hadoop 供應商爭先恐后地為他們的 Hadoop 產品添加各種開源插件(例如，Impala、Pig、Hive，以及 Flume)，還發明了更累贅的“解決方案技術棧”。直到最后，終于有一位觀察者這樣評價，“沒有人知道這些 Hadoop 公司到底在做什么”。

對于一些企業用戶來說，或許在這上面費力地付出時間和精力還算值得。然而，對于肩負“把事情做完”任務的個體開發人員來說，他們越來越多傾向于選擇更簡單直接的替代方案。

使用方便才是王道

Hadoop 及其衍生產品的開箱即用體驗確實不忍直視。這與 MongoDB 的用戶體驗形成鮮明對比。前 MongoDB 高管Kelly Stirman 認為用戶體驗是讓 MongoDB 在同類產品中脫穎而出的一個關鍵。這是一種什么體驗？一位叫Tom Barber 的人這樣描述：

在使用 MongoDB 時，你可以容易地在一臺服務器上安裝 MongoDB，而不需要在一個糟糕的 VM 上浪費時間。在生產環境中，你可以直接在一臺服務器上把它運行起來。你不需要寫一大堆代碼就可以把它和其他一堆東西連接起來。人人都希望使用這樣的數據庫…MongoDB 真正做到了很容易讓數據流入，也很容易就讓數據流出。

TimeScale DB 首席執行官 Ajay Kulkarni 也表示贊同，他補充道：

個體開發人員的熱愛是 MongoDB 戰勝 Hadoop 的原因。MongoDB 聚焦于首次用戶體驗。而 Hadoop 的運行過程十分繁瑣，簡直臭名昭著。雖然 Hadoop 供應商針對企業用戶提供了一套優秀的銷售宣傳說辭，但如果沒有開發人員的熱愛和支持，它的增長就會停滯，市場就會萎縮。

在 MongoDB 和 Elastic 擊敗 Cloudera 和 MapR 這件事上，雖然把成功因素統統歸于開發人員的熱愛可能有些夸大其詞，但這的確是一個不爭的事實。

開發人員Jake Kaldenbaugh 認為，MongoDB 已經開始“融入”到各種現代應用程序中。隨著時間的推移，那些一開始將 MongoDB 應用于并不那么重要的應用程序的開發人員，會將 MongoDB 應用到那些涉及重要業務的應用程序中，而且 MongoDB 還在不斷添加新功能(比如多文檔事務支持)，以支持更復雜的應用場景，但又沒有讓這些功能變得過于復雜。

那么，之前的這些大數據巨頭公司們將何去何從呢？Mathew Lodge 已經為他們寫下了悼詞：

在 Cloudera 和 Hortonworks(還有 MapR)作為大數據宇宙中心長達 10 年之后，這個領域的重心已經轉移到其他地方。如今領先的云公司并不像 Cloudera 和 Hortonworks 那樣運行大型的 Hadoop/Spark 集群，而是在容器基礎設施之上運行分布式數據庫和應用程序。他們用 Python、R 和其他非 Java 語言進行機器學習。越來越多的企業正轉向類似的技術方向，因為它們也希望獲得同樣的速度和規模效益。那些使用 Hadoop 和 Spark 技術的世界是該緊跟時代做出改變了。

開源數據基礎設施的創新日新月異，這既是福，也是禍。創新正在以驚人的速度發生，注定會有一些供應商將在這個飛速發展的過程中破產。

查看英文原文：

https://www.infoworld.com/article/3400864/hadoop-runs-out-of-gas.html?upd=1560395045502

總結

以上是生活随笔為你收集整理的hadoop的同类技术_Hadoop 气数已尽：逃离复杂性，拥抱云计算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。