《系統(tǒng)日?qǐng)?bào)》持續(xù)關(guān)注分布式系統(tǒng)、AI System，數(shù)據(jù)庫(kù)、存儲(chǔ)、大數(shù)據(jù)等相關(guān)領(lǐng)域文章。每天以摘要的形式精選不超過三篇系統(tǒng)文章分享給大家。

如果你有好文章推薦，或者有其他任何想法，歡迎在 Articles Weekly Repo[1]提 issue。

Spark 背后的公司 Databricks 的前世今生

來源：https://guiguzaozhidao.fireside.fm/s6e06

摘要：早高峰的地鐵上在朋友圈看到播客“What’s Next | 科技早知道[2]” 客座主播 Howie 對(duì) Databricks 華人聯(lián)合創(chuàng)始人辛湜（Reynold Xin[3]）的采訪，到公司了仍然沒有聽完，但收獲良多，感興趣的同學(xué)可以聽一下。

Spark 作為一個(gè)成功的開源項(xiàng)目，在很多公司都早有落地；但是其背后的商業(yè)公司 Databricks，在近些年才被越來越多的提起。尤其是其友商“Snowflake” 以天價(jià)估值上市后，Databricks 作為對(duì)標(biāo)更加炙手可熱。為什么一個(gè)做開源基礎(chǔ)軟件的商業(yè)公司能夠如此成功？他們做對(duì)了什么，又對(duì)中國(guó)當(dāng)下類似定位的公司有什么啟發(fā)？主播人雖然普通話口音有點(diǎn)奇怪，但是問的問題都非常有深度和引導(dǎo)性，讓本次播客呈現(xiàn)了一場(chǎng)高質(zhì)量的對(duì)話探討。

下面憑記憶摘錄一些：

Databricks 成立契機(jī)？

UC Berkeley 實(shí)驗(yàn)室同學(xué)參加 Netflix Challenge，為了實(shí)現(xiàn)多機(jī)處理數(shù)據(jù)造了一個(gè)數(shù)據(jù)處理框架。雖然由于晚交了 20min 沒有拿到 100w 大獎(jiǎng)，但是卻孵化出了 Spark。辛湜是 2010 年到的 Berkeley 開始參與這個(gè)項(xiàng)目。

Databricks 如此成功是因?yàn)樽鰧?duì)了什么？

從開始就堅(jiān)持三個(gè)原則：All in Cloud、不做數(shù)據(jù)倉(cāng)庫(kù)、不做定制化和 Support。

All in Cloud 和不做定制化和 Support：使得基礎(chǔ)軟件能夠規(guī)模化，最大化公司人員的單位產(chǎn)出。感覺有點(diǎn)像用 ToC 的方式去做 ToB 的產(chǎn)品，但也唯有如此，才能發(fā)揮軟件架構(gòu)價(jià)值，撐起想象力。

不做數(shù)據(jù)倉(cāng)庫(kù)：有其他一些大廠、云廠商本身也有平臺(tái)優(yōu)勢(shì)，避開太卷的賽道。

為什么在公司誕生之初就能 ALL in Cloud？

是因?yàn)橥顿Y人嗎？并不，大部分還是因?yàn)閯?chuàng)始團(tuán)隊(duì)的 Berkeley 背景，有很強(qiáng)的 foresee 視野，對(duì)云時(shí)代的到來很堅(jiān)定，還在 09 年發(fā)表過專門論文：Above the Clouds: A Berkeley View of Cloud Computing[4]，有上萬(wàn)篇引用，并且火到出圈。

在發(fā)展過程中對(duì)上述信條有沒有過懷疑？

有過，還算比較幸運(yùn)，因?yàn)槎贾涝剖俏磥?#xff0c;但不知道這個(gè)未來是多久后來。比如 Cloudera 在 08-09 年成立時(shí)，從名字就可以看出想開啟云時(shí)代，但生不逢時(shí)，后來還是改變了策略。

也有過很多其他道路的誘惑，比如有個(gè) 1000w 美元的大單子，只要求提供 support 。而剛開始時(shí)，Databricks 產(chǎn)品的營(yíng)收甚至不如做 Spark 峰會(huì)的賣票錢。

剛開始，新入職的員工和融資時(shí)，All in Cloud 都會(huì)受到挑戰(zhàn)，但是到 2018~2019 年左右就開始形成了共識(shí)，沒人挑戰(zhàn)了。

相對(duì)云廠商自身產(chǎn)品有什么優(yōu)勢(shì)？

云廠商有很多業(yè)務(wù)分散精力，小公司能夠更專注，對(duì) Spark 技術(shù)積累更多、所面臨的場(chǎng)景理解更深。

Databricks 有沒有業(yè)務(wù)暴增的轉(zhuǎn)折點(diǎn)？

沒有嚴(yán)格意義上的大客戶的轉(zhuǎn)折點(diǎn)，但有和 Azure 的合作值得一說。

15 年的時(shí)候 Amazon host Spark 已經(jīng)有幾個(gè)億的營(yíng)收了。Databricks 在 17 年和 Azure 的合作，做了叫做 Azure Databricks 的一款產(chǎn)品，大賣，成為了 Azure 的標(biāo)桿服務(wù)。Azure 與 Databricks 互相成就，共同做大。

為什么決定做湖倉(cāng)一體？

計(jì)算自然延伸到存儲(chǔ)，開始做數(shù)據(jù)湖（面向數(shù)據(jù)科學(xué)家、深度學(xué)習(xí)場(chǎng)景）。為了消除用戶組織內(nèi)部的數(shù)據(jù)壁壘，自然想能不能打通數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)（面向 BI ）？于是提出湖倉(cāng)一體（Lakehouse）。

此外，辛湜還分享了通過“引薦”的招人制度，以及創(chuàng)業(yè)公司中一些問題。播客是個(gè)好媒介，可以利用碎片時(shí)間，一邊聽一邊思考。

參考資料

[1] 任何想法都?xì)g迎來提 issue: https://github.com/DistSysCorp/ArticleListWeekly/issues

[2] What’s Next | 科技早知道: https://guiguzaozhidao.fireside.fm/

[3] Reynold Xin 領(lǐng)英: https://www.linkedin.com/in/rxin/

[4] Above the Clouds: A Berkeley View of Cloud Computing: https://www2.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS-2009-28.pdf

往期文章：

CockroachDB 和 TiDB 中 SQL 的分布式執(zhí)行

DDIA 讀書分享 第三章（上）：LSM-Tree 和 B-Tree

聊聊選擇 offer 的幾個(gè)維度

總結(jié)

以上是生活随笔為你收集整理的系统日报-20220421（Databricks 缘何成功？）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。