簡介：Snowflake取得了巨大的商業(yè)成功，技術(shù)是如何支撐起它的千億美元市值呢？它技術(shù)強在哪？本文為大家傾情解讀Snowflake的核心技術(shù)原理。

背景：2020年9月16日，Snowflake成功IPO，交易首日市場估值達到704億美元，募集資金34億美元。Snowflake成為迄今為止規(guī)模最大的軟件IPO，市值最高突破1200億美元。Snowflake提供基于云的數(shù)據(jù)存儲和分析服務(wù)，一般被稱為 "數(shù)據(jù)倉庫即服務(wù)"，它允許企業(yè)用戶使用基于云的硬件和軟件來存儲和分析數(shù)據(jù)。Snowflake自2014年起在亞馬遜S3上運行，自2018年起在微軟Azure上運行，自2019年起在谷歌云平臺上運行，其Snowflake Data Exchange允許客戶發(fā)現(xiàn)、交換和安全地共享數(shù)據(jù)。[維基百科]

Snowflake取得了巨大的商業(yè)成功，技術(shù)是如何支撐起它的千億美元市值呢？它技術(shù)強在哪？OLAP內(nèi)核技術(shù)愛好者浙川為大家傾情解讀Snowflake的核心技術(shù)原理。本文為該系列一。

概覽

Snowflake是完全基于云構(gòu)建、充分利用云特性的企業(yè)級SaaS數(shù)據(jù)倉庫產(chǎn)品，它不僅具有靈活性（即買即用）、高安全性、極致擴展性和彈性等特點，而且支持多租戶、事務(wù)、標準SQL語法和半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。Snowflake在2015年開始上線使用，如今發(fā)展成支持每天運行數(shù)百萬條查詢的PB級云原生數(shù)據(jù)倉庫。

圖 1 整體架構(gòu)圖

整體架構(gòu)

圖1展示了Snowflake的整體架構(gòu)。Snowflake設(shè)計的最終目的是為用戶提供高易用性、高可操作性，以及高可靠性，基于這樣的前提，Snowflake的內(nèi)核組件的設(shè)計都具有高可靠、高可擴展的特性。組件是互相獨立的，組件之間通過RESTful接口進行通信。Snowflake內(nèi)核組件從底向上可以分為三個層面：

1）數(shù)據(jù)存儲。Snowflake的數(shù)據(jù)存儲是構(gòu)建在Amazon S3存儲服務(wù)至上，主要用來存儲表數(shù)據(jù)和查詢結(jié)果。

2）虛擬倉庫。虛擬倉庫構(gòu)建在Amazon EC2虛擬機組成的彈性集群之上，負責執(zhí)行用戶的查詢請求。

3）云服務(wù)組件。云服務(wù)組件是Snowflake的大腦，它包括并發(fā)訪問控制、基礎(chǔ)設(shè)施管理、優(yōu)化器、事務(wù)管理、安全管理、元數(shù)據(jù)管理，其中元數(shù)據(jù)包含schema信息、表信息、權(quán)限認證信息、秘鑰、統(tǒng)計信息等。

本篇文章為開胃菜，先從Snowflake架構(gòu)設(shè)計切入，有個總體的了解。接下來會陸續(xù)推出幾篇系列文章，講解包括Snowflake重要的云原生技術(shù)及其它的創(chuàng)新之處，云服務(wù)組件，面向云的各自特性。

原文鏈接

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

?

總結(jié)

以上是生活随笔為你收集整理的Snowflake核心技术解读系列——架构设计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。