在本文中，我們將先介紹數(shù)據(jù)網(wǎng)格(Data Grid)的基本概念、屬性、以及能夠提供的服務(wù)，然后討論如何設(shè)計可擴(kuò)展的數(shù)據(jù)網(wǎng)格，以滿足實際場景的業(yè)務(wù)需求。

什么是數(shù)據(jù)網(wǎng)格?

數(shù)據(jù)網(wǎng)格是一組能夠提供共享數(shù)據(jù)管理的服務(wù)，它可以通過網(wǎng)格狀的結(jié)構(gòu),去訪問源自各種應(yīng)用程序與服務(wù)的異構(gòu)數(shù)據(jù)。在技術(shù)實現(xiàn)上，我們通常可以采用功能強(qiáng)大的中間件應(yīng)用程序和服務(wù)，實現(xiàn)對于源于各種應(yīng)用請求的數(shù)據(jù)輸入與查詢。

網(wǎng)格中的數(shù)據(jù)往往可以通過諸如REST、以及JSON格式的API被訪問到。這些數(shù)據(jù)既可以被保存到磁盤上，也能夠備份到另一個數(shù)據(jù)庫里。不同的服務(wù)可以將JSON格式的數(shù)據(jù)保存到網(wǎng)格之中，并在不到一毫秒的時間內(nèi)實現(xiàn)數(shù)據(jù)查詢(類似于緩存)。

以下便是數(shù)據(jù)網(wǎng)格的基本屬性：

使用API??(基于REST的JSON格式)從網(wǎng)格進(jìn)行數(shù)據(jù)訪問。

（1）其本質(zhì)上具有真正的彈性，即：可以水平縮放而沒有上限。

（2）能夠支持任何體量的數(shù)據(jù)。

（3）具有耐用性，可應(yīng)對各種宕機(jī)和系統(tǒng)故障。

（4）提供低延遲的響應(yīng)。

它的選配屬性則包括：

（1）可以利用諸如：JWT、TSL客戶端驗證等方案，對網(wǎng)格中的每一種數(shù)據(jù)請求進(jìn)行授權(quán)。

（2）能夠清除數(shù)據(jù)，并為更多相關(guān)數(shù)據(jù)留出空間。

（3）能夠?qū)?shù)據(jù)持久地保存到磁盤上。

（4）能夠從諸如：RDBMS或NoSQL存儲等其他數(shù)據(jù)源，進(jìn)行數(shù)據(jù)的熱加載(hot-load)。

數(shù)據(jù)網(wǎng)格的使用

在一個真正的微服務(wù)架構(gòu)系統(tǒng)中，每一項服務(wù)都擁有自己的私有數(shù)據(jù)庫(即：每個服務(wù)模型都配有一個數(shù)據(jù)庫)。如果其中的任何一項服務(wù)需要橫跨多個服務(wù)獲取數(shù)據(jù)的話，那么我們就需要以諸如：JSON、XML或二進(jìn)制格式，來處理這些服務(wù)的響應(yīng)。而有些請求既可能使用的是REST標(biāo)準(zhǔn)的HTTP(S)請求，也可能使用SOAP請求，還有可能使用RPC等請求。

不過，真正的挑戰(zhàn)并非在技術(shù)上，而是在處理諸如安全異常、數(shù)據(jù)驗證、握手、網(wǎng)絡(luò)、數(shù)據(jù)解析等失敗的情況下，微服務(wù)將如何應(yīng)對。在實際應(yīng)用中，我們常常會碰到高度依賴性的問題。也就是說：生產(chǎn)者(producer)服務(wù)中的任何變更都可能會更改響應(yīng)的結(jié)構(gòu)，而消費者(consumer)服務(wù)也可能需要跟著適應(yīng)此類變更。如果消費者服務(wù)僅從其他服務(wù)中查詢數(shù)據(jù)(而非請求任何計算結(jié)果)，那么該方式則可能無效。

為了解決上述問題，我們引入了數(shù)據(jù)網(wǎng)格的方法，該方法幾乎能夠提供任意數(shù)量的自定義數(shù)據(jù)存儲，并且具有高度可擴(kuò)展性和易于維護(hù)的低延遲響應(yīng)。在此，我們將Apache Ignite(https://ignite.apache.org/，以下簡稱為Ignite)作為數(shù)據(jù)網(wǎng)格設(shè)計中的主要組件之一，由它提供具有持久性、彈性和分布式的內(nèi)存平臺。此外，Ignite還提供了多種緩存選項，可連接RDBMS和NoSQL存儲，以及計算服務(wù)等功能。

數(shù)據(jù)定義

通常，若要為基礎(chǔ)架構(gòu)構(gòu)建數(shù)據(jù)網(wǎng)格，所有的微服務(wù)都應(yīng)當(dāng)發(fā)布各自寫入網(wǎng)格的數(shù)據(jù)格式。例如：用戶服務(wù)(即：管理某個系統(tǒng)中所有用戶信息的服務(wù))應(yīng)當(dāng)發(fā)布所有具有upsert和delete操作的用戶信息，以及用戶數(shù)據(jù)結(jié)構(gòu)的定義。同時，此類數(shù)據(jù)定義應(yīng)當(dāng)能夠支持版本控制，以便任何新的服務(wù)都可以查詢到特定的最新版本。據(jù)此，所有相關(guān)的消費者服務(wù)也都可以從“數(shù)據(jù)網(wǎng)格”中查詢到數(shù)據(jù)定義，進(jìn)而構(gòu)建相應(yīng)的服務(wù)功能。以下是一個已發(fā)布的用戶數(shù)據(jù)結(jié)構(gòu)(版本1)的代碼示例。其對應(yīng)的URL為：https:///grid/datadefinition&type=user&version=1.
如下是對于用戶數(shù)據(jù)定義版本2的查詢代碼，其對應(yīng)的URL為：https:///grid/datadefinition&type=user&version=2.
高級設(shè)計

我們可以使用某個在線購物網(wǎng)站為例，來展示數(shù)據(jù)網(wǎng)格的系統(tǒng)設(shè)計。該購物網(wǎng)站是采用各種微服務(wù)(例如：用戶服務(wù)、訂單服務(wù)、產(chǎn)品目錄服務(wù)、以及其他服務(wù))來構(gòu)建的。這些微服務(wù)有助于實現(xiàn)從各種目錄中訂購產(chǎn)品，并最終將其交付給客戶。下圖是數(shù)據(jù)網(wǎng)格的完整工作流程。
各個組件服務(wù)

數(shù)據(jù)層

這是數(shù)據(jù)網(wǎng)格的核心，其中部署了Apache Ignite的服務(wù)器端模式設(shè)置，并構(gòu)成了“Ignite服務(wù)器群集”。在此，Ignite提供了如下可用于構(gòu)建可擴(kuò)展網(wǎng)格的功能：

通過內(nèi)存中緩存，實現(xiàn)低延遲的響應(yīng)。

分布式的持久存儲。

彈性，即：通過添加節(jié)點，實現(xiàn)水平擴(kuò)展。

容錯，即：數(shù)據(jù)復(fù)制，以及在節(jié)點出現(xiàn)故障時的自動負(fù)載均衡。

針對磁盤或數(shù)據(jù)庫的數(shù)據(jù)復(fù)制和持久性。

Ignite也可以在無主控的架構(gòu)上工作，并通過拆分其他節(jié)點，只向群集組中添加額外的內(nèi)存內(nèi)(in-memory)緩存空間。另外，通過Ignite提供的各種緩存配置，您可以按需對其進(jìn)行調(diào)整和增強(qiáng)。此類配置包括：數(shù)據(jù)持久性選項、緩存的逐出策略、以及數(shù)據(jù)復(fù)制等方面。

數(shù)據(jù)網(wǎng)格的API網(wǎng)關(guān)

該網(wǎng)關(guān)可以將查詢請求路由到適當(dāng)服務(wù)器上。同時，多個服務(wù)也可以被注冊到該網(wǎng)關(guān)上，以便根據(jù)真實的負(fù)載，來處理和調(diào)節(jié)各種請求。

查詢服務(wù)與更新服務(wù)

這是一些大規(guī)模的應(yīng)用服務(wù)，可用于查詢數(shù)據(jù)，或?qū)?shù)據(jù)更新并添加到數(shù)據(jù)層，也就是“Ignite服務(wù)器群集”上(有關(guān)數(shù)據(jù)層的可視化，請參見上圖)。

查詢服務(wù)設(shè)置將使用Ignite的客戶端庫(即：配置為客戶端模式)連接到Ignite服務(wù)器群集，并成為Ignite群集拓?fù)渲械囊徊糠帧Ｈ绻@些服務(wù)并不會被作為Ignite的客戶端節(jié)點加入群集拓?fù)?#xff0c;那么我們可以使用Ignite的瘦客戶端(如：Java Thin Client或Node.js Thin Client)去連接到Ignite服務(wù)器集群，并執(zhí)行各種緩存操作。而且，每個服務(wù)都能夠更新Ignite服務(wù)器群集中的一到多個緩存。

將數(shù)據(jù)推送到數(shù)據(jù)網(wǎng)格雖然會產(chǎn)生開銷，但是我們可以通過使用異步機(jī)制，或者將數(shù)據(jù)推送到某些Kafka的topic上來解決。在此類topic中，數(shù)據(jù)網(wǎng)格的更新服務(wù)(Data Grid Update Service)會將其推送到Ignite的服務(wù)器群集之中。

注意：應(yīng)用服務(wù)會使用Ignite的客戶端庫，來進(jìn)行各項緩存操作。在默認(rèn)情況下，它們通過加入Ignite服務(wù)器群集拓?fù)?#xff0c;來充當(dāng)服務(wù)器節(jié)點，以參與緩存任務(wù)。當(dāng)然，這并不是必需的。我們需要在Ignite的配置文件中啟用客戶端模式標(biāo)志(即：設(shè)置為true)，或者在應(yīng)用服務(wù)的初始化時，調(diào)用某個類似的Ignite API。有關(guān)Ignite客戶端和服務(wù)器設(shè)置的更多信息，請參見。

使用數(shù)據(jù)網(wǎng)格的示例

在上圖中，最左側(cè)的組件是微服務(wù)，其中每個服務(wù)都有自己的數(shù)據(jù)庫。在傳統(tǒng)的非數(shù)據(jù)網(wǎng)格方法中，上例中的訂購服務(wù)需要針對用戶服務(wù)，去查詢用戶的相關(guān)信息(例如：用戶的電子郵件與地址等)。而在圣誕節(jié)、感恩節(jié)等銷售旺季，此類訂購服務(wù)可能會遇到大量的交易請求。那么此類訂購服務(wù)就必須調(diào)用相應(yīng)的用戶服務(wù)，以獲取與交易數(shù)量成比例的用戶相關(guān)信息。

當(dāng)然，訂購服務(wù)可以緩存用戶的信息，以避免多個網(wǎng)絡(luò)的調(diào)用。或者，為了滿足不斷增加的用戶服務(wù)負(fù)載，我們還可以向集群添加更多的用戶服務(wù)節(jié)點，以處理各種讀取請求。不過，總的說來，數(shù)據(jù)網(wǎng)格更適合于處理此類業(yè)務(wù)場景。

當(dāng)某個微服務(wù)有數(shù)據(jù)更新時，該數(shù)據(jù)將會被數(shù)據(jù)網(wǎng)格更新服務(wù)推送到數(shù)據(jù)網(wǎng)格之中。Ignite服務(wù)器進(jìn)而根據(jù)緩存配置將數(shù)據(jù)插入到緩存里。此外，由于Ignite具有持久性，因此我們可以添加任意數(shù)量的節(jié)點，以支持來自各種服務(wù)的大型數(shù)據(jù)集。這些Ignite服務(wù)器群集既可以通過原生持久性來啟用，也可以連接到數(shù)據(jù)庫上，以便保留各種緩存數(shù)據(jù)。

當(dāng)某個微服務(wù)需要訪問特定的數(shù)據(jù)時，它會通過傳遞必要的查詢參數(shù)，來使用數(shù)據(jù)網(wǎng)格的查詢服務(wù)。由于查詢服務(wù)連接著Ignite服務(wù)器，因此它可以從緩存中查詢到數(shù)據(jù)。當(dāng)然，如果數(shù)據(jù)不在緩存中，卻已經(jīng)啟用了持久性，那么Ignite則可以從持久性存儲中加載相應(yīng)的數(shù)據(jù)。

在極端情況下，如果緩存和持久性存儲中的數(shù)據(jù)都不可用，那么查詢服務(wù)則可以通過內(nèi)置的邏輯，將請求重新路由到相應(yīng)的微服務(wù)上，以獲取數(shù)據(jù)并將其插入到緩存中。同時，該響應(yīng)也會將請求發(fā)送給消費者服務(wù)，以便在下一個請求到來時，直接從數(shù)據(jù)網(wǎng)格本身獲取對應(yīng)的數(shù)據(jù)。

由于插入到緩存中的數(shù)據(jù)是基于更新服務(wù)來部署緩存的，因此它確保了在任何微服務(wù)中的更新數(shù)據(jù)，都會在數(shù)據(jù)網(wǎng)格中可用。此外，由于Ignite具有持久性，因此我們可以添加任意數(shù)量的節(jié)點，以支持來自各種服務(wù)的大型數(shù)據(jù)集。

總結(jié)

本文提供了將消費者服務(wù)與生產(chǎn)者服務(wù)相解耦的思路，進(jìn)而讓用戶能夠靈活地向微服務(wù)群添加更多的服務(wù)，以構(gòu)建和部署新的功能集。

另外，希望閱讀此文后能讓你軟件開發(fā)的過程中 ，能更好的用Apache Ignite實現(xiàn)可擴(kuò)展的數(shù)據(jù)網(wǎng)格。小編分類整理了許多java進(jìn)階學(xué)習(xí)材料和BAT面試題，需要資料的請轉(zhuǎn)發(fā)此文章后再私聊小編回復(fù)【java】就能領(lǐng)取2019年java進(jìn)階學(xué)習(xí)資料和BAT面試題以及《Effective Java》（第3版）電子版書籍。也可以加群：712263501領(lǐng)取海量學(xué)習(xí)資料進(jìn)行學(xué)習(xí)。

總結(jié)

以上是生活随笔為你收集整理的用Apache Ignite实现可扩展的数据网格的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。