摘要：傳統(tǒng)數(shù)據(jù)存儲在線下數(shù)據(jù)中心，存在成本高、運維難、性能難保障等等多方面的問題。阿里云提供閃電立方、OSS/NASImport、混合云存儲陣列、鏡像回源、302跳轉(zhuǎn)、偽源站等六大解決方案為企業(yè)提供不同場景的海量數(shù)據(jù)遷移解決方案。

存儲和數(shù)據(jù)遷移的挑戰(zhàn)
在傳統(tǒng)企業(yè)服務中，大多數(shù)企業(yè)都是自建IDC，因此經(jīng)常會遇到各種各樣的問題，第一是成本高，機器成本、網(wǎng)絡成本、人工成本，軟件授權(quán)費用，公網(wǎng)內(nèi)網(wǎng)費用，IDC租用費用等等。第二是運維很難，經(jīng)常隨著數(shù)據(jù)的積累，硬盤故障，服務器故障，網(wǎng)絡故障，軟件故障，IDC故障，用戶投訴，整個運維難度成指數(shù)增加，體驗非常差。第三是性能難保障，數(shù)據(jù)可靠性，服務可用性，功能先進性，安全性。隨著業(yè)務的發(fā)展，以前的存儲系統(tǒng)很難滿足業(yè)務的發(fā)展、功能和性能的發(fā)展。因此向云遷移是數(shù)據(jù)存儲的未來趨勢。

?

阿里云存儲有很全的產(chǎn)品家族，包含塊存儲、文件存儲、對象存儲、歸檔存儲、表格存儲等等。每一項都可以分很多子項。因此運維也不像以前那么難，可以做到代碼改動上云、安全免運維（不用關注細節(jié)）、三步開通（開通-使用-付費）、一鍵備份等等，非常簡潔方便。阿里云存儲在全球有19個節(jié)點，可以做到全球?qū)憽⑷蜃x，目前在國內(nèi)是最強的。

阿里云存儲海量數(shù)據(jù)遷移解決方案
對于數(shù)據(jù)遷移來說，一般分為以下五個步驟：
1、評估現(xiàn)有的業(yè)務情況。做遷移之前，一定要把業(yè)務的情況了解清楚，比如：現(xiàn)有存儲的總體IO、總吞吐、網(wǎng)絡總帶寬、已用帶寬。
2、評估可用資源。存儲集群可用吞吐、IO、可用穩(wěn)定網(wǎng)絡帶寬、預留安全水位。
3、遷移前準備。根據(jù)評估狀況制定遷移方案，計算需要的部署閃電立方Agent的集群數(shù)量和NASImport集群數(shù)量。
4、開始遷移。部署遷移集群，監(jiān)測遷移狀態(tài)，失敗文件重試。
5、遷移結(jié)束。檢查遷移文件數(shù)、校驗遷移文件正確性。
在向云遷移海量數(shù)據(jù)的過程中，因為非結(jié)構(gòu)化的存儲比結(jié)構(gòu)化的存儲有更多的數(shù)據(jù)格式類型。對于非結(jié)構(gòu)化的存儲，沒有辦法知道有多少數(shù)據(jù)類型和文件系統(tǒng)，也有一些本地的大數(shù)據(jù)相關的對象存儲，這樣的對象存儲，接口不一樣，實現(xiàn)功能也不一樣，因此對于非結(jié)構(gòu)化的存儲遷移需要更多的組合方案。阿里云提供了離線遷移的方案，叫閃電立方。同時也提供了海量數(shù)據(jù)在線遷移基于OSS/NASImport的在線遷移工具，針對不同的互聯(lián)網(wǎng)產(chǎn)品，也提供了各種遷移服務，比如混合云存儲陣列、鏡像回源、302跳轉(zhuǎn)、偽源站等等。下面分別介紹這六種解決方案。
在線遷移神器OSS/NASImport
? Import工具是一款全在線的海量數(shù)據(jù)遷移工具，通過部署到服務器或者ECS機器，可以快速、安全穩(wěn)定的將數(shù)據(jù)遷移到阿里云存儲。它有如下特點：
1、支持多種源站，多種數(shù)據(jù)接口，可定制開發(fā).
2、全在線服務，無縫遷移。
3、支持存量數(shù)據(jù)同步和增量數(shù)據(jù)自動同步。
4、支持斷點續(xù)傳，失敗任務重傳。
5、支持上傳/下載流量控制。
6、支持多任務，并行數(shù)據(jù)下載/上傳。
7、支持上傳結(jié)果校驗。
8、可視化監(jiān)視界面。
離線遷移神器閃電立方
? 除了在線遷移之外，閃電立方是阿里云2017年發(fā)布的一款離線遷移神器，閃電立方實際上是一臺服務器，它有如下特點：
1、軍工級物流密碼保護箱。
2、雙控制器，支持雙電源。
3、企業(yè)級SAS硬盤，Raid6數(shù)據(jù)保護。
4、AES256?對稱加密，MAC認證。
5、客戶保管密碼?SHA256(可選)。
6、支持壓縮去重。
7、確認遷移完成后，數(shù)據(jù)合規(guī)擦除。
8、單套支持每次遷移480TB。
閃電立方就像一個超大的U盤，可以直接把閃電立方插到機房，然后把數(shù)據(jù)遷移到閃電立方，再通過專業(yè)傳輸物流上傳到阿里云機房即可遷移成功。
混合云存儲陣列
? OSS/NASImport和閃電立方這兩種方案基本上在數(shù)據(jù)遷移之后，企業(yè)會放棄自己的機房，然而對于想混合使用的原有機房和云上資源的情況下，阿里云也有解決方案，就是使用混合云陣列，使用場景有企業(yè)數(shù)據(jù)云端拓展、企業(yè)數(shù)據(jù)云端同步、備份數(shù)據(jù)云端異地災備等。它的核心功能是提供豐富的設備端協(xié)議支持，原有應用無需修改，提供端到端的數(shù)據(jù)加密機制，數(shù)據(jù)自動分層，高性能的數(shù)據(jù)上云能力。有緩存和同步兩種模式，數(shù)據(jù)支持端到端的壓縮、去重、加密，還支持多版本快照、數(shù)據(jù)自動分層。
OSS鏡像回源
? 另外有一些互聯(lián)網(wǎng)業(yè)務，完全不能停機遷移的，阿里云也提供兩種遷移方案，第一個是OSS鏡像回源，功能是把所有的訪問先切到OSS上面，然后配置好鏡像回源的地址，用戶訪問OSS的時候，OSS會主動回源到主站。
302跳轉(zhuǎn)
另外一種方案，不需要把所有數(shù)據(jù)遷移到OSS數(shù)據(jù)，比如熱點數(shù)據(jù)，我們提供302跳轉(zhuǎn)功能。當用戶通過CDN訪問OSS的時候，即使OSS沒有數(shù)據(jù)，只要打開302跳轉(zhuǎn)功能并且配置好回源地址，OSS會主動的把回源地址返回給CDN，然后CDN會拿到地址再回源到源站拿到數(shù)據(jù)返回給用戶。這兩種是完全在線遷移，對互聯(lián)網(wǎng)業(yè)務和增量數(shù)據(jù)遷移是非常好用的。
偽源站
? 如果企業(yè)有多個源站，可以使用偽源站在線遷移，把偽源站和真正的源站進行隔離，由偽源站去拿數(shù)據(jù)。偽源站相當于替代源站，去把所有的業(yè)務處理完以后，再把數(shù)據(jù)上傳到OSS，這在互聯(lián)網(wǎng)業(yè)務分發(fā)應用的非常廣泛。
?

以上介紹的6個方案適用于不同的應用場景。對于非結(jié)構(gòu)化的數(shù)據(jù)來說，數(shù)據(jù)類型太多、數(shù)據(jù)量大小也不一樣。例如像閃電立方，最適合做離線遷移，即使數(shù)據(jù)量上百TB，但前置條件是本地IDC要有足夠的內(nèi)網(wǎng)帶寬和機架提供給閃電立方。例如像鏡像回源，用戶訪問OSS的時候，如果文件特別大，再去源站拿數(shù)據(jù)的時候，訪問速度就會非常慢，所以鏡像回源適合小規(guī)模的文件遷移，例如圖片、短視頻等等。

客戶實踐
? 某企業(yè)業(yè)務全是互聯(lián)網(wǎng)業(yè)務，經(jīng)過日積月累，數(shù)據(jù)已經(jīng)達到上百TB，并且數(shù)據(jù)中心分布的非常廣，在各地都有，而且每個數(shù)據(jù)中心網(wǎng)絡條件不一樣，存儲機器也不一樣，所以非常糾結(jié)是不是需要上云。阿里云給客戶做了一套比較完善的“離線+在線+互聯(lián)網(wǎng)”遷移方案。因為他們的IDC機器非常老，網(wǎng)絡環(huán)境又惡劣，沒法跟OSS專線連通，成本過高，硬件支持不了這么大的帶寬，所以阿里云做了一套閃電立方的專業(yè)遷移方案，多批次的搬遷。當?shù)谝慌W電立方上架之后，第二批馬上準備，在第一批遷移完之后，第二批馬上開始，基本上做到了每分每秒都在遷移，跟在線遷移同時完成。在遷移的過程中，也產(chǎn)生了一批增量數(shù)據(jù)，通過增量數(shù)據(jù)回源的方法，把增量數(shù)據(jù)也遷移進去。這是一個大型互聯(lián)網(wǎng)公司數(shù)據(jù)遷移上云方案。
? 另一個案例是一個傳統(tǒng)的三甲醫(yī)院的數(shù)據(jù)遷移方案，他們的存儲機還在用，并且希望遷移過程中產(chǎn)生的增量數(shù)據(jù)只遷移一部分。阿里云也制定了一套完整的方案，其中關鍵點在于把客戶所有的本地數(shù)據(jù)，通過閃電立方存儲到OSS，再同時把混合云存儲陣列部署到客戶的機房，把剩余的增量數(shù)據(jù)同步到OSS里面。因為數(shù)據(jù)不是特別大，一個星期之內(nèi)就遷移完了。目前，該上云的數(shù)據(jù)就上云，該在線下的數(shù)據(jù)依然存儲在線下，自己的應用一點都不用改變。
?

在存儲遷移這個領域，阿里云積累了大量的經(jīng)驗。阿里云存儲服務客戶的數(shù)據(jù)達到了10EB以上，為100PB以上的客戶從線下遷移到阿里云OSS，最多一天遷移5PB的數(shù)據(jù)。阿里云的遷移方案接口豐富、性能強大、穩(wěn)定可靠、安全高效，支持在線、離線、純互聯(lián)網(wǎng)、傳統(tǒng)企業(yè)的混合云模式進行遷移，將來會有越來越多的客戶會把線下的數(shù)據(jù)遷移到阿里云存儲。

本文由云棲志愿小組黃小凡整理

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的上云迁移-海量数据迁移解决方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。