當前位置：首頁 > 运维知识 > 数据库 >内容正文

数据库

aws 数据库迁移_AWS Loft的数据库周

發(fā)布時間：2023/12/3 数据库 45 豆豆

生活随笔收集整理的這篇文章主要介紹了 aws 数据库迁移_AWS Loft的数据库周小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

aws 數(shù)據(jù)庫遷移

這是我的筆記：

https://databaseweekoctober2019sf.splashthat.com

AWS上的數(shù)據(jù)庫：合適工作的合適工具

在許多此類談話中，我并沒有做過深刻的記錄。我正在關注重點。

PostgreSQL排在MySQL之后。

AWS上8種類型的數(shù)據(jù)庫：

關系型
核心價值
文件
在記憶中
圖形
搜索
時間序列
分類帳

搜索：AWS Database Services

對于關系，他們有Amazon Aurora。它與MySQL和PostgreSQL兼容。與MySQL（在RDS上）相比，它的吞吐量是5倍，而在PostgreSQL（在RDS上）則是PostgreSQL3倍。它可以擴展到15個只讀副本。容錯和自我修復。它在三個可用區(qū)中保留6個數(shù)據(jù)副本。它可以提供對S3的連續(xù)備份。它在靜止和傳輸中都有加密。它由亞馬遜完全管理。他們支持跨區(qū)域（不清楚）和多主機。

Amazon.com本身至少在某些方面使用了Aurora。

有一個數(shù)據(jù)庫遷移服務。

它們還支持其他數(shù)據(jù)庫，例如使用RDSSQL Server。

接下來，她介紹了鍵值數(shù)據(jù)存儲。

DynamoDB是它們的鍵值存儲。它不需要服務器配置。它可在任何規(guī)模上提供一致的單位毫秒ms響應時間。它具有無限的吞吐量。它在靜止和運輸過程中均已加密。它支持跨區(qū)域的全局數(shù)據(jù)庫復制。

接下來，她介紹了文檔數(shù)據(jù)庫。 JSON文檔是數(shù)據(jù)庫中的一流對象。 DocumentDB是他們的解決方案。這對用戶配置文件等很有用。它最多可以擴展15個副本。它提供毫秒級的延遲。它與MongoDB兼容。

內存數(shù)據(jù)庫：無持久性。在記憶中。微秒性能。字符串，哈希，列表，集合等。類似于Redis。他們有ElastiCache。它們與Redis和Memcached兼容。您可以使用分片和副本進行擴展。

全文搜索：他們具有Elasticsearch Service。完全管理。它通過監(jiān)視和自我修復功能跨多個可用區(qū)復制。

圖形數(shù)據(jù)庫：關系是一流的對象。數(shù)據(jù)被建模并作為圖形查詢。頂點通過邊連接。它使您可以輕松快速地創(chuàng)建和導航數(shù)據(jù)之間的關系。 Amazon Neptune是一個完全托管的圖形數(shù)據(jù)庫。它提供了六個數(shù)據(jù)副本。它支持Gremlin和SparkQL進行查詢。

時間序列數(shù)據(jù)：這是在一定時間間隔內記錄的一系列數(shù)據(jù)點。將時間序列數(shù)據(jù)存儲在關系數(shù)據(jù)庫中具有挑戰(zhàn)性。 Amazon Timestream是他們的解決方案。它是“無服務器的”。

Ledger：與區(qū)塊鏈有關。數(shù)據(jù)僅追加。這些是集中控制的分類帳。這非常適合醫(yī)療保健。有一個分類帳數(shù)據(jù)庫。有日記。所有這些都可以通過密碼驗證。想象一個插入，一個更新和另一個更新。每個步驟都經(jīng)過審核。請參閱Amazon Quantum Ledger數(shù)據(jù)庫（QLDB）。

為不同的目的使用不同的數(shù)據(jù)庫。

她將向演示演示如何使用Cloud Formation模板設置大多數(shù)內容。

（她正在使用Windows筆記本電腦。）

顯然，我們都獲得了AWS積分。請記住，在一天結束時關閉并清理資源。

參見： https : //github.com/aws-samples/aws-bookstore-demo-app

我問使用Aurora時如何對開發(fā)人員的計算機進行處理。答案讓我很困惑。他們提到了AWS控制塔和著陸區(qū)。您可以創(chuàng)建數(shù)據(jù)庫用戶或聯(lián)盟用戶。您可以有一個或多個帳戶。您可以控制事物…人群中的某個人說您可以創(chuàng)建一個每個人都共享的帳戶。您可以將ActiveDirectory聯(lián)合到AWS，然后使用該用戶帳戶。您可以創(chuàng)建數(shù)據(jù)庫用戶…

Aurora支持最低版本MySQL 5.7等。與Aurora相比，您必須驗證MySQL版本。您想要類似地進行配置（緩沖區(qū)大小等）。

我不確定開發(fā)人員是否可以在其機器上使用MySQL以及在生產(chǎn)環(huán)境中使用Aurora是否可以。

稍后，我們將討論架構遷移工具。您可以連接到本地MySQL。它將對本地數(shù)據(jù)庫中的行進行采樣。它將為Aurora中的外觀生成一個SQL文件。您可以確定兼容性。 Aurora與電線兼容。您可以使用現(xiàn)有的驅動程序。但是，有些特定參數(shù)可能是自定義的高級引擎內容。您需要對此進行測試。

明天下午有一個極光會議。

午餐和研討會：15分鐘或更短時間內提供全功能應用程序

https://github.com/awslabs/aws-full-stack-template

（我真的不知道15分鐘或更短的時間意味著什么。您不能在15分鐘內寫出它。如果您是少于15分鐘的新手，您甚至無法閱讀文檔并進行設置。）

請注意您啟動的區(qū)域。

命名S3存儲桶時請?zhí)貏e注意。使用小寫。以字母開頭，然后是字母或數(shù)字。使用類似DNS的名稱。沒有下劃線。使其獨特。我認為它必須是全球唯一的。

對于CloudFormation中的項目名稱，請使用小寫字母，僅字母和十個字符以內。

有趣的是此CloudFormation .yml文件。這是1100行！那里有一些有趣的東西。例如，必須配置每個單獨的lambda函數(shù)，可以使用其訪問數(shù)據(jù)存儲。

看起來他們正在使用create-react-app，TypeScript，React Router，React Bootstrap等。它是一個客戶端應用程序。

AWS數(shù)據(jù)庫遷移服務（DMS）

DMS =數(shù)據(jù)庫遷移服務。簡單，快速。重量輕。簡單明了。

SCT =模式轉換工具。它是高級的。這對于Redshift等中的數(shù)據(jù)倉庫很有用。

您可以使用它們進行現(xiàn)代化，遷移或復制。

SCT幫助秘密表，視圖和代碼。

這是您可以遷移到的內容： https : //aws.amazon.com/dms/schema-conversion-tool/

SCT將生成評估報告。

有些東西它不能移植。與引擎高度相關的事物。

有大量的指南討論了從一種類型的數(shù)據(jù)庫移植到另一種類型的數(shù)據(jù)庫時如何處理數(shù)據(jù)庫功能的所有詳細信息。

您可以使用DMS完成90％的工作。

DMS甚至可以將SQL遷移到NoSQL和從NoSQL遷移。

DMS是一項HIPAA認證的服務。

DMS在云中運行。 SCT作為機器映像運行（我認為）。

您甚至可以從云遷移到本地。

使用DMS + Snowball進行大規(guī)模使用（超過5TB）。

Snowball是盒子中的加固PC。它有一個超級堅固的外殼。您用數(shù)據(jù)加載它，然后將其發(fā)送回去。它最多可以容納72TB。 250美元。不包括運費。請注意，它已加密，并且密鑰不在設備上。

攝取是免費的。您必須支付存儲和出口費用。

您可以使用DMS進行復制。您可以將其用于跨區(qū)域讀取副本。他們甚至說您可以使用它來保持產(chǎn)品/設備同步。

他們已經(jīng)遷移了170,000多個數(shù)據(jù)庫。

您可以從Oracle遷移到PostgreSQLRDS。（我假設您也可以使用Aurora的PostgreSQL。）

“雪地車”是一種牽引車拖車，是一個堅固的容器，可用于運送數(shù)十億美元的數(shù)據(jù)。

您可以使用Snowball遷移數(shù)據(jù)，然后使用DMS復制最近的更改。

從SQL Server到MySQL以及從Oracle到PostgreSQL更容易。

轉換或復制您的架構。

移動您的數(shù)據(jù)。

如果您不想這么做，則不必帶出所有數(shù)據(jù)。您只能過濾所需的內容。

您可以使用DMS進行多可用區(qū)以實現(xiàn)高可用性。

您可以將多個實例映射到單個目標。您還可以從單一來源映射到多個目標。

S3是大多數(shù)AWS數(shù)據(jù)湖架構的基礎。

Aurora MySQL領先于Aurora PostgreSQL。

您可以在EC2上安裝任何舊版或開源DB。 RDS為此是一項托管服務。它們負責修補，引擎，操作系統(tǒng)等。您可以定義實例大小等。下一步是Aurora。他稱其為無服務器。您提供數(shù)據(jù)，其余的由他們提供。

講習班：在Amazon RDS上運行SQL Server并遷移到MySQL

跳過。

亞馬遜關系數(shù)據(jù)庫服務（RDS）

我錯過了Amazon RDS演講。無論如何，我還是更專注于Aurora，因為它是更高級，更易于管理的選項。

https://github.com/wrbaldwin/db-week

午餐和研討會：Amazon RDS入門

跳過。

亞馬遜極光

他說，數(shù)據(jù)是如今副本中最具戰(zhàn)略意義的資產(chǎn)。

他們一直說“將現(xiàn)有應用“提升并轉移”到云中。”

如果您遷移到云，Oracle開始收取雙倍的價格。因此，人們正從“守舊的商業(yè)數(shù)據(jù)庫”遷移到MySQL，PostgreSQL和MariaDB。

要從商業(yè)數(shù)據(jù)庫獲得規(guī)模和性能，需要進行大量調整。

Aurora的成本是商業(yè)數(shù)據(jù)庫的1/10。

他說，它具有商業(yè)數(shù)據(jù)庫的速度和可用性，但具有開源數(shù)據(jù)庫的簡單性和成本效益。

它具有與MySQL和PostgreSQL直接兼容性。

它有按需付費的價格。

這是一項完全托管的服務。

三個租戶：

橫向擴展，分布式體系結構。

利用AWS的面向服務的架構。

自動執(zhí)行管理任務。這是一項完全托管的服務。

他們使計算和存儲脫鉤。

它使用“共享存儲池”。

它與Lambda（從存儲過程和觸發(fā)器調用Lambda事件），S3（快照和備份），IAM和CloudWatch集成在一起。

AWS提供自動故障轉移，備份和恢復，隔離和安全性，行業(yè)合規(guī)性，一鍵式擴展，修補，監(jiān)控和維護。您必須注意架構設計，查詢等。

與開源平臺相比，它的性能提高了5倍。它提供了更好的可用性和耐用性。

它比MySQL（與RDS相比）快5倍，比PostgreSQL（基于SysBench）快3倍。我問它與在具有本地磁盤的大型硬件上運行MySQL相比如何。他說不是蘋果對蘋果。（我認為5x是BS。）

計算和存儲是完全分開的。

他們對其進行了優(yōu)化，以減少I / O并最大程度地減少網(wǎng)絡數(shù)據(jù)包。

他們負責連接池。您最多可以建立5000個連接。

您可以在3個可用區(qū)中擁有6個副本。

對于寫入仲裁，他們需要6分之4的數(shù)據(jù)，對于讀取仲裁需要6分之3的數(shù)據(jù)。

他們使用對等復制進行修復。

該卷跨數(shù)百個存儲節(jié)點進行條帶化。

您最多可以有15個只讀副本。他們從同一共享的分布式存儲卷中讀取。

持久存儲將按需重做記錄，作為磁盤讀取的一部分。這是并行，分布式和異步的。沒有用于啟動的重放。因此，從故障轉移中獲得的恢復速度要快得多。僅需10到20秒。

他說它“比MySQL更便宜”（這很奇怪，因為MySQL是免費的）。他的解釋是，與其他托管服務（即RDS）相比，它更便宜。由于共享存儲池，它更便宜。也不需要空閑的備用實例。

您不必使用HA代理即可故障轉移到副本。他們?yōu)槟M行DNS更改。

他展示了一個成本細分示例：

他提到了r5.4XL機器。
每個副本的價格為每小時2.32美元。
實例成本為每小時6.96美元。
存儲成本為每小時$ 4.43。
總費用為每小時11.39美元。與RDS相比，節(jié)省了28.7％。

在RDS中，備用數(shù)據(jù)庫與副本數(shù)據(jù)庫是分開的。在Aurora中，副本充當備用數(shù)據(jù)庫。您不需要空閑的備用實例。

它由SSD支持。

Amazon.com從Oracle遷移到許多不同的數(shù)據(jù)庫。任何需要ACID的東西都交給了Aurora。他們的某些服務使用的是MySQL版本。有些人使用PostgreSQL版本。

（他在Mac上使用Microsoft Outlook。）

他設置了自動縮放以自動添加新的只讀副本。自動縮放時，必須決定要自動縮放的內容。他進行了設置，以便如果副本上的CPU使用率超過20％，他將添加另一個副本。他還可以根據(jù)連接數(shù)來執(zhí)行此操作。

有一個“增強監(jiān)控”功能。增強的監(jiān)視發(fā)生在管理程序層。這是一個額外的費用，但可以為您提供更好的粒度。

它可以顯示正在運行的線程，活動的事務innodb_rows_read.avg。

它向您顯示哪個查詢導致CPU峰值。

我們將通過S3使用二進制快照攝取，并通過binlog復制進行追趕。

或者，如果您有更復雜的需求，則可以使用通過SCT進行模式轉換以及通過DMS進行數(shù)據(jù)遷移。

這不是NoSQL。它符合ACID標準。

如果最大限度地提高了寫入容量，則需要增強實例。（我猜想將某些事情從Aurora移到DynamoDB是有意義的。）

再次，它是完全管理的。

重要：他說所有讀操作都應歸讀讀副本。這真的很有趣。您不必擔心復制延遲，因為它們是從同一共享存儲中讀取的。從只讀副本而不是從主副本讀取時，只有幾微秒的延遲。

他們可以在大多數(shù)時間以零停機時間應用數(shù)據(jù)庫補丁。他們唯一無法做的事情就是永遠沒有長時間沒有交易發(fā)生的時間。

他們具有快速的數(shù)據(jù)庫克隆功能。克隆的創(chuàng)建幾乎是瞬時的。它是寫時復制的。這對于故障排除很有用。您可以克隆生產(chǎn)數(shù)據(jù)庫以運行測試。每個副本最多可以有15個克隆。但是，您無法跨AWS區(qū)域進行克隆。

它們最多僅支持64 TB。

Backtrack是一項功能，可將數(shù)據(jù)庫恢復到某個時間點，而無需從備份中還原。這不是破壞性的。您可以多次回溯以找到正確的時間點。這是一個滾動的72小時窗口。創(chuàng)建集群時必須啟用它。它必須在數(shù)據(jù)庫級別而不是表級別完成。

每小時費用為$ 0.012 /百萬更改記錄。

重要說明：它們支持全局數(shù)據(jù)庫的邏輯或物理復制跨區(qū)域。復制時間不到1秒，故障轉移時間不到1分鐘。它是在存儲層而不是計算層完成的。

Aurora Serverless適用于不經(jīng)常使用的應用程序。您可以在晚上或周末關閉數(shù)據(jù)庫。關閉時，您只需支付存儲成本，而不是計算成本。

1 ACU = 2 gigs的內存。

它們可以從1個ACU擴展到256個ACU。

很多人從SQL Server遷移到Aurora。（這一次，我認為他說的是PostgreSQL版本，但之前，我認為他們說的是MySQL版本。）

您可以將Lambda與Aurora無服務器一起使用。您將使用他們的API網(wǎng)關。

有一個在線查詢編輯器。

他展示了一個架構圖，其中每個框都是一個AWS服務。

Aurora Serverless并非適合所有人。如果您需要關閉數(shù)據(jù)庫一段時間，這很有用。

他們正試圖使您擺脫認為您需要對其進行管理的想法。

講習班：使用Amazon Aurora加速數(shù)據(jù)庫開發(fā)和測試

跳過。

使數(shù)據(jù)庫與工作負載匹配

我錯過了前15分鐘。當我進來時，他在談論RDS。他從未談論過Aurora，所以我想知道是否在最初的15分鐘內就解決了。

其中很多與第一次談話相吻合。

DynamoDB是任何規(guī)模的快速，靈活的NoSQL DB服務。您不必擔心服務器。 amazon.com的大部分內容都基于DynamoDB構建。它支持事件驅動的編程（我想知道這是否意味著您可以使用它來構建實時應用程序）。您可以具有執(zhí)行l(wèi)ambda函數(shù)的觸發(fā)器。這是“快速而一致的”。它既是文檔又是鍵值存儲。

創(chuàng)建表時必須創(chuàng)建“本地二級索引”（LSI），并且無法更改。

他們具有DynamoDB自動縮放功能，可以根據(jù)您的實際流量采用吞吐量。

使用一個區(qū)域內的3個DC對分區(qū)進行三向復制。

（DocumentDB與MongoDB 兼容，但它是自產(chǎn)的。）

Amazon Elasticsearch Service：它是開源的，易于使用，可擴展，安全，高度可用且集成。文件代表實體。數(shù)據(jù)在字段中。

DynamoDB和Elasticsearch可以很好地協(xié)同工作。您可以為所有字段設置一個倒排索引。

Amazon Neptune是一個完全托管的圖形數(shù)據(jù)庫。它用于跨多個表的極其相關的數(shù)據(jù)。非常適合建模社交網(wǎng)絡。

Amazon Redshift用于數(shù)據(jù)倉庫。它提供了快速，強大且簡單的數(shù)據(jù)倉庫，成本僅為原來的1/10。它是大規(guī)模并行的，并提供PB級。它是列式數(shù)據(jù)存儲。這是后端的PostgreSQL分支。用于分析查詢。您不會將其用于網(wǎng)站的在線數(shù)據(jù)庫。它不是為一堆小插入而構建的。您可以在每列中使用不同的壓縮算法。它適用于傳統(tǒng)數(shù)據(jù)倉庫，SaaS分析和大數(shù)據(jù)分析。

Amazon Athena用于交互式分析。所有數(shù)據(jù)都在S3中。它基于Hive和Presto構建。您甚至可以查詢CSV，并用虛擬SQL表包裝它。它與SQL兼容。它是無服務器的。零基礎設施。零管理。用于分析用途或報告需求。

量子分類帳數(shù)據(jù)庫（QLDB）：這是一個分類帳數(shù)據(jù)庫。這是很新的。一旦寫入分類帳，就永遠無法對其進行更改。一成不變且透明。可加密驗證。高度可擴展。易于使用。

這與Amazon Managed Blockchain不同。 Amazon QLDB由一個受信任的機構擁有。借助Amazon Managed Blockchain，分類賬沒有單一所有者。相反，您擁有多方的共同所有權。

他制定了“ PIE定理”：模式靈活性，無限規(guī)模，效率：選擇兩項。他有幾個很好的信息圖形。

他用Kahoot競爭性地向我們提問。我排第二。我試圖招募第一個進來的人;）

Amazon Crypto不再存在。

講習班：使用Amazon Elasticsearch Service搜索DynamoDB數(shù)據(jù)

跳過。

Graph和Amazon Neptune

跳過。

研討會：使用Amazon Neptune構建您的第一個圖形應用程序

跳過。

翻譯自: https://www.javacodegeeks.com/2019/11/database-week-at-the-aws-loft.html