从S3中导入数据到Dynamodb
生活随笔
收集整理的這篇文章主要介紹了
从S3中导入数据到Dynamodb
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
本節如果你已經從Dynamodb中導出過數據,而且導出的文件以及被存入S3。文件內部結構會在Verify Data Export File?中描寫敘述。 我們稱之前導出數據的原始表為source table,數據將要被導入的表為destination table。你能夠將S3中的導出文件導入到dynamodb的表中。可是要先確保滿足以下條件:
從S3導入數據到DynamoDB登陸AWS管理控制臺,然后打開dynamodb控制臺:?https://console.aws.amazon.com/dynamodb/. (可選) 假設你想做塊區域導入。點擊右上角的Select a Region?然后選擇要導入的表的區域。控制臺會顯示該區域下的全部表。 在?Amazon DynamoDB Tables?頁面, 點擊?Export/Import. 在?Export/Import?頁面,選擇一個你要導入的表,然后點擊?Import into DynamoDB. 在?Create Import Table Data Pipeline?頁面,按以下步驟操作: S3 Input Folder?文本框中輸入導入文件相應的 Amazon S3 URI。比如:?s3://mybucket/exports這個URI的規則應該是這樣?s3://bucketname/folder : 導入任務會通過指定的S3位置找到相應的文件。文件內部結構會在Verify Data Export File?中描寫敘述。 在 S3 Log Folder?文本框中輸入一個S3 URI,導出過程的日志將被存儲在對應的folder中。比如:s3://mybucket/logs/
S3 Log Folder?URI的格式和 S3 Output Folder的格式同樣。 在?Throughput Rate?文本框中可選擇一個百分比。 Execution Timeout?文本框,輸入導出任務的超時時長。假設導出任務在這個時長內還沒運行完畢,此任務會失敗。 Send notifications to?文本框,輸入一個email地址。在 pipeline被創建后。你將會收到一封email邀請訂閱Amazon SNS。假設你接受了此邀請,在每次運行導出操作時你都將會收到email通知。 Data Pipeline Role, 選擇?DataPipelineDefaultRole. Resource Role, 選擇?DataPipelineDefaultResourceRole 確認好以上設置然后點擊 Create Export Pipeline. 你的 pipeline 如今將被創建;這個過程可能會花費幾分鐘完畢。
- The destination table 已經存在。 (導入任務不會為你創建表)
- The destination table 與 source table 有同樣的名稱。
- The destination table 與 source table 有同樣的結構。
比如,你有一個Customer?表,它的主鍵是CustomerId。而且僅僅有三個items (CustomerId?1, 2, and 3)。
假設要導入的文件里相同包括CustomerID?為1, 2, and 3的items。這些在destination table中的items將會被導入文件里的數據替換。假設文件里還包括CustomerId為4的item,那么這個item會被增加到
destination table中。 Destination table 能夠在不同的AWS region。比如。如果你有個一個?Customer?table在US West (Oregon) region,然后將它的數據導出到了Amazon S3中。你能夠將它導入到在?EU (Ireland) region中有同樣表明,同樣主鍵的表中。這樣的做法被稱為 cross-region?導出和導入。 注意到AWS管理控制臺同意你一次導出多個表的數據。可是,不同的是,你一次僅僅能導入一個表。從S3導入數據到DynamoDB
假設destination table不存在的話。你須要先創建它。
- bucketname?是S3中bucket的名稱
- folder?表示存放要導入的文件的名稱
S3 Log Folder?URI的格式和 S3 Output Folder的格式同樣。
這個比率表示在導出過程中會消耗讀吞吐量的上限。比如,如果你要導出的表的讀吞吐量是20,同一時候你設置的百分比是40%。
那么導出時所消耗的吞吐量將不會超過8.
假設你在導出多個表。這個 Throughput Rate?將會被應用到每一個表中。
要查看當前狀態。移步?Managing Export and Import Pipelines.
導入任務會在你的pipeline創建好后馬上運行。轉載于:https://www.cnblogs.com/blfbuaa/p/6789950.html
總結
以上是生活随笔為你收集整理的从S3中导入数据到Dynamodb的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CAD常用命令大全(快捷键和命令说明)
- 下一篇: sql游标以及异常处理