在我們收到的請(qǐng)求中，有一個(gè)頻繁出現(xiàn)的請(qǐng)求是提供一種能在 Windows Azure Blob 存儲(chǔ)與其本地文件系統(tǒng)之間輕松上傳或下載文件的方法。一年半前, 我們很高興地發(fā)布了 AzCopy, Windows Azure 存儲(chǔ)客戶借助這款命令行實(shí)用程序就可以實(shí)現(xiàn)上述操作。該實(shí)用程序旨在簡(jiǎn)化數(shù)據(jù)傳輸任務(wù)，使您可以輕松將數(shù)據(jù)傳入或傳出 Windows Azure 存儲(chǔ)帳戶。客戶可以將其作為獨(dú)立工具使用，也可以把它添加到現(xiàn)有應(yīng)用程序中。您可以隨時(shí)從 aka.ms/AzCopy 下載最新版本。

此命令與您可能已經(jīng)很熟悉的 robocopy 等其他 Microsoft 文件復(fù)制實(shí)用程序類似。以下是命令的語(yǔ)法：

AzCopy <Source> <Destination> [filepattern] [Options]

在本文中，我們將重點(diǎn)介紹 AzCopy 的功能，暫不討論實(shí)施細(xì)節(jié)。幫助命令 (AzCopy /?) 列出了所有可用的系統(tǒng)命令和參數(shù)，并對(duì)其進(jìn)行了簡(jiǎn)要說(shuō)明。

主要功能：

• 有效性和靈活性：借助 AzCopy，用戶可以選擇性地復(fù)制數(shù)據(jù)。使用遞歸模式時(shí)，客戶可以復(fù)制文件的嵌套目錄。用戶可以指定文件模式（在 Windows 文件系統(tǒng)中使用通配符，在 Blob 存儲(chǔ)中使用前綴）來(lái)識(shí)別等待復(fù)制的源文件。此外，用戶也可以設(shè)置選項(xiàng)以復(fù)制設(shè)置了“存檔”屬性的文件。復(fù)制大量文件時(shí)，如果其中某個(gè)文件由于網(wǎng)絡(luò)問(wèn)題或其他問(wèn)題而無(wú)法復(fù)制，重試選項(xiàng)可以從中斷處（尚未復(fù)制的文件處）繼續(xù)執(zhí)行復(fù)制過(guò)程。使用重試模式，您無(wú)需再重新復(fù)制先前已成功復(fù)制的文件。
• 支持 Windows Azure 存儲(chǔ)數(shù)據(jù)類型：AzCopy 提供了相應(yīng)的選項(xiàng)，可以讓客戶把存儲(chǔ)帳戶中的目標(biāo)數(shù)據(jù)指定為 Block Blob 或 Page Blob。默認(rèn)設(shè)置為 Block Blob，因?yàn)樗鼛缀踹m用于所有文件。使用 Page Blob 選項(xiàng)時(shí)，會(huì)向 Blob 添加零，使其成為 512 個(gè)字節(jié)的邊界。
• 命名規(guī)則：URI 格式（http 或 https）用于指定 Blob 存儲(chǔ)路徑，而 NTFS Windows 文件文件夾路徑則用于 Windows 文件系統(tǒng)。由于一些 Blob 名稱無(wú)法直接轉(zhuǎn)換到 Windows 文件系統(tǒng)， AzCopy 使用其自身的規(guī)則將其轉(zhuǎn)換為 Windows 文件系統(tǒng)名稱。下面介紹了一些在命名轉(zhuǎn)換過(guò)程中遵循的規(guī)則：
  • 使用以下規(guī)則對(duì)與特殊 Windows 文件名稱沖突的 Blob 進(jìn)行重命名：“.” =>“dot”；“..”=>“dotdot”；“/” => “slash”等。與其他沖突解決方案規(guī)則一樣，如果這些名稱發(fā)生沖突，則向發(fā)生沖突的文件或 Blob 名稱添加字符串“(n)”以解決沖突。
  • Windows 文件系統(tǒng)命名空間不區(qū)分大小寫(xiě)（但是會(huì)保留大小寫(xiě)），Windows Azure Blob 命名空間區(qū)分大小寫(xiě)，以下規(guī)則適用：
    • § Blob 命名空間中的 Blob 使用文件名的默認(rèn)大小寫(xiě)創(chuàng)建。
    • § 文件使用 Blob 命名空間的默認(rèn)大小寫(xiě)創(chuàng)建。
    • § 如果從 Blob 命名空間復(fù)制到文件命名空間時(shí)發(fā)生大小寫(xiě)沖突，將向發(fā)生沖突的文件或 Blob 名稱添加字符串“(n)”。
• 日志記錄：用戶可以在日志模式 (verbose) 下運(yùn)行 AzCopy，這將顯示經(jīng)過(guò)處理的文件和目錄的列表，并顯示實(shí)用程序無(wú)法復(fù)制的文件的列表。在日志模式下運(yùn)行時(shí)，AzCopy 還將在日志中顯示每個(gè)文件的進(jìn)度指示。

示例：

示例 1：在遞歸模式中，將可從本地訪問(wèn)的文件目錄復(fù)制到 Blob 存儲(chǔ)容器。

AzCopy C:\blob-data https://myaccount.blob.core.windows.net/mycontainer/ /destkey:key /S

上述命令將把“c:\blob-data”目錄和所有子目錄中的所有文件作為 Block Blob 復(fù)制到存儲(chǔ)帳戶“myaccount”中名為“mycontainer”的容器。“Blob-data”文件夾包含以下文件和一個(gè)名為“subfolder1”的子目錄；

C:\blob-data\car1.docx

C:\blob-data\car2.docx

C:\blob-data\car3.docx

C:\blob-data\train1.docx

C:\blob-data\subfolder1\car_sub1.docx

C:\blob-data\subfolder1\car_sub2.docx

完成復(fù)制操作后，Blob 容器“mycontainer”中將包含以下 Blob：

car1.docx

car2.docx

car3.docx

train1.docx

subfolder1/car_sub1.docx

subfolder1/car_sub2.docx

如果不使用遞歸模式（執(zhí)行復(fù)制時(shí)不使用“/S”選項(xiàng)），Blob 容器“mycontainer”將僅包含“blob-data”文件夾下的以下文件，并將忽略“subfolder1”文件夾下的文件。

car1.docx

car2.docx

car3.docx

train1.docx

示例 2：如果同時(shí)啟用日志模式和遞歸模式，將從 Blob 存儲(chǔ)中把一組 Blob 以遞歸方式復(fù)制到可從本地訪問(wèn)的目錄。

AzCopy https://myaccount.blob.core.windows.net/mycontainer c:\blob-data /sourceKey:key /S /V

此命令會(huì)在日志模式和遞歸模式中將帳戶“myaccount”的 Blob 容器“mycontainer”下的所有 Blob 復(fù)制到“c:\blob-data”目錄。

Blob 容器“mycontainer”包含以下文件：

car1.docx

car2.docx

car3.docx

train1.docx

subfolder1/car_sub1.docx

subfolder1/car_sub2.docx

由于我們正在使用日志模式，此工具將打印以下輸出到日志文件中，其中除了傳輸摘要外，還包含每個(gè)文件的文件傳輸狀態(tài)。默認(rèn)情況下，此工具僅顯示傳輸摘要：

Finished Transfer: car1.docx

Finished Transfer: car2.docx

Finished Transfer: car3.docx

Finished Transfer: train1.docx

Finished Transfer: subfolder1/car_sub1.docx

Finished Transfer: subfolder1/car_sub2.docx

Transfer summary:

?-----------------

Total files transferred: 6

Transfer successfully: 6

Transfer failed: 0

After the copy operation,

c:\blob-data folder will contain the files listed below:

C:\blob-data\car1.docx

C:\blob-data\car2.docx

C:\blob-data\car3.docx

C:\blob-data\train1.docx

C:\blob-data\subfolder1\car_sub1.docx

C:\blob-data\subfolder1\car_sub2.docx

下面我們來(lái)稍微嘗試一下另一種略有不同的情況，即通過(guò)使用以下命令復(fù)制以“subfolder1\”開(kāi)頭的 Blob：

AzCopy https://myaccount.blob.core.windows.net/mycontainer/subfolder1 c:\blob-data /sourceKey:key /S /V

上述命令僅復(fù)制以“subfolder1/”開(kāi)頭的 Blob，因此工具僅將“subfolder1/car_sub1.docx”和“subfolder1/car_sub2.docx”Blob 復(fù)制到“c:\blob-data\”文件夾。執(zhí)行復(fù)制操作后，“C:\blob-data”將包含以下文件：

C:\blob-data\car_sub1.docx

C:\blob-data\car_sub2.docx

示例 3：在重試模式中，將可從本地訪問(wèn)的文件目錄復(fù)制到 Blob 帳戶

AzCopy c:\blob-data https://myaccount.blob.core.windows.net/mycontainer /destkey:key /Z:restart.log /S

Restart.log 是一個(gè)用于維護(hù)復(fù)制操作狀態(tài)并記錄在中斷時(shí)重新啟動(dòng)操作的日志文件。如果沒(méi)有指定日志文件和重試模式參數(shù)，日志文件將默認(rèn)為%localAppData%中的“azcopy.log”。

例如，“C:\blob-data”文件夾包含五個(gè)大文件，每個(gè)文件的大小均超過(guò) 100 MB。

C:\blob-data\car.docx

C:\blob-data\car1.docx

C:\blob-data\car2.docx

C:\blob-data\car3.docx

C:\blob-data\car4.docx

使用重試選項(xiàng)運(yùn)行時(shí)，借助 AzCopy，可以在發(fā)生故障的情況下重新啟動(dòng)復(fù)制過(guò)程。如果復(fù)制“car.docx”時(shí)發(fā)生故障，AzCopy 會(huì)從“car.docx”尚未復(fù)制的部分繼續(xù)復(fù)制。如果成功復(fù)制“car.docx”后發(fā)生故障，AzCopy 會(huì)從剩余四個(gè)文件中尚未復(fù)制的部分繼續(xù)復(fù)制操作。

示例 4：使用文件名匹配模式選擇存儲(chǔ) Blob 容器中的文件數(shù)量，并將其復(fù)制到可從本地訪問(wèn)的目錄。

AzCopy https://myaccount.blob.core.windows.net/mycontainer c:\blob-data car /sourceKey:key /Z /S

“mycontainer”包含以下文件：

car1.docx

car2.docx

car3.docx

train.docx

carfolder/car_sub1.docx

carfolder/train_sub2.docx

subfolder1/car_sub1.docx

subfolder1/car_sub2.docx

復(fù)制操作完成后，“c:\blob-data”將包含以下所列的文件。由于指定了前綴為“car”的文件名匹配模式，因此復(fù)制操作僅復(fù)制前綴為“car”的文件。請(qǐng)注意，如果此前綴直接位于“mycontainer”容器中，則其適用于 Blob，或者適用于子目錄名稱。

C:\blob-data\car1.docx

C:\blob-data\car2.docx

C:\blob-data\car3.docx

C:\blob-data\carfolder\car_sub1.docx

C:\blob-data\carfolder\train_sub2.docx

性能

在 Windows Azure 數(shù)據(jù)中心內(nèi)（即位于同一數(shù)據(jù)中心內(nèi)的計(jì)算實(shí)例和存儲(chǔ)帳戶之間），用戶使用特大計(jì)算實(shí)例上傳和下載大量數(shù)據(jù)的速度應(yīng)該能夠達(dá)到 50MB/s。向 Windows Azure 數(shù)據(jù)中心傳入和傳出數(shù)據(jù)將受到 AzCopy 可用帶寬的限制。

已知問(wèn)題

• 如果復(fù)制時(shí)不使用 /XN（排除新文件）和 /XO（排除舊文件），則此工具在復(fù)制前僅比較源文件和目標(biāo)文件的名稱。因此，盡管源文件和目標(biāo)文件完全相同，系統(tǒng)依舊會(huì)提示用戶是否覆蓋目標(biāo)文件。
• 如果復(fù)制時(shí)使用 /XN 和 /XO，請(qǐng)注意您的本地系統(tǒng)時(shí)間和存儲(chǔ)服務(wù)中存儲(chǔ)的時(shí)間將略有出入。因此，如果差不多同時(shí)修改 Blob 和本地文件，比較時(shí)可能會(huì)做出不正確的篩選。
• 使用重啟恢復(fù)選項(xiàng)將文件復(fù)制到 Page Blob 時(shí)，如果復(fù)制操作在中途發(fā)生故障，則此工具將從文件的開(kāi)始位置重新啟動(dòng)復(fù)制過(guò)程。對(duì)于將文件復(fù)制到 Block Blob，這一問(wèn)題則不存在。
• 如果存儲(chǔ)容器下有兩個(gè)分別名為“a”和“a/b”的 Blob，則無(wú)法在該容器下使用 /S 復(fù)制這兩個(gè) Blob。Windows 不允許在同一文件夾下同時(shí)創(chuàng)建名稱均為“a”的文件夾和文件。

?Aung Oo

Matthew Hendel

Windows Azure 存儲(chǔ)團(tuán)隊(duì)

本文翻譯自：

http://blogs.msdn.com/b/windowsazurestorage/archive/2012/12/03/azcopy-uploading-downloading-files-for-windows-azure-blobs.aspx



轉(zhuǎn)載于:https://www.cnblogs.com/sesexxoo/p/6191005.html

總結(jié)

以上是生活随笔為你收集整理的AzCopy – 上传/下载 Windows Azure Blob 文件的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。