チュートリアル: NFS 経由でデータをAzure Data Boxにコピーする

Important

Azure Data Boxでは、BLOB レベルでのアクセス層の割り当てがサポートされるようになりました。 このチュートリアルで扱うステップは、更新されたデータ コピー プロセスを反映したもので、ブロック BLOB に特化したものとなっています。

ブロック BLOB データの適切なアクセス層を決定する方法については、「ブロック BLOB の適切なアクセス層を決定する」セクションを参照してください。 データを適切なアクセス層 にコピーするには、「Data Box にデータをコピー する」セクションに記載されている手順に従います。

このセクションに含まれる情報は、2024 年 4 月 1 日以降に発注された注文に適用されます。

このチュートリアルでは、ローカル Web UI を使用してホスト コンピューターに接続し、ホスト コンピューターからデータをコピーする方法について説明します。

このチュートリアルでは、以下の内容を学習します。

  • 前提条件
  • Data Box に接続する
  • Data Box にデータをコピーする

前提条件

開始する前に次の点を確認します。

  1. Azure Data Box の設定に関するチュートリアルを完了していること。
  2. Data Box の受け取りが済んでいて、ポータル内での注文の状態が [配信済み] であること。
  3. Data Box にコピーするデータを持つホスト コンピューターがある。 ホスト コンピューターは次の要件を満たす必要があります。

開始する前に次の点を確認します。

  1. Azure Data Box の設定に関するチュートリアルを完了していること。
  2. Data Box の受け取りが済んでいて、ポータル内での注文の状態が [配信済み] であること。
  3. Data Box にコピーするデータを持つホスト コンピューターがある。 ホスト コンピューターは次の要件を満たす必要があります。

Data Box に接続する

選択したストレージ アカウントに基づいて、Data Box は次の値まで作成します。

  • GPv1 と GPv2 の関連付けられているストレージ アカウントごとに 3 つの共有。
  • プレミアム ストレージ用の共有項目 1 件。
  • BLOB ストレージ アカウント用に 1 つの共有。4 つのアクセス層ごとに 1 つのフォルダーが含まれます。

次の表は、接続先の Data Box 共有の名前と、ターゲット ストレージ アカウントにアップロードされるデータの種類を示しています。 また、ソース データをコピーする共有とディレクトリの階層も識別します。

ストレージの種類 共有フォルダ名 第 1 レベルのエンティティ 第 2 レベルのエンティティ 第 3 レベルのエンティティ
ブロック BLOB <storageAccountName>_BlockBlob <\accessTier> <\containerName> <\blockBlob>
ページ BLOB <\storageAccountName>_PageBlob <\containerName> <\pageBlob>
ファイルストレージ <\storageAccountName>_AzFile <\fileShareName> <\file>

Data Box 共有の ルート フォルダーにファイルを直接コピーすることはできません。 代わりに、ユース ケースに応じて Data Box 共有内にフォルダーを作成します。

ブロック BLOB では、ファイル レベルでのアクセス層の割り当てがサポートされます。 ブロック BLOB 共有にファイルをコピーする前に、適切なアクセス層内に新しいサブフォルダーを追加することをお勧めします。 次に、新しいサブフォルダーを作成した後、必要に応じて各サブフォルダーにファイルを追加し続けます。

ブロック BLOB 共有のルートに存在するすべてのフォルダーに対して、新しいコンテナーが作成されます。 フォルダー内のすべてのファイルは、ブロック BLOB としてストレージ アカウントの既定のアクセス層にコピーされます。

BLOB アクセス層の詳細については、「BLOB データのアクセス層」を参照してください。 アクセス層のベスト プラクティスの詳細については、「 BLOB アクセス層を使用するためのベスト プラクティス」を参照してください。

次の表は、Data Box 上の共有への UNC パスと、データがアップロードされる対応するAzure Storage パスの URL を示しています。 最終的なAzure Storage パス URL は、UNC 共有パスから派生できます。

Azure Storage の種類 Data Box 共有
Azure ブロック BLOB
  • 共有フォルダーへの UNC パス: \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt
  • Azure Storage URL:https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
  • Azure ページ BLOB
  • 共有への UNC パス: \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd
  • Azure Storage URL:https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
  • Azure Files
  • 共有への UNC パス: \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt
  • Azure Storage URL:https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt
  • Linux ホスト コンピューターを使用している場合は、次の手順を実行して、NFS クライアントへのアクセスを許可するように Data Box を構成します。

    1. 共有にアクセスできる許可するクライアントの IP アドレスを指定します。 ローカル Web UI で、 [接続とコピー] ページに移動します。 [ NFS 設定] で、[ NFS クライアント アクセス] を選択します。

      NFS のクライアント アクセスを構成する

    2. NFS クライアントの IP アドレスを指定し、[ 追加] を選択します。 この手順を繰り返すことにより、複数の NFS クライアントに対するアクセスを構成できます。 [OK] を選択.

      NFS クライアントの IP アドレスを構成する

    3. Linux ホスト コンピューターにサポートされているバージョンの NFS クライアントがインストールされていることを確認します。 お使いの Linux ディストリビューションの特定のバージョンを使用します。

    4. NFS クライアントをインストールした後、次のコマンドを使用して、Data Box デバイスに NFS 共有をマウントします。

      sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

      NFS を使用して Data Box 共有に接続するには、次の例を使用します。 この例では、Data Box デバイスの IP が 10.161.23.130されています。 共有 Mystoracct_Blob は ubuntuVM にマウントされ、マウント ポイントは /home/databoxubuntuhost/databox

      sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

      Mac クライアントの場合は、次のように追加のオプションを追加する必要があります。

      sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

      Important

      ストレージ アカウントの ルート フォルダーにファイルを直接コピーすることはできません。 ブロック BLOB ストレージ アカウントのルート フォルダー内には、使用可能な各アクセス層に対応するフォルダーがあります。

      データをAzure Data Boxにコピーするには、まず、いずれかのアクセス層に対応するフォルダーを選択する必要があります。 次に、その層のフォルダー内にデータを格納するサブフォルダーを作成します。 最後に、新しく作成したサブフォルダーにデータをコピーします。 新しいサブフォルダーは、インジェスト中にストレージ アカウント内に作成されたコンテナーを表します。 データは BLOB としてこのコンテナーにアップロードされます。

    ブロック BLOB 用の適切なアクセス層を決定する

    Important

    このセクションに含まれる情報は、2024 年 4 月 1 日以降に発注された注文に適用されます。

    Azure Storageを使用すると、ブロック BLOB データを同じストレージ アカウント内の複数のアクセス層に格納できます。 この機能を使用すると、データにアクセスする頻度に基づいて、データをより効率的に整理して保存できます。 次の表に、Azure Storageアクセス層に関する情報と推奨事項を示します。

    レコメンデーション ベスト プラクティス
    Hot 頻繁にアクセスまたは変更されるオンライン データに適しています。 この層はストレージ コストが最も高く、アクセス コストは最も安くなります。 この層のデータは、定期的かつアクティブに使う必要があるものです。
    カッコいい 頻繁にアクセスまたは変更されないオンライン データに適しています。 この層はホット層に比べてストレージ コストが安く、アクセス コストが高くなります。 この層のデータは、30 日以上保存する必要があるものです。
    寒い アクセスや変更はあまり行われないものの、高速で取得する必要があるオンライン データに適しています。 この層は、クール層よりストレージコストが安く、アクセスコストが高くなります。 この層のデータは、90 日以上保存する必要があるものです。
    Archive ほとんどアクセスされず、待ち時間の要件が低いオフライン データに適しています。 この層のデータは、180 日以上保存する必要があるものです。 180 日以内にアーカイブ アクセス層から削除されたデータは、早期削除料金の対象になります。

    BLOB アクセス層の詳細については、「BLOB データのアクセス層」を参照してください。 より詳細なベスト プラクティスについては、「BLOB アクセス層を使用するためのベスト プラクティス」を参照してください。

    ブロック BLOB データは、Data Box 内の対応するフォルダーにコピーすることで、適切なアクセス層に転送できます。 このプロセスについては、「データをAzure Data Boxにコピーする」セクションで詳しく説明します。

    Data Box にデータをコピーする

    1 つ以上の Data Box 共有に接続した後、次の手順はデータのコピーです。 データ コピーを開始する前に、次の制限事項を考慮してください。

    • 必要なデータ形式に対応する共有にデータをコピーしてください。 たとえば、ブロック BLOB データは、ブロック BLOB 用の共有にコピーしてください。 VHD をページ BLOB 共有にコピーします。 データ形式が適切な共有の種類と一致しない場合、Azureへのデータのアップロードは、後の手順で失敗します。
    • AzFile 共有または PageBlob 共有にデータをコピーする場合は、まず共有のルートにフォルダーを作成してから、そのフォルダーにファイルをコピーします。
    • データを BlockBlob 共有にコピーする場合は、目的のアクセス層内にサブフォルダーを作成し、新しく作成したサブフォルダーにデータをコピーします。 サブフォルダーは、データが BLOB としてアップロードされるコンテナーを表します。 ファイルを共有の ルート フォルダーに直接コピーすることはできません。
    • データをコピーするときに、データ サイズが、Azure ストレージ アカウントのサイズ制限で説明されているサイズ制限に準拠していることを確認します。
    • Data Box と Data Box 以外の別のアプリケーションによる同時アップロードでは、アップロード ジョブの失敗やデータの破損が発生する可能性があります。
    • データ コピーに SMB プロトコルと NFS プロトコルの両方を使用する場合は、次のことをお勧めします。
      • SMB と NFS には異なるストレージ アカウントを使用します。
      • SMB と NFS の両方を使用して、同じデータを Azure 内の同じエンド 宛先にコピーしないでください。 このような場合、最終的な結果を特定することはできません。
      • SMB と NFS の両方を使用した並列コピーは機能しますが、人為的なエラーが発生しやすいため、この操作はお勧めしません。 NFS データ コピーを開始する前に、SMB データコピーが完了するまで待ちます。
    • ブロック BLOB 共有にデータをコピーする場合は、目的のアクセス層内にサブフォルダーを作成し、新しく作成したサブフォルダーにデータをコピーします。 サブフォルダーは、データが BLOB としてアップロードされるコンテナーを表します。 ストレージ アカウントの ルート フォルダーにファイルを直接コピーすることはできません。
    • 大文字と小文字を区別するディレクトリとファイル名を NFS 共有から Data Box 上の NFS に取り込む場合:
      • 名前の大文字と小文字の区別は保持されます。

      • ファイルは大文字と小文字を区別しません。

        たとえば、SampleFile.txtSamplefile.Txt をコピーする場合でも、名前の大文字と小文字は Data Box にコピーした際に保持されます。 ただし、同じファイルと見なされるため、アップロードされた最後のファイルによって最初のファイルが上書きされます。

    Important

    データがAzure Storageにコピーされたことを確認できるまで、ソース データのコピーを保持していることを確認します。

    Linux ホスト コンピューターを使用している場合は、Robocopy のようなコピー ユーティリティを使用します。 Linux で使用できる代替手段には、 rsyncFreeFileSyncUnisonUltracopier があります。

    cp コマンドは、ディレクトリをコピーするための最適なオプションの 1 つです。 使用法の詳細については、 cp man ページを参照してください。

    マルチスレッド コピー rsync オプションを使用する場合は、次のガイドラインに従ってください。

    • Linux クライアントが使用しているファイルシステムに応じて、 CIFS Utils または NFS Utils パッケージをインストールします。

      sudo apt-get install cifs-utils

      sudo apt-get install nfs-utils

    • rsync並列をインストールします (Linux 分散バージョンによって異なります)。

      sudo apt-get install rsync

      sudo apt-get install parallel

    • マウント ポイントを作成します。

      sudo mkdir /mnt/databox

    • ボリュームをマウントします。

      sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox

    • フォルダー ディレクトリ構造をミラー化します。

      rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox

    • ファイルをコピーします。

      cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

      ここで、j は並列化の数を指定し、X = 並列コピーの数を指定します。

      16 個の並列コピーから開始し、使用可能なリソースに応じてスレッドの数を増やすことをお勧めします。

    Important

    次の Linux ファイルの種類はサポートされていません:シンボリック リンク、文字ファイル、ブロック ファイル、ソケット、パイプ。 これらのファイルの種類により、 発送準備 手順中にエラーが発生します。

    エラーを特定するために、コピーの機能中に通知が表示されます。

    Connect とコピーでエラーをダウンロードして表示する

    [ 問題の一覧のダウンロード] を選択します。

    コピー エラーの問題の一覧をダウンロードする

    一覧を開いてエラーの詳細を表示し、解決 URL を選択して推奨される解決策を表示します。

    コピー エラーの問題の一覧内の問題

    詳細については、「 Data Box へのデータコピー中にエラー ログを表示する」を参照してください。 データのコピー中のエラーの詳細な一覧については、「 Data Box の問題のトラブルシューティング」を参照してください。

    データの整合性を保証するため、データがコピーされるときにインラインでチェックサムが計算されます。 コピーが完了したら、デバイスで使用済み領域と空き領域を確認します。

    ダッシュボードで空き領域と使用済み領域を確認する

    次のステップ

    このチュートリアルでは、Azure Data Box に関する次のようなトピックについて説明しました。

    • Data Box データコピーの前提条件
    • Data Box への接続
    • ブロック BLOB の適切なアクセス層を決定する
    • Data Box へのデータのコピー

    次のチュートリアルに進み、お客様の Data Box を Microsoft に返送する方法を学習してください。