Azure Data Factory または Synapse Analytics を使ってMongoDBからまたはMongoDBにデータをコピーする方法

適用対象: Azure Data Factory Azure Synapse Analytics

この記事では、Azure Data FactoryのコピーアクティビティとSynapse Analyticsのパイプラインを使ってMongoDBデータベースとデータをコピーする方法を概説しています。 この記事は、コピー アクティビティの概要を示しているコピー アクティビティの概要に関する記事に基づいています。

サポートされる機能

このMongoDBコネクタは以下の機能をサポートしています:

(1) Azure統合ランタイム (2) セルフホステッド統合ランタイム

ソースおよびシンクとしてサポートされているデータストアの一覧については、「 サポートされたデータストア」 の表をご覧ください。

具体的には、この MongoDB コネクタでは 4.2 までのバージョンがサポートされます。 4.2 より新しいバージョンが必要な作業の場合は、さらに包括的なサポートと機能を提供する MongoDB Atlas と MongoDB Atlas コネクタの使用を検討してください。

前提条件

データ ストアがオンプレミス ネットワーク、Azure仮想ネットワーク、または Amazon Virtual Private Cloud 内にある場合は、自身がホストする統合ランタイム を構成して接続する必要があります。

データ ストアがマネージド クラウド データ サービスの場合は、Azure Integration Runtimeを使用できます。 アクセスがファイアウォール規則で承認されている IP に制限されている場合は、許可リストに Azure Integration Runtime IP を追加できます。

Azure Data Factoryの 管理された仮想ネットワーク統合ランタイム機能を使用して、セルフホステッド統合ランタイムをインストールして構成することなく、オンプレミス ネットワークにアクセスすることもできます。

Data Factory によってサポートされるネットワーク セキュリティ メカニズムやオプションの詳細については、「データ アクセス戦略」を参照してください。

作業の開始

パイプラインでコピー アクティビティを実行するには、次のいずれかのツールまたは SDK を使用します。

• データのコピー ツール
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager テンプレート

UIを使ってMongoDBにリンクされたサービスを作成します

Azure ポータル UI で MongoDB へのリンクされたサービスを作成するには、次の手順に従います。

1. Azure Data FactoryまたはSynapseのワークスペース内の「管理」タブに行き、「リンクされたサービス」を選択してください。 次に 「新作」を選択します:

   • Azureデータファクトリー
   • Azure Synapse

   

2. MongoDB を検索し、MongoDB コネクタを選択します。

   

3. サービスの詳細を構成し、接続をテストして、新しいリンク サービスを作成します。

   

コネクタの構成の詳細

次のセクションでは、MongoDB コネクタに固有の Data Factory エンティティを定義するために使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

以下の表は、MongoDBリンクサービスでサポートされているプロパティを一覧にしています。

Azure Key Vaultに接続文字列を配置することもできます。 詳細については、Azure Key Vaultの「Store credentials」をご覧ください。 |はい | |データベース |アクセスしたいデータベースの名前。 |はい | |connectVia |データストアに接続するために使うIntegration Runtime。 詳細については、「前提条件」セクションを参照してください。 このプロパティを指定しない場合は、デフォルトのAzure Integration Runtimeが使われます。 |いいえ |

例:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

データセットを定義するために使用できるセクションやプロパティの完全なリストについては、「 データセットとリンクされたサービス」をご覧ください。 以下の表は、MongoDBデータセットに対応しているプロパティを示しています:

例:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Copy アクティビティ のプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。 このセクションでは、MongoDB ソースとシンクでサポートされるプロパティの一覧を示します。

ソースとしての MongoDB

コピー活動 のソース セクションは以下のプロパティをサポートしています:

例:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

シンクとしての MongoDB

コピー アクティビティの 処理セクションは以下のプロパティをサポートしています:

例

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

JSON ドキュメントのインポートとエクスポート

このMongoDBコネクターを使って簡単に:

• 2 つの MongoDB コレクション間でドキュメントをそのままコピーします。
• Azure Cosmos DB、Azure Blob Storage、Azure Data Lake ストア、サポートされているその他のファイル ベースのストアなど、さまざまなソースから MongoDB に JSON ドキュメントをインポートします。
• JSON ドキュメントを MongoDB コレクションからさまざまなファイル ベースのストアにエクスポートします。

このようなスキーマに依存しないコピーを実現するには、データセットの "構造" ("スキーマ" とも呼ばれる) のセクションと、コピー アクティビティでのスキーマ マッピングをスキップします。

MongoDB のデータ型マッピング

MongoDBからデータをコピーすると、サービスはMongoDBのデータ型から中間データ型への以下のマッピングを使用します。 コピーアクティビティがソーススキーマとデータ型をシンクにマッピングする方法については、「 スキーマとデータ型マッピング」をご覧ください。

MongoDB コネクタのライフサイクルとアップグレード

次の表は、MongoDB コネクタのさまざまなバージョンのリリース ステージと変更ログを示しています。

• 文字列データ型としても読み込みます。 |

MongoDB リンク サービスをアップグレードする

新しい MongoDB リンク サービスを作成し、リンク サービス プロパティを参照してそれを構成します。

関連コンテンツ

Copy アクティビティでソースおよびシンクとしてサポートされるデータ ストアの一覧については、サポートされるデータ ストアに関するセクションを参照してください。