AWS Glueを使用したOceanBaseデータの移行|OceanBase Cloud|ドキュメント|OceanBaseマニュアル

AWS Glueはサーバーレスのデータ統合サービスであり、ユーザーが複数のソースからのデータを簡単に検出し、準備、移動、統合して、分析、機械学習、アプリケーション開発を支援することを目的としています。データ検出、最新のETL、データクレンジングと変換、そして一元化されたカタログといった包括的なデータ統合機能を単一のサービスで提供します。AWS Glueはインフラ管理が不要で、ETL、ELT、ストリーミングなど多様なワークロードをサポートし、あらゆるデータサイズやタイプに合わせてオンデマンドで拡張できます。

本記事ではOceanBase Cloudを使用します。データをあるOceanBaseインスタンスから別のOceanBaseインスタンスに移行します。増分移行を行う場合は、ETLスクリプトを作成し、スケジュールタスクと連携させる必要があります。

注意

AWS GlueはパブリックIPアドレスを介してデータソースに接続することができず、ネットワーク要件が非常に厳格です。そのため、AWS Glueを使用する際には、ネットワーク設定でGlueタスクとOceanBaseインスタンスを同一のサブネットに配置する必要があります。キーとエンドポイントも同一ノード上に配置する必要があります。
AWS Glueの使用はAWSの料金規則に従い、それに伴う費用が発生する可能性があります。続行する前に、公式Webサイトをご覧いただくか関連ドキュメントを確認し、その料金体系を確認・同意してください。同意しない場合は、操作を続けないでください。

Glueを使用してOceanBaseデータベースに接続する

以下の手順に従って、Glueを使用してOceanBaseデータベースに接続します：

EC2インスタンスを作成します。
AWS S3 VPCゲートウェイエンドポイントを設定します。

AWS GlueはパブリックIPアドレスを介してデータソースに接続することができないため、本記事ではプライベートIPアドレスを使用してOceanBaseデータベースに接続します。GlueのサブネットがAmazon S3 VPCゲートウェイエンドポイントまたはサブネットルーティングテーブル内のNATゲートウェイのルートを持っていることを確認してください。以下の手順に従って、AWS S3 VPCゲートウェイエンドポイントを設定します：
1. Amazon VPCコンソールを開きます。ナビゲーションウィンドウで、エンドポイントを選択します。
2. エンドポイントの作成を選択します。
3. サービス名について、com.amazonaws.us-east-1.s3を選択します。タイプ列がゲートウェイを示していることを確認します。
  
  注意
  
  us-east-1は、選択したAWSリージョンに置き換えてください。
4. VPCについて、エンドポイントを作成するVPCを選択します。
5. ルーティングテーブルの設定について、システムはS3 VPCエンドポイントへのルートを自動的に追加します。
6. ポリシーについて、デフォルトの「完全アクセス」オプションのままにします。
7. エンドポイントの作成を選択します。
  
  エンドポイントの作成が完了すると、エンドポイントの詳細とサブネット情報を確認できます。
Glue接続をテストします。
1. AWS Glueコンソールを開き、JDBCを選択します。
2. JDBCはプライベートIPを使用します。
3. Network Optionsを設定します。サブネット情報には、ステップ2でエンドポイントとして設定したS3 VPCへのリンクを使用します。
4. Nextをクリックして作成を完了します。
5. 接続をテストします。

Glue ETLタスクの使用

以下の手順に従って、Glue ETLタスクを使用し、OceanBaseインスタンスに接続してデータを変換します。

OceanBaseソースデータベースを追加します。
1. Connectionsをクリックし、JDBCタイプを選択します。
2. OceanBaseデータソース情報を入力します。
3. 作成を完了します。
4. 接続をテストします。
OceanBaseターゲットデータベースを追加します。

本記事では、Crawlersを使用してターゲットデータベースのマッピングを行います。
1. Crawlers -> Create Crawlerをクリックします。
2. Crawler情報を入力します。
3. データソースを追加します。
4. JDBC接続タイプとデータベーステーブルを選択します。
5. Nextをクリックしてユーザーを実行します。
6. テーブルマッピングの場所を追加します。
7. データベースを選択して完了し、次へをクリックしてCrawlerの作成を完了します。
8. ターゲットデータベースに事前にテーブルを作成します。
9. Crawlerを実行し、テーブルマッピング情報を確認します。
ETLタスクを作成します。
1. Visual ETLをクリックしてジョブを作成します。
2. SourceタイプにMySQLを選択します。
3. MySQLノードをクリックし、JDBC SourceとTable Nameを選択してデータをプレビューします。
4. Targetsをクリックし、TargetタイプにMySQLを選択します。
5. タスクを保存して実行します。
6. 実行結果を確認します。