テストデータの一括生成

本記事では、Shellスクリプト、ストアドプロシージャ、およびODCを使用してテストデータを一括生成する方法について説明します。

前提条件

• OceanBaseクラスタをデプロイし、Oracleモードのテナントを作成していること。OceanBaseクラスタのデプロイに関する詳細は、デプロイの概要を参照してください。
• CREATE TABLE、INSERT、および SELECT 権限を持っていること。現在のユーザー権限を確認する操作の詳細については、ユーザー権限の確認を参照してください。該当する権限がない場合は、管理者に連絡して権限の付与を依頼してください。ユーザー権限に関する操作の詳細については、直接権限の付与を参照してください。

Shellスクリプトを使用したテストデータの一括生成

Shellスクリプトを作成してSQLスクリプトを一括生成することで、大量のテストデータを挿入するプロセスを効率化でき、煩雑なSQLステートメントを手動で作成する手間を省くことができます。この方法により、必要に応じて大量のテストデータを生成でき、効率を向上させるとともに、手動操作による作業負荷を軽減できます。

手順

1. テストテーブルを作成します。
2. Shellスクリプトを作成します。
3. SQLスクリプトを実行します。
4. データを確認します。

ステップ１：テストテーブルの作成

データベース管理ツール（コマンドラインやグラフィカルツールなど）を使用して、テストデータを格納するためのデータベースを作成し、そのデータベース内に対応するテストテーブル構造を作成します。

1. 用意済みのOracleモードのテナントに接続します。

   例：

   obclient -hxxx.xxx.xxx.xxx -P2881 -usys@oracle001 -p****** -A
   

2. テストテーブルを作成します。

   例：

   以下のSQLステートメントを実行して、テストテーブル test_sql_file_tbl1 を作成します。

   obclient [SYS]> CREATE TABLE test_sql_file_tbl1 (id NUMBER, name VARCHAR2(20), email VARCHAR2(50));
   

   テーブル作成の詳細については、テーブルの作成を参照してください。

ステップ２：Shellスクリプトの作成

テキストエディタを使用してShellスクリプトファイルを作成します。ファイルの拡張子には .sh を使用できます。Shellスクリプト内で出力リダイレクト記号（> または >>）を使用して、生成されたテストデータをSQLスクリプトファイルに書き込みます。ループやイテレーションの過程で生成されたデータをSQL（INSERT）ステートメントの形でSQLスクリプトファイルに書き込みます。

1. ターミナルを開きます。

2. Shellスクリプトファイルを作成します。

   vi または vim エディタを使用して、新しいShellスクリプトファイルを作成します。

   例：

   以下のコマンドを実行して、Shellスクリプト generate_sql.sh を作成します。

   vi generate_sql.sh
   

3. 編集モードに入ります。

   i キーまたは Insert キーを押して vi または vim エディタの挿入モードに入ると、ファイルの内容を編集できます。

4. Shellスクリプトのロジックを記述します。

   編集モードでは、Shellスクリプトのロジックとコマンドを記述します。これらのコマンドには、Shellコマンド、条件ステートメント、ループ構造、関数などが含まれます。

   例：

   generate_sql.sh スクリプトの内容は以下のとおりです：

   #!/bin/bash
   
   # SQLファイル名の定義
   SQL_FILE="insert_test_sql_file_tbl1.sql"
   
   # SQLファイルの作成
   touch $SQL_FILE
   
   # SQLステートメントの定義
   INSERT_SQL="INSERT INTO test_sql_file_tbl1 (id, name, email) VALUES "
   
   # 100,000件のユーザーレコードをループで生成する
   for ((i=1; i<=100000; i++))
   do
       user_id=$i
       user_name="user_$i"
       user_email="user_$i@example.com"
       values="($user_id, '$user_name', '$user_email')"
       if (($i == 100000))
       then
           INSERT_SQL="$INSERT_SQL$values;"
       else
           INSERT_SQL="$INSERT_SQL$values, "
       fi
   done
   
   # SQLステートメントをSQLファイルに書き込む
   echo $INSERT_SQL >> $SQL_FILE
   

   説明

   • このスクリプトは、insert_test_sql_file_tbl1.sql という名前のSQLファイルを生成し、100,000件のユーザーレコードを挿入します。必要に応じて、SQLステートメントやループで生成されるユーザーレコードの数を変更できます。
   • 大量のデータを挿入する際は、関連するサーバーのリソース使用状況を事前に確認し、リソース不足によるデータ挿入の失敗やパフォーマンス低下を防いでください。

5. ファイルを保存します。

   Esc キーを押して挿入モードを終了し、:wq コマンドを入力してファイルを保存して vi または vim エディタを終了します。

6. Shellスクリプトファイルを実行します。

   ターミナルで作成したShellスクリプトを実行すると、SQLスクリプトが生成されます。

   例：

   以下のコマンドを実行して、作成したShellスクリプトを実行します。このコマンドは、現在のディレクトリに、100,000件の INSERT ステートメントを含む insert_test_sql_file_tbl1.sql という名前のSQLスクリプトファイルを生成します。

   sudo bash generate_sql.sh
   

ステップ3：SQLスクリプトを実行する

以下のコマンドを使用して、SQLスクリプトファイル内のデータをデータベースにインポートします。

1. ターミナルまたはコマンドラインインターフェースを開き、OceanBaseデータベースのOracleモードテナントに接続します。

   例：

   obclient -hxxx.xxx.xxx.xxx -P2881 -usys@oracle001 -p****** -A
   

2. データベースのコマンドラインインターフェースで、source コマンドを使用してSQLスクリプトを実行します。

   例：

   obclient [SYS]> source /home/admin/test_data/insert_test_sql_file_tbl1.sql
   

   説明

   SQLスクリプトファイルを実行する際は、絶対パスを使用してファイルの場所を指定してください。

   実行結果は次のとおりです：

   Query OK, 100000 rows affected
   Records: 100000  Duplicates: 0  Warnings: 0
   

ステップ4：データを確認する

以下のSQLステートメントを実行して、test_sql_file_tbl1 のデータ行数を確認します。

obclient [SYS]> SELECT count(*) FROM test_sql_file_tbl1;

実行結果は次のとおりです：

+----------+
| COUNT(*) |
+----------+
|   100000 |
+----------+
1 row in set

ストアドプロシージャを使用したテストデータの一括生成

ストアドプロシージャを使用してテストデータを一括生成することは、大量のテストデータを自動的に生成するための効果的な方法です。

手順

1. テストテーブルを作成します。
2. ストアドプロシージャを作成します。
3. ストアドプロシージャを呼び出します。
4. データを確認します。

ステップ１：テストテーブルの作成

データベース管理ツール（コマンドラインやグラフィカルツールなど）を使用して、テストデータを格納するためのデータベースを作成し、そのデータベース内に対応するテストテーブル構造を作成します。

1. 準備済みのOracleモードのテナントに接続します。

   例：

   obclient -hxxx.xxx.xxx.xxx -P2881 -usys@oracle001 -p****** -A
   

2. テストテーブルを作成します。

   例：

   以下のSQLステートメントを実行して、テーブル test_pro_tbl1 を作成します。このテーブルには3つのフィールドが含まれます：

   • id は整数型のフィールドです。
   • name は文字列型のフィールドで、最大長は50文字です。
   • enrollment_date は日付型のフィールドで、日付データを格納するために使用されます。

   obclient [SYS]> CREATE TABLE test_pro_tbl1 (
     id NUMBER,
     name VARCHAR2(50),
     enrollment_date DATE);
   

ステップ2：ストアドプロシージャの作成

1. カスタム区切り文字を指定します。

   例：

   DELIMITER コマンドを使用して、カスタム区切り文字 // を指定します。

   obclient [SYS]> DELIMITER //
   

2. ストアドプロシージャを作成します。

   例：

   以下のSQLステートメントを実行して、ストアドプロシージャ pro_generate_data を作成します。入力パラメータは n で、挿入するデータの数を指定するために使用されます。ループステートメントと INSERT ステートメントを使用して、データを生成および挿入します。ここで、test_pro_tbl1 はデータを挿入するテーブル名、id、name、enrollment_date はデータを挿入するフィールド名、i はループカウンター、CONCAT 関数は名前の生成に、DATE_ADD 関数は日付の生成に使用されます。

   obclient [SYS]> CREATE OR REPLACE PROCEDURE pro_generate_data(n IN INT) IS
   i INT := 1;
   BEGIN
   WHILE i <= n LOOP
   INSERT INTO test_pro_tbl1 (id, name, enrollment_date) VALUES (i, 'Name' || i, TO_DATE('2022-01-01', 'YYYY-MM-DD') + i);
   i := i + 1;
   END LOOP;
   END;
   //
   

   ストアドプロシージャの作成方法の詳細については、ストアドプロシージャを参照してください。

3. デフォルトのセミコロン区切り文字に戻します。

   obclient [SYS]> DELIMITER ;
   

ステップ3：ストアドプロシージャを呼び出す

CALL ステートメントを使用してストアドプロシージャを呼び出し、テストデータを生成するロジックを実行します。ストアドプロシージャにパラメータを渡して、生成するデータ数を指定できます。

例：

以下のSQLステートメントを実行して、ストアドプロシージャ pro_generate_data を呼び出し、パラメータ値として100,000を渡します。これは、100,000件のデータを挿入する必要があることを意味します。

obclient [SYS]> CALL pro_generate_data(100000);

ステップ4：データを確認する

以下のSQLステートメントを実行して、test_pro_tbl1 のデータ行数を確認します。

obclient [SYS]> SELECT count(*) FROM test_pro_tbl1;

実行結果は次のとおりです：

+----------+
| COUNT(*) |
+----------+
|   100000 |
+----------+
1 row in set

ODCを使用したテストデータの一括生成

OceanBase Developer Center（ODC）は、OceanBaseデータベース専用に設計されたエンタープライズ向けデータベース開発プラットフォームです。ODCの詳細については、OceanBase Developer Centerとはを参照してください。

ODCはデータシミュレーション機能を提供しており、データベースのパフォーマンステストや機能検証など、大量のシミュレーションデータが必要なシナリオで、テーブルのフィールドタイプに基づいて迅速にデータを生成できます。ODCのデータシミュレーションに関する詳細は、データシミュレーションを参照してください。

関連ドキュメント

• データベースへの接続方法の詳細については、接続方法の概要を参照してください。
• テーブルの削除に関する詳細については、テーブルの削除を参照してください。
• データの削除に関する詳細については、データの削除を参照してください。