LOAD DATA

注意

オブジェクトストレージパスを使用する場合、オブジェクトストレージパスの各パラメータは&記号で区切られます。入力したパラメータ値に英字の大文字・小文字、数字、\/-_$+=、およびワイルドカードのみを含めるようにしてください。上記以外の文字を入力した場合、設定が失敗する可能性があります。

注意

• LOG ERRORS 句を指定しない場合、通常のインポート動作となります。つまり、最初のエラーが発生すると即座にエラーが報告されます。
• LOG ERRORS 句を指定したが、REJECT LIMIT 句を指定していない場合、LIMIT を0に設定した場合と同じ動作になります。最初のエラーが発生すると操作は失敗しますが、最初のエラーが記録され、エラーコードも診断関連のエラー、「reject limit reached」となります。

  複数ファイルのダイレクトロード時のワイルドカード規則

  複数ファイルのインポートを容易にするために、ファイルのワイルドカード機能が導入されました。この機能はサーバーサイドおよび OSS ファイルのインポートに適用されますが、クライアント側のファイルインポートには適用されません。

  • サーバーサイドでのワイルドカードの使用

    • マッチングルール：

      • ファイル名のマッチング：load data /*+ parallel(20) direct(true, 0) */ infile '/xxx/test.*.csv' replace into table t1 fields terminated by '|';

      • ディレクトリのマッチング：load data /*+ parallel(20) direct(true, 0) */ infile '/aaa*bb/test.1.csv' replace into table t1 fields terminated by '|';

      • ディレクトリとファイル名の同時マッチング：load data /*+ parallel(20) direct(true, 0) */ infile '/aaa*bb/test.*.csv' replace into table t1 fields terminated by '|';

    • 注意事項：

      • マッチするファイルが少なくとも1つ存在する必要があります。そうでない場合、エラーコード 4027 が返されます。

      • load data /*+ parallel(20) direct(true, 0) */ infile '/xxx/test.1*.csv,/xxx/test.6*.csv' replace into table t1 fields terminated by '|'; の入力では、/xxx/test.1*.csv,/xxx/test.6*.csv が全体としてマッチすると見なされます。マッチしない場合はエラーコード 4027 が返されます。

      • POSIX の GLOB 関数がサポートするワイルドカードのみサポートされます。例えば、test.6*(6|0).csv および test.6*({0.csv,6.csv}|.csv) は ls コマンドで検索できますが、GLOB 関数ではマッチせず、エラーコード 4027 が返されます。

  • オブジェクトストレージサービス（OSS）でのワイルドカードの使用

    • マッチングルール：

      ファイル名のマッチング：load data /*+ parallel(20) direct(true, 0) */ remote_oss infile 'oss://xxx/test.*.csv?host=xxx&access_id=xxx&access_key=xxx' replace into table t1 fields terminated by '|';

    • 注意事項：

      • ディレクトリのマッチングはサポートされません。例えば：load data /*+ parallel(20) direct(true, 0) */ remote_oss infile 'oss://aa*bb/test.*.csv?host=xxx&access_id=xxx&access_key=xxx' replace into table t1 fields terminated by '|'; は OB_NOT_SUPPORTED を返します。

      • ファイル名のワイルドカードは * と ? のみサポートされます。他のワイルドカードは入力は許可されていますが、マッチする結果は存在しません。

  例

  サーバーサイド（OBServerノード）のファイルからデータをインポートする

  例1：サーバーサイドのファイルからデータをインポートします。

  1. グローバルセキュリティパスを設定します。

     注意

     セキュリティ上の理由により、システム変数 secure_file_priv を設定する際は、ローカルのUnix Socket経由でデータベースに接続し、このグローバル変数を変更するSQLステートメントを実行する必要があります。詳細については、secure_file_privを参照してください。

     obclient> SET GLOBAL secure_file_priv = "/";
     

  2. ログアウトします。

     説明

     secure_file_priv は GLOBAL 変数であるため、\q を実行してログアウトする必要があります。

     obclinet> \q
     

     実行結果は次のとおりです。

     Bye
     

  3. 再接続した後、LOAD DATA ステートメントを使用してデータをインポートします。

     • 標準的なインポート。

       obclient> LOAD DATA INFILE '/home/admin/test.csv' INTO TABLE t1;
       

     • APPEND ヒントを使用して、ダイレクトロードを有効にします。

       LOAD DATA /*+ PARALLEL(4) APPEND */ INFILE '/home/admin/test.csv' INTO TABLE t1;
       

  例2：APPEND ヒントを使用して、ダイレクトロード機能を有効にします。

  LOAD DATA /*+ PARALLEL(4) APPEND */
     INFILE '/home/admin/a.csv'
     INTO TABLE t;
  

  例3：CSV形式のファイルをインポートします。

  • test1.csv ファイルのすべての列をインポートします。

    load data  /*+ direct(true,0) parallel(2)*/
    from files(
      location = "data/csv",
      format = (
        type = 'csv',
        field_delimiter = ',',
        parse_header = true,
        skip_blank_lines = true
      ),
      pattern = 'test1.csv')
    into table t1;
    

  • data/csv ディレクトリ内の test1.csv ファイルの c1、c2 列を読み取り、それらをテーブル t1 の col1、col2 列にインポートします。

    load data  /*+ direct(true,0) parallel(2)*/
    from (
      select c1, c2 from files(
          location = 'data/csv'
            format = (
            type = 'csv',
            field_delimiter = ',',
            parse_header = true,
            skip_blank_lines = true
          ),
          pattern = 'test1.csv'))
    into table t1 (col1, col2);
    

  例4：PARQUET形式のファイルをインポートします。

  load data  /*+ direct(true,0) parallel(2)*/
  from files(
    location = "data/parquet",
    format = ( type = 'PARQUET'),
    pattern = 'test1.parquet')
  into table t1;
  

  例5：ORC形式のファイルをインポートします。

  load data  /*+ direct(true,0) parallel(2)*/
  from files(
    location = "data/orc",
    format = ( type = 'ORC'),
    pattern = 'test1.orc')
  into table t1;
  

  例5：ODPS形式のファイルをインポートします。

  load data  /*+ direct(true,0) parallel(2)*/
  from source (
    type = 'ODPS',
    accessid = '$ODPS_ACCESSID',
    accesskey = '******',
    endpoint= '$ODPS_ENDPOINT',
    project_name = 'example_project',
    schema_name = '',
    table_name = 'example_table',
    quota_name = '',
    compression_code = '')
  into table t1;
  

  クライアント（ローカル）ファイルからデータをインポートする

  例1：ローカルファイルからOceanBaseデータベースのテーブルにデータをインポートします。

  1. ターミナルまたはコマンドプロンプトウィンドウを開き、以下のコマンドを入力してクライアントを起動します。

     obclient --local-infile -hxxx.xxx.xxx.xxx -P2881 -usys@oracle001 -p******
     

     実行結果は次のとおりです：

     Welcome to the OceanBase.  Commands end with ; or \g.
     Your OceanBase connection id is 3221548006
     Server version: OceanBase 4.2.2.0 (r100000032024010510-75c47d4be18a399e13c5309de1a81da5caf4e7c0) (Built Jan  5 2024 10:17:55)
     
     Copyright (c) 2000, 2018, OceanBase and/or its affiliates. All rights reserved.
     
     Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
     
     obclient [SYS]>
     

     注意

     LOAD DATA LOCAL INFILE機能を使用するには、V2.2.4以降のバージョンのOBClientクライアントを使用してください。

  2. クライアントで、LOAD DATA LOCAL INFILEステートメントを実行して、ローカルデータファイルをロードします。

     obclient [SYS]> LOAD DATA LOCAL INFILE '/home/admin/test_data/tbl1.csv' INTO TABLE tbl1 FIELDS TERMINATED BY ',';
     

     実行結果は次のとおりです：

     Query OK, 3 rows affected
     Records: 3  Deleted: 0  Skipped: 0  Warnings: 0
     

  例2：COMPRESSIONを設定して圧縮ファイルを直接インポートします。

  LOAD DATA LOCAL INFILE '/your/file/lineitem.tbl.gz' 
      INTO TABLE lineitem 
      COMPRESSION GZIP 
      FIELDS TERMINATED BY '|';
  

  例3：PARTITIONを使用してパーティションを指定して、ダイレクトロードを実行します。

  • 1次パーティションを指定してダイレクトロードを実行する

  load data /*+ direct(true,0) parallel(2) load_batch_size(100) */ 
  infile "$FILE_PATH" 
  into table t1 partition(p0, p1) 
  fields terminated by '|' enclosed by '' lines starting by '' terminated by '\n';
  

  • 2次パーティションを指定してダイレクトロードを実行する

  load data /*+ direct(true,0) parallel(2) load_batch_size(100) */ 
  infile "$FILE_PATH" 
  into table t1 partition(p0sp0, p1sp1) 
  fields terminated by '|' enclosed by '' lines starting by '' terminated by '\n';
  

  OSSファイルからデータをインポートする

  例1：direct(bool, int)ヒントを使用して、ダイレクトロード機能を有効にします。ダイレクトロードファイルはOSS上にあります。

  LOAD DATA /*+ direct(true,1024) parallel(16) */ REMOTE_OSS INFILE 'oss://antsys-oceanbasebackup/backup_rd/xiaotao.ht/lineitem2.tbl?host=***.oss-cdn.***&access_id=***&access_key=***' INTO TABLE tbl1 FIELDS TERMINATED BY ',';
  

  サーバーサイドのファイルからURL形式の外部テーブルにデータをインポートする

  注意

  例に含まれるIPアドレスのコマンドは、セキュリティ上の理由により脱感覚処理されています。実際の環境で検証する際は、自分のマシンの実際のIPアドレスを入力する必要があります。

  以下の手順では、外部ファイルがローカルにあり、OceanBaseデータベースのOracleモードに外部テーブルを作成する例を示します。

  1. 外部ファイルを準備します。

     以下のコマンドを実行し、OBServerノードにログインするマシンの/home/admin/test_csvディレクトリにcolumn_conv.csvというファイルを作成します。

     [admin@xxx /home/admin/external_csv]# vi column_conv.csv
     

     ファイルの内容は以下のとおりです：

     1,short,short
     2,long_text,long_text
     3,long_text,long_text
     

  2. インポートするファイルのパスを設定します。

     注意

     セキュリティ上の理由により、システム変数secure_file_privを設定する際は、ローカルのUnix Socket経由でデータベースに接続し、このグローバル変数を変更するSQLステートメントを実行する必要があります。詳細については、secure_file_privを参照してください。

     1. 以下のコマンドを実行して、OBServerノードにログインするマシンに接続します。

        ssh admin@10.10.10.1
        

     2. 以下のコマンドを実行して、ローカルのUnix Socket経由でテナントoracle001に接続します。

        obclient -S /home/admin/oceanbase/run/sql.sock -usys@oracle001 -p******
        

     3. 以下のSQLステートメントを実行して、インポートパスを/home/admin/test_csvに設定します。

        SET GLOBAL secure_file_priv = "/home/admin/test_csv";
        

  3. テナントoracle001に再接続します。

     例：

     obclient -h10.10.10.1 -P2881 -usys@oracle001 -p****** -A
     

  4. テーブルtest_tbl1を作成します。

     CREATE TABLE test_tbl1(col1 VARCHAR2(5), col2 VARCHAR2(5), col3 VARCHAR2(5));
     

  5. LOAD DATAステートメントを使用して、URL形式の外部テーブルの構文に従ってテーブルtest_tbl1にデータをインポートし、エラーデバッグを指定します。

     LOAD DATA FROM FILES(
         LOCATION = '/home/admin/test_csv',
         FORMAT = (
             TYPE = 'csv',
             FIELD_DELIMITER = ','),
         PATTERN = 'column_conv.csv')
         INTO TABLE test_tbl1
         LOG ERRORS REJECT LIMIT UNLIMITED;
     

     実行結果は以下のとおりです：

     Query OK, 1 row affected, 2 warnings
     Records: 1  Deleted: 0  Skipped: 0  Warnings: 2
     

  6. test_tbl1のデータを確認します。

     SELECT * FROM test_tbl1;
     

     実行結果は以下のとおりです：

     +------+-------+-------+
     | COL1 | COL2  | COL3  |
     +------+-------+-------+
     | 1    | short | short |
     +------+-------+-------+
     1 row in set
     

  参照ドキュメント

  • LOAD DATAステートメントを使用するためのサンプル情報については、使用 LOAD DATA 语句导入数据を参照してください。
  • LOAD DATAステートメントを使用したダイレクトロードのサンプル情報については、使用 LOAD DATA 语句旁路导入数据を参照してください。