OBKV-Tableの期限切れデータ削除

OBKV-Tableでは、データの有効期限を設定し、期限切れデータを削除することで、ストレージ使用量を削減できます。また、期限切れデータを読み取り結果から除外します。本記事では、コマンドまたは定期タスクで期限切れデータを削除する方法を説明します。

使用方法

TTL機能の基本的な使用手順は以下のとおりです：

1. TTL機能を有効にする：enable_kv_ttl = true を設定して、テナントのTTLタスクスイッチをオンにします。
2. TTLテーブルを定義する：テーブル作成時にTTL属性を指定するか、既存のテーブルにTTL属性を追加します。TTL属性の変更/削除をサポートします。
3. 削除タスクをトリガーする：手動コマンドまたは定期タスクを設定して、期限切れデータの削除をトリガーします。実行中のタスクの一時停止/再開/キャンセルをサポートします。
4. タスクの状態を確認する：システムビューでタスクの実行状況を監視します。

以下で詳しく説明します。

ステップ1：TTL機能を有効にする

TTL機能を有効にするには、テナントレベルの構成パラメータenable_kv_ttlをtrueに設定する必要があります。

ALTER SYSTEM SET enable_kv_ttl= true; -- テナントレベルの構成パラメータ。デフォルト値はfalseです。

ステップ2：TTLテーブルを定義する

テーブルのTTL属性はCOLUMN_NAME + INTERVAL NUM TTL_UNITの形式で定義します。ここで、各項目の説明は以下の通りです：

• COLUMN_NAME：TIMESTAMPまたはDATETIME型の、テーブル内で定義済みの列名。
• + INTERVAL：固定部分です。
• NUM：有効期間を表す整数値。
• TTL_UNIT：SECOND, MINUTE, HOUR, DAY, MONTH, YEARのいずれかです。

新しいTTL関係テーブルt1を作成し、各行データを12時間後に期限切れにする場合は、以下のステートメントで作成できます：

CREATE TABLE t1 (
  a INT PRIMARY KEY,
  b TIMESTAMP DEFAULT current_timestamp ON UPDATE current_timestamp)
TTL (b + INTERVAL 12 HOUR);

既存のテーブルt1のTTL属性を変更し、有効期限を1日に変更する場合は、以下のステートメントで変更できます：

ALTER TABLE t1 TTL (b + INTERVAL 1 DAY);

テーブルt1のTTL属性を削除する場合は、以下のステートメントで削除できます：

ALTER TABLE t1 REMOVE TTL;

ステップ3：タスクのトリガー

TTL削除タスクをトリガーする方法は2つあります：

• システムテナントからのコマンドによるトリガー：システムテナントにログインして、すべてのテナントのTTLタスクをトリガーします。タスクのトリガーに加え、システムテナントでは実行中のTTLタスクの一時停止、再開、キャンセルもサポートしています。
• 定期的なタスクトリガー：TTLタスクを実行したいユーザーテナントにログインし、そのユーザーテナントの毎日のTTLタスクのトリガー時間を設定します。

TTLコマンドは、ユーザーテナントまたはシステムテナントでの実行時にのみ有効です。ユーザーテナントで実行する場合は、そのテナント自身のTTLタスクのみを管理できます。システムテナントで実行する場合は、すべてのユーザーテナントのTTLタスクを管理できます。

ALTER SYSTEM TRIGGER TTL;

ALTER SYSTEM SUSPEND TTL;

ALTER SYSTEM RESUME TTL;

ALTER SYSTEM CANCEL TTL;

-- デフォルト値は""で、定期TTLタスクがトリガーされないことを意味します。
ALTER SYSTEM SET kv_ttl_duty_duration = '[22:00:00, 24:00:00]';

ステップ4：タスクの状態を確認する

以下のビューで、現在および過去のTTLタスクの状態と関連情報を確認できます：

タスクの状態の説明

TTLタスクは、テナントレベルタスクとTabletレベルタスクの2種類に分類され、それぞれ異なる状態が対応します。いずれの状態も、タスクビューのDBA_OB_KV_TTL_TASKSおよびCDB_OB_KV_TTL_TASKS、および履歴タスクビューのDBA_OB_KV_TTL_TASK_HISTORYおよびCDB_OB_KV_TTL_TASK_HISTORYで確認できます。

Tabletレベルタスクの状態：

テナントレベルタスクの状態：

履歴タスクのクリーンアップサイクルを設定する（オプション）

TTLタスクの履歴が蓄積してストレージを圧迫しないように、構成パラメータkv_ttl_history_recycle_intervalで履歴の保持期間を設定できます。デフォルトは7日間です。

例えば、30日を超える履歴TTLタスクレコードを自動的にクリーンアップするよう設定するコマンドは以下のとおりです：

ALTER SYSTEM SET kv_ttl_history_recycle_interval= '30d';

パフォーマンス最適化

パラレル度の設定

テナントレベル構成パラメータ ttl_thread_score を使用して、TTLタスクのワーカースレッド数を設定できます。デフォルト値は2です。

例えば、TTLタスクのワーカースレッド数を10に変更します：

ALTER SYSTEM SET ttl_thread_score = 10;

インデックススキャン

TTL（Time To Live）タスクでは、インデックススキャンを利用して期限切れデータを効率よく削除できます。デフォルトではテーブル全体を主キー順にスキャンし、各行の有効期限を確認するため、I/O負荷が大きくなります。有効期限の判定に使う列にローカルインデックスを作成し、TTLタスクでそのインデックスを指定すると、インデックスだけで期限切れを判定できます。これにより不要なデータ読み取りを減らし、削除処理を高速化できます。

テーブル作成時に、プロパティパラメータKV_ATTRIBUTESのTTLScanIndexサブパラメータでインデックス名を指定することで、インデックススキャンを有効にします。構文は以下のとおりです：

-- 実際の使用では、$index_nameをインデックス名に置き換える必要があります
CREATE TABLE table_name (
  ...
) TTL (ttl_column + INTERVAL ...)
KV_ATTRIBUTES = '{"TTLScanIndex": "$index_name"}';

以下に、異なるシナリオの例をいくつか示します：

CREATE TABLE test_ttl_with_index (
    a INT PRIMARY KEY,
    b TIMESTAMP DEFAULT current_timestamp ON UPDATE current_timestamp,
    c VARCHAR(128),
    INDEX idx(b) LOCAL
) TTL (b + INTERVAL 12 HOUR)
KV_ATTRIBUTES = '{"TTLScanIndex": "idx"}';

CREATE TABLE test_ttl_storing_index (
    pagerowkey VARCHAR(1024) NOT NULL,
    request LONGTEXT DEFAULT NULL,
    rawpage LONGBLOB NOT NULL,
    pagecode VARCHAR(1024) NOT NULL,
    timestamp BIGINT(20) NOT NULL,
    _expire_ts TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    -- _expire_tsを一意インデックスu_idx_pagerowkey上に冗長的に格納する
    UNIQUE INDEX u_idx_pagerowkey (pagerowkey) STORING (_expire_ts)
) ORGANIZATION = HEAP DEFAULT CHARSET = utf8mb4
TTL (_expire_ts + INTERVAL 1 DAY)
-- 一意インデックスu_idx_pagerowkeyを使用して期限切れデータをスキャンする
KV_ATTRIBUTES = '{"TTLScanIndex": "u_idx_pagerowkey"}';

-- テーブルの作成（初期段階ではインデックススキャンは使用しない）
CREATE TABLE test_ttl_with_index_6 (
    a INT PRIMARY KEY,
    b TIMESTAMP DEFAULT current_timestamp ON UPDATE current_timestamp,
    c VARCHAR(128),
    INDEX idx(b) LOCAL,
    INDEX idx2(c) LOCAL
) TTL (b + INTERVAL 12 HOUR);

-- インデックスの追加とインデックススキャンの有効化
ALTER TABLE test_ttl_with_index_6 ADD INDEX idx3(b, c);
ALTER TABLE test_ttl_with_index_6 SET KV_ATTRIBUTES = '{"TTLScanIndex": "idx3"}';

注意点

変更ログのフィルタリング

TTLタスクは、期限切れデータを削除する際に大量の変更ログ（Change Log、CLOG）を生成します。デフォルトでは、CDC（liboblog）はこれらの変更ログを正常にキャプチャし、消費した上で下流コンポーネントに同期します。ただし、期限切れデータ量が多いシナリオでは、TTLによるデータ削除で生成される大量のログがCDCパイプラインに過剰な処理負荷とリソース消費をもたらします。

CDCの処理負荷を軽減するには、TTL変更ログのフィルタリング機能（filter_ttl_delete_log）を有効にします。有効にすると、TTLタスクが生成した変更ログはCDCで除外され、下流に出力されなくなります。デフォルトではこの機能は無効で、TTL変更ログも通常どおり処理されます。フィルタリングの対象はTTLタスクの変更ログだけであり、TTLタスク自体の実行処理は変わりません。

期限切れデータの可視性

OBKV-Tableインターフェースで期限切れのレコードを操作すると、そのレコードが存在しない場合と同じ動作になります。例えば、主キーがk1の期限切れレコードが存在していても、同じ主キーk1のレコードを挿入できます。この場合、主キーの重複エラーは発生しません。

タスクの実行メカニズム

TTLによる期限切れデータ削除タスクは、バックグラウンドで低優先順位で実行されるタスクであり、期限切れデータが即座に削除される保証はありません。システム性能への影響を抑えるため、以下の状況ではタスクは自動的に一時停止されます：

• メモリ負荷が高い場合：MemStoreのメモリ使用量MEMSTORE_USEDがしきい値FREEZE_TRIGGERを超えた場合、タスクの実行は一時停止され、メモリ使用量がしきい値を下回るまで続行されません。メモリ使用状況はGV$OB_MEMSTOREビューで確認できます。
• 物理復元中：物理復元中のテナントについては、TTLタスクの実行は一時停止され、テナントの復元完了まで続行されません。

ストレージ容量の解放

OceanBaseデータベースはLSM-Treeアーキテクチャを採用しているため、削除操作は本質的には追記書き込み（削除フラグの書き込み）です。そのため、TTLタスクが期限切れデータを削除した後も、実際のストレージ容量は即座に解放されず、一時的に増加する可能性さえあります。ストレージ容量の最終的な解放は、メジャーコンパクションプロセスに依存します。

ストレージ容量が適時に解放されるようにするために、TTLタスクとMajor Freezeを組み合わせて使用することを推奨します：

1. TTLタスクの実行時間枠（kv_ttl_duty_duration）を設定します。
2. Major Freezeの実行時間（major_freeze_duty_time）をTTLタスクの時間枠の後に設定します。

これにより、TTLタスク終了後に自動的にメジャーコンパクションがトリガーされ、ストレージ容量が解放されます。

全体の例

1. TTL機能を有効にします。

   ALTER SYSTEM SET enable_kv_ttl= true;
   

2. TTL関係テーブルを作成し、各レコードがc + 10秒後に期限切れになるように定義します。

   CREATE TABLE ttl_table(a VARCHAR(1024) PRIMARY KEY,
     b VARCHAR(1024),
     c TIMESTAMP)
     TTL(c + INTERVAL 10 SECOND) PARTITION BY KEY(a) PARTITIONS 3;
   

3. データを挿入します(OBKV-Table/SQLを使用できます。OBKV-Tableインターフェースを使用してデータを挿入するには、詳細な操作手順については、クライアントの概要と使用方法を参照してください)。

   INSERT INTO ttl_table VALUES("k1", "hello obkv", now());
   INSERT INTO ttl_table VALUES("k2", "hello obkv", now());
   INSERT INTO ttl_table VALUES("k3", "hello obkv", now());
   

4. 10秒待った後、コマンドを実行してTTLタスクの実行をトリガーします。

   ALTER SYSTEM TRIGGER TTL; -- 0時から、TTLタスクを1回トリガーしようと試みます
   

5. タスクの実行状態を確認します。

   obclient> SELECT * FROM OCEANBASE.DBA_OB_KV_TTL_TASKS;
   

   実行結果は次のとおりです：

   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+---------------+-------------+---------------------+----------+------------+
   | TABLE_NAME | TABLE_ID | TABLET_ID | TASK_ID | START_TIME                 | END_TIME                   | TRIGGER_TYPE | STATUS        | TTL_DEL_CNT | MAX_VERSION_DEL_CNT | SCAN_CNT | RET_CODE   |
   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+---------------+-------------+---------------------+----------+------------+
   | ttl_table  |   500002 |    200003 |       1 | 2023-09-27 23:31:30.300276 | 2023-09-27 23:31:35.315848 | USER         | FINISHED      |           2 |                   0 |        2 | OB_SUCCESS |
   | ttl_table  |   500002 |    200002 |       1 | 2023-09-27 23:31:30.300276 | 2023-09-27 23:31:35.320258 | USER         | FINISHED      |           1 |                   0 |        1 | OB_SUCCESS |
   | ttl_table  |   500002 |    200001 |       1 | 2023-09-27 23:31:30.300271 | 2023-09-27 23:31:35.321879 | USER         | FINISHED      |           0 |                   0 |        0 | OB_SUCCESS |
   | NULL       |       -1 |        -1 |       1 | 2023-09-27 23:31:28.675583 | 2023-09-27 23:31:28.675583 | USER         | RS_TRIGGERING |           0 |                   0 |        0 | OB_SUCCESS |
   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+---------------+-------------+---------------------+----------+------------+
   4 rows in set (0.043 sec)
   

6. タスクの完了後、その実行記録は履歴テーブルに移動されます。OCEANBASE.DBA_OB_KV_TTL_TASK_HISTORYで確認できます。

   obclient> SELECT * FROM OCEANBASE.DBA_OB_KV_TTL_TASK_HISTORY;
   

   実行結果は次のとおりです：

   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+----------+-------------+---------------------+----------+------------+
   | TABLE_NAME | TABLE_ID | TABLET_ID | TASK_ID | START_TIME                 | END_TIME                   | TRIGGER_TYPE | STATUS   | TTL_DEL_CNT | MAX_VERSION_DEL_CNT | SCAN_CNT | RET_CODE   |
   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+----------+-------------+---------------------+----------+------------+
   | ttl_table  |   500002 |    200003 |       1 | 2023-09-27 23:31:30.300276 | 2023-09-27 23:31:35.315848 | USER         | FINISHED |           2 |                   0 |        2 | OB_SUCCESS |
   | ttl_table  |   500002 |    200002 |       1 | 2023-09-27 23:31:30.300276 | 2023-09-27 23:31:35.320258 | USER         | FINISHED |           1 |                   0 |        1 | OB_SUCCESS |
   | ttl_table  |   500002 |    200001 |       1 | 2023-09-27 23:31:30.300271 | 2023-09-27 23:31:35.321879 | USER         | FINISHED |           0 |                   0 |        0 | OB_SUCCESS |
   | NULL       |       -1 |        -1 |       1 | 2023-09-27 23:31:28.675583 | 2023-09-27 23:31:42.526853 | USER         | FINISHED |           0 |                   0 |        0 | OB_SUCCESS |
   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+----------+-------------+---------------------+----------+------------+
   4 rows in set (0.058 sec)
   

7. タスクの実行完了後、すべての期限切れデータが削除されたことが確認できます。

   obclient> SELECT * FROM ttl_table;
   Empty set (0.060 sec)