obcdc 許可リストと拒否リスト

OceanBaseデータベースV4.Xでは、パーティションとログストリームが分離され、1つのテナントUnit内のすべてのパーティションのトランザクションログを1つのログストリームに記録できるようになりました。そのため、ログストリームの数は相対的に減少しましたが、1つのログストリームには大量のテーブルデータが含まれる可能性があり、obcdcがすべてのログストリームデータを取得する必要が生じる場合があります。

OceanBaseデータベースV4.Xでは、デフォルトの最小データ同期レベルはテナントレベルです。しかし、一部のユーザーにとって、テナントレベルの同期粒度は大きすぎ、下流の消費負荷が高くなる可能性があります。この問題を解決するため、obcdcはOceanBaseデータベースV4.Xでテーブルレベルの許可リストと拒否リスト機能を導入し、無駄なデータストレージを削減しています。同時に、obcdcはOceanBaseデータベースV4.Xで無制限の許可リストと拒否リスト設定をサポートしており、構成パラメータのサイズが現在の64KB制限を超える設定も可能になりました。

さらに、obcdcの許可リストと拒否リスト機能は、OceanBaseデータベースV4.Xでテーブルの名前変更（rename table）もサポートしています。つまり、許可リスト内のテーブルをDDLで名前変更して拒否リストに追加することができ、その際にはそのテーブルは同期されなくなります。これにより、許可リストや拒否リストの設定を再度変更することなく、即座に反映されます。

obcdc 許可リストと拒否リストの構成パラメータについて

obcdcはOceanBaseデータベースV3.Xの許可リストと拒否リスト機能に互換性があり、同期粒度はテナント、データベース、テーブルをサポートしています。obcdcには以下の3つの構成パラメータがあります：

使用例

許可リストを例に説明します：

mytenant1テナントのdb1データベースのtb1テーブルとmytenant2テナントのdb2データベースのすべてのテーブルを同期します：

mytenant1.db1.tb1|mytenant2.db2.*

mytenant1テナントのdb1データベースのtb1テーブルとtb2テーブルを同期します：

mytenant1.db1.tb1|mytenant1.db1.tb2

mytenant1テナントのdb1データベースで、プレフィックスがtbで始まるテーブルを同期します：

mytenant1.db1.tb*

obcdcがサポートする正規表現のルールは、*、?、[seq]、[!seq] です。

使用方法

obcdcの初期バージョンでは、個々のパラメータのサイズ上限が64KBに制限されていましたが、現在は許可リストおよび拒否リスト関連のパラメータはこの制限を受けません。libobcdc.confで許可リストと拒否リストを設定できます。

######### [working_mode] #########
#working_mode=memory
meta_data_refresh_mode=data_dict
#meta_data_refresh_mode=online

######### [synchronous information] #########
tb_white_list=*.*.*
#tb_white_list=sys.oblog*.*|oblog_tt.*.*
tb_black_list=t1.d1.t1
instance_index=0
instance_num=1

設定後はobcdcホストプロセスを再起動する必要があります。例えば、以下のコマンドを使用して起動します：

./obcdc_tailf -V -f libobcdc.conf -T $TIMESTAMP

また、obcdcでは許可リストと拒否リストを有効にするかどうかを制御するパラメータもサポートしています。そのパラメータはenable_white_black_listで、デフォルト値は1（許可リストと拒否リストが有効）です。

#libobcdc.conf
enable_white_black_list=0