OceanBase Sysbenchの高性能パラメータ設定

本記事では、高性能を目標に、OceanBaseデータベースのインストールとデプロイ、業務テナントの作成、およびSysbenchの使用方法について説明します。これにより、OceanBaseデータベースのユーザーがSysbenchテストでより良い性能を引き出せるようにすることを目的としています。

OceanBaseデータベースのデプロイパラメータ設定

OceanBaseデータベースのインストールおよびデプロイプロセスにおいて、パフォーマンスに関連するパラメータ設定と設定ファイルの内容を概説します。

インストール・デプロイのプロセス

• オープンソース版のインストール・デプロイプロセス

  OBDを使用したデプロイ：コマンドラインを使用したOceanBaseデータベースの本番環境へのデプロイ

• エンタープライズ版のインストール・デプロイプロセス

  • エンタープライズ版のデプロイ：デプロイプロセス

インストール・デプロイパラメータの説明

クイックインストールプロセス以外では、通常は.yamlファイルを手動で変更して設定する必要があります。OceanBaseデータベースで設定可能なパラメータは多数ありますが、本記事では主にパフォーマンスに関連するパラメータに焦点を当てます。詳細については、前述のデプロイドキュメントを参照してください。

• パラメータの確認：show parameters where name = 'xxx';
• サーバーの主要パラメータの確認：SELECT * FROM GV$OB_SERVERS;

具体的に関連するパラメータは以下の通りです：

• memory_limit

  • パラメータの説明：OBServerノードのメモリ上限です。memory_limit_percentageパラメータよりも優先されます。
  • デフォルト値：0
  • 推奨設定：システムメモリの80%〜90%
  • 動的変更：alter system set memory_limit='32G';
  • クエリ：show parameters where name = 'memory_limit';
  • 関連ドキュメント：memory_limit

• memory_limit_percentage

  • パラメータの説明：OBServerノードのメモリがシステムメモリに占める割合です。このパラメータはmemory_limitが0の場合にのみ有効になります。
  • デフォルト値：80
  • 推奨設定：80〜90
  • 動的変更：alter system set memory_limit_percentage=80;
  • クエリ：show parameters where name = 'memory_limit_percentage';
  • 関連ドキュメント：memory_limit_percentage

• system_memory

  • パラメータの説明：システムテナントが占用するメモリです。memory_limitに含まれており、設定がない場合は自動的に設定されます。
  • デフォルト値：エンタープライズ版：30G コミュニティ版：0M
  • 推奨設定：memory_limitの10%
  • 動的変更：alter system set system_memory='2G';
  • クエリ：show parameters where name = 'system_memory';
  • 関連ドキュメント：system_memory

• cpu_count

  • パラメータ説明：OBServerノードで使用可能なCPUの総数です。
  • デフォルト値：0。システムが自動的にCPU数を検出します。
  • 推奨設定：システムのCPU総数。lscpu コマンドで確認できます。
  • 動的変更：alter system set cpu_count=24;
  • クエリ：show parameters where name = 'cpu_count';
  • 関連ドキュメント：cpu_count

• net_thread_count

  • パラメータ説明：ネットワークスレッドの数です。
  • デフォルト値：0（ネットワークI/Oスレッド数はmax(6, CPU_NUM/8)）
  • 推奨設定：CPU総数の1/8。トランザクション処理時間が短く、ネットワーク負荷が相対的に高い場合は、CPU総数の20%に設定できます。
  • このパラメータはOBServerノードのデプロイ時にのみ静的に設定可能で、動的に変更することはできません。
  • クエリ：show parameters where name = 'net_thread_count';
  • 関連ドキュメント：net_thread_count

• sql_net_thread_count

  • パラメータ説明：MySQLモードでのクラスタI/Oスレッドの個数です。
  • デフォルト値：0。これはパラメータnet_thread_countの値と同じであることを意味します。
  • 関連ドキュメント：sql_net_thread_count

• datafile_size

  • パラメータ説明：データファイルの総サイズです。datafile_disk_percentage パラメータよりも優先されます。
  • デフォルト値：0
  • 推奨設定：ログとディスクを共有する場合はディスク容量の60%、専用ディスクの場合はディスク容量の90%に設定します。
  • 動的変更：alter system set datafile_size='80G';
  • クエリ：show parameters where name = 'datafile_size';
  • 関連ドキュメント：datafile_size

• datafile_disk_percentage

  • パラメータ説明：データファイルがその配置ディスクの総容量に占める割合です。
  • デフォルト値：0
  • 推奨設定：ログとディスクを共有する場合は60%、専用ディスクの場合は90%に設定します。
  • 動的変更：alter system set datafile_disk_percentage=60;
  • クエリ：show parameters where name = 'datafile_disk_percentage';
  • 関連ドキュメント：datafile_disk_percentage

• log_disk_size

  • パラメータ説明：Redoログファイルの総サイズです。log_disk_percentage パラメータよりも優先されます。
  • デフォルト値：0
  • 推奨設定：データとディスクを共有する場合は30、専用ディスクの場合は90に設定します。
  • 動的変更：alter system set log_disk_size='40G';
  • クエリ：show parameters where name = 'log_disk_size';

  関連ドキュメント：log_disk_size

• log_disk_percentage

• パラメータ説明：Redoログファイルがその配置されているディスクの総容量に占める割合。

• デフォルト値：0

• 推奨設定：データとディスクを共有する場合はディスク容量の30%、専用ディスクの場合はディスク容量の90%に設定します。

• 動的変更：alter system set log_disk_percentage=30;

• クエリ：show parameters where name = 'log_disk_percentage';

  関連ドキュメント：log_disk_percentage

設定ファイル

32c128gのマシン仕様を例に、ディスク容量に余裕がある場合の「3つのOBServerノード + 1つのOBProxy」構成でのデプロイ方法を説明します。obagentなど他のコンポーネントは一時的に考慮しません。より良いパフォーマンスのため、各OBServerノードとOBProxyは異なるマシンにデプロイし、マシンのハードウェアリソースを可能な限り最大限に活用します。OceanBaseデータベースおよびそのOBProxyコンポーネントのデプロイ設定ファイルは以下のとおりです：

oceanbase:
  servers:
    * name: server1
      ip: xxx.xxx.1.1
    * name: server2
      ip: xxx.xxx.1.2
    * name: server3
      ip: xxx.xxx.1.3
  server1:
    mysql_port: 2881
    rpc_port: 2882
    home_path: /data/1/user_name/observer1
    zone: zone1
  server2:
    mysql_port: 2881
    rpc_port: 2882
    home_path: /data/1/user_name/observer2
    zone: zone2
  server3:
    mysql_port: 2881
    rpc_port: 2882
    home_path: /data/1/user_name/observer3
    zone: zone3
  include: obd/observer.include.yaml
  global:
    devname: eth0
    memory_limit: '100G'
    system_memory: '2G'
    datafile_size: '80G'
    cpu_count: '32'
    net_thread_count: 6
obproxy:
  servers:
    * xxx.xxx.1.5
  depends:
    * oceanbase
  include: obd/obproxy.include.yaml
  global:
    listen_port: 2891
    prometheus_listen_port: 2892
    home_path: /data/1/user_name/obproxy

業務テナントのパラメータ設定

OBDを使用して自動デプロイする場合、デプロイ後にはsysテナントしか存在しません。性能テスト専用のテナントを作成し、OBServerノードの利用可能なリソースを可能な限り有効活用する必要があります。

テナントの作成

OceanBaseデータベースではユーザーテナントのみの作成がサポートされています。システムテナントはクラスタ作成時に自動的に作成されます。ユーザーテナントの作成は一連の操作の組み合わせであり、まずリソース仕様を作成し、そのリソース仕様に基づいてリソースプールを作成し、最後にテナントを作成してリソースプールを指定します。したがって、テナント作成の順序は以下のとおりです：リソース仕様 -> リソースプール -> テナント。

テナント作成の詳細な操作については、テナントの作成を参照してください。

ここでは、32c128gのマシンを例に、テナントを作成するコマンドを示します：

sh create_perf_tenant.sh ip port

mysql -c -h $1 -P $2 -uroot -e "drop resource unit unit_1;"
mysql -c -h $1 -P $2 -uroot -e "create resource unit unit_1 max_cpu 24, min_cpu 16, memory_size 64000000000, log_disk_size 40000000000, max_iops 10000000;"
mysql -c -h $1 -P $2 -uroot -e "create resource pool pool_2 unit = 'unit_1', unit_num = 1, zone_list = ('zone1','zone2','zone3');"
mysql -c -h $1 -P $2 -uroot -e "create tenant perf replica_num = 3,primary_zone='zone1', resource_pool_list=('pool_2') set ob_tcp_invited_nodes='%';"
mysql -c -h $1 -P $2 -uroot@perf -e "set global ob_query_timeout = 50000000000;"
mysql -c -h $1 -P $2 -uroot@perf -e "set global ob_trx_timeout = 50000000000;"
mysql -c -h $1 -P $2 -uroot@perf -e "set global ob_plan_cache_percentage = 20;"
mysql -c -h $1 -P $2 -uroot@perf -e "set global binlog_row_image='MINIMAL';"
mysql -c -h $1 -P $2 -uroot -e "alter system set enable_early_lock_release=true tenant = perf;"
mysql -c -h $1 -P $2 -uroot -e "alter system set cpu_quota_concurrency=2 tenant = perf;"

テナント作成コマンドでテナントタイプが指定されていない場合、デフォルトはMySQLテナントとなります。Oracleモードを指定する場合にのみOracleテナントとなります。

sysテナントでコマンドを実行します：

SELECT * FROM DBA_OB_TENANTS;

ここで、COMPATIBILITY_MODEフィールドはテナントのモードを示しています。

テナントの重要な設定

性能に関連するテナントパラメータは以下のとおりです：

• min_cpu

  • パラメータ説明：テナントの最小利用可能CPU数（すべてのテナントのmin_cpuの合計 <= cpu_count）。
  • 推奨値：cpu_count/2
  • 関連ドキュメント：min_cpuパラメータの詳細については、テナントの作成のリソースユニットの作成のパラメータの説明を参照してください。

• max_cpu

  • パラメータ説明：テナントの最大利用可能CPU数（すべてのテナントのmax_cpuの合計 <= cpu_count * resource_hard_limit/ 100）。
  • 推奨値：cpu_count/2 ～ cpu_count（または min_cpu と同じ値に設定しても構いません）
  • 関連ドキュメント：min_cpuパラメータの詳細については、テナントの作成のリソースユニットの作成のパラメータの説明を参照してください。

• cpu_quota_concurrency

  • パラメータ説明：テナントの各CPUが並列実行できるスレッド数（max_cpu * cpu_quota_concurrency = 最大業務スレッド数）。
  • 推奨値：4（一般的にデフォルト値を変更しないことを推奨しますが、CPU集約型の負荷テストでは2に変更することもできます。）
  • 関連ドキュメント：cpu_quota_concurrency

• memory_size

  • パラメータ説明：リソースユニットが提供できるメモリサイズ。
  • 推奨値：総メモリの50%〜80%（複数のリソースユニットを作成する場合は、柔軟に割り当てる必要があります）。

• log_disk_size

  • パラメータ説明：ログディスクのサイズ。
  • 推奨値：正常に使用できる範囲で設定します。例えば、40～80GBに設定するとよいでしょう。データ量が非常に多い場合は、より大きな値を設定できます。

• primary_zone

  • パラメータ説明：リーダーレプリカがゾーン内に配置される優先順位です。カンマの両側は優先順位が同じで、セミコロンの左側の方が右側よりも優先順位が高くなります。例：zone1,zone2,zone3。

  • 推奨値：

    1. 3台のマシンの仕様が同じでネットワーク遅延も近い場合、Leaderを均等に分散させてパフォーマンスを向上させるためにRANDOMを使用します。
    2. そのうちの1台のパフォーマンスが優れている場合、または統計やデータ観察を容易にするために、そのゾーンを指定することもできます。例：zone1。

システムテナントのグローバル設定

システムテナントに接続して、ログレベルの変更やsql_auditなどパフォーマンスに影響を与える機能の無効化など、クラスタレベルの設定を変更します。一般的な設定コマンドは以下のとおりです：

ALTER SYSTEM SET enable_sql_audit=false;
select sleep(5);
ALTER SYSTEM SET enable_perf_event=false;
ALTER SYSTEM SET syslog_level='ERROR';
alter SYSTEM SET enable_record_trace_log=false;

Sysbenchパラメータの設定

MySQLテナントを例に、Sysbenchのテストプロセスの準備と主要なパラメータの設定を行います。

Sysbenchテストプロセス

• データの準備

  cleanup：
  sysbench oltp_read_write.lua --mysql-host=x.x.x.x --mysql-port=xxxx --mysql-db=test --mysql-user=test@xxx --mysql-password=xxx --table_size=1000000 --tables=30 --rand-type=uniform --threads=1000  --report-interval=1 --time=600 cleanup
  prepare：
  sysbench oltp_read_write.lua --mysql-host=x.x.x.x --mysql-port=xxxx --mysql-db=test --mysql-user=test@xxx --mysql-password=test --table_size=1000000 --tables=30 --rand-type=uniform --threads=1000  --report-interval=1 --time=600 prepare
  

• テストの実行

  sysbench oltp_read_write.lua --mysql-host=x.x.x.x --mysql-port=xxxx --mysql-db=test --mysql-user=test@xxx --mysql-password=xxx --table_size=1000000 --tables=30 --rand-type=uniform --threads=1000  --report-interval=1 --time=600 --db-ps-mode=disable run
  

パフォーマンスに関する重要なパラメータの設定

Sysbenchのパフォーマンスに関連する重要なパラメータの推奨設定は以下のとおりです：

• table_size

  • パラメータ説明：各テーブルの初期化データ行数。デフォルトは10000。
  • 推奨値：100000, 1000000

• tables

  • パラメータ説明：初期化するテーブルの数
  • 推奨値：30～100

• threads

  • パラメータ説明：テストスレッドの数
  • 推奨値：500～2000（テストマシンのCPUが多いほど、スレッド数を大きくできる）

• rand-type

  パラメータ説明：ランダムタイプのパターンを示すもので、uniform、gaussian、special、pareto の4種類があります。デフォルト値は special です。

  1. special：Keyが比較的集中した分布パターンで、ロック競合が発生しやすい。
  2. uniform：離散一様分布で、範囲内のすべての数値が等確率で現れ、ホットスポットがない。
  3. gaussian：ガウス分布、すなわち正規分布で、データは中央値付近に集中する。
  4. pareto：パレート分布で、データは最小値付近に集中し、値が大きいほど出現確率が低くなる。

  推奨値：uniform

• mysql-ignore-errors

  • パラメータ説明：テスト中に無視するエラーコード。Sysbenchはエラーを受信すると、現在のリクエストがすべて返却されるまで新しいリクエストの送信を停止し、その後テストを終了します。そのため、予期された問題であれば、関連するエラーコードを無視することができます。
  • 値：--mysql-ignore-errors=1062,1213,6002。ここで、1062 は主キー・一意インデックスの競合、1213 はデッドロック、6002 はトランザクションロールバックです。

• db-ps-mode

  • パラメータ説明：SQLをプリコンパイルする必要があるかどうか。モードは auto/disable で、デフォルトは disable です。
  • 推奨値：disable（disable に設定することを推奨します）
  • auto に設定した場合は、テナント設定を変更する必要があります：alter system set open_cursors=65535;

• skip_trx

  • パラメータ説明：トランザクションをスキップするかどうか。読み取り専用テストでは、トランザクションをスキップするかどうかを選択できます。デフォルトは OFF、つまりトランザクションは有効です。
  • 推奨値：読み取り専用テストでは ON に設定できますが、それ以外の場合はデフォルトの OFF を使用します。

• auto-inc

  • パラメータ説明：ID列が自動インクリメントされるかどうか。デフォルトは ON です。
  • 推奨値：OFF（書き込みシナリオでは、OFFにすることを推奨します）

• warmup-time

  • パラメータ説明：ウォームアップ時間（単位：秒）。テスト開始から統計を正式に開始するまでの時間を示します。デフォルトは 0 です。
  • 推奨値：10～30（データ量が多い場合は、時間を長く設定してもよい）

Sysbenchの詳細なパラメータ設定については、Sysbenchパラメータの詳細を参照してください。