OceanBaseはV4.3.3バージョンからベクトル型データの格納、ベクトルインデックス、そしてembeddingベクトル検索機能をサポートしています。これにより、ベクトル化したデータをOceanBaseに保存し、次の検索処理で利用できるようになります。
Hugging Faceはオープンソースの機械学習プラットフォームで、事前学習済みモデル、データセット、ツールを提供し、開発者がAIモデルを容易に利用・展開できるようにします。
このチュートリアルでは、OceanBase Cloudのベクトル検索機能とHugging Faceを連携させ、類似性検索や検索タスクを実行する方法を説明します。
前提条件
- 環境に利用可能なトランザクション型(MySQL)クラスタインスタンスがあります。
テナントの作成については、テナントの作成をご参照ください。その後、以下の手順を実行します。
環境に使用可能なMySQL互換モードのテナント、MySQLデータベース、およびデータベースアカウントが既に存在し、データベースアカウントに読み書き権限が付与されていること。作成方法の詳細についてはアカウントの作成およびデータベースの作成(MySQL専用)をご参照ください。
プロジェクト管理者またはインスタンス管理者ロールを持ち、プロジェクト内のインスタンスに対して読み書き操作を実行できること。権限がない場合は、組織管理者に連絡して権限の追加を依頼してください。
Python 3.11以降のバージョンをインストールしていること。
依存関係をインストールしていること。
python3 -m pip install pyobvector sqlalchemy datasets transformers torch
ステップ1：データベース接続情報を取得する
ドロップダウンリストから、IDに基づいてクラスタインスタンスを選択します。
概要ページに移動します。
接続をクリックし、**接続文字列を取得**を選択します。
ポップアップウィンドウでパブリックネットワークを使用を選択します。
アクセスアドレスを取得し、現在のブラウザIPアドレスを追加を選択します。
データベース関連情報を入力し、接続文字列をコピーします。
ステップ2：AIアシスタントを構築する
環境変数の設定
Hugging Face APIキーを取得し、OceanBase接続情報と共に環境変数に設定します。
export OCEANBASE_DATABASE_URL=YOUR_OCEANBASE_DATABASE_URL
export OCEANBASE_DATABASE_USER=YOUR_OCEANBASE_DATABASE_USER
export OCEANBASE_DATABASE_DB_NAME=YOUR_OCEANBASE_DATABASE_DB_NAME
export OCEANBASE_DATABASE_PASSWORD=YOUR_OCEANBASE_DATABASE_PASSWORD
export HUGGING_FACE_API_KEY=YOUR_HUGGING_FACE_API_KEY
サンプルコード
データの準備
Hugging Faceはさまざまな埋め込みモデルを提供しており、ユーザーはニーズに応じて適切なモデルを選択して使用できます。 ここでは、sentence-transformers/all-MiniLM-L6-v2を例に、Hugging Face埋め込みAPIを呼び出してデータを準備します。
import os,shutil,torch,requests
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from datasets import load_dataset
from sqlalchemy import Column, Integer, String
from pyobvector import ObVecClient, VECTOR, IndexParam, l2_distance
# delete cache directory
if os.path.exists("./cache"):
shutil.rmtree("./cache")
HUGGING_FACE_API_KEY = os.getenv('HUGGING_FACE_API_KEY')
DATASET = "squad" # Name of dataset from HuggingFace Datasets
INSERT_RATIO = 0.001 # Ratio of example dataset to be inserted
data = load_dataset(DATASET, split="validation", cache_dir="./cache")
# Generates a fixed subset. To generate a random subset, remove the seed.
data = data.train_test_split(test_size=INSERT_RATIO, seed=42)["test"]
# Clean up the data structure in the dataset.
data = data.map(
lambda val: {"answer": val["answers"]["text"][0]},
remove_columns=["id", "answers", "context"],
)
# HuggingFace API config
import os
from sentence_transformers import SentenceTransformer
# HF Mirrorを設定してモデルをダウンロードする
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
print("モデルのダウンロード中...")
model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
print("モデルのダウンロードが完了しました！")
def encode_text(batch):
questions = batch["question"]
# ローカルモデルを使用して推論を実行する
embeddings = model.encode(questions)
# embeddingsをフォーマットする
formatted_embeddings = []
for embedding in embeddings:
formatted_embedding = [round(float(val), 6) for val in embedding]
formatted_embeddings.append(formatted_embedding)
batch["embedding"] = formatted_embeddings
return batch
INFERENCE_BATCH_SIZE = 64 # Batch size of model inference
data = data.map(encode_text, batched=True, batch_size=INFERENCE_BATCH_SIZE)
data_list = data.to_list()
ベクトルテーブル構造の定義とOceanBaseへのベクトル格納
huggingface_oceanbase_demo_documents という名前のテーブルを作成し、テキストを格納する title 列、question 列、answer 列、埋め込みベクトルを格納する embedding 列、およびベクトルインデックス情報を含みます。そして、ベクトルデータをOceanBaseに格納します。
OCEANBASE_DATABASE_URL = os.getenv('OCEANBASE_DATABASE_URL')
OCEANBASE_DATABASE_USER = os.getenv('OCEANBASE_DATABASE_USER')
OCEANBASE_DATABASE_DB_NAME = os.getenv('OCEANBASE_DATABASE_DB_NAME')
OCEANBASE_DATABASE_PASSWORD = os.getenv('OCEANBASE_DATABASE_PASSWORD')
client = ObVecClient(uri=OCEANBASE_DATABASE_URL, user=OCEANBASE_DATABASE_USER,password=OCEANBASE_DATABASE_PASSWORD,db_name=OCEANBASE_DATABASE_DB_NAME)
table_name = "huggingface_oceanbase_demo_documents"
client.drop_table_if_exist(table_name)
cols = [
Column("id", Integer, primary_key=True, autoincrement=True),
Column("title", String(255), nullable=False),
Column("question", String(255), nullable=False),
Column("answer", String(255), nullable=False),
Column("embedding", VECTOR(384))
]
# Create vector index
vector_index_params = IndexParam(
index_name="idx_question_embedding",
field_name="embedding",
index_type="HNSW",
distance_metric="l2"
)
client.create_table_with_index_params(
table_name=table_name,
columns=cols,
vidxs=[vector_index_params]
)
print('- Inserting Data to OceanBase...')
client.insert(table_name, data=data_list)
セマンティック検索
Hugging Faceの埋め込みAPIを使用してクエリテキストの埋め込みベクトルを生成し、その後、テキストの埋め込みベクトルとベクトルテーブル内の各埋め込みベクトルとのL2距離を計算して、最も関連性の高いドキュメントを検索します。
# Step 5. Query the most relevant document based on the query.
questions = {
"question": [
"What is LGM?",
"When did Massachusetts first mandate that children be educated in schools?",
]
}
# Generate question embeddings
question_embeddings = encode_text(questions)["embedding"]
for i, question in enumerate(questions["question"]):
print(f"Question: {question}")
# Search across OceanBase
search_results = client.ann_search(
table_name,
vec_data=question_embeddings[i],
vec_column_name="embedding",
distance_func=l2_distance,
with_dist=True,
topk=3,
output_column_names=["id", "answer", "question"],
)
# Print out results
results_list = list(search_results)
for r in results_list:
print({
"answer": r[1],
"score": r[3] if len(r) > 3 else "N/A",
"original question": r[2],
"id": r[0]
})
print("\n")
期待される結果
- Inserting Data to OceanBase...
Question: What is LGM?
{'answer': 'Last Glacial Maximum', 'score': 0.29572604605808755, 'original question': 'What does LGM stands for?', 'id': 10}
{'answer': 'coordinate the response to the embargo', 'score': 1.2553772660960183, 'original question': 'Why was this short termed organization created?', 'id': 9}
{'answer': '"Reducibility Among Combinatorial Problems"', 'score': 1.2691888905109625, 'original question': 'What is the paper written by Richard Karp in 1972 that ushered in a new era of understanding between intractability and NP-complete problems?', 'id': 11}
Question: When did Massachusetts first mandate that children be educated in schools?
{'answer': '1852', 'score': 0.2408329167590669, 'original question': 'In what year did Massachusetts first require children to be educated in schools?', 'id': 1}
{'answer': 'several regional colleges and universities', 'score': 1.1474774558319025, 'original question': 'In 1890, who did the university decide to team up with?', 'id': 4}
{'answer': '1962', 'score': 1.2703532682776688, 'original question': 'When were stromules discovered?', 'id': 2}