ベクトル検索とは？キーワード検索との違いと、社内資料で失敗しやすい例

文章を数値の並びへ変えて、近さを比べる

ベクトルは、ここでは複数の数値を並べたものです。文章をその数値へ変える処理を埋め込み、英語でembeddingと呼びます。意味の近い文章が近い位置へ来るように学習されたモデルを使い、質問に近い資料を探します。

この数値は、人が決めた「料金は1、納期は2」の分類番号ではありません。モデルによって表現が異なるため、別の方式で作った質問と資料のベクトルを、そのまま同じものとして比べることはできません。

• 出典：Elastic / vector search（新しいタブ）
• 出典：AWS / knowledge bases（新しいタブ）

言い換えで探したい資料を、3件で考える

架空の社内資料を三つ用意します。Aは「端末を社外へ持ち出す場合は申請が必要」、Bは「ノートPCの購入費を精算する方法」、Cは「持出申請は不要という旧版の案内」です。質問は「ノートPCを家へ持って帰れる？」です。

単純にノートPCという語だけを探すとBが強く見える一方、意味で探せばAに近づくことが期待できます。しかしCも話題が近いため、旧版を除く条件がなければ候補へ入る可能性があります。これは仕組みを示す架空の例で、実在の埋め込みモデルの順位を測った結果ではありません。

近さの数値は、正しい確率ではない

近さを比べる指標には、コサイン類似度などがあります。コサイン類似度は、二つのベクトルの向きがどれくらい近いかを見る方法です。たとえば説明用のベクトル[1,0]と[0.8,0.2]は約0.970、[1,0]と[0,1]は0です。これは手で置いた二次元の数値の計算で、文章をモデルで変換した実測ではありません。

類似度0.97だから97%正しい、とは解釈できません。検索の指標や値の範囲は実装によっても異なります。一定の数値だけで採用せず、実際の質問で必要な資料が上位へ出るかを見ます。

型番や否定は、ほかの条件でも守る

A001とA002のように一文字違う商品コードを正確に探すなら、完全一致の検索が重要です。「利用可」と「利用不可」のような否定も、話題の近さだけで判断してはいけません。日付、対象部署、利用者の権限などは、検索前後の条件で絞ります。

キーワード検索とベクトル検索を組み合わせる方法を、ハイブリッド検索と呼ぶことがあります。さらに候補を並べ直す再ランキングを使う構成もありますが、部品を足せば必ず良くなるわけではありません。最初は何を取りこぼしているのかを見て、必要な部分を足します。

検索結果だけを、先に採点する

AIの回答まで一度に評価すると、資料が取れていないのか、取れたのに読み間違えたのかが分かりにくくなります。まず、答えの根拠となる資料が検索上位に入ったかを確認します。その後に生成された返答を見ます。

架空の規程なら、持出可否、申請手順、対象外の端末、旧版の日付などで質問を作れます。正解資料、検索で出た資料、取りこぼした条件を表に残します。「だいたい似た内容が出た」だけで成功としないことが、社内で使える検索に近づく第一歩です。

最初に用意するのは、大きなデータベースより正解集

まずは代表的な資料と質問を少数選び、どの文書が答えの根拠になるかを人が確認します。保存先や検索基盤を選ぶのは、資料の量、更新頻度、権限、必要な待ち時間が分かってからでも遅くありません。

取り出した段落の前後が足りない場合はRAGのチャンクサイズの考え方へ。検索結果を回答へ使う全体像はRAGとファインチューニングの比較で確認できます。