RAGのチャンクサイズはどう決める？規程の例外を落とさない分け方と確認手順

チャンクは、検索で取り出す文章の単位

長い資料を一冊丸ごと渡す代わりに、いくつかのまとまりへ分けて検索する構成があります。このまとまりをチャンクと呼びます。RAGは、その中から質問に関係する部分を取り出し、生成AIへ渡す方法です。

チャンクを小さくすると余分な情報を減らせる一方、前後の条件が離れやすくなります。大きくすると文脈を残しやすい一方、関係ない説明も増えます。最大文字数だけでなく、文章がどんな構造になっているかを見る必要があります。

• 出典：AWS / chunking（新しいタブ）

通常上限と例外が離れると、答えを間違えやすい

架空の規程を使います。「第1条：宿泊費の通常上限は12,000円。第2条：ただし指定地域Aでは15,000円。第3条：事前承認がない場合は個別確認」。質問は「指定地域Aへ行く場合の上限はいくら？」です。

固定の文字数で途中を切ると、第2条の地域と金額が別々になることがあります。一文ごとに分けても、第3条の事前承認の条件が遠くなる場合があります。条文を意味のまとまりとして残し、必要な見出しを付ける方法なら、取り出した後も何の規程か分かりやすくなります。

15文字で切ると、実際に金額も途切れる

配布データの規程を15文字ずつ分割する処理では、最初の断片が「第1条：宿泊費の通常上限は12」、次が「,000円。第2条：ただし指定」になりました。金額の途中で切れているだけでなく、「指定地域A」の名前も境界をまたぎます。

これは、固定長の分割処理を実行して確かめた文字列です。実際のRAGで15文字を推奨する例ではありません。問題が目に見える小さな値にして、分割単位を確認する教材です。一文単位では通常条文、例外条文、事前承認の三つを保てますが、例外と前提を検索時に一緒に取れるかは別途評価します。

重なりを付ければ、すべて解決するわけではない

前のチャンクの末尾を次にも含める方法をオーバーラップと呼びます。境目の情報を残す助けになりますが、大きくしすぎると同じ文章が何度も検索され、渡す情報量が増えます。例外条文がもっと離れていれば、少し重ねただけでは拾えません。

「500」という設定を比べる場合も、文字なのかトークンなのかで意味が変わります。モデルやライブラリの分割方式、改行や表の読み込み方も記録してください。違う単位の数値を比べても、同じ条件の実験にはなりません。

検索結果と回答を、別々に記録する

最初に正解の条文が分かる質問を用意します。通常上限、指定地域、事前承認なし、資料にない海外出張などです。検索した結果に必要な条文が入ったかを見てから、AIの回答を確認します。

今回の配布データは架空規程と確認用の質問です。分割でどの文字が残るかを確かめる教材であり、特定の埋め込みモデルの検索精度やAIの正答率を測ったものではありません。本番資料の評価は、使う検索モデルと構成で行います。

表やPDFは、文章と同じように切らない

表の一行だけを取り出すと、列名や単位が分からなくなることがあります。「15,000」だけが残っても、宿泊費なのか日当なのか判断できません。見出し、単位、注記を一緒に付けた形を検討します。

PDFでは、段組みや画像化された文字の読み取りも確認します。元のページが正しくても、読み取った文章の順番が崩れていれば、分割を細かく調整する前に入力を直す必要があります。数ページを原文と比べ、金額や否定の語が落ちていないかを確かめてください。

チャンクを直しても答えが合わない場合、検索や評価の別の部分へ戻る必要があります。RAGを含むAIアプリの全体設計を学びたい人には、下の専門書も候補です。自分の資料に最適なチャンク数が一つで決まる、という紹介ではありません。

最初は、代表資料一つと質問を少数で

全社資料を一度に登録する前に、通常と例外がある代表的な文書を一つ選びます。分割だけを変えて比較し、検索モデルや件数を同時に変えないようにします。必要な条文を取り出せる構成が見えたら、別の種類の資料でも確認します。

検索そのものの違いはベクトル検索の基礎へ。紙やPDFを読みやすい入力へ直す工程は書類をPDFにする方法で確認できます。