AIのトークンとは？日本語を実測して分かる文字数・料金・利用枠の違い

トークンは、文章を小さく分けた単位

「今日は会議です。」を、人は8文字の文として読めます。AIへ渡す際は、その文章を処理しやすい部分へ分けて番号にします。この分割を行う仕組みがトークナイザーです。どこで区切るかは方式によって異なります。

英語では一つの単語の一部がトークンになることがあり、日本語も一文字とは限りません。記号、全角・半角、固有名詞、数字の並びも結果に影響します。「日本語1文字は必ず何トークン」という換算は、正確な請求や上限の確認には使えません。

• 出典：OpenAI / tokens（新しいタブ）
• 出典：Google / LLM course（新しいタブ）

同じ日本語を2方式で数えた結果

PROBEFOLIOで2026年9月14日に、公開ライブラリtiktoken 0.14.0のcl100k_baseとo200k_baseを使って計測しました。これは分割方式の比較であり、現行の全モデルがこのどちらかを使うという意味ではありません。特に製品名だけから方式を決めつけないでください。

下表の「今日は会議です。」は8文字ですが、結果は8と5に分かれました。さらに「AI」と全角の「ＡＩ」はどちらも2文字でもトークン数が異なります。見た目が似た入力でも、同じ量として扱われるとは限らないことが分かります。

長い資料では、返答するための余白も必要

AIが一度に扱える枠は、一般にコンテキストウィンドウと呼ばれます。そこには利用者の文章だけでなく、会話の履歴、システム側の指示、参照資料、返答に必要な部分などが関わります。製品側で省略や要約が入る場合もあります。

例として全体8,000、指示と履歴1,000、資料5,000、予定する出力1,500なら、合計7,500です。計算上の余りは500になります。ただし、この数字は仕組みを考えるための架空の設計例で、特定サービスの利用可能枠ではありません。

見えている本文だけを数えて「まだ入るはず」と考えると、添付ファイルの展開や道具の結果を見落とします。実際の上限は対象モデルの仕様とサービスのエラー表示で確かめ、長い場合は資料を分けるか、必要な章へ絞ります。

API料金は、入力と出力を分けて計算する

APIは、ソフトウェアからAIを呼び出す窓口です。従量課金では、入力と出力に異なる単価が設定される場合があります。キャッシュ、つまり再利用される入力に別単価がある場合もあります。画面の月額プランと同じ料金体系だとは限りません。

仮に100万トークン当たり入力100円・出力400円、1回の入力2,000・出力500なら、入力0.2円と出力0.2円で合計0.4円です。これは計算例の架空単価です。実際には税、通貨換算、道具の利用、推論用トークン等の扱いを対象サービスで確認します。

回数を増やすときは、この1回の料金だけでなく、再試行と長くなった会話も含めて予算を見ます。入力の削減ばかりを優先し、必要な根拠まで消して回答をやり直すと、かえって作業が増えることもあります。

「利用枠が足りない」を3つに分ける

一度の入力が長すぎる、一定時間の利用回数を使い切った、APIの利用予算に達した。この三つは対処が異なります。エラーを見ずに文章を短くしても、回数制限なら解決しません。

利用画面では、リセット時刻や残り利用量が表示されているかを確認します。APIなら、エラー内容、利用記録、請求上限を見ます。追加購入を考えるのは、何の上限に当たったか分かった後です。

自分の入力を数え、直す場所を一つ決める

再現用CSVには、今回の入力文と両方式の結果を保存しています。自分で調べる場合は、機密情報を公開の計測サイトへ貼る前に、ローカルの計測方法が使えるかを確かめましょう。なお、トークナイザーだけの数と、APIで報告される会話全体の使用量は一致しないことがあります。

長い会話の整理はコンテキストウィンドウの解説へ。分担してAIを動かすときの費用はサブエージェントのトークン消費で、増えやすい箇所を確認できます。

• 出典：OpenAI tiktoken（新しいタブ）