AIの文章の見分け方｜判定ツールは信じてよい？誤判定の実態と、疑われたときの対応

判定ツールはどこまで信じてよいか

ChatGPTを作ったOpenAIは、2023年1月にAIが書いた文章を判定するツールを公開しました。しかし、同じ年の7月20日に「精度が低いため」として提供をやめています。

OpenAIの説明では、このツールは英語の文章で、AIが書いた文章の26%しか「AIが書いたと思われる」と特定できませんでした。一方で、人が書いた文章の9%をAIと間違えました。

さらに、1000文字未満の短い文章では信頼性がかなり低く、英語以外の言語では性能が著しく悪いと書かれています。日本語の短い文章を判定ツールだけで判断するのは、特に危険です。

OpenAIは、このようなツールを「主要な意思決定ツールとして使用すべきではありません」としていました。ほかの会社の判定ツールを使う場合も、この注意は当てはまります。

• 出典：OpenAI：AI が書いたテキストを表示する新しい AI Classifier（2023年1月31日、7月20日に提供終了）（新しいタブ）

人の文章もAIと判定される：研究で分かったこと

スタンフォード大学の研究者は、2023年に、広く使われている7つの判定ツールを調べました。英語を母語としない人が書いたTOEFLの作文91本を判定させると、平均で61.22%がAIと判定されました。

91本のうち89本（97.80%）は、少なくとも1つのツールでAIと判定されています。一方で、米国の中学2年生の作文は、ほぼ正しく人の文章と判定されました。

研究者は、使う単語や言い回しの幅が狭い文章ほど、AIと判定されやすいと考えています。実際に、作文の言葉をChatGPTで豊かにすると、誤判定は11.77%まで下がりました。

つまり、判定ツールは「言い回しの単純さ」に反応している面があり、外国語で書く人や、文章を書き慣れていない人を不当に疑うおそれがあります。

• 出典：Liang ほか「GPT detectors are biased against non-native English writers」（2023年）（新しいタブ）

学校では：文部科学省も「結果を過信しない」

文部科学省は、2023年7月に大学・高専へ出した周知で、AIが生成した文章かを判定するツールを使う場合でも、その結果を過信しないことが重要だとしています。

同じ周知では、学生がレポートに生成AIを使った場合、使ったことや、使ったAIの種類・箇所を書かせることを挙げています。小テストや口述試験を組み合わせるなど、評価の方法を工夫することも有効としています。

つまり、学校で大切なのは「見破ること」より、使い方のルールを先に決め、学んだ力を別の方法でも確かめることです。

同じ周知は、有料版か無料版かなど、使う生成AIの種類によって成果物に差が出うることにも注意を促しています。

• 出典：文部科学省：大学・高専における生成AIの教学面の取扱いについて（2023年7月13日）（新しいタブ）

判定ツールを使うなら守りたい3つのこと

判定ツールを使うこと自体を禁じる必要はありません。使うなら、結果で人を傷つけないように、次の3つを守ります。

1. 結果を1つの手がかりとして扱う：「AIの可能性が高い」と出ても、それだけで不正と決めない。
2. 本人に説明の機会を作る：結果を見せたうえで、書いた過程を聞く。下書きや資料を見せてもらう。
3. 短い文章や外国語の文章には使わない：誤判定が多いと分かっている条件では、結果を判断に使わない。

判定ツールの多くは、判定の根拠を詳しく示しません。根拠が分からない結果を、人の評価に直接つなげないことが大切です。

• 出典：OpenAI：AI が書いたテキストを表示する新しい AI Classifier（2023年1月31日、7月20日に提供終了）（新しいタブ）
• 出典：文部科学省：大学・高専における生成AIの教学面の取扱いについて（2023年7月13日）（新しいタブ）

AIの文章に出やすい5つの特徴

それでも、AIの文章には出やすい特徴があります。疑いを持つきっかけとして、次の5つを見てください。どれも、人が書く文章にも出ることを忘れないでください。

1. 全体が整いすぎている：見出しや箇条書きの形がそろい、どの段落も同じくらいの長さ。
2. 具体的な体験や数字がない：「多くの人が」「さまざまな場面で」のような一般論が続き、日付・場所・人数が出てこない。
3. 言い回しの繰り返し：同じ語尾や、「〜することが重要です」のような締めくくりが何度も出る。
4. 結論が無難：賛否のある話題でも、両方の意見を並べて終わる。
5. 細かい事実の間違い：存在しない本や、少し違う数字がもっともらしく書かれている。

1〜4は文章の書き方の特徴で、人も同じように書きます。5は内容の問題なので、本人に出典を聞けば確かめられます。

同じ内容を、人らしい文とAIらしい文で比べる

特徴の違いをつかむために、同じ内容を2通りに書いた例を並べます。どちらも、この記事で特徴を説明するために作った例です。

AIらしい例は、一般論で整っていますが、書いた人の経験が見えません。人らしい例は、少し整っていなくても、具体的な日時や失敗、気づきが入っています。

ただし、AIに「体験を入れて」と頼めば、それらしい体験を作ることもできます。具体性だけで人が書いたと決めることもできない点に注意してください。

なぜAIの文章には特徴が出るのか

ChatGPTのもとになる言語モデルは、大量の文章で「次に来る言葉」を予測して学びます。OpenAIも、事前学習は大量の文章の次の単語を予測する過程だと説明しています。

次に来やすい言葉を選び続けると、多くの文章に共通する、平均的で無難な言い回しになりやすくなります。これが、整いすぎた文章や、一般論の多さにつながります。

一方で、書いた人だけが知っている日時や失敗は、次に来やすい言葉からは出てきません。特徴の多くは、この「もっともらしさ」から生まれていると考えると分かりやすくなります。

• 出典：OpenAI：言語モデルでハルシネーションがおきる理由（2025年9月5日）（新しいタブ）

特徴でも見分けられない4つの場合

次の場合は、特徴を見ても判定ツールを使っても、見分けるのが難しくなります。

1. AIの文章を人が直した：言い回しや具体例を足すと、特徴はほとんど消える。OpenAIも、編集によって判定を避けられると書いている。
2. 人が丁寧に整えた文章：ビジネス文書や報告書は、もともと整った一般論が多い。
3. 短い文章：数行の感想や自己紹介は、手がかりが少なすぎる。
4. 外国語や書き慣れない人の文章：言い回しの幅が狭いと、AIと誤判定されやすい。

どの場合も、文章だけで判断せず、書いた過程を確かめる方法に切り替えてください。見分けられないことを前提に、確かめ方を決めておくのが現実的です。

• 出典：OpenAI：AI が書いたテキストを表示する新しい AI Classifier（2023年1月31日、7月20日に提供終了）（新しいタブ）
• 出典：Liang ほか「GPT detectors are biased against non-native English writers」（2023年）（新しいタブ）

学校での使い方：先生と学生それぞれ

先生は、課題を出すときに「AIを使ってよい範囲」と「使ったときの書き方」を先に示します。提出後に疑いがあるときは、内容について口頭で質問すると、本人が理解しているかを確かめられます。

学生は、AIを使ったら、使ったことと使った箇所を書きます。自分で書いた場合も、下書きや調べた資料を残しておくと、疑われたときに説明できます。

判定ツールの結果だけで、不正と決めつけたり、決めつけられたりしないことが、先生と学生の両方にとって大切です。

• 出典：文部科学省：大学・高専における生成AIの教学面の取扱いについて（2023年7月13日）（新しいタブ）

課題の出し方で、見分ける必要を減らす

先生や上司の立場なら、見分ける方法を探すより、AIだけでは書けない課題にするほうが確実です。

1. 自分の体験や観察を入れさせる：授業で見たもの、職場で起きたことなど、本人しか知らない材料を求める。
2. 途中の段階も出させる：構成のメモ、下書き、直した理由を一緒に提出させる。
3. 授業で扱った資料に触れさせる：配った資料のどの部分をどう使ったかを書かせる。

こうした課題なら、AIを使っても使わなくても、本人が考えたかどうかが見えやすくなります。

よくある3つの誤解

1. 「AIは必ず決まった言い回しを使う」：頼み方しだいで、口語や方言、くだけた文も書ける。言い回しだけでは決められない。
2. 「判定ツールが99%と出たら確実」：数字は、そのツールの中での確からしさで、本当にAIが書いた確率とは限らない。
3. 「具体的な体験があれば人が書いた」：AIに体験を入れるよう頼めば、それらしい体験も作れる。

誤解に気づいておくと、特徴やツールの結果に振り回されずに済みます。

仕事での使い方：誰が書いたかより、内容が正しいか

仕事の文書では、AIが書いたかどうかより、内容が正しく、責任を持てるかのほうが大切です。社内でAIの使い方のルールを決め、使ってよい文書と使い方をはっきりさせます。

部下や取引先の文章に違和感があるときは、「AIを使ったか」を問い詰めるより、数字や出典、判断の理由を確かめます。AIでも人でも、間違いは同じように直す必要があります。

社外に出す文書でAIを使った場合は、誰が内容を確かめたかを社内で記録しておくと、後で問い合わせがあったときに説明できます。

採用での使い方：応募書類だけで判断しない

応募書類がAIらしく見えても、それだけで不合格にするのは避けたほうが安全です。外国語で書く人や、書類を書き慣れていない人を、判定ツールが誤って疑うことがあるためです。

書類の内容は、面接で具体的に聞けば確かめられます。「この経験で一番困ったことは」「そのとき何をしたか」と聞くと、本人の言葉で話せるかが分かります。

応募書類でAIの使用を認めるかどうかは、会社ごとに決めて募集の案内に書いておくと、応募する人も迷いません。

• 出典：Liang ほか「GPT detectors are biased against non-native English writers」（2023年）（新しいタブ）

自分の文章がAIと疑われたときの対応

自分で書いたのにAIと疑われたときは、落ち着いて、書いた過程を示せる材料を集めます。

1. 下書きや変更の履歴：Googleドキュメントの変更履歴や、Wordの古い版、メモ帳の下書き。
2. 調べた資料：読んだ本や記事、メモ、ブラウザの履歴。
3. 口頭での説明：内容や書いた理由を、自分の言葉で説明する。

判定ツールの結果だけで疑われている場合は、この記事で紹介した誤判定の研究や、文部科学省の「結果を過信しない」という注意を示し、人による確認を求めてください。

• 出典：Liang ほか「GPT detectors are biased against non-native English writers」（2023年）（新しいタブ）
• 出典：文部科学省：大学・高専における生成AIの教学面の取扱いについて（2023年7月13日）（新しいタブ）

疑われる前に：書いた過程を残しておく

レポートや応募書類のように、後から疑われると困る文章は、書いている途中の記録を残しておくと安心です。

1. 版の履歴が残るアプリで書く：Googleドキュメントの変更履歴や、Wordの以前のバージョンから、いつ何を書いたかを見せられる。
2. 下書きを日付つきで保存する：構成のメモや途中の版を、日付の入ったファイル名で残す。
3. 参考にした資料を控える：本の題名やページ、記事のURLをメモしておく。

AIを一部に使った場合も、どこに使ったかを自分で記録しておくと、聞かれたときに正確に答えられます。

AIを使った文章を出すときの注意

AIを使うこと自体が悪いわけではありません。問題になるのは、使ってはいけない場面で使うことや、使ったことを隠すこと、間違いを確かめずに出すことです。

学校や会社のルールを確かめ、使ってよい場面では使ったことを書きます。数字や出典は元の情報で確かめ、自分の経験や考えを足して、自分の文章として責任を持てる形にしてください。

見分けるときの確認リスト

最後に、AIの文章かどうかを判断する前の確認をまとめます。

• 特徴や判定ツールの結果だけで、決めつけていない
• 短い文章や外国語の文章は、誤判定されやすいことを知っている
• 事実の間違いや出典は、本人と一緒に確かめた
• 下書き・履歴・口頭の説明で、書いた過程を確かめた
• AIを使ってよい範囲と、使ったときの書き方を先に決めた