「この文章、AIが書いたのでは？」。そう感じる場面が増えました。では、AIが書いた文章は、道具で見分けられるのでしょうか。当社は2026年9月、日本語の文章を「AIが書いたか、人が書いたか」で判定するツールを社内で作りました。この記事では、その正解率と限界を、実際に測った数字で紹介します。あわせて、当社が公開しているAIの記事10本を判定にかけた結果も載せます。
先に要点を3つ挙げます。
- 同じ種類の文章なら、かなり当たります。 正解率は94.6%でした。
- 文章の種類が変わると、7割まで落ちます。 学んでいない種類の文章は苦手です。
- 人が確かめたAIの記事は、ほとんど見抜けませんでした。 当社の記事10本のうち、AIと判定されたのは2本だけでした。
AI文章の判定ツールは、書き方の「くせ」を数えている
しくみを、たとえ話で説明します。電話の相手が誰かは、声だけでなく話し方のくせでも分かります。「えーと」が多い人や、語尾がいつも同じ人がいます。文章にも、書き手のくせが出ます。
AIの文章に多いくせは、たとえば次のような文の締め方です。
〜が重要です。
〜と言えるでしょう。
〜が求められます。ほかにも「段落がどれも2〜3文でそろう」「文の長さが一定」といった特徴があります。反対に、人の文章には、AIがあまりしない乱れが出ます。同じ文章の中で「頂く」と「いただく」が混ざる。打ち間違いがある。急に長い文が出てくる。かっこで補足を足す。こうした点です。
当社の判定ツールは、こうしたくせを80項目の数字にして、AIらしさを0〜100%で出します。数字だけでなく、「どのくせが効いたか」も一緒に出すようにしました。理由が分からないと、結果を確かめようがないからです。なお、このツールは社内用で、いまは公開していません。
最初は、「AIがよく使う言い回し」の一覧と照らし合わせるだけの方法も試しました。こちらは正解率77.4%どまりでした。決まり文句を避けて書かれたAIの文章は、素通りしてしまうためです。
同じ種類なら94.6%、種類が変わると70.6%
判定ツールに学ばせた文章は、合計214件です。人が書いた文章が152件、AI（Claude）が書いた文章が62件です。人の文章は、公開されている研究者のコラムや国税庁の解説、ビジネスメールなどです。AIの文章は、人の文章と同じような話題と長さで書かせました。長さや話題がそろっていないと、ツールが「長いからAI」のように、別のところで見分けてしまうからです。
結果は次のとおりです。
| 試し方 | 正解率 |
|---|---|
| 学んだ種類の文章で試す | 94.6% |
| 論説・解説文を外して試す | 88.6% |
| メールを外して試す | 36.5% |
| 種類を外して試した全体 | 70.6% |
1行目は、学ばせた種類の文章で試した数字です。学習に使っていない文章で50回試した平均です。それでも、20件に1件ほどは外れます。
2行目以降は、ある種類の文章を丸ごと学ばせずに、その種類で試した数字です。目立つのはメールです。短く丁寧なメールを一度も見ていないツールは、人が書いたメールの約8割をAIと判定しました。見たことのない書き方は、苦手なのです。
もう1つ、線の引き方も決めました。AIらしさが何%以上なら「AI」とするか、です。当社は57%にしました。人が書いた文章をAIと間違える割合を、10%以下に抑える線です。試したところ、この間違いは4.2%でした。AIの文章を見逃すことより、人を疑うことのほうが害が大きいと考えたからです。
当社のAI記事10本を判定にかけてみた
このサイトの技術記事は、この記事の前に10本あります。10本とも、下書きはAI（Claude）が書きました。人は、内容が正しいかの確認と、公開するかどうかの判断をしています。この10本を、2026年9月26日に判定ツールにかけました。
まず、本文をそのまま入れると、10本中7本が「判定できません」と返ってきました。箇条書きや表が多く、判定に使う普通の文がほとんど無い、という理由です。そこで、見出し・箇条書き・表・コードを除いた文だけで判定しました。
| 判定 | AIらしさ | 本数 |
|---|---|---|
| AIの可能性が高い | 85%以上 | 0本 |
| AI寄り | 57〜85% | 2本 |
| 判断保留 | 30〜57% | 6本 |
| 人の可能性が高い | 30%未満 | 2本 |
10本ともAIが下書きした記事です。それでも、「AIの可能性が高い」は1本もありませんでした。57%の線を超えてAIと判定されたのも、2本だけです。判定ツールに学ばせたAIの文章も、Claudeで作ったものです。同じClaudeが書いた文章でも、見抜けなかったことになります。
いちばん高かったのは、vinextの構成を紹介した記事の84%です。理由のいちばん上は「アルファベットが多い」でした。技術の記事なので英語の名前が多いだけで、AIが書いたかどうかとは別の理由と考えられます。次が「段落がどれも2〜3文でそろっている」で、ほかに「表記ゆれが無い」なども挙がりました。
いちばん低かったのは、AIエージェント開発の費用相場の記事の9%です。「金額が具体的に多く書かれている」「突出して長い文がある」が、人らしさとして効いていました。
判定の結果は、入れる範囲でも変わりました。84%だったvinextの記事は、表やコードを含めた本文のまま入れると21%になりました。同じ記事が、「AI寄り」から「人の可能性が高い」に変わったのです。
AIの記事がなぜ人らしく見えたのか、はっきりした理由は分かりません。ただ、判定ツールを作ったときにも、同じような見逃しがありました。数字や固有名詞がたくさん入った、よく書けたAIのメモを、AIらしさ12%と判定したのです。具体的な数字が入り、人が確かめた文章は、見分けにくくなると考えています。
判定ツールを使うときの3つの注意
作って試した立場から、判定ツールを使うときに気をつけたいことを3つ挙げます。当社のツールに限らず、ほかの判定ツールにも当てはまると考えています。
1. 結果は「証拠」ではなく「目安」
100%と出ても、AIが書いたと決まるわけではありません。0%と出ても、人が書いたとは言い切れません。採用の選考や人事の評価、レポートの採点など、人の不利益につながる判断には使わないでください。当社も、そうした使い方はしないと決めています。
2. 得意な文章の種類を確かめる
判定ツールは、学んだ種類の文章でしか力を出せません。メールの例のとおり、見たことのない書き方では大きく外れます。使う前に、そのツールが何で学んだのかを確かめると安心です。
3. 中間の数字は「人の手が入った」しるしかもしれない
AIの下書きを人が直した文章は、判定が中間に集まります。当社の記事の多くが「判断保留」になったのも、これに当たると考えられます。中間の数字は失敗ではなく、実際にそういう文章だという表示として読むのが実態に近いです。
見分けるより、中身を確かめる
AIが書いたかどうかを、道具で白黒つけるのは難しい。これが、判定ツールを作って試した当社の結論です。
では、何を見ればよいのか。当社は、書いた手段より中身を確かめることにしています。事実は正しいか。読む人の役に立つか。誰が確かめたか。Googleも、AIで書いたかどうかではなく、内容の質を見るとしています。詳しくはAIが書いた記事とGoogleの評価についての記事にまとめました。
当社は、AIを業務に組み込む開発を受託しています。「社内の文書のチェックにAIを使いたい」といったご相談も、AI受託開発のページからどうぞ。
この記事の作り方
この記事も、下書きはAI（Claude）が書きました。数字は、当社の判定ツールの記録と、2026年9月26日に行った判定の結果から取っています。人は、内容の確認と公開の判断をしました。この記事の文だけを同じツールで判定すると、AIらしさは8%で、「人の可能性が高い」と出ました。いちばん効いた理由は「表記ゆれがある」でした。ただしこれは、本文で例として「頂く」と「いただく」を並べて書いたためです。判定ツールは、文章の意味までは読んでいません。