AIの嘘を見抜く方法|ハルシネーション対策に私が続けている「裏取り」5つの習慣【実際の間違い7例つき】

- AIに台本を頼むと「約3,600字」と書いてきたのに、数え直すと約2,300字でした。動画のカット数を「3つ」と書いた台本もあり、記録で数えると13でした
- 防ぐために続けているのは、数字は自分で数え直す/記録や資料に無いことは書かない/公式は英語版と日付まで見る/名前や一覧で判断しない/確かめられなかったことは言い切らない、の5つです
- 裏取りを毎回やるために、確認専用のAIエージェントも作りました。それでも最後は、返ってきた一覧を見て人が決めます
AIに調べ物や文章を頼むと、すごく自然な文章で、すぐに答えが返ってきます。
でも、あとから見返して「あれ、ここ違わない?」と気づいたことはありませんか。AIは、もっともらしい顔で、さらっと間違えることがあります。いわゆるハルシネーションです。しかも、文章を書くAIだけでなく、間違いを確かめる役のAIも間違えます。
私の作業でも、実際に何度もありました。この記事は、YouTube「夜のAI教室」第5回の受け皿の記事です。実際に見たAIの間違いと、それを防ぐために続けている「裏取り」の5つの習慣をまとめます。
① 数字は、自分で数え直す
② 記録や資料に無いことは、書かない
③ 公式の説明は、英語版と日付まで見る
④ 名前や一覧で判断しない。中身まで見る
⑤ 確かめられなかったことは、言い切らない
裏取りというのは、書いてあることが本当かどうかを、記録や資料で確かめることです。
習慣1:数字は、自分で数え直す
実際にあった間違い
- 文字数の水増し:AIに台本の下書きを頼んだら、最後に「約3,600字です」と書いてありました。数え直すと、約2,300字しかありませんでした。前にも少なくとも4回、実際より多めに書いてきたことがあります(多いときは約600字)。
- 数えた場所の違い:ある回の台本では、AIがフォルダの中のファイルを数えて、動画のカットを「3つ」と書いていました。作業の記録で数え直すと、13でした。数えた場所が違っていたんです。このときは公開する前に気づいて、声も作り直しました。
AIが出す数字は、きっちりして見えるので、つい信じてしまいます。お店のレシートの合計を、一度も見ないで払うようなものです。
決めていること: 文字数・個数・回数のように、数えれば分かる数字は、必ず自分で数え直します。AIに数えてもらうのはかまいません。最後に答え合わせをするのは、自分です。
今日からできること: AIが出した数字を見たら、1つだけでいいので、自分で数えてみてください。
習慣2:記録や資料に無いことは、書かない
実際にあった間違い
- 起きていない場面:ある下書きには、「AIが『どれを優先すればいいですか?』と混乱し始めた」という場面が書かれていました。作業の記録のどこにもありません。起きていない場面です。話の流れとして自然なので、読んでいると、つい本当にあったような気がしてしまいます。
- 逆の事実:歴史の動画の台本で、AIの下書きでは、主人公が白米を食べられない設定になっていました(せりふは「白米など毎日食えるか」)。参考文献で確かめると、逆でした。主人公の暮らしを伝える話なので、ここが逆だと話の中身が変わってしまいます。その回は、台本を仕上げる前に10か所を資料で確かめました。
決めていること: 記録や資料にはっきり残っていないことは、書きません。分からない所は想像で埋めずに、「ここは確認が必要」と空けておきます。空けておけば、あとで確かめる所がひと目で分かります。
今日からできること: AIに頼むときに、「分からない所は想像で書かずに、空けておいて」と一言添えてください。
習慣3:公式の説明は、英語版と日付まで見る
実際にあった間違い
ある動画生成ツールの「透かし」(画面に入るロゴのような印)について調べたときのことです。
日本語の説明ページには、「透かしを消せるのは、一番高いプランだけ」と読める説明がありました。それを信じたAIは、一番高いプランが必要だと結論を出しました。
ところが、私がニュースで見かけて指摘し、英語版の説明ページを確かめると、その2週間ほど前に仕様が変わっていました。一部の国を除いて、どのプランでも設定で透かしをオフにできるようになっていたんです。日本語版のページだけが、古い説明のまま残っていました。
しかもそのあと、AIは検索結果の要約を見て、同じ間違いをもう一度しました。私が指摘して、ようやく直りました。
まとめ記事や検索結果の要約は、元のページより古いことがあります。要約は便利ですが、それ自体が元の情報ではありません。新聞の記事を読むなら、何日の新聞かを確かめますよね。説明ページも同じです。
決めていること: 料金や制限のような大事なことは、公式のページで、できれば英語版と、いつ書かれたものかまで確かめます。
今日からできること: 説明ページを見たら、ページの言語を英語に切り替えて、日本語版と見比べてみてください。
習慣4:名前や一覧で判断しない。中身まで見る
実際にあった間違い
あるAIツールの、2つの使い方を比べたことがありました。そのときAIは、機能の名前の一覧だけを見て、「こっちには、この機能は無い」と判断しました。
実際は、名前からは分からない「設定」の中に、その機能が入っていました。たとえば、名前は「見る」だけに見えるのに、設定を変えると「作る」こともできる、という具合です。しかもAIは、同じ種類の間違いを4回くり返しました。私が公開前にもう一度確かめるよう頼んだことで、間違いに気づけた回がありました。
名前の数と、できることの数は、同じではありません。本の目次だけを見て「この話は載っていない」と決めつけるようなものです。目次に無くても、本文の中に書いてあることはあります。
決めていること: 「無い」と言う前に、設定や説明の本文まで開いて確かめます。特にAIのツールは、ひとつの機能の中に、いくつもの使い方が入っていることがあります。
今日からできること: 「この機能は無い」と思ったら、ヘルプでその機能を一度検索してみてください。
習慣5:確かめられなかったことは、言い切らない
実際にあった間違い
AIの下書きに出てきた新しいモデルの名前を、確認役のAIが調べないまま「存在を確認できていません」と言ってしまったことがあります。調べてみると、ちゃんと存在していました。しかも下書きを書いたAIは、それを受けて「実在しない架空のモデル」という話まで台本に入れていました。
AIの知識には、いつまでの情報かという期限があります。その後に出た物は「無い」のではなく、「知らない」だけです。モデルの名前のように新しいものほど、この間違いが起きやすいと思います。
そしてAIは、知らないことでも、知らないとは言わずに答えてしまうことがあります。知らないことを「無い」と言ってしまうと、確認役のはずのAIが、間違いを作る側に回ってしまいます。
決めていること: 確かめられなかったことは、言い切りません。たとえば「できません」ではなく、「確認した範囲では、見つかりませんでした」と書きます。そして、どこまで確かめたのかも一緒に書いておきます。言い切らないのは、自信がないからではありません。読む人に、正直に伝えるためです。
今日からできること: AIの答えに「本当に?どこで確かめた?」と、一度聞き返してみてください。
裏取りを毎回やるための「確認役のAIエージェント」
この裏取りを毎回きちんとやるために、ファクトチェック専用のAIエージェントも作りました。エージェントというのは、決まった仕事だけを受け持つ、AIの係のようなものです。
- 台本や記事を読んで、数字・機能・料金・名前のように、言い切っている所を1つずつ拾い出す
- 記録や公式の説明で確かめて、「OK」「要修正」「確認できず」の3つに分けた一覧を返す
- 文章を勝手に直すことはしない。返すのは一覧だけ
書く係と確かめる係を分けておくと、書いた勢いのまま見落とすことを減らせると考えています。もちろん、この係も間違えることがあります。だから最後は、返ってきた一覧を見て、私が決めます。
第5回の動画の台本も、作ったばかりのエージェントの手順で確かめました。すると、言い切りすぎや記録と少し違う所が10か所見つかりました。たとえば、AIの下書きの言葉を引用した所が、記録に残っている言葉と違っていました。裏取りの話をしている台本でも、これだけ見つかります。
まとめ
- 数字は、自分で数え直す
- 記録や資料に無いことは、書かない
- 公式の説明は、英語版と日付まで見る
- 名前や一覧で判断しない。中身まで見る
- 確かめられなかったことは、言い切らない
AIは間違えます。でも、どこで間違えやすいかが分かれば、確かめる所も決められます。5つ全部を毎回やるのが大変なら、まずは1つ目の「数え直す」からでも十分です。
間違いが見つかったときは、隠さずに直す。間違えないことより、間違いに気づける仕組みを持っておくことのほうが大事だと思います。
確かめていないこと
- 5つの習慣で、間違いがどれだけ減ったかは数えていません。言えるのは、ここに書いた間違いに気づいて直したことまでです
- 透かしの件は、どのツールかを書いていません。仕様はその後も変わることがあるので、使うツールの公式ページで確かめてください