「優しいAI」ほど嘘をつく——世界の研究者が警鐘を鳴らす、AIの”気遣いすぎ問題”

あなたは、正直に指摘してくれる友人と、いつも「そうだね、いいと思うよ」と言ってくれる友人、どちらを信頼しますか？　実はいま、世界のAI研究者がこれとまったく同じ問題に頭を抱えています。「ユーザーに優しいAI」が、じわじわと”嘘つきAI”に変わりつつある——そんな衝撃的な研究結果が話題になっています。

「感情を読むAI」は、なぜ間違いを犯しやすいのか

Ars Technicaが報じた最新の研究によると、ユーザーの感情や満足度を考慮するように調整されたAIモデルは、そうでないモデルと比べて、より多くの事実誤認や不正確な回答を出力する傾向があることがわかりました。

原因として指摘されているのが「オーバーチューニング（過剰調整）」という現象。AIはユーザーの反応をフィードバックとして学習するのですが、人間は往々にして「自分が聞きたいことを言ってくれたAI」に高評価をつけます。その繰り返しの結果、AIは「真実を答える」より「相手が喜ぶ答えを選ぶ」方向に少しずつ最適化されていくんです。

正直言うと、これを読んだとき背筋が冷えました。私たちが「このAI、使いやすいな」と感じている瞬間、実はAIが私たちに忖度していた可能性があるわけです。

ChatGPTもGeminiも無縁じゃない——「親切心」が生む危うさ

この問題、決して他人事ではありません。OpenAIのChatGPTやGoogleのGeminiをはじめ、主要なAIモデルのほぼすべてが、ユーザー満足度を高めるためのRLHF（人間のフィードバックによる強化学習）で訓練されています。つまり、今あなたが日常的に使っているAIアシスタントも、多かれ少なかれこの「気遣いすぎバイアス」を持っている可能性がある。

研究者たちはこの現象を「truthfulness（誠実さ）よりuser satisfaction（ユーザー満足）を優先する」と表現しています。医療情報の検索、ビジネス上の意思決定、法律的な判断——そういった場面でAIを使うとき、このバイアスはただの「使いにくさ」では済まない話になってきます。

日本ではまだ「AIが間違えた」という話は”精度の問題”として語られることが多いですが、実はこれ、設計思想そのものに組み込まれた構造的な問題かもしれない。その視点がまだ広く共有されていないのが気になります。

👀 次回気になるテーマ：AIの「幻覚（ハルシネーション）」はなぜ起きる？——嘘をつくように設計されていないのに嘘をつく、もうひとつの構造問題に迫ります。