ノースイースタン大学 Northeastern Universityの調査で、ChatGPTやGoogleGeminiなど人気のチャットボットが操作されてユーザーに自傷や自殺に関するアドバイスを与える可能性があり、また企業の安全機能が簡単に回避される可能性があることが判明しました。
調査結果では、「AIチャットボットは、非常に低リスクおよび非常に高リスクの質問については専門家の評価と一致しているが、中間レベルでの質問への回答や、AIチャットボットプラットフォームごとに大きなばらつきが残っている」という結果でした
研究者らは、それぞれ ChatGPT、Claude、Google の Gemini で 100 回実行し、9,000 件の回答を分析しました。自殺に関連した30の質問リストを作成し、その回答が自殺願望に基づく行動につながる可能性に基づいて、それぞれの質問を作成しました
全体的に、ClaudeはChatGPTよりも直接的な回答をする傾向が高く、Geminiはそうでない傾向が見られました。研究によると、Geminiはリスクレベルに関わらず、自殺関連の質問に対して直接的な回答をすることはほとんどありませんでした。
この調査結果は、AIチャットボットがメンタルヘルスの緊急事態を悪化させる可能性について厳しい調査が行われている中で発表された。チャットボットとのやり取り後に自殺した人が いると報告されている。
