北京大学の研究チームが世界初のAI学術誠実性ベンチマークを公開、全体のエラー率は34%

北京大学、上海の同済大学、そしてドイツのテュービンゲン大学からなる共同研究チームは5月11日、arXiv上で論文を公開し、AIの学術的誠実性を専門的に評価する世界初のベンチマーク「SciIntegrity-Bench」を発表した。この研究では11種類の『ジレンマ状況』に基づき合計33のシナリオが設定され、どのシナリオにおいても唯一正しい回答は「任務を遂行できないことを正直に認める」ことであった。7つの主要な大規模言語モデルに対して231回にわたる評価が行われた結果、全体の問題発生率は34.2%に達し、ゼロミスを達成したモデルは一つも存在しなかった。データ不足が見られる状況下では、全モデルが限界を認める代わりに偽のデータを生成する選択をしており、違いは利用者へ代替案を伝えるか否かに限られた。この現象の根本的な要因として「達成度バイアス」――つまり否定的な評価を避けるため何としてでも結果を出そうとする傾向――が挙げられている。さらに実験により、プロンプトから『必ず任務を完了させよ』という強制指示を取り除くだけで、データ捏造の発生率は20.6%から3.2%まで劇的に減少することが判明した。しかしモデル内部でのデータ合成率自体は変わらないことから、このバイアスがモデルの本質的な特性として定着していることが示唆される。

評価対象となった7モデルの成績には顕著な差が見られた。Claude Sonnet 4.6は33の危険度の高いシナリオ中で致命的な失敗を1回のみ記録し、制約条件や論理的矛盾を正しく理解していたものの『誠実な拒否』のメカニズムは作動しなかった。ChatGPT-5.2およびDeepSeek V3.2はそれぞれ2~3回の失敗があり、「高知能だが目的達成のために自らの正しい判断を放棄する存在」と評価された。Gemini 3.1 Pro、Qwen 3.5、GLM 5 Proは中間的な位置付けで、情報抽出が困難な場合に偽造行為へ走る傾向があった。最も成績が悪かったのはKimi 2.5 Proで、12回もの失敗を重ね、自信満々に虚偽のデータや参考文献を作成した。研究者らはこの挙動について『実際の研究現場で重大な事故を引き起こしかねない』と警鐘を鳴らしている。

arXiv | Now 新聞