2024年2月第4週の「硝子瓶」です。
今回は、科学論文におけるAIの乱用事件とAIチャットボットについて記録します。

査読論文に意味不明の図

今月の13日に「Frontiers in Cell and Developmental Biology」からリリースされた「Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway」という論文が問題になっています。これは、精原幹細胞におけるJAK-STATシグナル伝達経路の役割についてのレビュー論文だとアブストラクトでは述べています。問題は掲載されている図が意味不明のものになっているのです。Figure 1はオスのラットの生殖器の模式図ですが、明らかに生殖器のサイズがおかしい。そして図につけられているキャプションも「iollotte sserotgomar cell」「dislocttal stem ells」「Stemm cells」など意味不明です（このうち1つの「s」は左右反転しています）。さらに異様なのは、この「Stemm cells」をスプーンですくっている様子です。最もショッキングなのはこのFigure 1ですが、Figure 2、Figure 3もキャプションが意味不明の文字列になっています。

この論文の著者たちは、「Images in this article were generated by Midjourney.」と画像生成AIのMidjourneyを使用してこれらの図を準備したと記載しています。

2日後の15日にFrontiersは「An expression of concern」という声明を発表し、この論文の問題について調査中であると述べています。その後、次の16日に編集部が当該ジャーナルの「the standards of editorial and scientific rigor」を満たさないため、この論文を撤回すると発表しました。

疑問は色々わいてきます。なぜ、この論文の著者たちは図をMidjourneyで生成しようと思ったのか。なぜ、著者たちは明らかに間違った図を論文に掲載しようと思ったのか。あるいは、これらの図が間違っていると思わなかったのか。なぜ、このような明らかな間違いを査読者たちは見逃したのか。なぜ、編集者はこの図が載っているにも関わらず、この論文の発行を許したのか。

「Frontiers」の出版ポリシーとしては「論文作成にAIを使用してもかまわないが、その旨を本文中に記載すること」となっています。この論文はMidjourneyを使用したことを記載しているので、そのポリシーには反していません。では、査読者たちはなぜ見逃したのか。Vice.comが査読者のひとり、Jingbo Daiに問い合わせたところ、「生医学研究者として、私は科学的価値のみをもとに論文を査読しています。AI生成の図像については、著者たちはMidjourneyを使用したと論文でも述べているので、（論文掲載をするかしないか）決めるのは出版者の責任です。」と回答しています。「Frontiers」の論文撤回のステートメントには「査読者の1人が図について当然の懸念を表明していた」とあり、この指摘に対して論文の著者たちが対応を取らなかった。その点を編集が見逃して、この論文の発行に至ってしまったというのが経緯のようです。

サイエンスの分野では、論文不正が深刻な問題になっています。論文発表の機会に飢えている研究者たちに「お金を払えば論文を掲載してあげよう」という《ペーパー・ミル》の存在は極めて憂慮すべき事態で、しかもその数は増える一方です。さらに、Frederik JoelvingがScienceに寄稿した記事によれば、ジャーナルの不正編集者たちと研究者たちをつなぐブローカーも登場してきており、「大規模な詐欺を展開する犯罪組織」になってきていると英国のResearch Integrity OfficeのMatt Hodgkinsonは指摘しています。これらの論文は大部分が剽窃、偽造、虚偽データ、ナンセンスからできており、サイエンスの領域を著しく汚染しています。この背景を考えると、このMidjourneyを使った論文作成もまったく予想外の事象ではなくなってきているのです。今回の不適切なAI画像は誰が見ても間違っていることが分かるので話題になり、すぐに撤回されましたが、Elisabeth Bikも指摘するように、ほかにも数多くのデタラメな論文がAIで作成され発表されている可能性があるのです。可能性ではなく、おそらく確実です。

かつて、ソーカル事件とかあって、Science Warsとか言っていましたが、すでにサイエンスの自浄作用は破綻していて、パラダイムとかそういった概念よりもはるかに後退してしまった感があります。

Ars Technica, "Scientists aghast at bizarre AI rat with huge genitals in peer-reviewed article", Beth Mole, February 16, 2024
Vice, "Scientific Journal Publishes AI-Generated Rat with Gigantic Penis In Worrying Incident", Jordan Pearson, February 16, 2024
Vice, "Study Featuring AI-Generated Giant Rat Penis Retracted, Journal Apologizes", Jordan Pearson, February 16, 2024
Science, "Paper Trail", Frederik Joelving, January 18, 2024

エア・カナダのチャットボットは嘘を言う

エア・カナダには「身内に不幸があったときの特別運賃」というサービスがあります。これは、緊急時に適用されるサービスですが、まずエア・カナダに連絡してサービスを利用する旨を伝えなければいけません。バンクーバー在住のジェイク・モファット氏は、トロントで行われる祖母の葬式に向かうため、エア・カナダのサイトにアクセスして、チャットボットに「この特別運賃制度を利用するにはどうしたらいいか」を尋ねました。チャットボットは「すぐに航空券を予約して、90日以内に割引を申請してください」と間違った回答をしたのです。

エア・カナダは、モファット氏の申請を却下しました。モファット氏は納得せず、法廷に訴え出ました。エア・カナダの言い分は「モファット氏はそもそもチャットボットを信用すべきではなかった」というものでした。もちろん、法廷はエア・カナダの主張を退けて、モファット氏に割引金額の一部を支払うように命じました。

エア・カナダは「私たちのサイトにあるチャットボットを信用してもらっては困る」と言ったわけですが、だったらなぜそんなものをサイトに置いたのか。もちろん、人間のオペレーターを雇うコストを削減するためです。コスト削減のために人工知能を《活用》する企業は多いです。少しくらい不正確でも構わない。人間だってミスをするのだから、コスト削減効果を考えたら、人工知能による業務は圧倒的な魅力がある。そう思っている企業は極めて多いです。これからはこういう《事故》は頻発するでしょう。

Ars Technica, "Air Canada must honor refund policy invented by airline’s chatbot", Ashley Belanger, February 17, 2024