はじめに
こんにちは、DX Technology Unitの芹澤です。以前は「RAG (Retrieval Augmented Generation) を活用！LLMで外部データを参照する方法を解説」という記事を書きましたが、今回もLLMに関連する記事をお送りします。
弊社では、業務時間のうち週に3時間まで自己研鑽に充てて良いという制度があり、各々興味のある勉強や実装、コンペ参加などを行ったりしています。その中で、私は学会に向けて各々好きな研究に取り組むグループに参加しており、毎週ゼミ形式で進捗共有をしながら研究活動を行っています。
本記事では、その活動で私が研究を行っている対話AIと人間の信頼に関する現状について共有させていただきます。
LLMに対する信頼とHAIの関係
昨今、ChatGPTをはじめとした大規模言語モデル (Large Language Model; 以下LLM) の話題を聞かない日は無いほどLLMブームが来ています。ただ、実際にLLMが社会に浸透していくには、人がLLMをベースとした対話AIを信頼できるかどうかという点が重要になってくると思われます。
信頼できるAIに関連して、「Trustworthy AI: From Principles to Practices」という論文で詳しく解説されています。顔認識や自動運転、自然言語処理などの各タスクの精度向上に合わせて産業応用が進むにつれ、信頼性の向上に寄与してきました。ただ、産業界では対話AIが扱われることが少なかったため、Trustworthy AIの定義は対話AIを前提としていません。
一方、AIをはじめとしたエージェント (AI, ロボット, アバター…) に対するインタラクションの研究を行っている、Human Agent Interaction (以下HAI) という研究分野があります。この分野は情報工学以外にも認知科学や心理学などを含めた学際的な分野であり、多面的にエージェントについて研究をしています。この分野でもLLMをエージェントとした研究が出始めており、LLMによる対話AIの信頼に関する研究も登場しています。
Human Agent Interactionのイメージ
では、HAIの視点から見たとき、人が対話AIを信頼するにはどのような条件を満たす必要があるのかについて、最新の論文を引用しながら考察していきたいと思います。
信頼の定義
信頼とは何か
人がAIを信頼するにはどうする必要があるかを示すための前提として、そもそも信頼の定義とはどのようなものになるのでしょうか。
これまで多くの研究者が人間同士のインタラクションにおける信頼の概念の研究を行ってきました。信頼に関する論文で最も引用されている定義の一つは、1995年にMayerらによって公開された論文「An Integrative Model of Organizational Trust」で提案されたもので、「信頼とは、相手が、その相手を監視したりコントロールしたりする能力に関係なく、信頼者にとって重要な特定の行動を実行するという期待に基づいて、相手の行動に対して脆弱であろうとする当事者の意思である」と論じています。ここで脆弱な状態に身を置くというのはリスク・テイキング (リスクを感じつつ意思決定して行動すること) のことです。分かりやすく言い換えると、「信頼は相手にコントロールされることなく、相手を信じることについてリスクがあることを分かったうえで行動をしようと考えること」のようなイメージでいいかと思います。
信頼の定義はこのような考え方が多く使われていますが、まだ解像度が荒く、この信頼を獲得するにはどのようにする必要があるのかが見えにくくなっています。そこで、更に解像度を上げていきたいと思います。
認知的信頼と感情的信頼
どのような要因が信頼レベルに影響を与えるかを調査するうえで、心理学の分野では信頼を認知的信頼と感情的信頼の2つに分類しています。
認知的信頼は他者の信頼性、能力、誠実さに関する合理的な判断と評価に基づく信頼を指します。しかし、日常生活をしていると経験的に分かると思いますが、信頼は感情や気分などの不合理な要因にも影響される可能性があります。そこで、個人間の感情的または感情的な絆に基づいた信頼を感情的信頼と呼んでいます。感情的信頼には感情的なつながり、共感、共有の価値観、信念、目標の認識の形成が含まれています。
それぞれについて具体例で例えると、「仕事をする上で直属の上司を信頼する」というのは認知的信頼をしている、「家庭の事情について上司を信頼して相談できる」というのは感情的信頼関係が築かれている、というような形となります。
これら2つの信頼は「Similarities and differences between human–human and human–automation trust: an integrative review」という論文において、いずれも人間間のインタラクションにおける信頼に影響を与え、また人間とエージェント間でも共通することが分かっていることから、この2つの信頼を獲得できれば、人間は対話AIを信頼できると考えています。
信頼獲得のための5つの要素
認知的信頼と感情的信頼を獲得するための要素としては、人間同士の信頼研究から始まり、実験を繰り返しながらいくつかの研究が長年にわたって実施されることで、必要となる要素が検討されてきました。その中で、LLMを前提としたエージェント対人間に関する信頼について、2023年8月に行われたAI系のトップカンファレンス (IJCAI) で発表された「Enhancing Trust in LLM-Based AI Automation Agents: New Considerations and Future Challenges」という論文では以下5つの要素を挙げています。ここでは、ChatGPTを例にしながら各要素について説明していきたいと思います。
- Reliability
- Openness
- Tangibility
- Immediacy behavior
- Task characteristics
Reliability
質問に対するエージェントの回答は高精度で高品質なことが求められます。過去の研究より、エージェントに対する信頼と指示の遵守の間には強い相関関係があることが分かっています。そのため、指示に対する信頼性が不可欠となり、指示に対するタスク実行の精度が求められます。ChatGPTの場合、問われた質問に対し、正しい答えを回答できる精度が求められます。現状としては、OpenAIの公式サイトのパフォーマンス評価で示されている通り模擬司法試験で受験者の上位10％程度のスコアを記録するなど、高い精度が得られていると思われる一方、Hallucination (尤もらしい嘘を出力すること) のような課題もあります。
Openness
対話AIの透明性も重要となっています。AIがどの程度の機能を持っているか、AIの目的は何か、どのようなアルゴリズムか、倫理観はどうなっているのかが示されることで、人間にとって信頼のおけるAIとなります。ChatGPTの場合、機能や目標、倫理観はある程度OpenAIの「GPT-4 Technical Report」や「Summary of ChatGPT-Related Research and Perspective Towards the Future of Large Language Models」という論文などで提示されている一方、アルゴリズムの詳細は「GPT-4 Technical Report」で記載のある通り非公開となっており、この点において人間がどうすれば信頼できるかを検討する必要があります。
Tangibility
意訳すると、有形性があるか、どのような外見かというものになります。アバターや視覚的表現を通じて具体性を組み込むことで、魅力度が上がりユーザ体験が向上します。 人間は視覚的に認識できる存在に対してより積極的に反応する傾向があるため、アバターのような外観はより良いコミュニケーションを促進します。 これにより、親近感と関連性が生まれ、人間と AI エージェントの間のより強いつながりが促進されます。ChatGPTの場合、視覚的表現手段を持っていないため、この点においては信頼獲得が難しくなっています。
Immediacy behavior
直訳すると即時性行動となります。これは、「好意や親近感を示すポジティブなメッセージを送り、人々の間の心理的距離を縮め、モチベーションにプラスの影響を与える言語的および非言語的コミュニケーション行動」と定義されており、分かりやすく言うと、親近感を生む行動というイメージになります。親近感を生むためには共感性やコミュニケーション・作業におけるスタイル適応が重要となっており、これらによってより人間らしい体験を与え、満足度を向上させて人間との強い関係を築くことに寄与します。ChatGPTの場合、質問に対する回答が間違っていた際、ユーザが間違いを伝えると、ChatGPTは丁寧な言い回しで誤解をお詫びする傾向があり、これは共感を生むジェスチャーの一つと言えると思います。
Task characteristics
タスク特性は、ユーザがAIエージェントの制御に対してどの程度関与できるか、逆に自律的なアクションはどの程度出来るか、オープンタスクに対してどの程度対応できるかという点になっています。エージェントに対する指示において、精度を確保して予期せぬ結果を回避するためには人間による検証が必要になることがよくあります。Reliabilityで記述した通り、指示に対する回答精度はシステム全体の信頼性とパフォーマンスに影響を与えるため、エージェントの制御は重要となります。ChatGPTの場合、APIプラグインを利用することで制御や自律アクションについてある程度人間が関与することが出来ます。一方、オープンタスクに対してどこまで関わるかは課題の一つと言えると思います。
今何が出来ていて、何が求められていくか
LLMの中でも特に優れているChatGPTを例に各要素で再整理すると、以下のようになっています。
- Reliability: 求められるレベルが定まっていないが、ChatGPTの利用場面が増えている理由を考えると、一定程度到達している一方、Hallucinationの課題もある
- Openness: アルゴリズム以外は透明性が担保されている
- Tangibility: 現行のChatGPTは有形性が無く、達成不可
- Immediacy behavior: 言い回しによって言語表現されているが、有形性が無いため非言語による親近感を生むことはできない
- Task characteristics: APIによってある程度可能だが、オープンタスクに対して課題が残る
この中でReliabilityやOpennessに関しては、LLMそのものの開発が必要となっており、LLM開発企業以外で深く関与していくことは難しいのではないかと考えています。ただし、開発されたLLMを対象とした研究などは可能です。中でも、Reliabilityの中のHallucinationは多くの研究者が研究対象としているタスクとなっています。HallucinationによってLLMに対する信頼性は大きく低下していると思われ、この現象に対する研究が重要になっていくと思われます。
TangibilityやImmediacy behaviorはLLMによるAIエージェントとしての研究は今のところほとんど見られていません。ただし、LLMという条件を除くと研究は行われており、例えば2016年の人工知能学会誌には「オンラインショッピングにおける商品推薦エージェントの外見と振る舞いの関係が購買意欲に与える影響」というTangibilityとImmediacy behaviorの関連性に関する論文が公開されています。また、アバターという外見に関して、日本は以前からVTuberのようなアバターコミュニケーションが盛んな国となっています。直近では日本を中心にAIによるVTuber (AITuber) が誕生してきており、AITuber専門の事務所が設立されるなど、商業面で盛り上がりを見せています。これらの反応を踏まえ、商業側で人気が出たAITuberなどに対して検証するような形で外見性と親近感に関する評価が示されるのではと考えています。
Task characteristicsについては、オープンタスクに関してAuto-GPTをはじめとしたAIエージェントの研究開発が進められており、非常に盛り上がっているタスクの一つとなっています。Auto-GPTは自律型AIエージェントの一つで、一つの指示を出すと毎回指示を出さなくても複数の工程を一括で行ってくれるものとなっています。このような複数工程を自律的に行うことによって、オープンタスクについても処理できるようになるのではないかと考えています。
ではこれら5つの要素が今後の対話AIすべてに必要かというと、そうではないと考えています。例えば、絶対にミスをしないという観点から信頼できるAIであるためにはReliabilityやOpennessが重要ですが、ドラえもんのように人に寄り添うAIであるためにはTangibilityやImmediacy behaviorのような共感性に関する観点が重要となると思います。そのAIに対して求められる要件に合わせて、どの要素をより達成できているかをチューニングできればいいのではないかと考えています。
おわりに
人間が対話AIを信頼するには何が必要かについて、5つの要素を軸に説明させていただきました。それぞれの要素でまだ課題が残っており、これらの研究が今後進んでいくのではないかと考えています。対話AIの利用には情報工学としてだけでなく、心理学など様々な要素が関わってくるということを知っていただけると幸いです。
