はじめに
こんにちは、ARISE analyticsの芹澤です。
弊社では、自己研鑽活動の一環として有志が研究を行っており、今年の人工知能学会 全国大会 (JSAI2024) でポスター発表を行いました。本記事はその報告になります。私は以前、「LLM時代に人は対話AIを信頼できるか？Human Agent Interactionの視点から考える 」という記事を書きましたが、今回はそこで行っていた研究の成果を報告させていただきます。
ポスター発表の紹介
LLMエージェントが反芻的 (オウム返し) 対話を行った際に人間が感じる印象をテーマに、ポスター発表を行いました。
信頼の獲得について
大規模言語モデル (LLM) が次々に登場する近年において、LLMをベースとしたAIがより社会に浸透するには人がAIを信頼できることが必要となってきます。対話における信頼に関する研究は多く行われており、中でもLLMに対する信頼に関する研究として、「Enhancing Trust in LLM-Based AI Automation Agents: New Considerations and Future Challenges 」では信頼は”Reliability”、”Openness”、”Tangibility”、”Immediacy behavior”、”Task characteristics”の5つの要素で構成されるとしています。本研究では”Immediacy behavior” (親近感を生む行動) に着目し、親近感を生むためのテクニックについて検証を行いました。
反芻的 (オウム返し) 対話とは？
反芻的返答の例
親近感を生むための会話におけるテクニックとして、相手の話したことをオウム返しのような形で反芻しながら会話を行うという方法があります。これは福祉分野においてでは傾聴スキルとして広く知られています。
本研究では、この反芻的返答をLLMに行わせることで、人間に話をしっかり聴いていると感じさせ、親近感を覚えさせることで信頼獲得に寄与するのではないかと仮定し、検証を行いました。
実験概要と結果
実験ではChatGPTのGPTsを活用してプロンプトエンジニアリングを行い、「反芻的返答を行うLLMエージェント (エージェントA)」と「反芻的返答を行わないLLMエージェント (エージェントB)」の2つを用意しました。被験者はそれぞれのエージェントと2分間会話を行い、会話終了後、7段階評価による印象評価アンケートに回答してもらいました。回答結果はウィルコクソンの符号付順位検定を用いて差の検定を行いました。
印象評価結果
印象の差を確認したところ、結果はグラフの通り、Q5, 6以外の全項目でエージェントAの方が好印象な結果となりました (Q9は反転項目)。中でもQ9, 14, 15はエージェントAが有意に差が生じる結果となっています。このことから反芻的返答によって共感が生まれ、人間性を感じており、それによって親近感が生まれたのではないかと考えています。
一方、Q13で信頼性の向上はあまり見られませんでした。これは、冒頭で述べた信頼獲得に必要となる5つの要素の内、今回検証したのは親近感に関する要素のみのため、残りの要素、特にTangibilityに不足があり、信頼獲得までは至らなかったのではないかと考えています。
まとめと感想
今回の研究では、対話エージェントが親近感を獲得するための手法の1つを確立することが出来ました。今後実用化されていく対話エージェントにおいて、今回の検証成果が使われる機会があればと考えています。
また、今回のポスター発表では、セッションの時間中、人が途切れることなく多くの方に見に来ていただきました。多くの方と議論をし、今後の対話エージェントのあり方について知見を深められる良い機会となりました。
