対話型検索における応答長がナゲットレベルの賛否分布に与える影響の分析

概要
本研究では,対話型検索におけるシステムの応答長に着目し,応答に含まれる情報の賛否分布が応答の長短によってどのように変化するかをナゲットレベルで分析した.システムの応答に含まれる賛否情報の分布は,ユーザの意見形成に影響すると考えられる.しかし,実運用における応答長の調整がその分布に与える影響は明らかではない.そこで本研究では,「SNSは私たちの社会にとって良いものか」のような賛否両論ある5つのトピックを対象に,大規模言語モデル(LLM)の応答長と応答に含まれる情報の賛否分布の関係を分析した.まず,賛成,中立,反対の立場をとる質問クエリを各10件作成し,LLMに長い応答(長応答)と短い応答(短応答)の2種類を生成させた.その後,得られた応答をナゲットに分割し,各ナゲットがトピックに対してどの立場を支持する情報かをラベル付けすることで賛否分布を分析した.分析の結果,短応答では長応答より情報分布に偏りがあり,特に反対クエリにおいてその傾向が顕著であることが明らかになった.また,このような傾向はトピックの性質により程度が異なることも明らかとなった.
書誌情報
熊野桃, 飛岡憲, 山本岳洋: 対話型検索における応答長がナゲットレベルの賛否分布に与える影響の分析, 第18回データ工学と情報マネジメントに関するフォーラム(DEIM 2026), 4F-03, 2026年3月.