アドホック検索タスクにおけるモデルマージの効果検証

概要

本研究では，アドホック検索タスクにおけるモデルマージの有効性について検証する．モデルマージは，複 数のモデルの異なる特性を組み合わせて基盤モデルを構築し，計算コストを抑えつつ性能を向上させる手法として注 目されている．我々は，モデルマージをアドホック検索タスクに適用することで，短時間かつ低コストで検索モデル の性能を向上させられると考えた．そこで本研究では，検索タスクに対応するようファインチューニングされたモデ ルと，検索能力は持たないが特定のドメインに特化するように継続事前学習されたモデルを重みレベルで線形にマー ジし，医療および日本語ドメインにおける文書検索性能への影響を調査した．実験の結果，モデルマージによって検 索性能が向上するケースが確認され，特に検索モデルの重みに比重を置いた場合に高い性能が得られる傾向が見られ た．この結果は，アドホック検索タスクへのモデルマージの適用可能性を示唆し，低コストかつ高性能なドメイン特 化検索モデルの構築に貢献するものと考えられる．

書誌情報

佐々木泰河, 山本岳洋, 大島裕明, 藤田澄男: アドホック検索タスクにおけるモデルマージの効果検証, 第17回データ工学と情報マネジメントに関するフォーラム（DEIM2025）, 1E-05, 2025年3月.

スライド