アドホック検索におけるモデルマージによる破滅的忘却の抑制
概要
本研究では，アドホック検索タスクにおけるモデルマージを用いた破滅的忘却の抑制効果を検証する．モデルマージは，複数の学習済みモデルのパラメータを統合し，追加の訓練コストを抑えながら各モデルの利点を兼ね備えた新しいモデルを構築する技術である．我々は，追加学習で生じる破滅的忘却という課題をモデルマージによって抑制することで，既存の検索能力を保持したまま追加学習が実現できると考えた．そこで本研究では，まず汎用的な埋め込みモデル(ベースモデル)と，それを代表的なアドホック検索データセットでファインチューニングしたドメイン特化モデルを構築し，両者をモデルマージしたマージモデルとの性能を比較検証した．nDCG@10 による評価の結果，ドメイン特化モデルでは多くの学習対象外ドメインで破滅的忘却が観測されたが，マージモデルではこの低下したすべてのドメインで nDCG@10 スコアが回復した．さらに，一部のドメインではマージモデルが学習対象ドメイン自体の性能も向上させ，モデルマージがアドホック検索タスクにおける破滅的忘却の抑制に有効な手段であることを実証した．
書誌情報
谷口 壮平，佐々木 泰河，山本 岳洋，大島 裕明，藤田 澄男：アドホック検索におけるモデルマージによる破滅的忘却の抑制
第18回データ工学と情報マネジメントに関するフォーラム（DEIM 2026）, 1F-02, 2026年3月.