進化的アルゴリズムによる基盤モデルの構築

概要

• この研究では、異なるモデルを組み合わせる最良の方法を発見するための進化的パラダイムである進化的モデルマージ (Evolutionary Model Merge) を提案

• パラメータ空間(parameter space: PS)とデータフロー空間(data flow space: DFS)の2つのアプローチで進化的アルゴリズムを使用してモデルを最適化する

日本語大規模言語モデル (EvoLLM-JP)

• 日本語の言語モデル(Shisa Gamma 7B v1)と、数学に特化した英語の言語モデル(WizardMath 7B v1.1, Abel 7B 002)をマージ

• LLMの日本語で数学の問題を解く性能の比較

• LLMの日本語の全般的な能力の比較

日本語画像言語モデル (EvoVLM-JP)

• 英語のVLM(LLaVa-1.6-Mistral-7B)と日本語のLLM(Shisa Gamma 7B v1)をマージ

• 画像に関する質問応答のベンチマーク

日本語画像生成モデル (EvoSDXL-JP)

• 日本語に対応し日本スタイル画像を生成可能なSDXLモデルを、わずか数ステップで推論が実行出来るように進化的アルゴリズムにより最適化することで、日本語プロンプト対応の高速画像生成モデルを構築することができた

• これらの結果は現時点の論文には含まれていませんが、近日中に発表する予定