【開発元が異なるLLM同士でもアンサンブルや知識転移が可能に】
■精度を維持したまま語彙を縮小――トークン共通化の革新
NTT<9432>(東証プライム)は4月22日、大規模言語モデル(LLM)における推論単位「トークン」の語彙集合を、精度劣化なく自在に縮小できる世界初の理論およびアルゴリズムを確立したと発表した。これにより、開発元や設計が異なる複数のLLM間で、共通の語彙を介した連携が初めて可能となった。同成果は2026年4月23日から27日にかけてブラジル・リオデジャネイロで開催される深層学習分野の最難関国際会議「ICLR2026」で発表される。
■「語彙の壁」がもたらしていた連携制約
LLMは文章を「トークン」と呼ばれる部分単語の単位で処理し、次に出力すべきトークンを確率値で逐次予測する仕組みである。各LLMが保有するトークン語彙は数万から数十万に及ぶが、開発組織や時期が異なるモデル間では語彙が一致しないことが一般的だ。この「語彙の壁」により、複数LLMの予測結果を統合して精度を高める「アンサンブル」や、専門知識を別モデルへ転移させる「ポータブルチューニング」といった推論時連携は、異種LLM間での活用が困難であった。
■損失なき縮小と最大共通語彙――二段階の技術的突破
同社が確立した技術の核心は二点ある。第一に、元のLLMの出力傾向が変化しないよう独自の理論的枠組みを構築し、任意の部分語彙での次トークン予測への変換を損失なく実現するアルゴリズムである。過去の計算結果のキャッシュ再利用や、確率値がほぼゼロのトークンの省略により、通常の推論と同程度の計算コストで動作する実用性も確保した。第二に、この変換技術を異種LLM間に応用し、各モデルが共有するトークンを集約した「最大共通語彙」上での連携を可能にした。実証実験では、約15万個と約13万個の語彙を持つ2つのLLMに対し、約6万トークンからなる最大共通語彙でアンサンブルを適用した結果、数学タスクにおける推論精度が単体モデルを上回ることを確認した。
■NTT独自モデル「tsuzumi」との連携にも道
今後は本技術をアンサンブルやポータブルチューニングなどの連携手法と組み合わせ、多様な異種LLM間での知識の統合・転移を推進する方針である。NTT独自の語彙体系を持つLLM「tsuzumi」と市中LLMとの連携も容易になる見通しで、生成AIの高度化に向けた幅広い応用が期待される。
提供 日本インタビュ新聞社 Media-IR at 13:01
|
新製品&新技術NOW