Episode Details

タイトル

Google、テキスト生成を4倍高速化する拡散モデル「DiffusionGemma」を発表

このエピソードで登場するキーワードを説明します。

Google DeepMind: Google傘下のAI研究部門。最先端のAIモデル開発を牽引し、本エピソードの基盤となるGemma 4ファミリーや拡散モデルの研究を手掛ける。

DiffusionGemma: Googleが発表したテキスト拡散型の生成モデル。従来の1文字ずつ生成する方式とは異なり、文章のブロックを一度に並列生成・修正することで超高速なテキスト生成を実現する。

MoE (Mixture of Experts): 混合エキスパート。推論時にモデル全体の一部（今回は総パラメータ26Bのうち3.8B）のみを稼働させることで、処理効率と速度を最適化するアーキテクチャ。

自己回帰モデル (Autoregressive model): 従来のLLMで一般的な、直前の文脈から次の単語を順番に予測して文章を構築するテキスト生成手法。

それでは解説に入ります。

2026年6月10日、Google DeepMindはテキスト生成を最大4倍に高速化する実験的なオープンモデル「DiffusionGemma」を発表しました。Apache 2.0ライセンスで公開されたこのモデルは、画像生成AIで広く使われている拡散モデルの仕組みをテキスト生成に応用した点が最大の特徴です。従来の自己回帰モデルがタイプライターのように1トークンずつ左から右へ文章を生成するのに対し、DiffusionGemmaは256トークンという文章のブロック全体を一度に展開し、複数回のステップを経てノイズを取り除くように並列で文章を完成させます。

この仕組みにより、AI推論のボトルネックであったメモリ帯域幅の制限を回避し、GPUの演算能力を最大限に活用することが可能になりました。NVIDIAとの強力なパートナーシップによってハードウェアスタック全体での最適化が図られており、データセンター向けのNVIDIA H100 GPUでは毎秒1000トークン以上、コンシューマー向けのGeForce RTX 5090でも毎秒700トークン以上という圧倒的なスループットを叩き出します。また、総パラメータ数26BのMoEアーキテクチャを採用しつつも、推論時に稼働するのは3.8Bにとどまるため、量子化を行えばハイエンドのコンシューマーGPUが持つ18GBのVRAM制限内に収まる軽量な設計となっています。

さらに、文章全体を同時に評価する双方向アテンション機能により、モデルが自身の出力をリアルタイムで自己修正できる点も画期的です。これにより、自己回帰モデルが苦手とする数独のような全体最適が求められるタスクや、インラインでのコード補完といった双方向の文脈理解が必要な用途で強い適性を示します。

一方で、並列処理と生成速度を最優先しているため、出力されるテキストの総合的な品質は標準のGemma 4モデルには及びません。大量のリクエストをバッチ処理するクラウド環境よりも、ローカル環境での低遅延かつ単一ユーザー向けのワークフローに特化しています。AIインフラの細分化が進む中、品質重視のクラウド推論と速度重視のローカル推論とで、自己回帰モデルと拡散モデルを使い分けるハイブリッドな開発アプローチが、今後のAIアプリケーション実装における新たな標準となることが予想されます。

今回のエピソードは以上で終了です。また次回お会いしましょう。