Episode Details

「ビッグデータの時代」は終わり、「スマートデータの時代」が始まりました。Google Researchは昨日、AIモデルのトレーニング効率を劇的に向上させる新しいサンプリング技術「GIST（ギスト）」を発表しました。

現在、AI開発の現場では「データの洪水」が深刻な問題となっています。モデルを賢くするためにデータを増やせば増やすほど、学習にかかる時間と電気代（計算コスト）が指数関数的に増大してしまうからです。そこで重要になるのが、無駄なデータを捨て、本当に必要なデータだけを選び出す「サンプリング」技術ですが、これまでは「どれを選べば正解か」を判断する確実な方法が存在しませんでした。

今回Googleが開発したGIST（Greedy Independent Set Thresholding）は、この課題に対して数学的な回答を提示しました。GISTは、データの「有用性（どれだけ学習に役立つか）」と「多様性（データが偏っていないか）」という、しばしば対立する2つの要素を同時に評価します。例えば、犬の画像を学習させる際、同じようなポーズの柴犬ばかり（有用性は高いが多様性が低い）を選ばず、かつ、関係のない猫の画像（多様性は高いが有用性が低い）も選ばないよう、絶妙なバランスでデータを抽出します。

特筆すべきは、GISTが「理論的保証（Provable Guarantee）」を持っている点です。従来の多くの手法が「なんとなく良さそう」という経験則に基づいて動いていたのに対し、GISTは「理論上の最適解と比較して、少なくとも50%以上の価値があるサブセットを選べること」が数学的に証明されています。これは、AI開発者にとって「ハズレのないデータセット」を確実に作れることを意味します。

実際に行われたImageNet（画像認識の標準的なデータセット）を用いた実験では、GISTを使ってデータを間引いた場合、ランダムに選んだり、従来の不確実性スコアを用いたりした場合に比べて、圧倒的に高いモデル精度を記録しました。

この技術は、今後ますます巨大化する大規模言語モデル（LLM）や画像生成AIの学習コストを大幅に削減し、より少ないエネルギーで賢いAIを作るための標準技術になると期待されています。