GoogleのAI研究所、Google DeepMindが最近発表した注目の研究によると、新しいAIトレーニング技術JESTにより、トレーニング速度が13倍に、効率が10倍に向上することが判明しました。この画期的な方法は、AIデータセンターの環境への影響がますます議論されている今、タイムリーに登場しました。
JESTメソッド：AIトレーニングの新たな突破口
DeepMindのJESTメソッド、すなわち「ジョイントサンプルセレクション」は、従来のAIモデルトレーニング技術を簡単な方法で打ち破ります。従来のトレーニング方法は、個々のデータポイントに焦点を当ててトレーニングと学習を行いますが、JESTは全体のバッチに基づいてトレーニングを行います。具体的には、JESTメソッドはまず小型のAIモデルを作成し、非常に高品質なソースからデータの質を評価し、その質に基づいてバッチをランク付けします。次に、その評価をより大きく、低品質のセットと比較します。小型のJESTモデルはトレーニングに最適なバッチを決定し、その発見に基づいて大型モデルをトレーニングします。
研究のハイライトと成果
DeepMindの研究者によれば、この「データ選択プロセスを小規模で精選されたデータセットの分布に向ける能力」がJESTメソッドの成功の鍵です。DeepMindはその論文で、「我々のアプローチは、最大で13倍少ない反復回数と10倍少ない計算量で、最先端モデルを上回る」と主張しています。
高品質データの重要性
JESTシステムの成功は、完全にそのトレーニングデータの品質に依存します。最高品質の人工的に精選されたデータセットがなければ、このブートストラップ技術は機能しません。「ゴミを入れればゴミが出る」という原則は、この方法において特に真実です。JESTメソッドはトレーニングプロセスで一部のステップを「スキップ」しようとするため、初期の最高品質のトレーニングデータを精選するためには専門レベルの研究スキルが必要となり、アマチュアや非専門のAI開発者にはさらに難しいものとなります。
環境への影響と将来の展望
JEST研究の発表はタイムリーであり、技術産業と世界各国の政府が人工知能の高い電力需要について議論を始めている今、非常に重要です。2023年にはAIワークロードが約4.3ギガワットの電力を消費し、キプロス全体の年間電力消費量にほぼ匹敵します。そして状況は緩和される兆しを見せていません。ChatGPTのリクエスト1回あたりの消費電力はGoogle検索の10倍であり、ArmのCEOは2030年までにAIがアメリカの電力グリッドの4分の1を占めると予測しています。
将来の課題と機会
JESTメソッドがAI分野の主要プレーヤーによって広く採用されるかどうかはまだ分かりません。GPT-4のトレーニングには1億ドルものコストがかかり、将来的にはより大規模なモデルが10億ドルのコストに達する可能性があるため、企業はコスト削減の方法を模索しているでしょう。楽観的な見方では、JESTメソッドが現在のトレーニング生産率をはるかに低い電力消費で維持するために使用され、AIのコストを削減し地球を助けると考えられています。しかし、より現実的なのは、資本の機械が全速力で進み続け、JESTメソッドを使用して超高速のトレーニング出力を実現するために電力消費を最大限に引き上げることです。
コスト削減と出力規模の競争、その勝者は誰になるのでしょうか？この問いの答えが、今後のAI技術の発展方向と環境への影響を決定するでしょう。JESTメソッドの導入により、AIトレーニングの効率と持続可能性はかつてない機会と課題に直面しています。
オリジナル記事、著者：AIの番人，転載の際には、出典を明記してください：https://nipponai.jp/article/google-deepmind-jest/
