AI の次のステップは、膨大な量のビデオ、画像、音声、テキストを使用して、数兆個のパラメータを持つマルチモーダル トランスフォーマーをトレーニングすることです。まだ誰もこのタスクを完了していませんが、最初の 1 つになるための競争が活発に行われています。
OpenAI/Microsoft、xAI、Meta など複数の大規模 AI ラボが、10 万個を超える GPU を備えた GPU クラスターの構築を競っています。これらの個々のトレーニング クラスターには、サーバーの設備投資だけで 40 億ドル以上の費用がかかりますが、 GPU は通常、高速チップ間ネットワーク用に同じ場所に配置する必要があるため、データセンターの容量と電力の不足によっても大きく制限されます。10 万 GPU クラスターには、150MW を超えるデータセンター容量が必要で、1 年間で 1.59 テラワット時を消費し、標準料金 $0.078/kWh で 1 億 2,390 万ドルの費用がかかります。