GPT-4 のリリース以来、AI の能力は停滞していると感じている陣営があります。これは概ね正しいのですが、それは誰も単一のモデルに割り当てられる計算量を大幅に増やすことができていないからです。リリースされたすべてのモデルは、おおよそ GPT-4 レベル (トレーニング計算の約 2e25 FLOP) です。これは、これらのモデルに割り当てられるトレーニング計算もほぼ同じレベルだったためです。Google の Gemini Ultra、Nvidia Nemotron 340B、Meta LLAMA 3 405B の場合、割り当てられた FLOPS は GPT-4 と比較して同等かそれ以上でしたが、劣ったアーキテクチャが使用されたため、これらのモデルは新しい機能を解き放つことができませんでした。