LLM にとって人気のあるNvidia の H100 GPU は、流通市場でチップあたり約 40,000 ドルで販売されています。ある情報源は、 ChatGPT-3.5 と同等の LLM をトレーニングするには約6,000 個のチップが必要だと見積もっています。これは GPU だけで約 2 億 4,000 万ドルになります。
もう 1 つの重要な費用は、これらのチップに電力を供給することです。モデルをトレーニングするだけで、約10 ギガワット時 (GWh)の電力が必要になると推定されており、これは米国の家庭 1,000 世帯の年間電力使用量に相当します。
ChatGPT-3.5 を実行するための電力消費量は 1 日あたり約 1 GWh、つまり 33,000 世帯の 1 日あたりのエネルギー使用量を合計したものであると推定しています。