生成AIでGPU不足深刻化、NVIDIA新投入のGH200とは？メタや ... - ビジネス＋IT

記事をお気に入りリストに登録することができます。

現在シリコンバレーで最も注目される話題は「GPU不足」といわれている。生成AIへの関心が高まる中、大規模言語モデルの開発が活発化し、それに伴いGPUをめぐる取得競争が激化しているためだ。そのため、NVIDIAが新たに発表した「GH200」にも注目が集まる。GH200はどんなGPUになるのか。そもそもなぜGPUが不足しているのか、現行GPU「H100」や「A100」は誰が、何個取得したのか、ChatGPTの開発にGPUはどれほど必要なのか。GPU関連の注目トピックを紹介しよう。

執筆：細谷元

バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上げにあたり、ドローンの可能性を模索。ドローンレース・ドバイ世界大会に選手として出場。現在、音楽制作ソフト、3Dソフト、ゲームエンジンを活用した「リアルタイム・プロダクション」の実験的取り組みでVRコンテンツを制作、英語圏の視聴者向けに配信。YouTubeではVR動画単体で再生150万回以上を達成。最近購入したSony a7s3を活用した映像制作も実施中。
http://livit.media/

多くの半導体不足は解消されつつあるが、GPUは供給が追いついていない

（Photo/Shutterstock.com）

シリコンバレーでは「GPU不足」が話題

　ChatGPTなど、生成AIへの関心・需要が高まる中、大きな課題としてシリコンバレーで注目されるトピックがある。それが「GPU不足」だ。

　OpenAIのChatGPT、グーグルのBard、AnthropicのClaudeなどいわゆる生成AIチャットボットの核となっているのが大規模言語モデル（Large Language Models、LLM）。ChatGPTではGPT3.5やGPT4、BardではPaLM2という大規模言語モデルがチャットボットの裏で稼働している。

　この大規模言語モデルの開発・運用において必須となるハードウェアがGPUである。AI開発用のGPUにおいては、NVIDIAがほぼ独占的なシェアを占有しているが、需要の急速な高まりに供給が追いつかず、「GPU不足」が深刻化しているといわれているのだ。

　テスラのAI部門ディレクターを務め、現在OpenAIに所属するアンドレイ・カルパシー氏によると、NVIDIAのフラッグシップGPUである「H100」の需要が急拡大しているという。特にH100に関して、誰が、どれほど入手したのか、という話題がシリコンバレーで注目されている。

　AI開発に関して、これまでNVIDIAが2020年にリリースした「A100」というGPUに関する話題が多かったが、生成AIへの関心が急速に高まり、マイクロソフトやグーグルなどテック大手の取り組みが本格化したことで、GPU取得をめぐる資金量も大幅に増加、現在では2022年にリリースされたより高価な「H100」の入手をめぐる競争が激化している。

　米メディアが伝えたGPUの現地価格は、A100が1台約1万ドル、H100は1台で約4万ドルほどといわれている。大規模言語モデルの開発・運用では、数千～数万に上るGPUが使用されることが多く、動く資金も大きくなる。

NVIDIAが発表した最新のGPUシステム「GH200」

　こうした状況も手伝って、NVIDIAがSIGGRAPH 2023で発表した最新のGPUプラットフォーム「GH200」に対する関心も大きなものとなっている。

NVIDIAが新たに発表したGH200

　このGH200は、H100をベースとするGPUプラットフォームであるが、生成AI向けにデザインされており、通常のH100よりも大きな容量と帯域幅を特徴としている。価格は明らかにされていない。

　注目点の1つは、最新メモリ「HBM3e」が搭載されること。GH200は、HBM3eメモリを搭載した世界初のチップになる予定だ。これにより、GPU1つあたりのローカルメモリを96GBから144GBと50％増加させることが可能となる。また、デュアルセットアップも可能で、この場合、最大282GBのメモリを搭載でき、最大でメモリ容量を3.5倍、帯域幅を3倍増加させることができるという。

　HBM3eメモリを搭載したGH200ベースのシステムは、2024年第2四半期から販売開始される予定。また、HBM3eよりも少し古いモデルであるHBM3メモリを搭載したGH200は、現在すでに生産開始されており、年内に発売される予定だ。【次ページ】ChatGPT開発に必要なGPU数とは？