GPU・推論・トークン・レイテンシ：AI計算基盤の発表を読むための4つの用語
AIサービスの発表資料やクラウドの仕様書に必ず出てくる4語は、役割を分けて覚えると混乱しません。GPUは計算する装置、推論は学習済みモデルを動かして答えを出す処理、トークンは入出力を数える単位、レイテンシは待ち時間です。そして費用はおおむねトークン数で、利用体験はレイテンシで、必要な設備規模はGPUの台数で決まります。この記事では4語の定義と、それぞれが性能・費用・体験のどこに効くかを、公開されている一次情報に沿って整理します。
4語は同じ処理の別々の側面を指している
1回のリクエストは「入力テキストをトークンの列に変換する → GPU上で推論する → 出力トークンが1つずつ返る」という流れで処理されます。この同じ流れを、数えた個数で見たものがトークン、待ち時間で見たものがレイテンシ、処理する場所で見たものがGPUです。見積もりや比較をするときは、次の3つの対応だけ押さえれば十分です。
- 費用：単価 × トークン数（入力・出力・キャッシュ済み入力などの区分ごとに単価が分かれる）
- 体験：最初の1トークンが返るまでの時間と、その後の1トークンごとの間隔
- 容量：GPU台数 × 1台あたりの毎秒トークン数（ただし後述のとおり測定条件次第）
トークン：費用と入力上限を決める単位
トークンはモデルがテキストを処理する単位で、1文字のこともあれば単語の一部や単語そのもののこともあります。OpenAIのヘルプでは英語の目安として1トークンが約4文字、100トークンが約75単語と示されていますが、同じ文章でもモデル・エンコーディング・言語によってトークン数は変わると明記されています。日本語の分量を英語の目安で換算すると見積もりがずれるため、実際の料金試算では公式のトークナイザーやtiktokenのようなライブラリで数えるのが確実です。
見落としやすいのが、推論モデルが答えを出す前に内部で使う「推論トークン（reasoning tokens）」です。画面に表示されない分まで出力トークンとして課金されるため、短い回答でも想定よりトークンを消費することがあります。また、プレーンテキストを数えただけの値には、メッセージ構造・ツール定義・スキーマ・画像やファイルの分が含まれません。PoCの実測より本番の請求額が膨らむ典型的な原因はここにあります。
推論：プリフィルとデコードで効く要素が違う
推論は学習済みモデルを使って答えを出す処理で、計算の中身は2段階に分かれます。MLCommonsの解説では、入力トークンをまとめて処理して最初の1トークンを出すまでを「プロンプト段階」、その後に前の文脈を再利用しながら1トークンずつ生成していく段階を「生成段階」と説明しています。つまり、入力（プロンプトやRAGで渡す文書）が長いほど最初の待ち時間が伸び、出力が長いほど完了までの総時間が伸びます。
この構造は改善策の選び方に直結します。待たされる感じが強いなら入力側（文書の渡し方、キャッシュの効かせ方）を、出力がもたついて見えるなら生成側（モデルサイズ、同時実行数、ストリーミング）を疑う、という切り分けができます。
レイテンシ：TTFTとTPOTを分けて読む
レイテンシは「最初の1トークンまでの時間（TTFT）」と「その後の1トークンあたりの時間（TPOT）」に分けて見るのが業界標準です。MLPerf Inferenceでは、オンラインサービスを模したサーバーシナリオと、より応答性が要求される対話シナリオで制約値が分けられています。たとえばLlama 3.1 8Bでは、サーバーがTTFT 2秒以下・TPOT 100ミリ秒以下、対話シナリオがTTFT 0.5秒以下・TPOT 30ミリ秒以下です。MLCommonsはTPOT 100ミリ秒を毎分約480語、30ミリ秒を毎分約1,600語に相当すると説明しており、前者でも一般的な読書速度より速い計算になります。
ここから言えるのは、体験目標を「速いほど良い」ではなく数値で決められるということです。チャットのように人が読む用途なら100ミリ秒前後でも成立し、コード補完やエージェントのように出力を人が待ち続ける用途では30ミリ秒級が必要になります。さらに、2026年10月に公開されたMLPerf Endpointsでは主要指標のひとつがTTFTのP90（上位90%が満たす値）とされています。平均値ではなく分位点で合意することが、運用後の「たまに遅い」を防ぐ条件になります。
GPU：台数より「条件付きの毎秒トークン数」で見る
GPUは並列計算を担う装置で、モデルの重みと途中結果をメモリ上に置いて推論を実行します。能力を比べるときに有効なのは搭載数やFLOPSではなく、「どのモデルを、どの精度で、どのレイテンシ制約のもとで、毎秒何トークン処理できたか」です。NVIDIAが公開するMLPerf Inference v6.1の結果では、同じLlama 3.1 8BをB300×8台で動かした場合、サーバーシナリオ（TTFT 2秒／TPOT 100ミリ秒）で約173,950トークン/秒に対し、対話シナリオ（同 0.5秒／30ミリ秒）では約129,168トークン/秒と、2割以上低下しています。レイテンシを詰めるほど1台あたりの処理量は落ちる、という費用と体験のトレードオフが数字で表れた例です。
世代差も無視できません。NVIDIAは同社の比較表で、HGX H200とGB300 NVL72のGPU時間単価が1.41ドルと2.65ドル（約2倍）である一方、GPUあたりの毎秒トークン数は90と6,000、100万トークンあたりコストは4.20ドルと0.12ドルとしています（SemiAnalysisのInferenceXベンチマークに基づく2026年4月時点の値）。単価が高いGPUのほうがトークン単価は安くなり得るということです。同じ資料では、B200のGPT-OSS-120Bにおける100万トークンあたりコストが2か月で0.11ドルから0.02ドルに下がったとも説明されており、ハードウェアを替えなくてもソフトウェア更新で経済性が変わる点も判断材料になります。
発表資料・仕様書を読むときの確認手順
以上を踏まえると、数値を比較する前に確認すべきことは決まってきます。MLCommonsがMLPerf Endpointsの読み方として示している手順も、ほぼ同じ順序です。
- 自分のワークロードを特定する（対話アシスタント、大量バッチ処理、エージェントなど）。必要な同時実行数の領域がこれで決まります。
- 体験の下限を決める。TTFTのP90と、1ユーザーあたりの毎秒トークン数（＝TPOTの裏返し）を先に置きます。
- その条件を満たす範囲でスループットを比べる。満たせない運用点は比較対象から外します。
- 正規化して費用を見る。MLPerf Endpointsが公式に保証する正規化は消費電力あたりのスループットで、GPU台数や時間単価での割り算は派生指標として扱われます。
あわせて、提示された数値にモデル名・量子化精度・入力長と出力長・同時実行数・分位点が書かれているかを確認してください。これらが欠けた「毎秒◯◯トークン」は、条件が違う自社環境の予測には使えません。MLPerf Endpointsが結果に検証済み・暫定・未検証というステータスを付けているのも、同じ理由からです。
4語の整理は、そのまま社内の合意事項になります。見積もりではトークンの数え方（推論トークンや構造上のトークンを含むか）を決め、要件定義ではTTFTとTPOTを分位点付きで書き、基盤選定では自社のレイテンシ条件下での毎秒トークン数で比べる。この3点を最初に揃えておくと、発表資料の数字に振り回されずに判断できます。
