TransformerのKVキャッシュ容量計算
層数、ヘッド数、トークン数、要素サイズから、密なデコーダーのキー・バリューキャッシュ容量を求めます。
計算結果
結果
—
計算手順
手順を1つずつ、またはまとめて表示できます。現在の入力値を使った計算手順です。
計算方法
クエリヘッドではなく、入力されたKVヘッドカウントを使用して、キーと値テンソルを別々にカウントする。
Cache bytes=2×layers×KV heads×head dimension×tokens×batch×bytes per element
計算例
32レイヤー、8KVヘッド、128次元、4096トークン、2バイト要素は、1つのシーケンスに512 MiBを必要とします。
前提条件と入力上の注意
ページ、ページテーブル、量子化スケール、アロケータリザーブ、ウェイト、アクティベーション、スライディング・エヴィクション、モデル固有のアーキテクチャの推論などは行わない。分数バイトは、メタデータのないパックされた要素を表す。
このツールの使い方
自分の値を入力できますか？
はい。入力例をご自身の値に変更してください。結果・計算手順・表・対応する図が入力に応じて更新されます。空欄や無効な値がある場合は結果を消去し、不足した入力を自動的に例の値で補うことはありません。
結果は厳密ですか？
浮動小数点演算を使用し、表示時に丸めています。計算式・前提条件・記載されたデータ精度を確認して結果を解釈してください。
入力内容は送信されますか？
計算はブラウザー内で行います。アカウント・ファイルのアップロード・外部AIサービスは不要です。ページを再読み込みすると入力値は保持されません。
10進と2進の接頭辞を明確に分け、ビットとバイトを比較します。
演算回数、転送バイト数、ハードウェアの上限から、演算性能またはメモリ帯域で制限される理想的な性能上限を求めます。
正方形の2次元畳み込みについて、出力寸法、グループ化を反映したパラメータ数、積和演算回数を計算します。
広告掲載用スペースです。