KV-Cache-Speicher eines Transformers
Berechnen Sie dichten Decoder-Schlüssel/Wert-Cache-Speicher aus eingegebener Schicht, Kopf, Token und Elementgrößen.
IHRE BERECHNUNG
Ergebnis
—
Rechenschritte
Gehen Sie die Schritte einzeln durch oder zeigen Sie die gesamte Berechnung an. Die Schritte verwenden Ihre aktuellen Eingaben.
Berechnungsmethode
Zählen Sie Schlüssel und Wert Tensoren getrennt mit dem eingegebenen KV-Kopf Zählen statt Abfrageköpfe.
Cache bytes=2×layers×KV heads×head dimension×tokens×batch×bytes per element
Rechenbeispiel
32 Schichten, acht KV-Köpfe, 128 Abmessungen, 4096 Tokens und zwei-Byte-Elemente erfordern 512 MiB für eine Sequenz.
Annahmen und Hinweise zu den Eingaben
Nur Cache mit geringer Länge; keine Polsterung, Seitentabellen, Quantisierungsskalen, Allokatorreserve, Gewichte, Aktivierungen, Schiebeausbreitung oder modellspezifische Architekturableitung. Bruchbytes stellen gepackte Elemente ohne Metadaten dar.
Hinweise zum Rechner
Kann ich eigene Werte eingeben?
Ja. Ersetzen Sie die Beispielwerte durch Ihre eigenen Eingaben. Ergebnis, Rechenschritte, Tabellen und gegebenenfalls Diagramme werden entsprechend aktualisiert. Bei leeren oder ungültigen Eingaben wird das Ergebnis gelöscht. Fehlende Angaben werden niemals unbemerkt durch Beispielwerte ersetzt.
Sind die Ergebnisse exakt?
Die Ergebnisse beruhen auf Gleitkommaarithmetik und werden für die Anzeige gerundet. Beachten Sie die Formel, die Annahmen und die gegebenenfalls angegebene Datengenauigkeit.
Werden meine Eingaben hochgeladen?
Die Berechnung erfolgt in Ihrem Browser. Ein Benutzerkonto, Datei-Uploads oder ein externer KI-Dienst sind nicht erforderlich. Beim Neuladen der Seite werden die Eingaben zurückgesetzt.
Vergleichen Sie Bits und Bytes mit klar getrennten Dezimal- und Binärpräfixen.
Berechnen Sie ein ideales Rechen-oder Speicherdurchsatz-Dach aus eingegebenen Operationen, Bytes bewegt und Hardware-Decken.
Berechnen Sie Quadrat 2D-Konvolutionsausgangsabmessungen, gruppierte Parameteranzahl und multiplizieren-akkumulierte Anzahl.
Reservierter Werbeplatz.