Calculateur de mémoire de cache KV d’un Transformer
Calculer la valeur de stockage de la clé de décodeur dense de cache à partir de la couche entrée, de la tête, du jeton et de la taille des éléments.
VOTRE CALCUL
Résultat
—
Étapes du calcul
Affichez les étapes une par une ou le calcul complet. Les étapes utilisent les valeurs que vous avez saisies.
Méthode de calcul
Compter les tenseurs de clé et de valeur séparément en utilisant le nombre de têtes KV saisies plutôt que les têtes de requête.
Cache bytes=2×layers×KV heads×head dimension×tokens×batch×bytes per element
Exemple détaillé
32 couches, huit têtes KV, 128 dimensions, 4096 jetons et deux octets nécessitent 512 MiB pour une séquence.
Hypothèses et précisions sur les données
Cache dense d’une longueur égale seulement; pas de rembourrage, tableaux de pages, échelles de quantification, réserve d’altocatrisation, poids, activations, éviction coulissante ou inférence d’architecture spécifique au modèle. Les octets fractionnels représentent des éléments emballés sans métadonnées.
Utiliser ce calculateur
Puis-je saisir mes propres données ?
Oui. Remplacez les valeurs de l’exemple par vos propres données. Le résultat, les étapes, les tableaux et les diagrammes disponibles se mettent à jour. Une valeur vide ou invalide efface le résultat ; les valeurs de l’exemple ne remplacent jamais les données manquantes.
Les résultats sont-ils exacts ?
Les calculs utilisent des nombres à virgule flottante et les résultats affichés sont arrondis. Consultez la formule, les hypothèses et la précision des données indiquée avant d’interpréter le résultat.
Mes données sont-elles envoyées ?
Le calcul s’effectue dans votre navigateur. Aucun compte, envoi de fichier ou service d’IA externe n’est nécessaire. Les données saisies ne sont pas conservées après le rechargement de la page.
Comparer les bits et les octets en utilisant des préfixes décimal et binaire clairement séparés.
Calculer un toit de débit de calcul ou de mémoire idéal à partir des opérations entrées, des octets déplacés et des plafonds matériels.
Calculer les dimensions de sortie de la convolution 2 D carrée, le nombre de paramètres groupés et le nombre d’accumulations multiples.
Espace publicitaire réservé.