Calculadora de memoria de caché KV de un transformer
Calcular el almacenamiento denso de clave / valor de caché a partir de los tamaños de capa, cabeza, muestra y elemento introducidos.
SU CÁLCULO
Resultado
—
Pasos del cálculo
Trabaje a través de un paso a la vez o revele el cálculo completo. Los pasos utilizan sus entradas actuales.
Cómo calcular
Contar los tenedores clave y valor por separado utilizando el recuento de la cabeza de KV-en lugar de las cabezas de consulta.
Cache bytes=2×layers×KV heads×head dimension×tokens×batch×bytes per element
Ejemplo resuelto
32 capas, ocho cabezas KV, 128 dimensiones, 4096 tokens y dos elementos byte requieren 512 MiB para una secuencia.
Suposiciones y detalles de entrada
Sólo caché de longitud igual a densa; sin relleno, tablas de página, escalas de quantización, reserva de allocador, pesas, activaciones, desahucio deslizante o inferencia de arquitectura específica de modelo. Los bytes fraccionales representan elementos empacados sin metadatos.
Usando esta calculadora
¿Puedo entrar en mi propio problema?
Sí. Sustitúyase los valores de ejemplo por sus propias entradas. El resultado, los pasos de cálculo, los cuadros y los diagramas aplicables se actualizan a partir de esos insumos. Los valores blanks o inválidos despejan el resultado; los valores de ejemplo nunca se sustituyen silenciosamente por los insumos que faltan.
¿Los resultados son exactos?
Los resultados utilizan la aritmética de un punto flotante y se muestran redondeados. Leer la fórmula, suposiciones y cualquier precisión de los datos antes de interpretar el resultado.
¿Mi entrada está cargada?
El cálculo se ejecuta en su navegador. No se requiere cuenta, carga de archivos o servicio AI externo. Las entradas no se guardan entre recargas de página.
Compare los bits y bytes utilizando prefijos decimales y binarios claramente separados.
Calcular un techo de cálculo ideal, o de memoria, a través de operaciones, bytes movidos y techos de hardware.
Calcular las dimensiones de salida de controversion cuadrada 2 D, el recuento de parámetros agrupado y el recuento de acumulación múltiple.
Espacio reservado para publicidad.