Según MarkTechPost (AI/ML News), Zyphra ha presentado ZYFA (Zyphra FlashAttention en AMD), una biblioteca de kernels especializados en atención prefill, diseñada para ejecutar operaciones en precisión FP8 y BF16 en GPUs AMD Instinct MI355X. Esta solución se centra en optimizar el rendimiento de los modelos de lenguaje mediante una atención causal en prefill, con un enfoque específico en el manejo de grandes contextos. El código está disponible bajo licencia Apache 2.0, permitiendo su uso y adaptación por parte de desarrolladores. Los resultados de pruebas muestran que los kernels en FP8 de ZYFA alcanzan velocidades entre un 116% y un 176% superiores a los de AITER, el sistema de kernels predeterminado de AMD. En condiciones específicas —con dimensión de cabeza de 128 y forma de matriz MLA (192/128)—, el error en precisión FP8 es hasta un 62% a un 78% menor que el de AITER.
El desempeño varía en función del modelo de entrada. En condiciones ideales, ZYFA alcanza un rendimiento de 2.672 TFLOP/s en precisión FP8 con secuencias de 32.000 tokens, representando el 53% del máximo teórico de su especificación. Este nivel supera en gran medida el rendimiento de AITER, que solo alcanza un 39% de su capacidad. Sin embargo, en casos más complejos, como el modelo Mistral-7B, el avance es más moderado: solo un 116% de mejora en rendimiento, con una caída significativa en la frecuencia de reloj del núcleo de FP8, que baja hasta 1.628 MHz frente a los 2.108 MHz de AITER. Los kernels en BF16 presentan un rendimiento aproximado, con tasas de ejecución entre 1,01 y 1,02 veces el de AITER.
La arquitectura de ZYFA se integra directamente en el motor de optimización Zyphra (ZOE), que opera en la nube Zyphra Cloud. Los kernels en BF16 están escritos en HIP, mientras que los de FP8 son generados mediante programación de ensamblador manual, ejecutados por un generador en Python. Este enfoque permite un control preciso sobre el flujo de operaciones, especialmente en la superposición entre operaciones matriciales y softmax. A pesar de que las instrucciones matriciales en FP8 funcionan a dos veces la velocidad de BF16, el rendimiento global depende de la sincronización entre estas fases. En escenarios con 32 consultas y 128 claves, el trabajo matricial requiere 1.024 ciclos, mientras que el softmax en FP8 consume 896 ciclos en la unidad vectorial, lo que exige una planificación meticulosa para mantener los recursos matriciales ocupados.
Para el lector peruano, este avance en el dominio de la inteligencia artificial y los modelos de lenguaje tiene implicaciones directas en el acceso a tecnologías de procesamiento de datos. Aunque actualmente estas herramientas están dirigidas a entornos de alto rendimiento, su evolución puede acelerar el desarrollo de soluciones localizadas en sectores como banca, educación o salud. Si bien los equipos de computación especializados aún son costosos, el crecimiento de herramientas abiertas como ZYFA sugiere que las capacidades de procesamiento avanzado pueden volverse más accesibles en el futuro, facilitando la implementación de inteligencia artificial en entornos más diversos.