Segun MarkTechPost (AI/ML News), Perplexity ha liberado bajo licencia open source a Lily, un motor de inferencia local desarrollado para ejecutar el modelo Qwen3.6-35B-A3B en dispositivos con arquitectura de Apple Silicon. Esta solución se basa en una capa de Rust que carga los parámetros del modelo y gestiona el ciclo de generación, mientras que una API compatible con OpenAI entrega los tokens generados en tiempo real. Los cálculos reales se ejecutan mediante kernels personalizados escritos en Metal, evitando el uso de entornos como PyTorch o MLX en la cadena de procesamiento. La especialización de Lily se centra en un solo modelo y una sola familia de hardware, lo que permite un rendimiento óptimo y eficiente. Este enfoque, aunque limitado en alcance, se posiciona como una estrategia clave para la velocidad y estabilidad en aplicaciones de inferencia local.
El demo disponible en el repositorio pplx-garden muestra un servidor autónomo que permite generación de texto de forma greedy, a través de una API HTTP mínima, compatible con estándares de OpenAI. El checkpoint cuantizado a 4 bits tiene un tamaño de 19.4 GB, lo que impone una exigencia clara en el hardware: se requiere al menos 32 GB de memoria unificada para su ejecución. Perplexity especifica que para su producto comercial Hybrid Compute, se recomienda macOS 15 o superior, con un mínimo de 24 GB y un rendimiento mejorado con 32 GB. Aunque el ecosistema de Mac ya incluye MLX y MLX-LM con implementaciones previas de Qwen, estas soluciones se diseñan para ser reutilizables en distintos tipos de hardware. Lily, por su parte, renuncia a esa flexibilidad para concentrar todo el flujo de ejecución —estructura del modelo, planificación de operaciones y selección de kernels— en un solo entorno, optimizando cada paso para el rendimiento específico.
Para el modelo Qwen3.6-35B-A3B, que almacena 35 mil millones de parámetros y activa aproximadamente 3 mil millones por token, se definen tres patrones de trabajo. El sistema emplea un router que selecciona 256 expertos, de los cuales solo ocho son activados por token, junto con un experto compartido que procesa todos los tokens. Además, se combinan 10 capas con atención agrupada (16 cabezales de consultas, dos de claves-valor) y 30 capas con Gated DeltaNet. Esto genera tres tipos de carga: grupos de expertos desiguales, atención en caché creciente y una recursión fija. En el proceso de prellenado, se mantienen los pesos compactados y el routing se realiza en la GPU, lo que optimiza el uso de recursos y reduce latencias.
Para el lector peruano, esta innovación ofrece un ejemplo de cómo el hardware local —como los dispositivos Mac— puede convertirse en un entorno viable para tareas de inteligencia artificial, sin depender de nubes o servidores remotos. Aunque el costo inicial de hardware es elevado, y el acceso a modelos grandes sigue siendo limitado, este desarrollo sugiere que las herramientas de IA se están volviendo más accesibles para usuarios individuales y pequeñas empresas. En un contexto donde muchos peruanos enfrentan desigualdades en acceso a tecnologías avanzadas, soluciones como Lily podrían ser pilotos para democratizar el uso de IA en entornos domésticos o empresariales.