Segun MarkTechPost (AI/ML News), Conway Research ha lanzado Saluki 27B, una versión comprimida de Qwen3.8-27B diseñada para funcionar en dispositivos locales. Esta variante, construida en formato GGUF de 2 bits, reduce el tamaño del modelo desde 54 GB hasta 7.89 GB, manteniendo un alto rendimiento en tareas clave. La versión completa en precisión BF16 requiere 54 GB de memoria, mientras que Saluki 27B opera en entornos con solo 7.89 GB, permitiendo su ejecución en plataformas como llama.cpp sin necesidad de hardware especializado.
La estrategia de compresión se centra en preservar la capacidad de "llamada de herramientas", el componente clave que convierte un modelo de chat en un agente autónomo. En pruebas, Saluki 27B logra un promedio de retención del 96% en nueve benchmarks, superando al modelo original en tareas paralelas de uso de herramientas, con un rendimiento de 42 versus 35 (retención del 120%). Sin embargo, en pruebas de matemáticas avanzadas y razonamiento múltiple, la puntuación baja hasta 79.2 puntos frente a 96.7 del modelo completo, representando una disminución del 12 al 18 por ciento. Este desempeño contrasta claramente en escenarios donde se requieren cálculos complejos y secuencia lógica.
El modelo se construye en tres capas. La base es Qwen3.8-27B, con 64 capas, que combina atención con redes de delta gate y soporta hasta 262,144 tokens. La segunda capa integra técnicas de reducción de bits desarrolladas por ISTA-DASLab, que optimizan el almacenamiento mediante grillas de escalas y asignación de cuantización. La versión IQ2_XS de este proceso ocupa 8.4 GB con una precisión de 2.50 bits por peso. Finalmente, Underdog aplica su propio proceso de optimización, reduciendo el archivo a 7.89 GB bajo el formato IQ2-mix, con una marca de imatrix. El proceso completo no ha sido publicado en detalle, lo que limita el análisis completo de su eficacia técnica.
Para el lector peruano, esta evolución en inteligencia artificial local ofrece una oportunidad real de acceso a modelos de gran tamaño sin depender de servidores remotos. En un contexto donde el acceso a internet puede ser limitado, especialmente en zonas rurales, herramientas como Saluki 27B permiten operar agentes de inteligencia artificial directamente en dispositivos personales. Aunque su desempeño en cálculos matemáticos no alcanza al modelo completo, su eficiencia en tareas prácticas —como búsqueda de información, resolución de instrucciones o interacción con APIs— puede ser clave para pequeños negocios, educación o gestión personal. Esto abre puertas a una democratización del uso de IA, donde el costo y la infraestructura no sean barreras insuperables.