Segun MarkTechPost (AI/ML News), PrismML ha lanzado una versión optimizada del modelo Qwen3.6-27B bajo el nombre de Bonsai 27B, diseñada para ejecutarse en dispositivos móviles y portátiles. Esta versión no implica un nuevo entrenamiento, sino una reestructuración de los pesos del modelo original mediante representaciones de baja precisión. Se ofrecen dos variantes: una en formato ternario y otra en binario, ambas bajo licencia Apache 2.0. El modelo ternario emplea pesos con valores en {-1, 0, +1}, alcanzando una eficiencia de 1.71 bits por peso, mientras que el binario utiliza solo {-1, +1}, con una densidad de 1.125 bits por peso. Estas configuraciones permiten reducir el tamaño del modelo a 5.9GB y 3.9GB respectivamente, sin sacrificar funcionalidad clave.
La distribución del modelo se compone de 24.8 billones de pesos lingüísticos, 0.46 billones para el módulo visual y 2.5 billones para embeddings y la capa del modelo de lenguaje. El módulo visual se almacena de forma independiente en 4 bits mediante una técnica llamada HQQ. El contexto de procesamiento se mantiene en 262 mil tokens, un límite razonable debido a que aproximadamente el 75% de la atención en Qwen3.6-27B se comporta de forma lineal, lo que permite una compresión efectiva sin pérdida crítica de rendimiento. La técnica de compresión se basa en un esquema donde cada grupo de 128 pesos comparte un escalar de precisión de punto flotante de 16 bits. La multiplicación entre el escalar y el valor codificado genera el peso efectivo. En este proceso, el valor ternario aporta unos 1.585 bits, mientras que el uso de un escalar por grupo de 128 añade 0.125 bits, lo que suma un total de 1.71 bits por peso. Este método logra una reducción de hasta 9.4 veces respecto a representaciones en punto flotante de 16 bits. En el caso binario, la eficiencia alcanza 1.125 bits por peso, lo que implica una reducción de hasta 14.2 veces.
Los resultados de evaluación en 15 tareas de razonamiento, utilizando EvalScope y vLLM en GPUs H100, muestran que el Bonsai 27B ternario conserva el 94.6% del rendimiento del modelo original en precisión de 16 bits, mientras que el binario mantiene el 89.5%. A diferencia, versiones convencionales de bajo bit, como IQ2_XXS, registran caídas significativas en pruebas específicas, alcanzando solo 57.5 en AIME26 y 56.4 en LiveCodeBench, aunque aún logran 88.93 en MMLU-Redux. Este dato indica que los benchmarks breves no reflejan completamente la capacidad del modelo en tareas complejas.
Para el lector peruano, esta evolución en inteligencia artificial tiene implicaciones prácticas en el acceso a tecnologías de lenguaje. Muchos usuarios, especialmente en entornos con conectividad limitada o dispositivos antiguos, podrían beneficiarse de modelos que se ejecutan localmente sin necesidad de internet robusto. La capacidad de usar modelos de gran tamaño en celulares o computadoras personales abre puertas a aplicaciones más accesibles en educación, servicios públicos o pequeñas empresas. Aunque aún no se han implementado casos específicos en el mercado peruano, el avance sugiere que futuras soluciones en asistentes digitales o análisis de datos pueden volverse más cercanas a la población general.