Segun MarkTechPost (AI/ML News), Cactus Compute ha lanzado Needle 2, un modelo de inteligencia artificial abierta con 45 millones de parámetros diseñado para ejecutarse en dispositivos con limitaciones de hardware. Este sistema se entrega como un único archivo binario de 14 megabytes, capaz de ejecutar una sesión completa con solo 28 megabytes de memoria RAM. La arquitectura se desarrolló para operar sin dependencia de GPUs ni unidades de procesamiento especializado como NPUs, lo que lo posiciona como una solución viable para entornos con recursos mínimos. Los pesos fueron entrenados y desplegados mediante CQ2-bit con Cactus Quants, y el modelo está integrado en un motor de C++ propio, eliminando la necesidad de instalación de software en tiempo de ejecución o descargas adicionales durante la inferencia.
Los resultados de desempeño indican una tasa de decodificación de 500 tokens por segundo en Raspberry Pi 5, entre 400 y 1.500 tokens por segundo en Meta Quest 3S y Apple Vision Pro, y entre 300 y 700 tokens por segundo en dispositivos móviles de bajo costo, con precios inferiores a 200 dólares. La filosofía detrás del diseño es muy enfocada: transformar una oración desordenada en una firma funcional requiere únicamente lógica estructurada, sin necesidad de conocimientos amplios o generación de texto abierto. Esta necesidad de precisión es lo que justifica el tamaño reducido del modelo, y explica su adecuación para plataformas sin potencia computacional avanzada.
El modelo está disponible en formatos precompilados para múltiples plataformas: macOS, Linux (arquitecturas x86-64, ARM64, ARMv7, RISC-V y MIPS32el), Windows, Android, iOS, watchOS, tvOS y WebAssembly. Cactus afirma que ya se encuentra en funcionamiento en la aplicación Index 01, donde Pebble ejecuta Needle de forma local para acciones de voz sin conexión. Su aplicación se enfoca principalmente en entornos donde el uso offline es prioritario, y donde el flujo de datos no puede salir del dispositivo por razones regulatorias o de seguridad.
Para el lector peruano, esta tecnología representa una oportunidad real para desarrolladores de dispositivos en sectores como el hogar inteligente, wearables, vehículos con sistemas de control en el interior, kioscos comerciales o cámaras IP. En un contexto donde muchas soluciones de IA requieren conectividad constante o infraestructura de alto costo, Needle 2 ofrece una alternativa práctica. Empresas que producen productos para mercados emergentes, como las startups de dispositivos conectados o los fabricantes de electrodomésticos, pueden integrar esta herramienta sin necesidad de inversiones significativas en hardware o software. Además, permite mantener la privacidad de los datos, algo crítico en entornos donde el acceso a internet no es garantizado o donde la regulación exige el aislamiento de información sensible.