Segun MarkTechPost (AI/ML News), el laboratorio Thinking Machines ha lanzado Inkling, un modelo de inteligencia artificial multimodal entrenado desde cero y con pesos abiertos, disponible para personalización mediante el entorno Tinker. Este sistema, desarrollado como base para adaptaciones técnicas, cuenta con 975 mil millones de parámetros totales, de los cuales 41 mil millones están activos en operación. Su ventana de contexto alcanza hasta un millón de tokens, mientras que el entrenamiento abarca 45 billones de tokens provenientes de textos, imágenes, audio y video. Los datos de entrada incluyen texto, imágenes y audio, aunque la salida se limita exclusivamente a texto en formato UTF-8. Paralelamente, se presenta Inkling-Small, una versión reducida con 276 mil millones de parámetros y 12 mil millones activos, que alcanza rendimientos comparables o superiores al modelo grande en múltiples pruebas de evaluación. Los pesos de esta variante se entregan una vez finalizada la fase de pruebas.
La arquitectura de Inkling se basa en un transformador decodificador de 66 capas, combinado con un backbone de múltiples expertos (MoE) que emplea una estructura de especialistas dispersos. Cada capa contiene 256 expertos asignados y 2 expertos compartidos. Por cada token, seis expertos se activan, mientras que los dos expertos compartidos se encienden en cada entrada. La selección se realiza mediante un router basado en sigmoides, que utiliza un sesgo de equilibrio sin pérdida auxiliar para distribuir la carga. Los puntajes de expertos, tanto rutas como compartidos, se normalizan conjuntamente para ponderar la salida final. Esta configuración se alinea en gran medida con el diseño de DeepSeek-V3. En cuanto al mecanismo de atención, se mezclan capas de ventana móvil y de atención global en una proporción de 5:1, con 8 cabezales de clave y valor. En lugar de emplear RoPE, el sistema utiliza embeddings posicionales relativas, según lo que reporta el equipo, lo cual mejora la generalización en secuencias largas. Posteriormente, se aplican convoluciones cortas tanto en las proyecciones de claves y valores como en las salidas de los residuos. La integración multimodal no depende de un encoder, pues los datos de audio se transforman en espectros dMel y las imágenes se reducen a parches de 40×40 píxeles mediante una red hMLP de cuatro capas. Ambos tipos de entrada pasan por una capa ligera de proyección, que luego son procesados conjuntamente con tokens de texto en el decodificador.
Para el lector peruano, este avance en IA multimodal representa una herramienta potencialmente útil para sectores clave como el agro, la educación o la salud, donde se requieren interpretaciones de imágenes, audio y texto. Aunque actualmente no está disponible para uso generalizado, su diseño abierto y su enfoque en personalización pueden permitir que empresas locales desarrollen soluciones adaptadas a necesidades específicas, como diagnósticos de imágenes médicas o análisis de datos de campo agrícola. La accesibilidad de los pesos y el enfoque en la personalización hacen que esta tecnología no solo sea académica, sino también aplicable en entornos reales, promoviendo una mayor inclusión tecnológica en el país.