Segun MarkTechPost (AI/ML News), Liquid AI ha presentado dos modelos abiertos de codificación bidireccional, LFM2.5-Encoder-230M y LFM2.5-Encoder-350M, diseñados para procesar secuencias de texto de hasta 8.192 tokens sin necesidad de hardware de alto rendimiento. Estos modelos se basan en una arquitectura híbrida denominada LFM2, que integra bloques de convolución cortos y atención por grupos, como se detalló en su informe técnico. La capacidad de procesar entradas largas sin caer en costos excesivos representa una mejora significativa frente a modelos tradicionales, donde el consumo de recursos aumenta de forma exponencial con la longitud del contexto.
Los modelos no fueron entrenados desde cero. Su desarrollo se fundamenta en los decodificadores LFM2.5-230M y LFM2.5-350M, que se transforman mediante tres modificaciones clave. Primero, se reemplaza la máscara causal por una bidireccional, permitiendo que cada token acceda a sus predecesores y sucesores. Segundo, se eliminan las restricciones de causalidad en las convoluciones cortas mediante un relleno simétrico al centro, lo que permite que cada token intercambie información con sus vecinos laterales. Tercero, se aplica un objetivo de modelado de lenguaje oculto con una tasa de máscara del 30%, una cifra superior al 15% de BERT, según argumento técnico de Liquid AI. Este incremento se justifica por estudios que indican una mayor eficacia en tamaños de modelo grandes.
El entrenamiento se divide en dos fases. En la primera, se desarrolla una competencia general en lenguaje, utilizando un corpus amplio de internet con un contexto limitado de 1.024 tokens. En la segunda fase, el modelo se extiende hasta 8.192 tokens, fortaleciendo su comprensión de contenidos factuales, jurídicos y multilingües. Ambos modelos cuentan con un tamaño oculto de 1.024 unidades, un vocabulario de 65.536 términos y soportan dieciséis idiomas. La licencia asignada es la LFM Open License v1.0, lo que permite su uso libre y colaborativo en proyectos académicos y comerciales.
Para el lector peruano, esta evolución en modelos de inteligencia artificial tiene implicaciones directas en el acceso a tecnologías de análisis de lenguaje sin dependencia de infraestructura costosa. Empresas locales que gestionan servicios de atención al cliente, sistemas de contratación o plataformas digitales pueden aprovechar estos modelos para interpretar textos largos, como contratos o informes financieros, sin necesidad de servidores dedicados. Además, la disponibilidad abierta de estos modelos fomenta la innovación en entornos de educación, salud y administración pública, donde la comprensión de textos complejos es clave. Aunque el avance es técnico, su impacto en la economía local puede ser profundo si se integra estratégicamente en soluciones prácticas y sostenibles.