Segun MarkTechPost (AI/ML News), el equipo de investigación de ByteDance ha presentado Lance, un modelo que integra de forma nativa la comprensión, generación y edición de imágenes y vídeos. Este avance rompe con el modelo tradicional de separar tareas, donde sistemas distintos manejan comprensión y creación, y luego se combinan posteriormente. En cambio, Lance es entrenado desde el inicio para operar en un solo entramado, coordinando simultáneamente múltiples funciones. La innovación radica en que el modelo procesa textos, imágenes y videos como una sola secuencia multimodal, lo que permite una fluidez sin interrupciones entre tareas.
Lance organiza sus capacidades en tres familias de salida: texto (X2T), imágenes (X2I) y vídeos (X2V). En el ámbito de comprensión, el modelo resuelve tareas como descripción de imágenes y vídeos, respuesta a preguntas visuales, lectura óptica de caracteres (OCR), alineación visual y razonamiento visual. En cuanto a generación, soporta desde textos a imágenes, hasta videos generados a partir de imágenes, así como edición de contenidos con consistencia en múltiples pasos. La capacidad de editar tanto imágenes como vídeos en una secuencia continua representa un salto clave, ya que permite mantener coherencia entre los elementos a lo largo del tiempo. Este enfoque no solo reduce la necesidad de múltiples modelos, sino que también elimina brechas entre el entendimiento y la creación de contenidos visuales.
La arquitectura se fundamenta en dos pilares clave: modelado de contexto unificado y rutas funcionales desacopladas. El contexto se construye al convertir todos los entrantes —texto, imagen, vídeo— en una misma secuencia intercalada. Los tokens de texto provienen de la capa de embeddings Qwen2.5-VL, mientras que las imágenes y vídeos para comprensión se representan mediante un encoder basado en ViT de Qwen2.5-VL. Para la generación, se emplea el encoder 3D causal de Wan2.2, que convierte imágenes y vídeos en representaciones latentes continuas. Esta doble estrategia permite que el modelo maneje tanto las características semánticas como las físicas y temporales de los contenidos visuales.
Para el lector peruano, este avance tiene implicaciones prácticas en el desarrollo de herramientas digitales que puedan ser utilizadas en medios locales, como redes sociales, educación o comunicación empresarial. Si bien el modelo aún está en fase de investigación, su capacidad de generar y entender contenido visual de forma integrada abre puertas a soluciones más eficientes en entornos que requieren alta calidad de imagen y coherencia narrativa. En un contexto donde el contenido visual es clave para la participación digital, el desarrollo de tecnologías como Lance puede acelerar la innovación en aplicaciones accesibles, desde plataformas educativas hasta herramientas de marketing.