Segun MarkTechPost (AI/ML News), DeepSeek ha liberado DeepInfer, un entorno de inferencia diseñado para ejecutar sus modelos de inteligencia artificial en producción. Este marco, que alimenta el modelo DeepSeek-V4.1-Flash, opera bajo licencia Apache 2.0 y está disponible en su repositorio oficial. La publicación destaca que el sistema permite procesar hasta un millón de tokens por contexto, lo cual representa una capacidad significativa para tareas de análisis de texto extensas. Los cálculos se ejecutan principalmente en tarjetas gráficas de NVIDIA de generación Blackwell y en procesadores de inteligencia artificial Huawei Ascend 950.
El sistema ha sido construido sobre tecnologías existentes como vLLM, con aportes conceptuales de SGLang y TensorRT-LLM. Su arquitectura integra varios motores internos: FlashMLA, DeepGEMM, DeepEP, TileKernels y DeepSelect, junto con kernels personalizados en el lenguaje TileLang. El rendimiento se mide en un flujo de producción de 155 billones de tokens al día, alcanzando velocidades superiores a 25.000 tokens por segundo por GPU, bajo condiciones de 256 solicitudes por rango y un contexto de 131.072 tokens. Esta capacidad se logra mediante el uso de paralelismo en atención mediante data parallelism y expert parallelism, así como mediante un equilibrio de carga especializado en capas de especialistas (MoE) por medio de un sistema de balanceo llamado EPLB.
Aunque el sistema permite ejecución en entornos of-line, no incluye funcionalidades clave como gestión de cachés de clave-valor (KV cache), separación de memoria para datos y pesos (P/D disaggregation) o sistemas de balanceo de carga en entornos distribuidos. Estas limitaciones indican que la versión actual está enfocada en escenarios de prueba y ejecución offline, sin llegar a cubrir todo el espectro de servicios en tiempo real. DeepSeek también presentó deepseek-recipe, una capa de codificación y decodificación de tokens bajo licencia MIT, que permite a desarrolladores entender mejor cómo se estructuran los datos en el flujo de inferencia.
Para el lector peruano, este avance en infraestructura de inteligencia artificial refleja una tendencia global hacia la transparencia de los pilares técnicos detrás de los grandes modelos. Aunque los modelos de IA aún están en fases iniciales de acceso público en América Latina, el hecho de que empresas como DeepSeek publiquen sus frameworks abiertos puede acelerar el desarrollo local. Peruanos que trabajan en tecnologías de finanzas, administración o innovación digital pueden beneficiarse de estas herramientas para construir soluciones más eficientes, como sistemas de análisis de contratos o predicción de mercados. La disponibilidad de herramientas de inferencia abiertas abre puertas a que instituciones locales desarrollen capacidades internas sin depender exclusivamente de proveedores internacionales. Esto representa un paso clave hacia una economía tecnológica más inclusiva y autónoma.