Según MarkTechPost (AI/ML News), Perplexity ha presentado Photon, un motor de recuperación y clasificación internamente desarrollado, escrito en el lenguaje de programación Rust. Este nuevo sistema reemplaza a una versión modificada de un motor abierto que anteriormente utilizaba Perplexity para su pila de búsqueda nativa de inteligencia artificial. Actualmente, Photon gestiona todos los tráficos de producción y activa un modo de búsqueda rápida en la API de Perplexity. Los datos revelan una latencia de 160 milisegundos en el percentil 50 y de 230 milisegundos en el percentil 95. La solución está disponible como servicio en la nube, accesible mediante una solicitud HTTP POST a /search, con el parámetro search_type establecido en "fast", y con un costo de un dólar por cada 1.000 peticiones. No obstante, el motor no es abierto al público, lo que impide su implementación en entornos internos o autogestionados.
El cambio se produjo tras identificar tres puntos críticos en el rendimiento del sistema anterior. En primer lugar, la latencia de cola (tail latency) alcanzó niveles cercanos a 800 milisegundos en producción. Segundo, el tamaño del conjunto de datos superó las capacidades de memoria RAM, haciendo inviable el uso de mlock. Tercero, las lecturas "frías" generaban fallos de página masivos que detenían las consultas. Durante fusiones de índices en disco, la latencia p99 ascendió hasta 1,2 segundos durante periodos de 10 a 15 minutos. Además, el proceso de recuperación tras un evento de fallo requirió más de una semana para completarse, y aumentaba la proporción de respuestas incompletas. El equipo decidió que desarrollar desde cero era más eficiente y económico que mantener una versión modificada de código abierto.
El funcionamiento de Photon se basa en una arquitectura distribuida. Cada solicitud es dirigida por un equilibrador de carga hacia un broker que distribuye el trabajo a un grupo de particiones. Cada partición ejecuta las fases de recuperación y clasificación inicial, y realiza un segundo proceso de refinamiento. El broker luego integra los candidatos y solicita los campos clave de los documentos. Una innovación clave es el uso de listas adaptativas: listas cortas se almacenan dentro de una sola página, mientras que las más largas se dividen en bloques con rangos fijos de IDs. Los bloques escasos emplean búsqueda por galopada con listas ordenadas, mientras que los densos utilizan mapas bit, permitiendo verificar pertenencia en una sola operación. Además, un algoritmo similar al WAND divide las listas en listas de guía y listas de prueba, reduciendo costos mediante verificaciones rápidas de presencia.
Para el lector peruano, esta evolución muestra cómo las empresas de tecnología están priorizando eficiencia y escalabilidad en sus soluciones de búsqueda. Aunque Photon no está disponible para uso local, su diseño puede inspirar a pymes y entidades que gestionan grandes volúmenes de datos, como bancos o plataformas de servicios públicos. El enfoque en latencia y rendimiento, especialmente en contextos de alta demanda, puede ser aplicado en sistemas de atención al cliente o gestión de información, donde el tiempo de respuesta es clave para la experiencia del usuario. En un entorno donde la digitalización avanza rápidamente, entender estos avances ayuda a tomar decisiones más informadas sobre la tecnología que se adopta.