Mejora rápidamente el rendimiento de la inteligencia artificial con un acelerador de IA

Fastly ha anunciado el lanzamiento de Fastly AI Accelerator, una solución de IA diseñada para crear una mejor experiencia para los desarrolladores ayudando a mejorar el rendimiento y reducir costes mediante el uso de indicaciones similares para aplicaciones de modelos de lenguaje grandes (LLM). .

Construido sobre la plataforma de nube perimetral de Fastly y aprovechando su tecnología de almacenamiento en caché, AI Accelerator utiliza una puerta de enlace API especializada para mejorar drásticamente el rendimiento de las aplicaciones que utilizan LLM populares, comenzando con ChatGPT y ampliando el soporte para incluir modelos adicionales. .

Con Fastly AI Accelerator, los desarrolladores solo necesitan actualizar su aplicación para utilizar un nuevo endpoint API, lo que normalmente solo requiere cambiar una sola línea de código. Fastly AI Accelerator implementará de forma transparente el almacenamiento en caché semántico para las API compatibles con OpenAI. Este enfoque va más allá del almacenamiento en caché tradicional, ya que Fastly AI Accelerator es capaz de comprender el contexto de las solicitudes y consultas y enviará una respuesta similar si dos o más solicitudes son similares.

Las aplicaciones de IA más populares pueden procesar cientos de miles de llamadas o preguntas de API por día. Es probable que muchas de las preguntas de sus usuarios sean muy similares y ya se hayan formulado antes. Sin almacenamiento en caché semántico, cada llamada al LLM requiere regresar al proveedor para obtener la información, lo que aumenta los costos y la latencia. Sin embargo, el almacenamiento en caché semántico de Fastly, AI Accelerator, proporciona una respuesta en caché para consultas repetidas directamente desde la plataforma perimetral de alto rendimiento de Fastly, en lugar de volver al proveedor de IA, lo que ayuda a ofrecer una mejor experiencia al mejorar el rendimiento y reducir los costos.

“En Fastly, siempre escuchamos a los desarrolladores para comprender qué les entusiasma y cuáles son sus mayores puntos débiles”, afirma Anil Dash, vicepresidente de experiencia de desarrollador de Fastly. “Fastly AI Accelerator ofrece a los desarrolladores exactamente lo que quieren, haciendo que la experiencia de sus LLM favoritos sea mucho más rápida y eficiente, para que puedan centrarse en lo que hace que su aplicación o sitio sea único, y en lo que mantiene satisfechos a sus clientes”.