Dynatrace monitorea automáticamente ChatGPT
La observabilidad de la Inteligencia Artificial (IA) se está volviendo imperativa a medida que empresas de todos los sectores están introduciendo enfoques novedosos para innovar con IA generativa en sus dominios. Dynatrace recopila automáticamente solicitudes de modelos OpenAI/GPT y las grafica dentro de su plataforma, además de detectar cómo se puede utilizar el comportamiento anormal del servicio para identificar ralentizaciones en las solicitudes OpenAI/GPT como la causa principal de problemas a gran escala.
Las aplicaciones avanzadas de IA que utilizan servicios OpenAI no sólo envían las entradas de los usuarios a los modelos OpenAI; también requieren un procesamiento previo y posterior del lado del cliente. Esto se logra mediante el uso de servicios OpenAI para calcular representaciones numéricas de datos de texto que facilitan el cálculo de la similitud del texto, llamadas “incrustaciones”, tanto para los documentos como para la entrada del usuario.
Uno de los factores cruciales del éxito para brindar servicios de agentes de IA rentables y de alta calidad es utilizar la observabilidad de la IA para observar de cerca su costo, latencia y confiabilidad.
Dynatrace permite a las empresas recopilar, visualizar y alertar automáticamente sobre el consumo, la latencia y la estabilidad de las solicitudes de API de OpenAI en combinación con todos los demás servicios que se utilizan para crear aplicaciones de IA. Esto incluye OpenAI y servicios Azure OpenAI, como GPT-3, Codex, DALL-E o ChatGPT.
Dynatrace OneAgent ® descubre, observa y protege el acceso a OpenAI automáticamente, sin configuración manual, revelando el contexto completo de las tecnologías utilizadas, la topología de interacción del servicio, el análisis de vulnerabilidad de seguridad y la observabilidad de todas las métricas, seguimientos, registros y eventos comerciales en tiempo real.
OneAgent puede monitorear automáticamente todos los enlaces de C#, .NET, Java, Go y NodeJS. Sin embargo, recomendamos seguir el enfoque OpenTelemetry para monitorear Python con Dynatrace.
Dynatrace refine aún más las llamadas de OpenAI al dividir automáticamente servicios específicos para el dominio OpenAI.
Dynatrace OneAgent recopila automáticamente toda la información relacionada con la latencia y la confiabilidad junto con todos los rastros que muestran cómo sus solicitudes de OpenAI atraviesan su gráfico de servicio.
La enorme popularidad de los servicios de nube de IA generativa, como el modelo GPT-4 de OpenAI, está obligando a las empresas a repensar y rediseñar sus panoramas de servicios existentes. La integración de la IA generativa en los panoramas de servicios tradicionales conlleva todo tipo de incertidumbres. El uso de la observabilidad de la IA de Dynatrace para observar los servicios en la nube de OpenAI ayuda a obtener transparencia de costos y garantizar el estado operativo de los servicios mejorados con IA.
Además, la total transparencia y observabilidad de los servicios de IA desempeñarán un papel importante en las próximas regulaciones de IA y para las evaluaciones de riesgos dentro de las organizaciones.