Sigma lanza Sigma Eval para verificar agentes de IA con supervisión humana

Sigma ha presentado Sigma Eval, un servicio independiente para evaluar agentes conversacionales de IA en 12 dimensiones de seguridad, experiencia de usuario y rendimiento antes y después del despliegue. El lanzamiento responde al aumento de agentes en producción y a la presión por contar con verificación externa en entornos empresariales y regulados.

Why it matters: - Sigma Eval busca cerrar la brecha entre el despliegue de agentes de IA y su verificación independiente. - El servicio apunta a decisiones de negocio, cumplimiento y confianza del cliente en sistemas conversacionales de alto impacto. - La propuesta es relevante para atención al cliente, ventas, gestión de siniestros y soporte interno.

What happened: - Sigma anunció el lanzamiento de Sigma Eval el 22 de septiembre de 2026. - El servicio ofrece una capa de garantía independiente para evaluar sistemas conversacionales de IA antes y después del despliegue. - Sigma Eval combina evaluación continua con supervisión humana. - La compañía presentó el servicio desde Madrid, España.

The details: - Cada evaluación analiza 12 dimensiones agrupadas en tres categorías. - La categoría de seguridad incluye sesgo, toxicidad, alucinaciones, opacidad, exposición de PII y vulnerabilidad a la manipulación. - La categoría de experiencia de usuario mide desalineación del contexto, inconsistencia conversacional y desinterés del usuario. - La categoría de rendimiento cubre rendimiento de trayectoria, esfuerzo del cliente y coste de resolución. - Sigma usa un sistema propietario que combina usuarios sintéticos y conversaciones sintéticas para probar el agente a escala y en cualquier idioma. - Los clientes reciben un informe separado por dimensión, no una sola puntuación agregada. - Sigma no construye el agente, no ajusta el modelo y no proporciona los prompts; mide el comportamiento resultante. - El servicio no requiere integración, ni acceso al código, ni acceso al modelo. - La organización envía el enlace público del agente, datos de contacto básicos y contexto sobre el propósito, los idiomas, los KPI y los casos límite conocidos. - Sigma Cognition ejecuta la evaluación y entrega un informe confidencial. - Los informes solo se comparten con la organización solicitante. - Sigma abre el servicio con un informe de evaluación gratuito para cualquier organización que opere un agente conversacional. - La compañía también ofrece un número limitado de reevaluaciones para verificar el efecto de las correcciones. - La verificación se apoya en investigación aplicada en seguridad de la IA, evaluación y anonimización, desarrollada con socios académicos e institucionales. - Esa base también sustenta Sigma Cypher, el producto que anonimiza información personal identificable antes del análisis. - Sigma Group dice contar con más de 18 años de experiencia en calidad del dato, anonimización multimodal, IA generativa y plataformas de datos de confianza. - La oferta principal de Sigma Group incluye Sigma Eval, Sigma Cypher y Sigma Verified. - La compañía mantiene una presencia social pública en LinkedIn y YouTube.

Between the lines: - Sigma está posicionando la verificación independiente como una función separada del desarrollo del agente, no como otra herramienta de modelado. - La apuesta refleja una tesis de mercado: un agente puede funcionar en una demo y fallar con usuarios reales, especialmente cuando cambian prompts, modelos, bases de conocimiento o integraciones. - El enfoque de reportar dimensiones por separado evita que una buena métrica comercial o de rendimiento oculte problemas de seguridad. - El énfasis en confidencialidad sugiere que Sigma quiere vender validación privada, no benchmarks públicos. - La comparación con sectores regulados indica que la empresa ve la IA empresarial acercándose a un estándar de auditoría externa ya común en finanzas, producto y ciberseguridad.

What's next: - Sigma ofrecerá un informe de evaluación gratuito como puerta de entrada para nuevos clientes. - Las organizaciones podrán repetir la evaluación tras aplicar correcciones para medir cambios reales en el comportamiento del agente. - La empresa espera que la demanda crezca a medida que más organizaciones exijan evidencias externas sobre sistemas de IA de alto impacto. - Sigma seguirá apoyando el servicio con su investigación aplicada en seguridad, evaluación y anonimización.