La adopción de la Inteligencia Artificial en el sector público es imparable, pero trae consigo un gran riesgo: ¿cómo podemos garantizar la corrección y fiabilidad de los resultados generados? Cuando un equipo usa una IA generalista como ChatGPT, la fiabilidad, el detalle y la corrección de la información dependen de muchos factores difíciles de controlar.
¿Y si pudieras auditar, en un solo panel, todas las interacciones que tus usuarios tienen con la IA y obtener una evaluación automática de su calidad?
Te presentamos las Evaluaciones de Gobierto Asistente, la herramienta de auditoría y control que te da el control que necesitas y que no tienes con una IA generalista. En Gobierto neutralizamos en gran medida estos riesgos, y poder auditar las conversaciones generadas en tu organización aporta la seguridad y tranquilidad de observar de primera mano qué están obteniendo tus usuarios.
Las Evaluaciones son otra de las razones clave para usar una herramienta especializada frente a productos generalistas.
El problema: usar la IA a ciegas
Hasta ahora, implementar una IA en un organismo público significaba confiar ciegamente en sus resultados. Como gestor, te enfrentas a la incertidumbre de no saber qué preguntan tus usuarios o qué respuestas reciben.
Necesitas respuestas a preguntas como:
- ¿Están mis usuarios utilizando la IA para tareas relevantes?
- ¿Las respuestas que reciben son correctas y se basan en la normativa vigente?
- ¿Cuál es el nivel de satisfacción real de mi equipo con la herramienta?
- ¿Cómo puedo detectar y corregir patrones de uso incorrectos o respuestas fallidas?
Permitir el uso sin control no es suficiente. Necesitas auditar las conversaciones.
La solución: un panel de control y evaluaciones automáticas
Imagina tener un panel de control donde, como administrador, puedes revisar todas las conversaciones de tu organización con el Asistente de Gobierto. Y no solo eso, sino que una segunda IA evalúa la calidad y relevancia de las respuestas de la primera.
No solo monitorizas el uso; obtienes métricas automáticas sobre la calidad, la relevancia de los contextos aportados y la satisfacción declarada por el usuario. Es el panel de auditoría de IA que no sabías que existía...
Beneficios y casos de uso para gestores públicos
Esta herramienta está diseñada para darte control y visibilidad. Aquí te mostramos cómo puedes usarla:
- Entender el uso real de la IA: Descubre qué están haciendo tus usuarios. Analiza el resumen cuantitativo y el tipo de peticiones (p.ej., "redactar cláusulas", "buscar licitaciones", "resumir pliegos") para entender las necesidades reales de tu equipo.
- Garantizar la calidad y la fiabilidad: Audita conversaciones específicas. Comprueba los resultados que reciben tus usuarios y valida su corrección. Usa las evaluaciones automáticas (¡un LLM juzgando a otro LLM!) para obtener una métrica de calidad objetiva
- Medir la satisfacción del equipo: Revisa las valoraciones positivas (👍) y negativas (👎) que los usuarios dejan en cada mensaje. Detecta puntos de fricción o áreas donde la IA brilla.
- Gestionar el acceso y la seguridad: Controla quién puede acceder a este panel de auditoría a través del sistema de Roles y Permisos de Gobierto, garantizando la confidencialidad.
- Configurar tus propias evaluaciones: Adapta el sistema para que evalúe aspectos específicos que te importan, más allá de las métricas automáticas estándar.
¿Cómo funciona el panel de evaluaciones?
Nuestra plataforma te ofrece una funcionalidad potente y centralizada:
- Panel de control (Métricas): Accede desde "Asistente / Evaluaciones". Comprueba de un vistazo el número total de conversaciones, evaluaciones automáticas y valoraciones de usuarios. Analiza las conversaciones por tipo de petición.
- Monitorización de conversaciones (Últimas conversaciones): Audita el listado de las últimas conversaciones creadas por tus usuarios. Entiende la frecuencia, el volumen de uso y el tipo de peticiones.
- Análisis de conversación individual: Accede a una conversación completa para revisarla en detalle: las peticiones exactas del usuario, las contestaciones del sistema, las evaluaciones automáticas puntuales y las valoraciones declaradas.
- Control de acceso: Configura qué perfiles (Roles y Permisos) pueden ver y gestionar las evaluaciones.
Ejemplos prácticos: de la necesidad a la solución
<table>
<thead>
<tr>
<th>Tu Necesidad</th>
<th>Acción en la Herramienta</th>
<th>Resultado</th>
</tr>
</thead>
<tbody>
<tr>
<td>Quiero saber si mi equipo usa la IA para lo que la contratamos.</td>
<td>Acceder a "Evaluaciones" > Dashboard de "Métricas" > Gráfico "Tipos de petición".</td>
<td>Un desglose visual: 40% "Redactar cláusulas", 30% "Buscar licitaciones", 20% "Resumir pliegos", 10% "Ayuda".</td>
</tr>
<tr>
<td>Un usuario se queja de que la IA "se inventa cosas".</td>
<td>Ir a "Últimas conversaciones" > Filtrar por ese usuario > Abrir la conversación problemática.</td>
<td>Detectas que el usuario hizo una pregunta ambigua. Revisas la respuesta del Asistente y su evaluación automática de "baja relevancia".</td>
</tr>
<tr>
<td>Necesito justificar la inversión en la herramienta.</td>
<td>Panel de "Métricas" > Ver "Total de conversaciones" y "Valoraciones de satisfacción".</td>
<td>Datos concretos: "Más de 500 conversaciones este mes con un 90% de valoraciones positivas", demostrando adopción y utilidad.</td>
</tr>
<tr>
<td>Garantizar que no se cometen errores graves en cláusulas.</td>
<td>"Últimas conversaciones" > Filtrar por tipo "Redactar cláusula" > Revisar las respuestas del sistema.</td>
<td>Auditoría manual de las cláusulas generadas por la IA, validando su corrección legal y técnica antes de que se usen.</td>
</tr>
</tbody>
</table>El Asistente de Gobierto no es una caja negra
Las Evaluaciones te dan el control, la transparencia y la seguridad que necesitas para liderar la adopción de la IA en tu organización.
Si quieres ver cómo esta herramienta puede darte total visibilidad sobre el uso de la IA en tu entidad, cuéntanos tu caso y organizamos una demostración a tu medida.
Más información:
- Ayuda de Gobierto: Evaluaciones
- Gobierto Asistente: El ChatGPT de la contratación pública
- Preguntas frecuentes sobre el Redactor de Gobierto Contratación
