RAG jurídico: recuperar documentos no garantiza una respuesta correcta

La biblioteca y la respuesta son controles distintos

Caso ficticio. Una universidad prepara un asistente para consultar sus materiales de clase sobre IA y derecho. El sistema recupera fragmentos y muestra enlaces junto a una respuesta generada. Ese mecanismo, conocido como generación aumentada por recuperación o RAG, puede facilitar la consulta, pero el equipo no debe considerar demostrada la exactitud jurídica por el solo hecho de ver referencias. Conviene comprobar por separado qué documento recuperó y qué afirmó a partir de él.

NIST AI 600-1 identifica riesgos de confabulación y recomienda gestionar la procedencia y comprobación de información. Es una referencia voluntaria de gestión de riesgos, no una ley colombiana ni una certificación del asistente evaluado. La práctica propuesta aquí adapta ese enfoque a una biblioteca académica y exige límites expresos cuando el material no resuelve la consulta.

Diseñar una prueba que permita detectar errores útiles

Propuesta editorial: registrar para cada documento autoridad, título, identificador, fecha, jurisdicción, URL de origen y fecha de incorporación. Añadir una nota cuando exista una modificación o una decisión posterior relevante. No mezclar un proyecto, una ley expedida y una columna de opinión bajo la misma etiqueta de norma vigente. El sistema debe permitir al lector abrir la fuente original y localizar el fragmento utilizado.

Crear preguntas de prueba con respuestas conocidas: una cuya regla esté expresamente en el documento, otra que exija distinguir fechas y una tercera que la colección no pueda contestar. En esta última, el resultado aceptable es explicar qué falta. Una respuesta segura en apariencia que inventa una regla debe contarse como fallo, aunque el resto del texto tenga buena presentación. Registrar también enlaces rotos, pasajes recuperados fuera de contexto y citas que no apoyan la proposición.

Separar la actualización del índice de la actualización jurídica. Incorporar un PDF nuevo no demuestra que se identificaron todas las normas modificatorias; tampoco una fecha reciente convierte una fuente secundaria en autoridad primaria. En asuntos reales, la persona responsable debe revisar los cambios pertinentes antes de utilizar la respuesta. Definir una rutina de revisión con fecha y responsable es más comprobable que prometer una biblioteca siempre actualizada.

La recuperación tampoco autoriza acceder a cualquier documento. Para un piloto, usar materiales públicos o expresamente permitidos y comprobar que no se mezclen carpetas de distintos usuarios. El contenido de una fuente puede incluir instrucciones ajenas al encargo; deben tratarse como material consultado, no como permisos para enviar datos o ejecutar acciones. El resultado final debe distinguir texto fuente, síntesis propia e incertidumbre pendiente.