Alucinaciones de la IA
Las alucinaciones de la IA designan la producción de información falsa, inventada o incoherente presentada con aparente certeza por un modelo de lenguaje. Este fenómeno es inherente al funcionamiento de los LLM, que generan texto estadísticamente probable en lugar de verificado de forma factual. Un LLM puede inventar referencias de jurisprudencia o artículos de ley inexistentes.
Las alucinaciones constituyen el principal riesgo del uso de la IA en el ámbito del derecho. Un LLM no "comprende" el derecho: genera secuencias de palabras estadísticamente probables en función de su entrenamiento. Cuando los datos de entrenamiento son insuficientes o ambiguos sobre un tema, el modelo puede producir información totalmente ficticia con un aplomo engañoso: inventar referencias de jurisprudencia, citar artículos de ley inexistentes o atribuir posiciones doctrinales fantasiosas.
El caso Mata v. Avianca (2023) ilustra de forma dramática este riesgo: unos abogados estadounidenses fueron sancionados con 5000 dólares por haber presentado al tribunal citas jurisprudenciales totalmente ficticias generadas por ChatGPT, sin ninguna verificación. En Francia, el CNB recordó que el abogado sigue siendo plenamente responsable de todo contenido producido con la ayuda de la IA.
Para mitigar las alucinaciones se dispone de varias estrategias: la arquitectura RAG, que ancla las respuestas en fuentes verificadas; un ajuste de temperatura baja (0.1-0.3) para priorizar la precisión; y, sobre todo, una verificación humana sistemática. Ninguna herramienta de IA exime al profesional del derecho de su deber de control ni de su obligación de competencia.
Términos relacionados
Un LLM (Large Language Model) es un modelo de inteligencia artificial entrenado con volúmenes masivos de texto para aprender las e…
El RAG (Retrieval Augmented Generation) es una técnica que combina la búsqueda documental con un LLM. Antes de generar una respues…
La temperatura es un hiperparámetro que controla el grado de aleatoriedad en las respuestas de un LLM. Un valor bajo (cercano a 0)…
La ética de la IA en el derecho designa el conjunto de principios deontológicos que regulan el uso de la IA por parte de los profe…
El prompt engineering es el arte de formular instrucciones precisas y estructuradas para obtener resultados óptimos de una IA gene…