Las alucinaciones constituyen el principal riesgo del uso de la IA en el ámbito del derecho. Un LLM no "comprende" el derecho: genera secuencias de palabras estadísticamente probables en función de su entrenamiento. Cuando los datos de entrenamiento son insuficientes o ambiguos sobre un tema, el modelo puede producir información totalmente ficticia con un aplomo engañoso: inventar referencias de jurisprudencia, citar artículos de ley inexistentes o atribuir posiciones doctrinales fantasiosas.
El caso Mata v. Avianca (2023) ilustra de forma dramática este riesgo: unos abogados estadounidenses fueron sancionados con 5000 dólares por haber presentado al tribunal citas jurisprudenciales totalmente ficticias generadas por ChatGPT, sin ninguna verificación. En Francia, el CNB recordó que el abogado sigue siendo plenamente responsable de todo contenido producido con la ayuda de la IA.
Para mitigar las alucinaciones se dispone de varias estrategias: la arquitectura RAG, que ancla las respuestas en fuentes verificadas; un ajuste de temperatura baja (0.1-0.3) para priorizar la precisión; y, sobre todo, una verificación humana sistemática. Ninguna herramienta de IA exime al profesional del derecho de su deber de control ni de su obligación de competencia.