Fine-tuning

El fine-tuning es una técnica de adaptación que permite especializar un modelo de fundación genérico para un dominio concreto como el derecho. En lugar de reentrenar un modelo desde cero (una operación que cuesta millones de dólares y requiere infraestructuras masivas), el fine-tuning reajusta los parámetros existentes sobre un corpus objetivo, mucho más pequeño pero altamente especializado.

En el contexto jurídico, el fine-tuning permite adaptar un LLM a la terminología del derecho francés, a las estructuras específicas de las resoluciones judiciales y al estilo de redacción de los escritos de conclusiones o de los actos. La técnica LoRA (Low-Rank Adaptation) ha revolucionado este enfoque al permitir un fine-tuning eficiente con recursos de cálculo limitados, haciendo la especialización accesible a actores más modestos.

Sin embargo, el fine-tuning conlleva riesgos: sobreespecialización (el modelo pierde capacidad general), amplificación de los sesgos presentes en el corpus de entrenamiento y, potencialmente, un aumento de las alucinaciones sobre temas ajenos al corpus de fine-tuning. Por eso las soluciones legaltech combinan a menudo fine-tuning y RAG: el fine-tuning para el estilo y la terminología, el RAG para la precisión factual.