Fine-tuning

Le fine-tuning est une technique d'adaptation qui permet de spécialiser un modèle de fondation générique pour un domaine précis comme le droit. Au lieu de ré-entraîner un modèle de zéro — une opération qui coûte des millions de dollars et nécessite des infrastructures massives — le fine-tuning réajuste les paramètres existants sur un corpus cible, beaucoup plus petit mais hautement spécialisé. Dans le contexte juridique, le fine-tuning permet d'adapter un LLM à la terminologie du droit français, aux structures spécifiques des décisions de justice, au style rédactionnel des conclusions ou des actes. La technique LoRA (Low-Rank Adaptation) a révolutionné cette approche en permettant un fine-tuning efficace avec des ressources de calcul limitées, rendant la spécialisation accessible à des acteurs plus modestes. Cependant, le fine-tuning comporte des risques : sur-spécialisation (le modèle perd en capacité générale), amplification des biais présents dans le corpus d'entraînement, et potentiellement une augmentation des hallucinations sur les sujets hors du corpus de fine-tuning. C'est pourquoi les solutions legaltech combinent souvent fine-tuning et RAG : le fine-tuning pour le style et la terminologie, le RAG pour la précision factuelle.