Fine-tuning

Le fine-tuning est une technique d'adaptation qui permet de specialiser un modele de fondation generique pour un domaine precis comme le droit. Au lieu de re-entrainer un modele de zero — une operation qui coute des millions de dollars et necessite des infrastructures massives — le fine-tuning reajuste les parametres existants sur un corpus cible, beaucoup plus petit mais hautement specialise. Dans le contexte juridique, le fine-tuning permet d'adapter un LLM a la terminologie du droit francais, aux structures specifiques des decisions de justice, au style redactionnel des conclusions ou des actes. La technique LoRA (Low-Rank Adaptation) a revolutionne cette approche en permettant un fine-tuning efficace avec des ressources de calcul limitees, rendant la specialisation accessible a des acteurs plus modestes. Cependant, le fine-tuning comporte des risques : sur-specialisation (le modele perd en capacite generale), amplification des biais presents dans le corpus d'entrainement, et potentiellement une augmentation des hallucinations sur les sujets hors du corpus de fine-tuning. C'est pourquoi les solutions legaltech combinent souvent fine-tuning et RAG : le fine-tuning pour le style et la terminologie, le RAG pour la precision factuelle.