Fine-tuning ou RAG ? Personnaliser un LLM pour votre entreprise

Pour personnaliser un LLM en entreprise, le RAG répond aux problèmes de faits : documents, tarifs, procédures qui évoluent.

Dès que l'enjeu est un comportement (ton, format de réponse, classification), le fine-tuning devient pertinent.

Dans la majorité des projets, un RAG bien construit suffit, et le fine-tuning arrive ensuite, mesures à l'appui.

Le 7 mai 2026, OpenAI a prévenu ses développeurs que sa plateforme de fine-tuning en libre-service fermait progressivement.

Un des premiers acteurs à avoir ouvert la technique au grand public referme la porte, et la presse spécialisée y lit un signal : les modèles récents suivent assez bien les consignes pour que l'entraînement sur mesure devienne moins nécessaire.

Le fine-tuning garde pourtant des cas où rien d'autre ne fait aussi bien, et le RAG a ses propres limites.

Fine-tuning et RAG : ce que chaque méthode change dans un LLM

Le fine-tuning modifie le comportement du modèle

Le fine-tuning reprend l'entraînement d'un modèle existant sur vos propres exemples.

Chaque exemple associe une entrée à la sortie attendue, par exemple un e-mail client et la réponse validée par votre équipe.

Après l'entraînement, le modèle a intégré ces habitudes dans ses poids : il écrit dans votre ton, respecte votre format et classe vos documents selon vos catégories.

Aucun document n'est consulté au moment de la réponse.

Ce que le modèle sait vient de l'entraînement, jamais de vos fichiers du jour.

Le RAG modifie ce que le modèle a sous les yeux

Le RAG (retrieval-augmented generation, ou génération augmentée par récupération) laisse le modèle intact.

À chaque question, un moteur de recherche interne retrouve les passages pertinents de vos documents grâce à des embeddings stockés dans une base vectorielle, puis les glisse dans le prompt.

Le modèle répond en s'appuyant sur ces passages et peut citer ses sources.

Si un tarif change lundi, vous mettez à jour le document lundi, et la réponse change lundi.

La règle faits ou réflexes tient en une phrase : quand le modèle ignore quelque chose, le RAG lui fournit les documents, et quand il réagit mal, le fine-tuning corrige ses habitudes.

LoRA et QLoRA : le fine-tuning LLM sur une seule machine

Pendant longtemps, le fine-tuning d'un LLM réclamait un cluster de GPU hors de portée d'une PME.

LoRA (Low-Rank Adaptation) a changé la donne en 2021.

La méthode gèle le modèle d'origine et n'entraîne que de petites matrices ajoutées à chaque couche.

Sur GPT-3 175B, les auteurs de LoRA annoncent 10 000 fois moins de paramètres à entraîner et trois fois moins de mémoire GPU qu'un fine-tuning complet, pour une qualité égale ou supérieure.

QLoRA, publié en 2023, compresse en plus le modèle de base en 4 bits pendant l'entraînement.

Un modèle de 65 milliards de paramètres se fine-tune sur un seul GPU de 48 Go, et la famille Guanaco des auteurs a demandé 24 heures sur une carte.

L'entraînement produit un adaptateur, un petit fichier que l'on pose sur le modèle de base.

Les auteurs de l'étude LIMA en tirent une conclusion : presque toutes les connaissances d'un LLM viennent de son pré-entraînement, et peu de données suffisent pour lui apprendre à bien répondre.

Le fine-tuning apprend-il vraiment de nouveaux faits à un LLM ?

Deux études présentées à l'EMNLP 2024 ont testé la question.

L'étude d'Ovadia et de ses collègues compare le fine-tuning non supervisé au RAG : le RAG gagne systématiquement, y compris sur des faits entièrement nouveaux, et le modèle fine-tuné retient mal l'information factuelle inédite.

L'étude de Gekhman et de ses collègues va plus loin.

Les exemples qui apportent un fait nouveau s'apprennent nettement plus lentement que les autres, et lorsque le modèle finit par les retenir, son taux d'hallucination augmente de façon linéaire.

Les auteurs en concluent que le fine-tuning sert surtout à mieux exploiter des connaissances déjà présentes dans le modèle.

Le RAG ne gagne pas partout, et un résultat d'avril 2026 le rappelle.

Un chercheur de l'université Bar-Ilan a comparé deux modèles de 4 milliards de paramètres sur des questions médicales : Gemma 3 en version générale, et MedGemma, la version spécialisée par Google.

Le modèle spécialisé gagne 6,8 points de précision (53,3% contre 46,4%), alors que l'ajout de RAG n'apporte aucun gain significatif.

Premier enseignement : sur un savoir stable et large, comme un programme médical, un petit modèle spécialisé peut battre un petit modèle assisté par RAG.

Second enseignement : ce fine-tuning, c'est Google qui l'a payé.

Avant de lancer votre propre entraînement, cherchez donc si un modèle déjà spécialisé dans votre domaine existe en open source.

RAG ou fine-tuning : le tableau de décision

Ce tableau compare les trois options sur les critères qui comptent en entreprise.

Avant de lancer un fine-tuning, posez-vous ces quatre questions, dans cet ordre.

1. Avez-vous mesuré l'échec d'un bon prompt, avec et sans RAG, sur au moins cinquante cas réels ?
2. Pouvez-vous fournir plusieurs centaines d'exemples d'entrée et de sortie, validés par un expert de votre métier ?
3. La tâche restera-t-elle stable pendant douze mois, malgré l'arrivée de nouveaux modèles ?
4. Disposez-vous d'un jeu de test mis de côté pour comparer avant et après ?

Coûts et données nécessaires pour fine-tuner un LLM

L'entraînement coûte quelques dollars, les données coûtent des semaines

Prenons un jeu de 2 000 exemples de 200 tokens chacun, entraîné sur trois passages.

Cela représente 1,2 million de tokens d'entraînement.

Les tarifs publiés en 2026 par les hébergeurs de modèles ouverts vont de 0,48 à 8 dollars le million de tokens, selon la taille du modèle.

La facture d'entraînement oscille donc entre environ 0,60 et moins de 10 dollars.

Ce qui coûte cher, c'est d'obtenir ces 2 000 exemples.

Si un expert de votre métier valide chaque exemple en trois minutes, cela représente 100 heures de travail.

Les projets de fine-tuning s'enlisent à cet endroit, parce que personne n'a réservé ces 100 heures dans le planning de vos experts.

La maintenance, le coût que personne ne budgète

Un adaptateur LoRA pour LLM est calibré pour un modèle de base précis.

Quand ce modèle est remplacé, l'adaptateur ne se transpose pas, et l'entraînement est à refaire.

Les modèles se renouvellent vite : le 11 juin 2026, OpenAI a annoncé le retrait d'anciennes versions de GPT-5 et d'o3 pour le 11 décembre 2026, soit six mois de préavis.

Ses modèles fine-tunés restent disponibles tant que leur modèle de base n'est pas retiré, puis disparaissent avec lui.

RGPD et AI Act : ce que change un fine-tuning

Effacer une information est simple avec un RAG, difficile avec un fine-tuning

Un client demande l'effacement de ses données.

Avec un RAG, vous supprimez le document de l'index, et le modèle ne peut plus le citer.

Avec un modèle fine-tuné sur ces données, l'information est diluée dans les poids, et aucune suppression ciblée n'est garantie sans réentraînement.

En décembre 2024, le Comité européen de la protection des données a rappelé dans son avis 28/2024 qu'un modèle entraîné sur des données personnelles ne peut pas être présumé anonyme, et que la question s'évalue au cas par cas.

Les droits d'accès posent le même problème : un RAG filtre les documents selon l'utilisateur qui pose la question, alors qu'un modèle fine-tuné répond à tout le monde avec la même mémoire.

Si vous entraînez un modèle sur des fiches de paie, tous ceux qui l'interrogent peuvent en faire ressortir des fragments.

Entraîner sur des données sensibles se décide donc avec votre DPO, analyse d'impact à l'appui.

AI Act : à partir de quand un fine-tuning fait de vous un fournisseur de modèle

Le règlement européen sur l'IA prévoit qu'une entreprise qui modifie un modèle d'IA à usage général peut en devenir le fournisseur, avec les obligations correspondantes.

Les lignes directrices de la Commission publiées en juillet 2025 fixent un repère : le seuil est présumé franchi quand le calcul utilisé pour la modification dépasse un tiers du calcul d'entraînement du modèle d'origine.

Si ce calcul n'est pas connu, on retient un tiers de 10²³ FLOP.

Faisons le calcul pour un fine-tuning léger.

Dix millions de tokens sur un modèle de 7 milliards de paramètres représentent environ 4×10¹⁷ FLOP, selon l'estimation habituelle de 6 FLOP par paramètre et par token.

Le seuil de repli, un tiers de 10²³, vaut environ 3,3×10²² FLOP, soit près de 80 000 fois plus.

Un fine-tuning LoRA d'entreprise reste donc très loin du seuil.

Une reprise d'entraînement à grande échelle relève d'une autre discussion, à mener avec un juriste.

Ce calcul donne un ordre de grandeur et ne remplace pas un avis juridique ; pour le cadre complet, consultez les obligations de l'AI Act pour les entreprises.

Exemples de fine-tuning et de RAG en entreprise

Quand le fine-tuning s'impose

Les usages qui profitent le plus du fine-tuning répètent le même geste des milliers de fois.

• Écrire dans le style de la marque, là où une étude de 2025 juge le fine-tuning plus fiable que le prompting.
• Classer des e-mails ou des tickets entrants dans vos catégories maison, avec un petit modèle rapide et peu coûteux à l'usage.
• Extraire des champs de documents au format fixe, comme des factures, avec toujours le même schéma de sortie.
• Reformuler le jargon métier en langage client, avec le vocabulaire exact de votre secteur.

Quand le RAG s'impose

Un assistant qui répond sur vos conditions générales, votre catalogue ou vos procédures internes relève du RAG, parce que ces contenus changent et que chaque réponse doit pouvoir citer sa source.

La génération de devis par intelligence artificielle en donne un bon exemple : le jour où un prix bouge dans votre grille tarifaire, le devis suivant le reflète.

Sur le terrain, nous rencontrons souvent le réflexe inverse.

Un bureau d'études technique nous a transmis un cahier des charges qui prévoyait d'emblée un fine-tuning LoRA sur un modèle de 7 milliards de paramètres, en plus d'un RAG.

Nous avons recommandé de commencer par le RAG et un prompt soigné, puis de décider du fine-tuning sur des mesures.

La priorité était le choix du modèle, bien avant tout entraînement, et c'est un sujet qui se tranche avec un banc d'évaluation maison ; pour une première idée, voyez le choix entre Claude et Mistral.

Quand ni le RAG ni le fine-tuning ne sont la bonne réponse

Beaucoup de projets se règlent avec un prompt bien écrit et un contexte long.

Les modèles actuels avalent des documents entiers en une fois, et la mise en cache des prompts allège le coût des répétitions.

Pour un corpus de quelques dizaines de pages, coller le texte dans le prompt évite de monter un RAG.

Les consignes récurrentes (ton, étapes, format) se rangent dans des compétences que le modèle charge à la demande, comme les Agent Skills de Claude.

Quant aux données vivantes (CRM, comptabilité, agenda), un connecteur basé sur le protocole MCP les interroge en direct, sans index à maintenir.

Testez ces options avant de budgéter le moindre entraînement : elles se mesurent en quelques heures.

Questions fréquentes sur le fine-tuning et le RAG

Quelle est la différence entre fine-tuning et RAG ?

Le fine-tuning modifie le modèle en le réentraînant sur vos exemples, alors que le RAG ajoute à chaque question des passages de vos documents sans toucher au modèle.

Le premier change le comportement, le second apporte des faits à jour et citables.

Le fine-tuning permet-il d'apprendre les documents de mon entreprise à un LLM ?

Très mal.

Les études de 2024 montrent que les faits nouveaux s'apprennent lentement par fine-tuning et que leur apprentissage augmente le risque d'hallucination.

Pour des documents qui évoluent, le RAG est plus fiable, moins coûteux et permet de citer la source.

Combien coûte un fine-tuning avec LoRA ?

L'entraînement lui-même coûte de moins d'un dollar à quelques dizaines de dollars pour un petit jeu de données.

Le poste principal est la préparation des exemples : 100 heures d'expert pour 2 000 exemples validés en trois minutes chacun, auxquelles s'ajoutent les tests et la maintenance.

Peut-on combiner fine-tuning et RAG ?

Oui, et c'est souvent l'étape suivante.

Le RAG fournit les faits à jour, le fine-tuning règle le ton, le format et la façon de citer.

Commencez par le RAG, mesurez ses défauts, puis ajoutez un fine-tuning léger si les erreurs portent sur le comportement.

Par où commencer pour personnaliser votre LLM

Commencez par un prompt sérieux et un jeu de test de cinquante cas réels.

Ajoutez un RAG dès que les réponses dépendent de vos documents.

Décidez d'un fine-tuning léger seulement si les erreurs restantes portent sur le ton, le format ou la classification, et si vous disposez de plusieurs centaines d'exemples validés.

Chez Apsodia, nous démarrons toujours par un atelier de cadrage sur vos documents réels, avant de chiffrer quoi que ce soit.

Notre agence spécialisée en intelligence artificielle teste votre cas et vous dit laquelle de ces voies tient la route.