Un LLM local permet à une entreprise d’exécuter un modèle de langage sur son propre serveur, au lieu d’envoyer chaque question vers un service d’IA sur Internet. Cette approche peut mieux maîtriser certains flux de données. Cependant, elle demande du matériel, des compétences et une organisation solide. Il faut donc comparer trois options : le déploiement sur site, le cloud privé ou dédié, et l’API d’un fournisseur.
Le bon choix ne dépend pas seulement de la taille du modèle. Il dépend aussi des données utilisées, du nombre de personnes connectées, du niveau de qualité attendu, de la vitesse souhaitée et de la capacité de l’entreprise à maintenir son service dans le temps.
LLM local : définition et périmètre réel
Un grand modèle de langage, ou LLM, est un logiciel capable de comprendre et de produire du texte. Il peut résumer un document, répondre à une question, classer un e-mail ou aider à rédiger. Un LLM local désigne généralement un modèle qui fonctionne sur une machine contrôlée par l’organisation : poste de travail, serveur interne ou infrastructure administrée par l’entreprise.
Toutefois, le modèle ne représente qu’une partie de la solution. Pour créer un assistant utile aux salariés, l’entreprise doit souvent prévoir :
- un moteur d’inférence, c’est-à-dire le programme qui exécute le modèle ;
- une interface de discussion ou une API interne ;
- une gestion des identités et des droits d’accès ;
- des journaux techniques pour repérer les incidents ;
- éventuellement un système RAG qui cherche des informations dans les documents de l’entreprise.
Autrement dit, installer un modèle sur un serveur ne suffit pas. L’entreprise doit aussi contrôler les documents consultés, les réponses produites et les accès accordés.
Local, sur site, cloud privé et API : des notions différentes
Le terme sur site, aussi appelé on premise, désigne une infrastructure que l’organisation exploite dans ses locaux ou administre directement. Un serveur dédié dans un centre de données externe ne devient donc pas automatiquement une installation sur site.
Un cloud privé ou dédié réserve des ressources à une organisation. En revanche, le prestataire peut encore gérer une partie de l’exploitation, de l’administration ou des sauvegardes. Il faut donc lire le contrat et examiner l’architecture réelle, pas seulement l’étiquette commerciale.
Enfin, une API fournit un service distant : l’application envoie une requête puis reçoit une réponse. Cette option évite d’installer une infrastructure. En contrepartie, l’entreprise doit vérifier les données envoyées, les paramètres de traitement et les conditions d’usage.
Open source et open weight ne signifient pas la même chose
Un modèle peut rendre ses poids accessibles sans ouvrir tout son code, ses données d’entraînement ou ses droits de modification. On parle alors souvent de open weight. À l’inverse, le terme open source concerne habituellement un logiciel dont le code est disponible selon une licence précise.
Cette différence compte pour un projet professionnel. Avant d’utiliser un modèle, vérifiez la licence de sa version exacte, les droits d’usage commercial, les règles de redistribution et les éventuelles obligations. Les licences évoluent selon les modèles et les versions. Consultez donc la documentation et la model card officielles.
Comparatif : LLM local, cloud privé ou API
Les trois architectures peuvent convenir à une entreprise. Le tableau suivant fournit un premier repère. Ensuite, une décision sérieuse demande une analyse des flux, des risques et du coût total.
| Critère | Sur site | Cloud privé ou dédié | API distante |
|---|---|---|---|
| Maîtrise technique | Très élevée | Partagée | Limitée |
| Mise en route | Plus longue | Intermédiaire | Rapide |
| Capacité variable | À prévoir | Souvent adaptable | Souvent adaptable |
| Maintenance | À organiser en interne | Partagée selon le contrat | Le fournisseur assure une grande partie |
Confidentialité et LLM local : contrôler les flux de données
Un LLM local peut réduire les transferts vers un tiers lorsque tous les composants restent dans l’environnement de l’entreprise. Néanmoins, l’équipe doit vérifier ce point. Une interface peut envoyer de la télémétrie, un connecteur peut appeler un service externe et une sauvegarde peut partir vers un autre environnement.
Dans un cloud privé, l’organisation doit identifier la localisation des données, les sous-traitants, les accès d’administration, les sauvegardes, les conditions de chiffrement et les procédures de sortie. La présence d’un centre de données en France ne résume pas, à elle seule, la sécurité, le droit applicable ou la souveraineté.
Avec une API, l’organisation doit connaître les règles qui concernent les prompts, les fichiers, les journaux et les données pouvant améliorer ou non le service. La CNIL explique les précautions à prendre avec l’IA générative, notamment pour les données personnelles, sensibles ou stratégiques. Un déploiement sur site peut aider dans certains cas, mais il ne rend pas automatiquement un projet conforme.
Qualité, vitesse et nombre d’utilisateurs
Une API peut donner accès rapidement à des modèles puissants et à une capacité qui varie selon la demande. Cependant, la vitesse dépend aussi du réseau, des limites du service et de la longueur des requêtes.
De son côté, une installation sur site peut offrir une latence régulière sur le réseau interne. Pourtant, l’entreprise doit prévoir les pics d’activité. Une machine suffisante pour une démonstration avec une personne peut ralentir lorsque plusieurs équipes posent des questions en même temps.
La qualité ne se mesure pas avec un seul benchmark public. Par exemple, un assistant juridique, un outil de support interne et un outil de résumé n’ont pas les mêmes besoins. Il vaut donc mieux tester plusieurs solutions avec des demandes représentatives, autorisées et anonymisées lorsque cela est possible.
Coûts visibles et coût total
Une API présente souvent un coût simple à démarrer : l’entreprise paie selon une consommation ou un abonnement. Cependant, les dépenses peuvent évoluer avec le nombre de requêtes, la longueur des documents et l’usage réel.
À l’inverse, héberger une IA en interne demande aussi des dépenses moins visibles : serveur, accélérateurs graphiques, stockage, réseau, énergie, sauvegardes, supervision, correctifs, sécurité et temps des équipes. Il faut également prévoir les indisponibilités, le renouvellement du matériel et les évolutions des modèles.
Le bon calcul consiste à comparer plusieurs scénarios sur une période définie, avec les mêmes hypothèses d’usage. Sans cette méthode, dire qu’un modèle local coûte toujours moins cher qu’une API serait trompeur.
Quel matériel faut-il pour héberger un LLM local ?
Il n’existe pas de configuration universelle pour un LLM local. Le matériel dépend du modèle choisi, de sa précision, de la longueur des documents, du nombre de personnes simultanées et de la vitesse attendue.
Paramètres, quantification et mémoire
Le nombre de paramètres donne une idée de la taille d’un modèle, mais il ne suffit pas pour prévoir ses besoins. L’équipe doit aussi compter la mémoire des poids, le contexte de conversation, le cache pendant la génération et les autres composants techniques.
La quantification réduit la précision numérique de certains calculs afin de diminuer la mémoire nécessaire. Ainsi, elle peut faciliter l’exécution sur un matériel plus modeste. Toutefois, elle peut modifier la vitesse et, selon le modèle ou la tâche, la qualité de certaines réponses. Vérifiez toujours la documentation technique du modèle et de l’outil d’inférence choisi.
CPU, GPU et utilisateurs simultanés
Un modèle peut fonctionner sur processeur central, ou CPU. Cette approche peut convenir à un essai, à de petites tâches ou à un usage peu fréquent. En revanche, un GPU adapté accélère souvent la génération.
Un GPU peut traiter plus rapidement les calculs d’inférence. Néanmoins, l’équipe doit regarder sa mémoire disponible, pas uniquement sa puissance annoncée. Pour un service partagé, elle doit aussi mesurer le nombre de réponses produites pendant un pic, le temps d’attente et le comportement du système lorsqu’il atteint ses limites.
Avant d’acheter du matériel, réalisez donc un pilote avec le modèle, les documents et les volumes réels. Cette précaution évite de surdimensionner une machine coûteuse ou de déployer une solution trop lente pour les utilisateurs.
Un LLM local est-il vraiment plus confidentiel ?
Un LLM local peut limiter les sorties de données vers un fournisseur d’IA externe. Cependant, la confidentialité dépend de toute la chaîne technique et humaine. Une porte bien fermée ne protège pas une maison si une fenêtre reste ouverte : une architecture IA suit la même logique.
Les flux cachés à contrôler avec un LLM local
Avant d’affirmer qu’aucune donnée ne sort, cartographiez les flux suivants :
- les prompts et les réponses des utilisateurs ;
- les documents déposés dans un outil RAG ;
- l’index vectoriel qui retrouve les passages utiles ;
- les journaux d’erreurs, traces techniques et outils de supervision ;
- les sauvegardes et les copies de test ;
- les connecteurs vers une messagerie, un stockage documentaire ou un ERP ;
- les mises à jour de logiciels, de bibliothèques et de modèles ;
- les accès d’administration à distance.
Un RAG local peut aider à interroger une base documentaire sans entraîner un nouveau modèle. Pour autant, l’organisation doit appliquer les droits documentaires : un salarié ne doit pas retrouver par l’IA un fichier qu’il ne peut pas ouvrir normalement. Pour approfondir ce point, consultez notre guide sur le fonctionnement et les limites du RAG.
RGPD, sécurité et responsabilités
Le lieu d’hébergement ne remplace ni une analyse juridique ni une démarche de cybersécurité. Le RGPD concerne notamment la finalité du traitement, la base légale, l’information des personnes, la minimisation des données, la durée de conservation et les mesures de protection.
De même, un serveur installé dans les locaux peut rester mal protégé s’il utilise des mots de passe faibles, des droits trop larges ou des correctifs en retard. L’ANSSI recommande de sécuriser les systèmes d’IA générative dès leur conception, avec une analyse de risque, un cloisonnement, des contrôles d’accès, une journalisation et des tests de sécurité.
Dans un projet sérieux, chaque acteur doit connaître son rôle : les métiers définissent le besoin, la DSI exploite l’environnement, le RSSI encadre les risques de sécurité et le DPO intervient sur les données personnelles. Les obligations liées au règlement européen sur l’IA dépendent aussi du rôle de l’organisation et du système déployé. Elles ne dépendent donc pas uniquement de l’emplacement du modèle.
Dans quels cas choisir chaque architecture ?
Choisir un LLM local
Le déploiement local convient lorsque les données sont très sensibles, lorsque l’organisation doit fonctionner avec une connexion Internet limitée ou lorsque le contrôle technique reste prioritaire. Il convient aussi aux équipes capables d’assurer la maintenance, les sauvegardes, les mises à jour et la supervision.
En revanche, cette option convient moins si l’entreprise ne possède pas de compétences d’exploitation ou si son besoin change fortement d’un mois à l’autre.
Choisir un cloud privé ou dédié
Le cloud privé ou dédié peut représenter un compromis pour une organisation qui souhaite un environnement isolé sans gérer elle-même tout le matériel. Cette solution demande toutefois une vérification précise des garanties contractuelles, des accès du prestataire et de la réversibilité.
Pour les systèmes sensibles, l’entreprise doit adapter son choix de cloud à la sensibilité du système d’information et au niveau de menace. Une qualification éventuelle concerne une offre précise. Il ne faut donc pas l’attribuer à tous les services d’un prestataire.
Choisir une API
Une API peut convenir pour tester rapidement un usage, accéder à des modèles variés ou absorber une demande irrégulière. Elle peut aussi simplifier l’exploitation quotidienne. Néanmoins, l’entreprise accepte alors une dépendance plus forte au fournisseur, aux évolutions du service et à sa tarification.
Cette option convient mieux aux données publiques, peu sensibles ou correctement filtrées, à condition que l’entreprise valide les paramètres de confidentialité et les clauses applicables.
Choisir une architecture hybride
Une architecture hybride évite parfois un choix trop rigide. Par exemple, l’entreprise peut traiter les demandes contenant des documents confidentiels avec un modèle local et envoyer des tâches générales de rédaction vers une API approuvée.
Ce routage doit rester simple à comprendre. Il faut définir quelles données vont vers chaque service, empêcher les contournements et conserver une trace des décisions. Une architecture hybride apporte de la souplesse, mais aussi une gouvernance plus complexe.
Comment tester un LLM local avant d’investir
Le meilleur moyen de choisir n’est pas une démonstration commerciale, mais un pilote limité et mesurable. Commencez par un cas d’usage précis : résumer des procédures, aider un support interne ou rechercher une information dans une documentation autorisée.
Construire un jeu d’évaluation métier
Préparez des questions réelles, mais contrôlées. Incluez des demandes simples, des formulations ambiguës, des documents contradictoires et des questions auxquelles le système doit refuser de répondre. Pour chaque cas, indiquez ce qu’une bonne réponse doit contenir et ce qu’elle ne doit jamais inventer.
La validation humaine reste indispensable, surtout lorsque l’IA peut influencer une décision, un client, un salarié ou un processus sensible. L’objectif n’est pas d’obtenir une réponse parfaite à chaque fois. Il consiste plutôt à connaître les limites du système avant sa généralisation.
Mesurer coût, latence et capacité réelle
Mesurez le temps de première réponse, le temps total de génération, le nombre d’utilisateurs simultanés, les erreurs, les refus et la consommation de ressources. Testez aussi une charge normale puis une charge plus forte. Ensuite, notez les hypothèses pour conserver une comparaison reproductible.
Enfin, prévoyez un retour arrière : export des données, sauvegarde des paramètres, compatibilité des interfaces et possibilité de changer de modèle. Une interface compatible avec une API connue peut faciliter le remplacement d’un composant. Toutefois, cette compatibilité ne garantit pas que toutes les fonctions ou tous les résultats restent identiques.
Arbre de décision pour choisir un LLM d’entreprise
Posez-vous quatre questions dans l’ordre :
- Les données sont-elles publiques, internes, confidentielles, personnelles ou critiques ?
- La qualité du modèle et la capacité à absorber des pics comptent-elles davantage que le contrôle de l’infrastructure ?
- L’entreprise sait-elle exploiter un serveur IA de façon sûre, durable et mesurée ?
- Peut-elle tester un pilote avec des critères précis avant de signer un contrat ou d’acheter du matériel ?
Si la confidentialité et l’isolement priment, un LLM local ou un environnement dédié mérite une étude. Si la vitesse de lancement et l’élasticité priment, une API peut mieux répondre au besoin. Dans de nombreux cas, une architecture hybride offre un équilibre utile, à condition de maîtriser les règles de routage et les flux de données.
Pour cadrer le projet dans son ensemble, notre guide sur le choix d’une solution IA pour entreprise aide à relier le besoin métier, la sécurité, les coûts et les indicateurs de réussite. Si votre projet concerne des agents capables d’utiliser des outils, consultez aussi notre analyse des agents IA open source, du local et des coûts réels.
Conclusion : quelle architecture choisir pour un LLM local ?
Un LLM local peut convenir aux organisations qui doivent renforcer le contrôle technique et limiter certains transferts de données. Cependant, cette option demande des compétences, du matériel et une maintenance continue. Le cloud privé peut offrir un compromis, tandis qu’une API facilite souvent un démarrage rapide. Testez donc chaque option sur un cas d’usage réel avant de choisir.
FAQ sur le LLM local
Un LLM local fonctionne-t-il obligatoirement sans Internet ?
Non. Le modèle peut fonctionner sans Internet si l’équipe prépare l’environnement pour cela. Toutefois, les mises à jour, le téléchargement initial, la télémétrie, les connecteurs ou les sauvegardes peuvent créer des échanges réseau. Il faut donc les repérer et les configurer.
Peut-on utiliser un LLM local sans carte graphique ?
Oui, un modèle peut fonctionner sur CPU. Cependant, la génération peut devenir plus lente. Cette option convient souvent à un test, à un usage individuel ou à des tâches peu fréquentes. Pour plusieurs utilisateurs simultanés, un GPU ou une infrastructure adaptée peut devenir nécessaire.
Un LLM local garantit-il la conformité au RGPD ?
Non. Le local peut réduire certains transferts, mais il ne règle pas automatiquement les questions de finalité, de droits d’accès, de durée de conservation, de sécurité ou d’information des personnes. Une analyse adaptée au traitement reste nécessaire.
Quelle différence existe-t-il entre un LLM local et un cloud privé ?
Un LLM local fonctionne dans un environnement que l’organisation contrôle directement. Un cloud privé ou dédié fournit des ressources réservées, mais un prestataire peut exploiter une partie de l’infrastructure. L’organisation doit donc documenter les responsabilités et les flux.
Peut-on connecter un LLM local aux documents de l’entreprise ?
Oui, avec un système RAG local. Il cherche des passages utiles dans une base documentaire avant de générer une réponse. Cependant, l’organisation doit respecter les droits d’accès, isoler les index si nécessaire et vérifier que les sources restent à jour.
Quelle licence faut-il contrôler avant un usage commercial ?
Vérifiez la licence de la version précise du modèle, sa model card, les conditions de redistribution, les restrictions d’usage et les licences des logiciels qui l’accompagnent. La disponibilité des poids ne signifie pas automatiquement que tous les usages professionnels sont autorisés.




