IA en entreprise : le plus gros modèle n’est plus forcément le bon choix

Selon Gartner, les entreprises qui déploient de l’IA ont changé de réflexe. Elles ne choisissent plus automatiquement les modèles les plus gros. Elles regardent d’abord ceux qui collent le mieux à l’usage. Ce qui pèse dans la décision, c’est le ratio qualité-prix, avec trois critères en tête : le coût, la vitesse et le niveau de contrôle.

Pour classer des tickets, repérer des clauses dans des contrats ou résumer des documents internes, un modèle plus petit, ou taillé pour une tâche précise, suffit très souvent. Dans pas mal de situations, c’est même plus pratique qu’un modèle généraliste tout en haut des classements.

Ce basculement tient d’abord au coût d’inférence, c’est-à-dire au prix payé à chaque appel du modèle. À grande échelle, la note mensuelle peut monter à plusieurs millions et, même si le prix par token a baissé, la dépense totale continue souvent de grimper, toujours selon Gartner.

Pourquoi ? Parce que les workflows agentiques avalent bien plus de tokens par tâche qu’un simple aller-retour de questions-réponses.

Dans les directions techniques, le message est donc en train de se durcir : il n’y a plus de raison de payer pour de la puissance en trop. La règle devient assez simple. On dimensionne au plus juste, puis on retient le modèle le moins cher capable d’atteindre le niveau de qualité demandé.

Gartner donne un ordre de grandeur parlant : dans certains cas, un petit modèle comme Mistral 7B peut coûter plus de 200 fois moins par requête qu’un très grand système comme GPT-4, tout en répondant correctement à des besoins métier courants. La vraie question n’est donc plus : « quel est le meilleur modèle au classement ? » C’est plutôt : « lequel règle ce problème avec le meilleur ratio qualité-prix ? »

On voit logiquement progresser les architectures à plusieurs modèles. L’idée consiste à envoyer chaque requête vers le système le plus adapté, et le moins coûteux possible : un résumé vers un petit modèle rapide, une extraction structurée vers un modèle spécialisé, un raisonnement en plusieurs étapes vers un système plus puissant.

Cette orchestration, à elle seule, devient un avantage compétitif. Gartner estime ainsi que 40 % des applications d’entreprise intégreront des agents spécialisés d’ici à fin 2026, contre moins de 5 % un an plus tôt.

L’autre élément qui change la donne, c’est la progression très rapide des modèles compacts. Le chiffre avancé par Gartner surprend même un peu : entre 2022 et 2024, la taille nécessaire pour atteindre un même niveau de performance a été divisée par 142.

La recherche va dans le même sens. Certains travaux montrent qu’à budget de calcul égal, des modèles plus petits, entraînés sur davantage de données, peuvent faire mieux que des modèles plus grands entraînés sur moins de données.

En parallèle, les modèles ouverts tirent les prix vers le bas. Les modèles Llama de Meta et Qwen d’Alibaba ont chacun dépassé 1 milliard de téléchargements, selon Gartner, pendant que plusieurs acteurs chinois se rapprochent des performances américaines à un coût bien inférieur. Forcément, cela réduit la marge de manœuvre des fournisseurs de pointe quand ils essaient de facturer très cher des gains marginaux sur des usages généralistes.

Ça ne veut pas dire que les plus gros modèles sont dépassés. Ils gardent une vraie valeur pour les problèmes complexes, le raisonnement approfondi ou les tâches très interconnectées.

Mais dans le travail quotidien des entreprises, la valeur se déplace nettement ailleurs : vers une inférence moins chère, le routage, la sécurité, la gouvernance et l’orchestration de bout en bout, d’après Gartner.