Faire évoluer une plateforme d'IA : des modèles plus grands ou plus de personnes ?
Une plateforme d'IA grandit dans deux directions qu'il faut distinguer. Un modèle plus grand a besoin de plus de mémoire sur les GPU, quel que soit le nombre de personnes qui posent des questions. Plus de personnes demandent plus de puissance de calcul pour les questions simultanées, même avec le même modèle. Des GPU supplémentaires répondent aux deux, mais le calcul diffère. Les apps, les droits et les connexions restent les mêmes.
Pourquoi deux directions ?
Quand on parle de « plus d’IA », on désigne souvent deux choses différentes :
| Modèle plus grand | Plus de personnes | |
|---|---|---|
| Ce qui change | de meilleures réponses pour les tâches difficiles, par exemple de longs textes spécialisés | plus de questions au même moment |
| Ce qu’il faut | plus de mémoire pour le modèle lui-même | plus de mémoire et de temps de calcul pour les conversations en cours |
| Dépend de | la taille du modèle | le nombre de personnes qui posent des questions en même temps et la longueur des textes |
| Se remarque par | un modèle ne tient pas sur le matériel | les réponses commencent plus tard aux heures de pointe |
Le nombre de comptes ne joue ici presque aucun rôle. Ce qui compte, c’est combien de personnes attendent une réponse au même moment et avec quelle quantité de texte elles travaillent.
De quoi un modèle plus grand a-t-il besoin ?
Un modèle de langage réside entièrement dans la mémoire des GPU. Quand le modèle grandit, le besoin en mémoire grandit avec lui, même si une seule personne pose une question. Les versions compressées d’un modèle demandent moins de mémoire, mais coûtent un peu de précision. Un modèle plus grand signifie donc des GPU plus nombreux ou plus grands, qui portent ensemble un même modèle.
La pratique montre si un modèle plus grand est nécessaire : les réponses suffisent-elles pour les tâches auxquelles la plateforme est destinée ? Pour les brouillons, les résumés et les informations tirées de documents, un modèle de taille moyenne suffit souvent ; pour de longs textes juridiques ou médicaux, un modèle plus grand peut être meilleur.
De quoi plus de personnes ont-elles besoin ?
Chaque question en train d’être traitée occupe de la mémoire supplémentaire, d’autant plus que le texte est long : un court échange peu, un long document beaucoup. Quand la place se fait rare, les questions suivantes attendent un court instant. Plus de personnes signifie donc plus de mémoire pour les conversations en cours, c’est-à-dire des GPU supplémentaires sur lesquels le même modèle s’exécute une fois de plus et entre lesquels les questions sont réparties.
À titre indicatif : selon la classe, les serveurs de basebox répondent à 100, 150 ou plus de 200 questions au même moment. Cela suffit pour environ 200 à 2 000 personnes, car jamais toutes ne posent de question en même temps.
Qu’est-ce qui aide dans quel cas ?
| Constat | Ce qui aide |
|---|---|
| Les réponses sont bonnes, mais commencent plus tard aux heures de pointe | plus de GPU pour le même modèle |
| Les réponses aux tâches difficiles ne suffisent pas | un modèle plus grand, et donc plus de mémoire sur les GPU |
| Les deux | d’abord choisir le modèle, puis le nombre de GPU selon l’usage |
| Les longs documents ralentissent tout le monde | déposer les documents dans des collections de connaissances au lieu de les téléverser en entier à chaque fois |
Comment cela se passe-t-il avec basebox ?
basebox grandit sans que rien ne change pour les collaborateurs : les apps, les droits, les connexions et les journaux restent les mêmes ; seule la puissance de calcul augmente. Dans le cloud, nous nous en chargeons. Avec le serveur de basebox, vous choisissez la classe selon le nombre de personnes ; au-delà d’environ 2 000 personnes, basebox s’exécute sur du matériel plus puissant que vous achetez vous-même, par exemple chez HPE ou Dell, et la licence dépend des GPU. basebox peut en outre connecter d’autres serveurs équipés de GPU via leur API. Nous déterminons avec vous au préalable quel matériel convient à votre modèle et à votre usage ; les détails techniques figurent dans la documentation basebox.
Questions fréquentes
Un modèle plus grand a-t-il besoin de plus de GPU ?
Oui. Le modèle doit tenir entièrement dans la mémoire des GPU, avec en plus de la place pour les conversations en cours. Un modèle comptant deux fois plus de paramètres a besoin d'environ deux fois plus de mémoire, quel que soit le nombre de personnes qui l'utilisent.
Qu'est-ce qui limite le nombre de personnes pouvant travailler en même temps ?
Avant tout la mémoire des GPU réservée aux conversations en cours. Chaque question en train d'être traitée occupe de la place, d'autant plus que le texte sur lequel elle travaille est long. Quand la place est pleine, les questions suivantes attendent un court instant qu'elle se libère.
Faut-il changer de système en grandissant ?
Pas avec basebox. Les apps, les droits, les connexions et les journaux restent les mêmes ; seule la puissance de calcul augmente. Dans le cloud, nous nous en chargeons ; avec le serveur, des GPU sont ajoutés.
Un deuxième serveur à côté suffit-il ?
Plus de performance vient surtout de plus de mémoire sur les GPU. basebox peut connecter d'autres serveurs équipés de GPU via leur API ; nous déterminons avec vous au préalable quel matériel est pertinent.
Sources
Cet article a été créé avec l’aide de l’IA, sur la base des sources citées. Responsable du contenu : basebox GmbH. Ceci n’est pas un conseil juridique, aucune responsabilité. État de la recherche : 19 octobre 2026.