Faire évoluer Ollama et Open WebUI : ce qui change quand beaucoup de personnes posent des questions

Pourquoi le test atteint-il ses limites ?

Un test avec Ollama et Open WebUI tourne souvent sur un seul ordinateur : Ollama exécute le modèle, Open WebUI enregistre les comptes, les conversations et les documents dans des bases SQLite intégrées. Pour dix personnes, cela fonctionne bien. Quand leur nombre augmente, deux goulets d’étranglement apparaissent : le modèle, qui traite les requêtes les unes après les autres, et l’interface, conçue comme un processus unique avec une base de données locale.

Qu’est-ce qui limite Ollama ?

Selon sa documentation, Ollama traite par défaut une requête par modèle à la fois (OLLAMA_NUM_PARALLEL) ; les suivantes attendent dans une file pouvant aller jusqu’à 512. On peut configurer davantage de parallélisme. La mémoire nécessaire croît alors avec le nombre de requêtes simultanées multiplié par la longueur du contexte : quatre requêtes avec chacune 8 000 tokens de contexte demandent autant de mémoire qu’une seule avec 32 000.

En août 2025, Red Hat a comparé Ollama et vLLM sur le même GPU, avec 1 à 256 personnes simultanées. vLLM a atteint en pointe 793 tokens par seconde, Ollama 41 ; même avec 32 requêtes parallèles, Ollama restait en retrait. Red Hat destine Ollama aux personnes seules et vLLM aux nombreuses requêtes simultanées. Le test portait sur un petit modèle et une seule carte ; d’autres mesures montrent des écarts plus faibles.

Qu’est-ce qui change avec vLLM ?

vLLM est un logiciel open source sous licence Apache 2.0 qui regroupe les requêtes en continu et gère la mémoire des conversations par blocs. En contrepartie, il est plus exigeant : il tourne sous Linux avec des GPU, et le modèle, la répartition de la mémoire, la longueur du contexte et le format des appels d’outils doivent être réglés en conséquence. Pour plusieurs GPU ou serveurs s’ajoutent le découpage du modèle et la répartition de charge. Le nombre de questions qu’un serveur traite en même temps dépend du modèle et de la longueur des conversations ; seul un test de charge avec vos propres tâches donne un chiffre fiable.

De quoi Open WebUI a-t-il besoin pour beaucoup de personnes ?

Pour plusieurs processus ou instances, la documentation d’Open WebUI décrit :

Élément	Dans le test	Pour beaucoup de personnes
Base de données	SQLite, intégrée	PostgreSQL, externe ; SQLite n’est pas pris en charge pour plusieurs instances
État partagé	aucun	Redis, pour les paramètres, les sessions et les websockets
Base vectorielle pour la recherche dans les documents	Chroma, intégrée	service dédié, par exemple PGVector, Qdrant ou Milvus ; Chroma intégrée n’est pas sûre pour plusieurs processus
Fichiers	répertoire local	stockage partagé ou stockage objet
Texte des documents	extraction intégrée	service dédié comme Tika ou Docling
Clé secrète	propre à chaque installation	identique sur toutes les instances

Pour les petites équipes de moins de 50 personnes, la documentation recommande PostgreSQL et Redis ; à partir de plusieurs processus, de plusieurs instances ou de plus de 1 000 personnes, ils sont indispensables, avec une base vectorielle externe.

Qu’est-ce que cela signifie pour l’exploitation ?

Deux programmes deviennent cinq à huit services : serveur de modèle, interface, PostgreSQL, Redis, base vectorielle, stockage de fichiers, service d’extraction du texte des documents et, en amont, un répartiteur de charge avec certificat. Chacun demande des mises à jour, une supervision, des sauvegardes et un plan en cas d’incident. S’y ajoutent des tests de charge à chaque nouveau modèle ou nouvelle version. Le guide Mises à jour de sécurité pour une pile d’IA construite en interne décrit à quoi ressemble un processus de mises à jour de sécurité ; le guide « Exploiter l’IA soi-même ou acheter une plateforme » calcule ce que cela mobilise en personnel.

Comment cela fonctionne-t-il avec basebox ?

basebox utilise vLLM pour le modèle d’IA et répartit automatiquement les requêtes sur les GPU. Selon la classe, un serveur répond à 100, 150 ou plus de 200 questions au même moment, avec un début de réponse en moins de 2 secondes ; les requêtes suivantes sont réparties à tour de rôle. Au-delà de 2 000 personnes, basebox tourne sur du matériel plus puissant que vous achetez vous-même ; les apps, les droits et la connexion restent les mêmes. Dans le cloud, nous prenons en charge l’exploitation et les mises à jour. Si vous disposez déjà de matériel avec des GPU, nous vérifions gratuitement au préalable s’il suffit.

Remarque : Informations sur Ollama, vLLM et Open WebUI d’après leur documentation et le test cité, état au 11 octobre 2026. Ces logiciels évoluent vite ; consultez la documentation actuelle de votre version.