Nouveau modèle d'IA : comment vérifier après un changement que tout fonctionne encore

Pourquoi un nouveau modèle change-t-il les résultats ?

Chaque modèle d’IA répond différemment : en longueur et en ton, dans le choix des sources, dans le respect des formats et dans l’appel d’outils. Un nouveau modèle est en général meilleur en moyenne, mais il peut moins bien résoudre certaines tâches. En 2023, des chercheurs de Stanford et de Berkeley ont comparé les versions de mars et de juin de modèles de langage connus : sur certaines tâches, elles différaient nettement, tantôt en mieux, tantôt en moins bien.

Pour un établissement, cela signifie qu’une app qui rédige une lettre de sortie ou une décision administrative selon une structure fixe peut, après le changement, intervertir des sections, omettre des informations ou citer les sources autrement, alors que l’instruction et les documents sont restés les mêmes.

Que faut-il vérifier après un changement ?

Critère	Question	Exemple
Contenu	Les affirmations sont-elles justes, manque-t-il quelque chose ?	médication complète dans la lettre
Sources	Les bons passages sont-ils cités ?	recommandation actuelle plutôt qu’une version obsolète
Format	La réponse respecte-t-elle la structure ?	plan de la décision administrative
Langue	Allemand, langage spécialisé, langage simplifié comme prévu ?	pas de passages en anglais
Outils	Les systèmes connectés sont-ils interrogés correctement ?	bonne boîte mail, bonne recherche
Limites	L’IA refuse-t-elle ce qu’elle doit refuser ?	pas de diagnostic sans fondement
Rapidité	La réponse arrive-t-elle dans un délai utilisable ?	même avec beaucoup de personnes en même temps

Comment constituer un ensemble de cas de test ?

1. Choisir les apps importantes : les plus utilisées et celles dont les erreurs ont les conséquences les plus lourdes.
2. Consigner les cas : pour chaque app, quelques entrées typiques et difficiles, avec les documents correspondants.
3. Décrire le résultat attendu : que doit contenir la réponse, que ne doit-elle pas contenir ? Une réponse modèle aide.
4. Exécuter avant le changement : enregistrer les résultats du modèle actuel.
5. Comparer après le changement : des spécialistes du service évaluent, pas seulement le service informatique.
6. Documenter le résultat : date, modèle et version, cas vérifiés, constat, décision.

En cas d’écarts, une instruction adaptée dans l’app aide souvent. Si un problème persiste, parlez-en au fournisseur.

Que dit l’AI Act ?

Pour la plupart des usages, comme les brouillons, les résumés et la recherche, une plateforme d’IA n’est pas un système d’IA à haut risque, et il n’existe pas d’obligation explicite de vérification après un changement de modèle. Une vérification reste une bonne pratique, car vous restez responsable des résultats.

Les règles sont plus strictes pour les systèmes à haut risque : les déployeurs les utilisent conformément à la notice d’utilisation et surveillent leur fonctionnement (art. 26). Quiconque modifie substantiellement un système à haut risque peut devenir lui-même fournisseur (art. 25 avec art. 3 point 23). Un changement de modèle peut constituer une telle modification si le fabricant ne l’a pas prévu. Pour les systèmes relevant de l’annexe III, ces obligations s’appliquent à partir du 2 décembre 2027 en vertu du règlement modificatif (UE) 2026/1744. Pour savoir si votre usage est concerné : Identifier une IA à haut risque. Pour les dispositifs médicaux, leurs règles s’appliquent en plus : L’IA est-elle un dispositif médical ?

Comment cela fonctionne-t-il avec basebox ?

basebox choisit le modèle d’IA et teste les nouveaux modèles avant leur arrivée : chat, textes longs, recherche dans les documents, appels d’outils, allemand et charge, avec des tâches issues de l’hôpital et de l’administration. Un nouveau modèle arrive par mise à jour, même sans Internet ; les apps, les droits et les données restent inchangés. Il n’y a pas de passage silencieux à un autre modèle. Le modèle et la version qui ont produit chaque réponse sont documentés, et un registre des modèles consigne le développeur, la version et la licence de chaque modèle.

Chaque version est accompagnée de notes de version, et vous êtes informé des nouvelles versions par e-mail. Rien ne s’installe automatiquement sur le serveur ; sans contrat d’exploitation, vous installez vous-même les mises à jour et pouvez préparer vos cas de test au préalable. Dans le cloud, basebox installe les mises à jour. Si vous souhaitez un modèle particulier, y compris le vôtre, nous le mettons en place sur demande.