Superviser ses IA : ce que 18 ans en industrie m'ont appris

Vous vous allongez dans une cabine de bronzage. La machine a été contrôlée. Déclarée conforme. Vous faites confiance.

Sauf que personne n'a jamais mesuré la marge d'erreur du contrôle.

Puis un jour, le responsable technique de Dekra me demande de l'estimer. Résultat : ±20% d'erreur sur une mesure.

Concrètement : une machine mesurée "en dessous du seuil" pouvait en réalité le dépasser. Conforme sur le papier. Potentiellement dangereuse en réalité.

L'instrument ne mentait pas. Mais le chiffre seul ne disait pas toute la vérité.

C'est exactement ce que font les entreprises avec l'IA aujourd'hui. Elles regardent la réponse. Jamais la marge d'erreur.

Personne ne vérifie ses IA

Posez-vous cette question : quand vous avez déployé (ou acheté) un outil IA dans votre entreprise, est-ce que quelqu'un a vérifié qu'il fonctionnait correctement ?

Pas "est-ce qu'il répond". Est-ce qu'il répond juste.

Dans l'industrie, personne n'utiliserait un appareil de mesure sans l'avoir vérifié. C'est impensable. C'est même réglementaire.

Pourtant, des entreprises déploient des agents IA sans aucun processus de vérification. Et elles leur font confiance pour répondre à leurs clients, traiter leurs données, prendre des décisions.

Trois risques concrets :

Les réponses fausses — avec assurance. L'IA ne dit jamais "je ne sais pas". Elle invente. Avec un aplomb parfait. Un agent qui répond à vos clients avec des informations incorrectes, c'est comme un contrôleur technique avec un outil défaillant. Il valide des choses dangereuses sans le savoir.

La fuite de données — silencieuse. Votre agent IA a accès à votre base documentaire. Vos contrats. Vos prix. Vos données clients. Si quelqu'un pose la bonne question au mauvais moment, l'agent peut divulguer des informations sensibles sans que personne ne s'en aperçoive.

La dérive — invisible. Ce qui fonctionnait en janvier peut dériver en mars. Les modèles sont mis à jour, les données changent, les utilisateurs trouvent des cas limites. Sans surveillance, la dégradation est silencieuse.

Quatre questions que vous ne posez pas

Ces risques ne sont pas des fatalités. Ce sont des problèmes connus — à condition de poser les bonnes questions.

J'ai passé 18 ans à vérifier des instruments de mesure dans l'industrie. Quand j'ai commencé à travailler avec l'IA, j'ai retrouvé les mêmes angles morts. Les mêmes erreurs. Les mêmes absences de contrôle.

1. Comment savez-vous si votre IA dit vrai ?

Votre agent IA répond à une question client. La réponse a l'air correcte. Mais l'avez-vous vérifiée ?

Dans l'industrie, avant d'utiliser un instrument de mesure, on le compare à une référence connue. On appelle ça l'étalonnage. Si l'écart est trop grand, on corrige. Si on ne peut pas corriger, on n'utilise pas l'instrument.

Pour votre IA, c'est la même logique : préparez une dizaine de questions dont vous connaissez la bonne réponse. Passez votre agent dessus. Mesurez l'écart.

C'est basique. Presque personne ne le fait.

2. Votre IA se trompe. La question c'est : combien ?

Dans l'industrie, on n'élimine jamais l'erreur. On la quantifie. Chaque mesure s'accompagne d'une marge : ±0,5°C, ±2%. C'est ce qui permet de décider en connaissance de cause.

L'IA a aussi une marge d'erreur. Elle ne sera jamais juste à 100%. La question n'est pas "est-ce qu'elle se trompe ?" — elle se trompe. La question est : à quelle fréquence, et sur quels sujets ?

C'est l'histoire des cabines UV : le chiffre seul ne suffit pas. Il faut connaître la marge pour savoir si vous êtes réellement du bon côté de la limite.

3. Ce qui marchait en janvier marche-t-il encore en mars ?

Tout instrument dérive avec le temps. C'est physique. Inévitable. C'est pour ça que l'industrie planifie des vérifications périodiques.

L'IA dérive aussi. Les modèles sont mis à jour par leurs éditeurs. Les données changent. Les utilisateurs trouvent des cas limites. Ce qui fonctionnait au déploiement peut se dégrader sans alerte, sans signal.

Un instrument qu'on ne revérifie jamais, on finit par lui faire confiance à tort. Une IA qu'on ne reteste jamais, c'est pareil.

4. Si ça dérape, pouvez-vous comprendre pourquoi ?

Dans l'industrie, chaque vérification est tracée. Date, résultat, opérateur, conditions. Si un problème survient, on remonte la chaîne. On identifie la cause.

Pour l'IA : qui a posé quelle question ? Quelle réponse a été générée ? Avec quelles données ? Et surtout — qui vérifie que l'agent ne peut pas être manipulé ou détourné ?

Les failles des systèmes IA sont connues et documentées. Injection de prompt, fuite de données sensibles, déni de service. Ce sont des sources d'erreur identifiées — exactement comme les défauts qu'on traque sur un instrument.

Si vous ne tracez pas, vous ne savez rien. Et quand ça dérape, vous ne pouvez pas comprendre pourquoi.

4 questions pour superviser vos IA

Vos clés pour reprendre le contrôle

Quatre questions, c'est bien. Mais concrètement, on fait quoi ?

Vous n'avez pas besoin de devenir ingénieur IA. Vous avez besoin de poser les bonnes questions et d'installer les bons réflexes.

Si vous achetez de l'IA : 4 questions à poser à votre prestataire

Avant de signer quoi que ce soit, posez ces questions. Les réponses vous diront si votre prestataire est sérieux — ou s'il vend de la magie.

"Comment vérifiez-vous que les réponses sont justes ?" Si la réponse est "ça marche bien" ou "le modèle est fiable" — méfiance. Vous cherchez un process de test concret, avec des scénarios de référence.

"Quelle est la marge d'erreur, et sur quels sujets ?" Si la réponse est "ça n'arrive pas" — fuyez. Toute IA se trompe. Un prestataire sérieux le sait, le mesure, et vous le dit.

"Comment détectez-vous que les performances se dégradent ?" Si la réponse est "on met à jour régulièrement" — insuffisant. Vous cherchez du monitoring, des alertes, des tests récurrents.

"Puis-je tracer et auditer ce que l'IA fait avec mes données ?" Si la réponse est "c'est dans le cloud" — c'est une non-réponse. Vous cherchez des logs, une traçabilité, une politique d'accès claire.

Un prestataire qui botte en touche sur ces questions, c'est un fabricant d'instruments qui refuse de montrer son certificat d'étalonnage. Vous n'achèteriez pas son appareil. Ne lui confiez pas vos données.

Si vous avez déjà de l'IA : la checklist de supervision

Vous n'avez pas besoin de tout refaire. Vous avez besoin d'un minimum de rigueur.

Niveau 1 — Le minimum vital (cette semaine)

Identifiez les 5 questions les plus fréquentes posées à votre IA
Vérifiez manuellement les réponses. Sont-elles justes ?
Notez les erreurs. C'est votre premier "étalonnage"

Niveau 2 — La routine (chaque mois)

Repassez les mêmes 5 questions. Les réponses ont-elles changé ?
Demandez à un utilisateur différent de tester. Voit-il les mêmes résultats ?
Documentez : qui utilise l'IA, pour quoi, avec quelles données

Niveau 3 — Le système (chaque trimestre)

Testez des cas limites. Des questions pièges. Des formulations inhabituelles.
Vérifiez que l'IA ne divulgue pas d'informations sensibles
Revoyez les accès : qui peut interroger quoi ?
Prévoyez un plan B si l'IA tombe ou déraille

Synthèse

Que vous achetiez ou que vous ayez déjà de l'IA, le principe est le même.

L'IA n'est pas magique. C'est un instrument.

Un instrument non vérifié ne vous protège pas. Il vous donne l'illusion que tout va bien.

Vérifiez vos outils. Mesurez la marge. Tracez les résultats.

C'est ce que l'industrie fait depuis des décennies. Il est temps de l'appliquer à l'IA.

Vous voulez savoir si votre IA est fiable — ou si elle vous raconte des histoires avec assurance ?

Je fais des diagnostics de systèmes IA pour les PME industrielles. 30 minutes. Pas de jargon. Juste de la clarté.

Réservez un créneau