Surveillant notamment régulièrement ma tension artérielle, m’est venue l’idée d’utiliser des intelligences artificielles (IA) génératives de confiance pour analyser des mesures, faire des moyennes, voire anticiper des tendances. Sauf que, très vite, je me suis rendu à une évidence: laissées à elles-mêmes, elles sont parfois incapables de calculs simples et fiables.

Ces systèmes, qui semblent «intelligents», sont en réalité fondés sur des probabilités de mots, pas sur un véritable raisonnement logique ou numérique. Ils peuvent donc produire des réponses qui paraissent convaincantes, mais qui sont mathématiquement fausses, voire totalement incohérentes, surtout hors de leur domaine d’entraînement. Et on a beau leur indiquer leurs erreurs, les rectifications sont aussi fausses.

Entre hallucinations et erreurs de calcul

Le problème n’est pas seulement théorique: dans la pratique, on observe régulièrement des IA qui inventent des nombres, additionnent mal, ou confondent unités et échelles. Un exemple classique: demander une moyenne de tension sur plusieurs relevés peut déjà donner un résultat erroné, simplement parce que le modèle «imagine» une réponse plausible plutôt que de l’extraire par un calcul rigoureux.

Ces erreurs ne sont pas des bugs isolés, mais une caractéristique structurelle des IA génératives de langage: elles ne «comprennent» pas vraiment ce qu’elles manipulent. Elles sont conçues pour générer du texte cohérent, pas pour faire de la mathématique exacte, sauf si on les couple à des outils spécialisés ou que l’on choisit des modèles plus performants en la matière, notamment Claude.

Une source d’inspiration et une aide

En rester à l’idée que l’IA mesure et calcule systématiquement parfaitement serait dangereux. Mais l’IA peut rester utile si on la place dans un rôle de «second lecteur» et non de décideur: elle peut aider à reformuler des observations, à organiser des tableaux, à suggérer des pistes de discussion ou à vous aider à traiter sérieusement vos données dans un tableur comme Excel!

La règle d’or reste celle que je répète souvent: si vous n’êtes pas capable d’évaluer le résultat produit par une IA générative, il ne faut pas l’utiliser pour cette tâche. Dans le domaine de la santé, cette prudence est encore plus impérative: une erreur de calcul, une interprétation abusive ou une hallucination ne sont pas souhaitables. Et on ne parle pas des problèmes de confidentialité…

Xavier Studer