Il y a quelques jours, nous avons évoqué ici le service Originality.ai, censé détecter les textes écrits par une intelligence artificielle (IA) générative. Si ce service est intéressant, il présente de sérieuses limites, comme nous l’avions constaté. Dans une lettre d’information, ce service tente d’expliquer pourquoi des textes rédigés par des humains sont attribués à des IA…

Dans son courriel, l’entreprise canadienne commence par clarifier la signification exacte des scores qu’elle génère. Pour commencer, un résultat de 80% ne signifie pas que 80% du texte a été écrit par une IA. En réalité, cela indique qu’il y a une probabilité de 80% qu’au moins une partie du contenu ait été générée par une IA de quelque nature que ce soit…

Gare aux  «faux positifs»

Cette distinction est importante, mais souvent mal comprise par les utilisateurs, selon Originality.ai. Les concepteurs de ce service en ligne aux larges prestations admettent d’ailleurs un problème récurrent: les «faux positifs», soit des textes rédigés par des humains et identifiés à tort comme issus d’une IA.

Selon les auteurs, cette erreur survient lorsque le texte original présente des structures lexicales ou des tournures similaires à celles produites par une IA. Le détecteur fonctionne en analysant des modèles linguistiques: structure des phrases, prévisibilité du texte, formulations récurrentes.

Des outils de correction mis en cause…

Pour tenter de justifier ses erreurs, Originality.ai s’en prend aux correcteurs grammaticaux intégrés, notamment dans Word, susceptibles de «lisser» un texte au point de le rendre suspect. Un style trop propre, factuel ou prévisible risque d’être confondu avec une production automatisée, est-il écrit dans cette lettre d’information.

Pour pallier la médiocrité de son service, Originality.ai recommande donc de conserver « sa propre voix éditoriale ». Il conseille aussi de ne pas trop utiliser des outils de correction automatique et de privilégier une communication claire, mais personnelle. On croit rêver, non ? Faut-il laisser des erreurs d’orthographe et de grammaire « pour faire plus véridique » ?

Une médiocrité qui oblige à communiquer

Si l’on peut saluer l’honnêteté d’Originality.ai, qui tente d’expliquer une partie de ses méthodes d’évaluation, on ne peut s’empêcher de penser que le problème doit être si grave que ce service est contraint de communiquer sur ses problèmes de fiabilité. En fait, il s’agit du énième service d’IA pris en flagrant délit d’hallucinations généralisées !

Il est probable que ces problèmes de fiabilité concernent aussi d’autres services censés détecter les textes générés par des IA. Sachant qu’Originality.ai est utilisé par des enseignants, des éditeurs (et pas des moindres !) ainsi que par des recruteurs, cet outil doit être utilisé avec la plus grande prudence. Ou simplement ignoré? En tout cas, il ne faut pas sortir son porte-monnaie pour des conclusions qui ne sont pas fiables. ABE.

Xavier Studer