(Je précise qu’il s’agit d’un retour d’expérience. Pour info, je suis informaticien en bureautique et maintenance depuis 22 ans (Technicien Supérieur après VAE).
En tant que littéraire, je me suis beaucoup intéressé au traitement du langage par les machines. Depuis l’apparition de l’IA et, avec, les IA checkers, j’ai fait des milliers de tests, notamment pour comprendre le fonctionnement et les failles de ces derniers. Je suis arrivé à certaines conclusions que je souhaite partager avec vous).
J’ai employé le verbe « juger » car c’est exactement ce qu’il convient de faire : soumettre votre texte à une sorte de « jury » pour pouvoir rendre un verdict équitable par la suite.
En effet, il faut savoir une chose : aucun site de vérification n’est fiable individuellement. Il faut alors en consulter plusieurs à la fois.
Voici donc mon top 3 des IA checkers, après avoir épluché des dizaines d’autres sur le Web :
- https://copyleaks.com/ai-content-detector
À ceux-là, on peut ajouter deux autres, moins intelligents, mais utiles :
- https://quillbot.com/fr/detecteur-ia
Le principe est de passer votre texte dans tous ces vérificateurs. Ce sont les membres du jury.
Pourquoi ceux-là exactement ?
- Car Copyleaks est celui qui m’a donné les résultats les plus probants. Il peut détecter les textes rédigés par IA, mais aussi ceux qui ont été modifiés. Il est loin d’être naïf.
- Originality donne des résultats optimaux. Ni trop exigeant ni facile à tromper.
- Undetectable est tellement exigeant qu’il se trompe souvent en détectant un texte humain comme étant partiellement rédigé par une IA. Il accuse facilement à tort, pour dire les choses concrètement. Ce sera votre garde-fou, car s’il vous dit qu’un texte est écrit par un humain malgré toutes ses exigences, c’est qu’on n’est pas très loin de la vérité.
- Les deux derniers savent reconnaître un texte généré par IA. Toutefois, ils sont très, très faciles à tromper. Il suffit, par exemple, de demander à ChatGPT « réécris ce texte dans un style Goncourt » et le tour est joué ! (Mais pas chez les 3 premiers, il n’y a pas de phrase miracle !). J’ai intégré ces 2 derniers car il arrive qu’un texte rédigé par IA échappe au contrôle des autres mais pas à ceux-là.Avec ces 5, j’estime que la boucle est bouclée.
Quel est le principe ?
C’est simple : il suffit de passer votre texte dans les 5 vérificateurs. S’ils sont unanimes, c’est que c’est très probablement vrai. Je le crois, en tout cas.
Néanmoins, il faut faire attention à ces 4 éléments :
- Faire attention à « Undetectable », car si jamais il indique 50-60 % d’IA et que les autres estiment que c’est 100 % humain, il faut savoir que dans ce cas, 50-60 % d’IA chez « Undetectable » c’est déjà très bien pour dire qu’un texte est effectivement écrit par un humain. Il est tellement exigeant, je le répète, qu’il est rare d’avoir un résultat humain en dessous de 50 %. J’ai remarqué qu’il est devenu plus souple dernièrement, à croire qu’ils ont baissé son niveau d’alerte. Mais sinon, cela dépend aussi de votre lexique. Si vous utilisez un vocabulaire riche, vous pouvez espérer un résultat en vert.
- Faire attention à la couleur du résultat sur « Originality » et sur « Undetectable ». Vous pouvez, par exemple, obtenir sur « Originality » un résultat de 80 % humain, mais si c’est en couleur rouge, c’est que le vérificateur a des soupçons. Il faut que ce soit vert. Quant à « Undetectable », il ne connaît de vert que si le résultat est en dessous de 30 % à ce que j’ai remarqué. Donc si vous avez du vert sur ce site, vous aurez probablement du vert dans les autres. Mais encore une fois, il faut tester sur les autres.
- Faire attention à la typographie. Par exemple, les guillemets français sur Word sont moins détectés que les guillemets anglais sur le Web.
- Faire attention aux arroseurs qui se font facilement arroser. Par exemple, les textes rédigés avec des caractères spéciaux, non ASCII, mais qui ressemblent comme deux gouttes d’eau à de l’alphanumérique. (Technique utilisée aussi dans le plagiat !) Les IA checkers, dans ce cas, se trompent tous en indiquant 0 % d’IA, mais il suffit de coller le texte sur Word ou dans une zone de texte Chrome pour voir que tout est souligné en rouge car les dictionnaires intégrés ne reconnaissent que les 255 caractères de l’ASCII.
J’ai effectué des milliers de tests, y compris sur d’autres sites. En 3 ans de curiosité acharnée, j’ai conclu ceci :
- Ces 5 sites sont les meilleurs qui existent ; (j’ai l’impression que les autres sites ne sont que des copies de ceux-là. Par exemple, https://phrasly.ai/ donne exactement le même résultat que https://www.zerogpt.com/fr/. Les dizaines de sites qui restent sur Internet ne sont pas plus intelligents les uns que les autres).
- Les résultats sont fiables, à condition que les vérificateurs soient consultés ensemble ;
- Si vous parvenez à tromper l’un, ce n’est pas forcément vrai pour l’autre. (Autrement dit, dans les milliers de tests que j’ai effectués, je n’ai JAMAIS réussi à tromper les 5 à la fois).
- On ne m’a JAMAIS signalé un faux positif sur les 5 à la fois. Il arrive que vous écriviez un texte et qu’il soit reconnu comme étant généré par IA, mais pas sur tous ces sites. Généralement, 1 sur les 5, rarement 2, jamais plus)
- Si les 5 indiquent un pourcentage élevé d’IA, c’est que c’est vrai. Je ne me souviens pas non plus de les avoir vu se tromper, tous, sur un texte généré par IA.
- Je donnerais une marge d’erreur de 20 %, pour une fiabilité globale de plus de 99 %. C’est-à-dire que si tous les sites indiquent un résultat de plus 80 % d’IA, c’est que c’est vrai 99 % que c’est de l’IA. À 60 % d’IA, c’est 80 % vrai (du moins, moitié humain, moitié IA, à ce stade).Voilà en gros. C'est ce à quoi je m'en tiens, même si je comprends que ces vérificateurs peuvent être modifiés, assouplis ou durcis... Mais au vu des résultats obtenus, difficile de ne pas reconnaître leur utilité.
Petite anecdote :
J'ai demandé une fois à ChatGPT si on pouvait se fier à ces IA checkers, il m'a répondu non, à cause de ceci et cela. J'ai dit, mais ta réponse est biaisée, t'as plutôt intérêt à diaboliser ces vérificateurs, sinon tu perdrais des utilisateurs ! Il m'a répondu que c'était vrai, que si tout le monde se rendait compte que les textes de l'IA sont bannis dans le milieu professionnel et académique, certains "lobbys" (c'est le terme qu'il a utilisé) auraient plutôt tendance à vouloir voir disparaître ces sites.
Et vous, vous faites comment pour vous assurer que tel ou tel texte n’est pas rédigé par IA ?