Détecter par stylométrie la fraude académique utilisant ChatGPT

Abstract

Depuis la fin de l’année 2022, ChatGPT rend possible la rédaction de textes par Intelligence Artificielle. Cette IA faible est un agent conversationnel qui ne comprend ni les textes qu’il produit, ni ceux de son corpus d’entraînement. Car, pour écrire des textes crédibles, le chatbot construit des séquences de mots en choisissant les termes voisins les plus probables d’après les textes d’entraînement utilisés pour son modèle de langage GPT-3.5. Donc, par nature, ChatGPT rédige sans créativité un contenu plausible, mais pas nécessairement conforme à la réalité. Les textes ChatGPT peuvent servir à frauder dans un cadre académique : l’IA est capable de répondre à la place d’un candidat aux questions d’un examen, de rédiger un document certifiant (master, thèse…) ou d’augmenter déraisonnablement le volume des contributions d’un hyper-publiant. L’article décrit deux approches stylométriques capables de détecter la fraude académique générée par chatbot. La rédaction d’un texte par une IA peut d’abord être mise en évidence par la comparaison de son style avec des documents authentiquement rédigés par l’auteur présumé, selon l’approche Machine Learning que nous avons développée pour détecter le ghostwriting : l’IA est soumise au même type de détection qu’un ghostwriter. Ensuite, ChatGPT peut également être détecté comme IA indépendamment de son modèle de langage par notre approche originale Machine Learning, qui mesure le choix des mots et de leurs proches voisins : dans un texte chatbot qui préfère les voisins les plus probables, le choix est sensiblement plus restreint que dans un texte généré par un rédacteur humain. L’article discute les conséquences de la rédaction par IA pour l’enseignement et la recherche et propose des moyens pour la détecter.