ChatGPT, les devoirs scolaires et la notion d’intelligence

Un petit billet quasi-anecdotique pour commencer l’année (ça me repose des longs cycles sur le traitement des données ou la Transition bibliographique).

Est sorti peu avant les vacances de Noël un service de chatbot adossé au modèle d’entraînement de langage GPT-3 : ChatGPT.

Ayant absorbé plusieurs milliards de page de contenu, avec un modèle déjà bien éprouvé d’analyse et de vectorisation du langage, le chatbot s’avère remarquablement robuste dans tout un tas de types de conversations.

Nombreux sont ceux qui ont relevé ses limites dans le domaine de l’humour (je vous recommande notamment ce fil de P.-C. Langlais)

Et peut-être plus nombreux encore ceux qui ont constaté qu’il était très performant pour ce qui relevait des exercices un peu scolaires (voire universitaires), à la fois grâce à sa maîtrise du langage et à la masse d’informations absorbées :

Oui, je sais, j’ai encore du mal à ne pas saluer, même un chatbot

Ces résultats sont si pertinents que certains ont signalé qu’il faudrait rapidement changé le type d’exercices qu’on demande aux élèves/étudiants ; d’autres en ont conclu que c’était la preuve que ces exercices ne mobilisaient nulle intelligence.

Il me semble que ce sont là deux erreurs qui se focalisent sur le résultat au lieu de s’intéresser à ce qu’est une formation ; et à ce qu’est une IA qui fonctionne par machine learning.

Le machine learning consiste à alimenter un programme avec un corpus d’exemples, avec que l’IA soit capable de reproduire le même genre de résultats dans des situations comparables.

Une formation consiste à transmettre des enseignements à une classe d’élèves, mais aussi, dans de nombreux cas, à enseigner le format des livrables :

• à quoi doit ressembler une démonstration scientifique
• ce qu’est un commentaire composé
• quelles sont les codes d’une lettre de motivation ou d’un CV
• etc.

Par définition, ces formations donnent lieu à des documents produits correspondants à certains critères formels. L’objectif n’est pas l’originalité, mais d’apprendre aux élèves à s’approprier un certain moule, qui fait partie des conditions de communication entre le rédacteur du document et son futur lecteur. Et l’apprentissage de cette forme est partie intégrante de la formation — et pour moi il est important qu’elle le soit : il ne s’agit pas de brider la créativité des élèves, mais de les amener à partager des codes communs en vigueur, qui permettent à un article scientifique d’être un article scientifique et pas un billet de blog (sachant que le premier peut avoir un contenu lamentable, et le second être passionnant et pertinent).

Par définition encore, des exemples de ces livrables (sous forme d’exercices publiés, de corrigés, etc.) vont pulluler sur le web.

Les enseignants doivent continuer d’enseigner les formes de certains types de documents à leurs élèves — il me semble difficile de le faire sans qu’ils le pratiquent.

Il est donc inévitable que des IA soit alimentés aussi avec ce genre de textes — et cela n’a rien à voir avec le degré d’intelligence de ces documents.

Il est certain, effectivement, que les enseignants doivent être conscients du copier-coller possible — trop tentant ! — pour envisager quelles mesures prendre.

Mais il me semble non pertinent de considérer pour autant que rédiger une dissertation ne fait pas appel à l’intelligence sous prétexte qu’une IA sait l’imiter (elle ne saurait pas le faire sans corpus d’entraînement), ou qu’il faille renoncer à enseigner à écrire des dissertations.

Attention, je ne dis pas que la dissertation soit un exercice absolu et pertinent : je me doute qu’elle a ses contestataires, et il est probable que pour apprendre à des élèves la rédaction et la synthèse, il y ait mieux (je ne suis pas pédagogue). Mais dès lors qu’on demandera des documents aux élèves, répondant à certains critères formels, ceux-ci pourront venir entraîner une IA ultérieure.

Je vous laisse, j’ai un rapport d’activité à rédiger. Tiens, au fait….

Zut, j’ai oublié de dire « s’il te plaît »