Les étudiants face à Chat GPT, retour d’expérience

Dans un billet publié sur Dalloz étudiant, puis dans un article ici, j’avais indiqué que je souhaitais donner à mes étudiants un sujet d’examen de fin d’année en relation avec Chat GPT. Je viens de terminer de corriger les copies et je souhaite faire partager plusieurs réflexions qui me sont venues à cette occasion.

Précisons d’abord qu’il s’agit d’un sujet parmi trois, ce qui laissait aux étudiants leur choix habituel de ne pas se porter sur ce sujet. De fait, le nombre des copies est faible (7 parmi 110). Précisons encore qu’il s’agit de droit administratif de 2e année, donc des étudiants ayant entre 19 et 21 ans. ET précisons enfin que le sujet était libellé ainsi : « Que pensez-vous des réponses données par chat gpt aux trois questions suivantes : … », suivaient les réponses en une quinzaine de lignes à chaque fois.

Les copies ont généralement été notées assez faiblement parce que les étudiants qui n’avaient pas révisé se sont rabattu sur ce sujet en se disant que, comme il y avait déjà de la matière dans le sujet, ils pourraient broder. C’est vieux comme le monde et ce n’est APS là-dessus que je souhaiterais m’arrêter. Tout au contraire, c’est la manière dont les étudiants qui avaient travaillé pour l’examen ont abordé les réponses de chat GPT et tout particulièrement la réponse à la 2e question.

Voici d’abord la question et la réponse :

2°) quel est l'apport de l'arrêt du Conseil d’Etat « Prince Napoleon »

 Réponse :

L'arrêt du Conseil d'État "Prince Napoléon" est une décision juridique rendue par le Conseil d'État français le 24 juin 1996. Cet arrêt a apporté une contribution importante en matière de droit administratif et a établi des principes juridiques qui ont eu un impact significatif sur l'interprétation et l'application du droit administratif français. Voici quelques-uns des apports importants de cet arrêt :

1.          La notion de "principe général de non-rétroactivité des actes administratifs" : L'arrêt "Prince Napoléon" a affirmé le principe selon lequel les actes administratifs ne peuvent en principe pas avoir d'effet rétroactif, c'est-à-dire qu'ils ne peuvent pas s'appliquer à des situations passées antérieures à leur adoption. Ce principe protège les droits acquis des individus et garantit une certaine sécurité juridique.

2.          La distinction entre les actes réglementaires et les actes individuels : L'arrêt a clarifié la différence entre les actes réglementaires, qui ont une portée générale et impersonnelle, et les actes individuels, qui concernent des personnes spécifiques. Selon l'arrêt, les actes réglementaires peuvent avoir une certaine rétroactivité, tandis que les actes individuels sont soumis au principe de non-rétroactivité.

3.          Les conditions d'application de la rétroactivité des actes réglementaires : L'arrêt a établi les conditions dans lesquelles les actes réglementaires peuvent avoir une rétroactivité. Il a précisé que la rétroactivité doit être expressément prévue par la loi ou l'acte réglementaire lui-même, et qu'elle doit être justifiée par un motif d'intérêt général suffisamment important.

Ces principes énoncés dans l'arrêt "Prince Napoléon" ont depuis été appliqués et développés par la jurisprudence administrative française, et ils continuent d'influencer l'interprétation du droit administratif en France. Cet arrêt a ainsi marqué une étape importante dans l'évolution de la jurisprudence en matière de rétroactivité des actes administratifs.

Je précise pour les non-juristes qui se seraient aventurés sur cette page que l’arrêt « Prince Napoléon » est une décision extrêmement connue du Conseil d’Etat, qu’elle date de 1875 et qu’elle traite d’absolument autre chose que ce qui est indiqué dans la réponse. On est donc dans un des cas bien repérés désormais où Chat GPT «hallucine ». Je précise encore que cet arrêt a été vu en cours, en travaux dirigés, que les étudiants le connaissent et savent quelle la portée de cette jurisprudence. Et enfin, il n’existe aucun arrêt « Prince Napoléon » de 1996, et il n’y a donc aucune ambigüité de quelque nature qu’elle soit .

Or, dans aucune copie il n’est indiqué que Chat GPT raconte n’importe quoi. Aucun étudiant ne remet en cause la date de 1996. Dans le meilleur des cas les étudiants ont indiqué que l’arrêt parlait d’autre chose (ce que l’on appelle en droit administratif les « actes de gouvernement »). Mais ils n’ont pas assumé que tout le reste de sa réponse ne disait rien de l’arrêt. On sent la gêne des étudiants : ils se demandent s’ils n’ont pas raté quelque chose dans leur révision et si, d’aventure l’arrêt n’aurait pas aussi abordé les questions de non rétroactivité et de distinction entre règlement et acte individuel (ce que l’arrêt ne fait nullement).

Cette manière d’appréhender une réponse claire fausse de la machine me paraît très illustrative : elle montre en particulier que pour les étudiants l’intelligence artificielle produit des réponses ayant un caractère d’autorité, un peu de même nature que celles produites par l’enseignant, et que de ce fait il est assez difficile de les contester. Cela est d’autant plus difficile que l’étudiant est, durant l’examen, dans une situation d’insécurité. Ne disposant pas de son support de cours (du moins on l’espère…) il ne peut s’appuyer que la mémoire du travail d’apprentissage qu’il a effectué. Dans la confrontation entre ce discours de la machine, qui a cet aspect d’autorité et un caractère articulé, et ses propres connaissances, l’étudiant fait en quelques sorte pencher la balance en sa défaveur, même s’il a au fond de lui des doutes.

Quand j’ai posé les questions du sujet à Chat GPT, je ne m’attendais pas à ces réponses et en lisant celle-ci j’ai dû être pris d’un rire sardonique ou m’être exclamé « n’importe quoi ». J’étais très loin de penser que les étudiants, pour lesquels cet arrêt était bien connu, se heurteraient à cette sorte de parole officielle difficile à remettre en cause.

Cela nous conduit me semble-t-il à trois enseignements.

Le premier, qui s’étend très au-delà des étudiants, est de montrer dans un cas très concret combien la parole officielle produite par la machine pèse d’un lourd poids, même face à un public qui dispose d’une compétence dans le domaine concerné. Cela est fort préoccupant.

Le deuxième, qui est une conséquence du premier, tient à ce qu’il faut absolument renforcer la dimension d’analyse critique de l’enseignement (et pourtant croyez bien que c’est déjà une de mes marottes), face à la production de contenus par l’intelligence artificielle.

Le troisième, enfin, qui concerne les juristes du futurs, consiste à se demander si, dans l’avenir, une part importante du travail juridique ne consistera pas à vérifier la justesse et le bien fondé des productions de la machine et si mon exercice un peu facétieux ne deviendra pas le quotidien des travailleurs du droit…

#droit #etudiant #chatgpt