Chat GPT à l'image du web. (Forum)

par Blake, jeudi 25 mai 2023, 12:11 (il y a 344 jours)

ChatGPT recalé.

Généralités, poudre aux yeux et informations « complètement fausses » : le robot conversationnel a fait chou blanc lors d’un test réalisé par La Presse à l’École du Barreau

Ce n’est pas demain matin que vous pourrez vous représenter vous-même devant un tribunal avec l’aide de ChatGPT. Lors d’une expérience réalisée à l’École du Barreau à l’instigation de La Presse, le robot conversationnel d’OpenAI a lamentablement échoué à l’examen du Barreau du Québec, obtenant une note finale de 12 %.

L’examen a été soumis au robot (version GPT4) avec des consignes précises. On lui a clairement énoncé le contexte des questions, les textes de loi auxquels il devait référer pour y répondre et la nature des réponses attendues. À chaque réponse, on lui a indiqué qu’il devait citer des articles de loi précis pour appuyer son propos. On lui a fréquemment offert la chance de reformuler ses réponses avec des directives encore plus précises. Les questions faisaient partie d’un ancien examen utilisé par les étudiants pour se préparer au vrai test.

En direct, avec les réponses de ChatGPT projetées sur grand écran, Me Jocelyne Tremblay, conseillère à la direction de l’École du Barreau du Québec (EBQ), et Me Brigitte Deslandes, responsable aux évaluations, ont évalué les réponses du robot, en expliquant à La Presse pourquoi les réponses du robot étaient bien notées… ou pas. Le directeur de l’EBQ, Me Guy-François Lamy, était également présent.

Zéro dans deux sections sur trois
Première section : la déontologie. La mise en situation évoque une relation avocat-client où un juriste fictif commet des manquements au Code de déontologie. La question : énoncez les dix manquements de l’avocat. Dès cette première question, ChatGPT trébuche. Les articles du Code de déontologie qu’il cite sont inexacts. « En fait, aucun des articles cités n’est exact. Et sur certains points de droit, il est vraiment dans le champ », note Me Deslandes.

Reste de l'article.

https://www.lapresse.ca/actualites/justice-et-faits-divers/2023-05-25/examen-du-barreau...