Qui n’a pas encore entendu parler de ChatGPT ? Ce chatbot a littéralement bouleversé Internet et le monde entier, en démontrant une capacité de traitement de l’information bien supérieure à celle d’un être humain. Concrètement, ChatGPT est un agent conversationnel capable de fournir des réponses détaillées et argumentées à presque toutes les questions qu’on lui pose. Il peut même discuter avec vous comme le ferait un ami ! Mais malgré toutes ses capacités, son plus grand défaut réside sans doute dans le risque de transmettre des informations incorrectes à ses utilisateurs. Dans cet article, nous allons découvrir comment les élèves se comparent à ChatGPT à travers une étude récemment menée à Singapour.
Les compétences mathématiques de ChatGPT
Bien que ChatGPT soit surtout connu pour sa capacité à rédiger rapidement et efficacement des textes sur presque tous les sujets, il peut également être utilisé pour résoudre des problèmes ou des questions de mathématiques. L’IA fournit des réponses en quelques secondes, souvent accompagnées d’explications détaillées. Sur le papier, tout cela semble très prometteur.
Mais est-ce vraiment fiable et précis ?
D’après un article de 2023 publié par Yahoo Singapour, ChatGPT aurait bien du mal à réussir avec brio l’examen de mathématiques du PSLE (Primary School Leaving Examination). Le même article présente plusieurs exemples concrets où l’IA échoue. On y constate notamment que ChatGPT peut mal interpréter l’énoncé d’un problème ou se tromper sur des notions fondamentales, comme une simple conversion d’unités.
Depuis, ChatGPT s’est grandement améliorer ! Pour approfondir cette constatation et savoir si elle est toujours d’actualité, nous avons décidé de soumettre à ChatGPT 5 une question extraite d’un exercice de mathématiques destiné aux élèves de primaire.
Voyons ensemble ce que cela donne.
ChatGPT peut-il résoudre ce problème de mathématiques de niveau primaire ?
Voici un problème de mathématiques destiné aux élèves de l’école primaire. C’est d’ailleurs un exercice que vous pouvez retrouver sur Practicle. N’hésitez pas à essayer notre version d’essai gratuite si vous souhaitez apprendre les maths tout en jouant et en collectionnant de super animaux virtuels !
Aujourd’hui, ChatGPT répond avec brio au problème mathématique énoncé ! Ce n’était pas le cas il y a encore 2 ans, où la réponse à cette question avait été fausse car l’IA avait mal compris l’énoncé.
A cette époque, si l’on analyse les étapes détaillées par ChatGPT, on peut détecter une mauvaise compréhension de l’énoncé ainsi qu’une erreur dans la résolution. Voici les étapes correctes à suivre :
2 litres = 2 000 millilitres. Cela signifie que la marmite a une capacité de 2 000 ml. Si elle contient déjà 1 400 ml de soupe aux champignons, il faut soustraire 1 400 ml à 2 000 ml pour connaître la capacité restante.
2 000 – 1 400 = 600 ml
Comme il reste 600 ml de place dans la marmite et que l’on y ajoute 3 tasses d’eau, il faut diviser les 600 ml par 3.
600 / 3 = 200 ml
On sait donc qu’une tasse d’eau contient 200 ml. La bonne réponse est donc : 200 ml par tasse.
On constate ici que ChatGPT n’a pas su interpréter correctement le contexte du problème. Le chatbot a automatiquement additionné les 3 tasses aux 1 400 ml de soupe, en concluant que la marmite contenait au total 4,4 litres. Pourtant, en lisant attentivement l’énoncé, on comprend que la capacité de la marmite ne peut en aucun cas dépasser 2 litres.
ChatGPT peut-il réussir l’examen de maths du PSLE ?
Eh bien, nous ne le pensons pas ! Les preuves montrent clairement que ChatGPT donne de mauvaises réponses lorsqu’il est confronté à des questions issues de l’examen de mathématiques du PSLE. Tous les élèves singapouriens savent à quel point cet examen est redouté et stressant. Il est peut-être rassurant de constater que même l’une des intelligences artificielles les plus avancées au monde n’est pas capable de résoudre correctement de nombreuses questions de mathématiques !
ChatGPT possède certes une connaissance impressionnante, mais il peine à mettre en pratique les théories apprises. C’est pourquoi nous vous proposons plutôt 5 conseils clés pour réussir votre examen PSLE.
Il est désormais prouvé que ChatGPT ne peut pas briller à l’examen de maths du PSLE, car il se trompe sur de nombreuses réponses. Alors, au final, ChatGPT est-il plus intelligent que les élèves de primaire à Singapour ? Comparons directement leurs capacités pour le découvrir.
Élèves vs ChatGPT
ChatGPT rencontre des difficultés lorsqu’il s’agit d’interpréter et de comprendre des énoncés de problèmes mathématiques, en particulier lorsqu’un contexte ou une petite histoire accompagne la question. Au-delà de cette problématique d’interprétation, nous avons voulu savoir si ChatGPT présentait un avantage dans d’autres domaines des mathématiques, puisque l’intelligence artificielle est souvent vantée pour ses apports dans l’apprentissage de cette matière.
Après plusieurs essais, nous avons constaté que ChatGPT est probablement meilleur que la plupart des élèves de primaire en ce qui concerne la mémorisation. Un élève classique ne serait pas capable de réciter ou d’expliquer plusieurs théories mathématiques sans hésitation, surtout compte tenu du nombre de chapitres à retenir. À l’inverse, ChatGPT peut fournir une réponse structurée et complète, digne d’un manuel scolaire, à propos de n’importe quelle théorie demandée – là où un élève oublierait facilement un détail ou deux.
Voici par exemple comment ChatGPT explique la conversion d’unités.
Comme vous pouvez le constater, la réponse du robot est digne d’un manuel scolaire de mathématiques. Vous pouvez également l’interroger sur d’autres notions, et vous obtiendrez à chaque fois une explication bien structurée. Comme il ne peut pas réellement « oublier » comme le fait un cerveau humain, on peut dire qu’il est, de toute évidence, plus performant qu’un élève de primaire pour expliquer les théories.
Mais la mémorisation est-elle vraiment la clé de l’apprentissage des mathématiques ? La réponse est non. Il faut surtout apprendre à les appliquer à des situations concrètes. Mémoriser des théories à la chaîne ne sert à rien si l’on ne sait toujours pas résoudre un problème.
ChatGPT devient de plus en plus puissant et reste un formidable outil pour les élèves de primaire, comme des autres niveaux. Toutefois, si ChatGPT peut donner de bonnes réponses, il peut aussi se tromper. C’est pourquoi, les élèves de primaires doivent être en capacité de comprendre comment résoudre un problème mathématique et non pas attendre la réponse d’une IA. De plus, un élève aura de meilleure capacité à comprendre le contexte des énoncés et ensuite à appliquer les théories, que ChatGPT.
Article initialement publié en anglais en février 2023 et mis à jour. La version de ChatGPT utilisée est ChatGPT5.