Évaluer la profondeur, pas la performance.

Le coaching socratique : question, pas réponse

À chaque étape de la progression, l'étudiant peut demander un retour. La forme de ce retour est cruciale. Le format qui marche : observation → question de réflexion → suggestion légère. Jamais une note. Jamais une réponse directe. Toujours une question qui oblige l'étudiant à formuler ce qu'il vient de faire.

Exemple, sur le défi de la cohérence : « Les deux illustrations montrent-elles bien le même personnage ? Pourquoi, ou pourquoi pas ? Comment pourrais-tu améliorer la cohérence visuelle ? »  pas : « Tu as eu 3/5. »

Le coaching est formatif, pas sommatif. Il fait progresser ; il ne classe pas. La note (quand il y en a une) est réservée aux quiz, à la fin de chaque leçon. Cette séparation entre accompagnement et évaluation est ce qui permet à l'étudiant d'oser rater pendant les 23 premières étapes, et de prendre l'évaluation au sérieux quand elle arrive.

Le radar à quatre dimensions

Plutôt qu'une note unique, mesurer en parallèle plusieurs dimensions qui pèsent toutes :

Quatre axes, mesurés en parallèle. Aucune moyenne n'efface les forces et les faiblesses.

Le radar à quatre axes évite l'écueil de la note moyenne qui efface tout. Un étudiant peut être faible sur un axe et excellent sur un autre : c'est utile à voir, pour lui comme pour son enseignant.

Le quiz ouvert, évalué par LLM

À la fin d'une leçon, ne dites pas à l'étudiant ce qu'il a appris : demandez-lui. Avec des questions ouvertes du type : « Décris l'architecture de l'app que tu viens de construire. Quels blocs, quelles sections, quels flux ? Pourquoi cette structure ? » ou « Une collègue te dit que l'IA, c'est juste un chatbot. Comment lui expliques-tu que c'est incomplet, en t'appuyant sur ton app finale ? »

Un LLM évaluateur peut maintenant évaluer ces réponses avec sérieux : profondeur de compréhension, concepts attendus présents ou absents, capacité de transfert. Le LLM calcule un score 0–100, un niveau de compréhension (surface / bonne / profonde), la liste des concepts mentionnés, la liste des concepts manquants, et un feedback personnalisé d'environ 80 mots.

Cela rend possible quelque chose qui ne l'était pas il y a deux ans : coacher et faire avancer en temps réel des centaines d'étudiants sur les bases, sans surcharger les enseignants qui peuvent se concentrer sur leur propre cours métiers. 

Crédibilité contre exactitude : la compétence à enseigner

Au-delà du score, ce qu'il faut développer chez l'étudiant, c'est la capacité à ne pas confondre crédibilité et exactitude. C'est la compétence-clé du professionnel IA-augmenté.

Exemple récent (que je mentionnais au chapitre 1). Un modèle IA généraliste très connu, à qui je demande de créer un fichier de sous-titres perd silencieusement l'audio joint et produit un fichier crédible mais… entièrement inventé!

Si la personne en bout de chaîne ne doute pas du livrable, elle le publie. Même le stagiaire le plus junior n'aurait pas inventé des sous-titres. L'IA peut être, sur des tâches précises, pire que l'humain qu'on suppose qu'elle remplace.

C'est cette compétence (douter, recouper, vérifier) que la pédagogie doit ancrer en priorité. Et c'est exactement ce que le coaching socratique, le radar à quatre axes et le quiz ouvert permettent de mesurer.