Utilisation des Tests de Concordance de Script (TCS) pour l’évaluation du savoir-faire en informatique à l’École Centrale de Nantes
L’École Centrale de Nantes est actuellement engagée dans un projet (fédérant, entre autres, les Ecoles des Mines de Nantes, d’Alès et de Douai, l’INSA de Rouen, l’Université de Bordeaux 2 et, bien sûr, l’ECN) qui vise à assurer une meilleure évaluation du savoir-faire en informatique. Pour ce faire, la méthode envisagée est celle des tests de concordance de scripts, notés TCS. L’objectif des TCS est d’évaluer le raisonnement des étudiants placés dans une situation professionnelle, et non pas leurs connaissances (ce qui peut déjà être fait par des méthodes “classiques”, allant du QCM au devoir sur table). Les TCS constituent donc un outil d’évaluation complémentaire des procédures déjà existantes. Des études ont montré la fidélité et la validité des TCS pour différencier les étudiants en fonction de leur niveau d’expertise. Ils permettent de tester un grand nombre d’étudiants de façon standardisée, discriminante et objective. Ils sont déjà largement utilisés dans de nombreuses universités relevant du secteur médical, notamment à Montréal. Ils permettent d’évaluer le raisonnement en situation incertaine correspondant à la vie professionnelle. Ils mettent en jeu des problèmes mal définis, avec des données incertaines et pour lesquels plusieurs solutions sont possibles. Les raisonnements des étudiants sont alors confrontés à ceux d’experts. D’un point de vue pratique, le principe d’un TCS est le suivant :
- On présente un scénario réel - une situation de la vie professionnelle qui est problématique même pour un expert du domaine. Il n’y a pas une unique “bonne” réponse : en présence de deux experts, il y aurait très vraisemblablement discussion.
- On propose une option, c’est-à-dire une hypothèse pertinente face à ce cas et une nouvelle donnée.
- On demande à l’étudiant de qualifier l’effet de cette nouvelle donnée sur l’hypothèse (-2, -1, 0, +1, +2 – cf. figure ci-dessous, tirée de http://www.cme.umontreal.ca/tcs/).
- Le score attribué à l’étudiant dépend des réponses d’un groupe d’experts qui a répondu préalablement au TCS. L’étudiant gagne des points proportionnellement au nombre d’experts qui ont choisi la même réponse.
Les TCS étant liés aux TICE (Technologies de l’Information et de la Communication appliquées à l’Enseignement) et représentant une perspective prometteuse, j’assure le suivi du dossier pour Centrale Nantes. Ce projet implique un certain nombre de mes collègues : Didier Lime et Myriam Servières pour l’enseignement d’Algorithmique et Programmation (cours donné aux étudiants de première année, i.e. niveau Bac+3), Guillaume Moreau et Olivier Roux pour Méthodes Logicielles (étudiants de deuxième année, i.e. Bac+4), moi-même pour Systèmes d’Information et Bases de Données (étudiants de première année, i.e. Bac+3). Guillaume Moreau et moi-même avons mené la première expérimentation pratique d’usage des TCS la semaine dernière, lors l’examen de la matière Systèmes d’Information et Bases de Données. 108 étudiants ont ainsi été invités à répondre à ces tests. L’expérience a été très enrichissante et nous incite à approfondir notre expérimentation. J’aurai peut-être le temps d’en partager le bilan prochainement. D’ici là, je vous invite à consulter la présentation que j’ai effectuée ce jour dans le cadre d’une réunion des correspondants TICE des différentes Écoles Centrale.
Sama It!
30/06/2009 à 18:06
Une approche intéressante, effectivement… Par contre, on peut faire une ou deux critiques :
- ce type de système ne revient-il pas à privilégier le conformisme, puisque le but est de répondre comme les experts ? En médecine cela peut se comprendre étant donné les enjeux, mais en informatique, une approche radicale ou novatrice peut parfois être intéressante…
C’est peut-être un peu ce qui est évoqué au slide 10, quand tu indiques que c’est une méthode applicable à certains domaines et pas tous, et que tu insistes sur la nécessité de bien rédiger / penser les questions ?
- autre critique, cette fois purement statistique : un panel de 9 experts est-il suffisant, sachant que chacun aura un “pouvoir” de 11% ? Le site de l’université de Montréal parle de “10 ou plus si l’enjeu est considérable”…
Attention, mon but n’est pas d’attaquer la méthode en bloc, au contraire je trouve ça très intéressant comme initiative…
30/06/2009 à 18:19
Sur la première critique : l’extension de la méthode à l’informatique pose en effet certaines questions, dont celle que tu évoques. Cela dit, je pense par exemple que les grandes lignes d’une démarche de diagnostic sont souvent génériques. Après, dans certains cas, l’intérêt des TCS restent effectivement à affiner. Dans l’expérimentation menée à l’ECN, il est clairement apparu, par exemple, qu’il faudrait demander aux experts une justification de leur réponse. Rien que pour bien comprendre les raisons qui les ont poussé vers telle ou telle éventualité. Il y a notamment une question posée en DS qui a généré des réponses qu’aucun de mes neuf experts n’avait envisagées. Et qui étaient pourtant pertinentes. Vu que, dans l’examen, nous demandions aux étudiants de justifier leur réponse, ils n’ont pas été pénalisés puisque, évidemment, je comptais “juste” une réponse manifestement raisonnée et raisonnable même si elle était un peu éloignée de l’avis des experts. De la même manière qu’était fausse une réponse bien cochée, mais avec une justification complètement hors-sujet. Nous sommes encore dans le calibrage, et cette expérimentation a montré la nécessité de faire une boucle de retour : c’est-à-dire qu’il faut impérativement une étape d’affinage des questions après qu’elles ont été soumises aux experts et/ou aux étudiants.
Pour la critique statistique, je plaide coupable, je n’ai pas réussi à avoir plus de neuf experts dans le temps imparti. C’est une autre des raisons qui m’a fait pondéré ma notation. Cela dit, le projet UNIT auquel se rattache cette étude doit réunir l’expertise d’intervenants de tous les autres établissements impliqués de sorte que, l’année prochaine, nous devrions avoir une vingtaine de réponse d’experts par question.
30/06/2009 à 19:41
Merci pour les précisions, tout ça semble en bonne voie. Il faudra nous tenir au courant de la suite !
30/06/2009 à 21:45
Je n’y manquerai pas !
Et, de mon côté, je te remercie pour tes remarques et ton retour.