Comments on: Utilisation des Tests de Concordance de Script (TCS) pour l’évaluation du savoir-faire en informatique à l’École Centrale de Nantes

By: Morgan

Morgan — Tue, 30 Jun 2009 19:45:45 +0000

Je n’y manquerai pas !

Et, de mon côté, je te remercie pour tes remarques et ton retour.

By: Shadow

Shadow — Tue, 30 Jun 2009 17:41:58 +0000

Merci pour les précisions, tout ça semble en bonne voie. Il faudra nous tenir au courant de la suite !

By: Morgan

Morgan — Tue, 30 Jun 2009 16:19:39 +0000

Sur la première critique : l’extension de la méthode à l’informatique pose en effet certaines questions, dont celle que tu évoques. Cela dit, je pense par exemple que les grandes lignes d’une démarche de diagnostic sont souvent génériques. Après, dans certains cas, l’intérêt des TCS restent effectivement à affiner. Dans l’expérimentation menée à l’ECN, il est clairement apparu, par exemple, qu’il faudrait demander aux experts une justification de leur réponse. Rien que pour bien comprendre les raisons qui les ont poussé vers telle ou telle éventualité. Il y a notamment une question posée en DS qui a généré des réponses qu’aucun de mes neuf experts n’avait envisagées. Et qui étaient pourtant pertinentes. Vu que, dans l’examen, nous demandions aux étudiants de justifier leur réponse, ils n’ont pas été pénalisés puisque, évidemment, je comptais “juste” une réponse manifestement raisonnée et raisonnable même si elle était un peu éloignée de l’avis des experts. De la même manière qu’était fausse une réponse bien cochée, mais avec une justification complètement hors-sujet. Nous sommes encore dans le calibrage, et cette expérimentation a montré la nécessité de faire une boucle de retour : c’est-à-dire qu’il faut impérativement une étape d’affinage des questions après qu’elles ont été soumises aux experts et/ou aux étudiants.

Pour la critique statistique, je plaide coupable, je n’ai pas réussi à avoir plus de neuf experts dans le temps imparti. C’est une autre des raisons qui m’a fait pondéré ma notation. Cela dit, le projet UNIT auquel se rattache cette étude doit réunir l’expertise d’intervenants de tous les autres établissements impliqués de sorte que, l’année prochaine, nous devrions avoir une vingtaine de réponse d’experts par question.

By: Shadow

Shadow — Tue, 30 Jun 2009 16:06:27 +0000

Une approche intéressante, effectivement… Par contre, on peut faire une ou deux critiques :
- ce type de système ne revient-il pas à privilégier le conformisme, puisque le but est de répondre comme les experts ? En médecine cela peut se comprendre étant donné les enjeux, mais en informatique, une approche radicale ou novatrice peut parfois être intéressante…

C’est peut-être un peu ce qui est évoqué au slide 10, quand tu indiques que c’est une méthode applicable à certains domaines et pas tous, et que tu insistes sur la nécessité de bien rédiger / penser les questions ?

- autre critique, cette fois purement statistique : un panel de 9 experts est-il suffisant, sachant que chacun aura un “pouvoir” de 11% ? Le site de l’université de Montréal parle de “10 ou plus si l’enjeu est considérable”…

Attention, mon but n’est pas d’attaquer la méthode en bloc, au contraire je trouve ça très intéressant comme initiative…