Créer un exercice à correction automatisée (Test)

Pourquoi ?

Disposer d'exercices à correction automatisée peut permettre aux étudiants :

• de s'entraîner à volonté
• de s'auto-évaluer en cours de semestre

Exercer les étudiants de façon automatisée peut permettre aux enseignants :

• de se décharger d'une partie des corrections sur la machine
• de repérer les points non compris avant la fin du semestre

Cela suppose cependant pour l'enseignant d'anticiper un choix de réponses possibles crédible et exploitable pour son analyse.

Comment opère-t-on ?

Comment ?

A) Rédiger le questionnaire

La conception du questionnaire est une étape fondamentale.

1. Ajuster sa longueur, ses modalités et son contenu selon sa fonction : évaluation initiale, vérification des acquis (en cours de semestre ou avant l'examen), entraînement... 
2. Ne pas cumuler plusieurs objectifs dans chaque question pour pouvoir analyser ses résultats :
• connaissance
• compréhension
• application
• analyse

B) Mettre en ligne le questionnaire, en trois étapes

1. Créer les questions 
2. Paramétrer le test
3. Insérer les questions dans un test 

1 - Créer les questions dans la banque de questions Moodle

Pour créer des questions, déroulez "Plus" dans le menu d'en-tête de l'espace de cours concerné, cliquez sur Banque de questions, puis cliquez sur le bouton "Créer une question..." :

Dans la fenêtre de choix, cochez le type de question à ajouter :

Cliquez sur Ajouter puis procédez aux réglage de la question :

• 1.1 - Paramétrer une question vrai/faux
• 1.2 - Paramétrer une question à choix multiple ou à choix unique
• (alternative) Créer des questions à choix unique avec un simple éditeur de texte
• 1.3 - Les autres types de questions

1.1 - Paramétrer une question vrai/faux

Présentation

L’étudiant doit répondre à une question (qui peut inclure une image ou tout autre média) en choisissant « vrai » ou « faux ».

⚙Paramétrer une question vrai/faux

• (1) Nom de question : le nom de la question dans la banque et le test ; ce nom n'est pas visible à l'apprenant.
• (2) Texte de la question : c'est la question qui est posée à l'apprenant ; cela peut être du texte, une image, de l'audio, de la vidéo.
• Note par défaut : une valeur de 1 est indiquée par défaut
• Feedback général (optionnel) : cette rétroaction est affichée aux participants après qu'ils aient tenté une question quel que soit leur résultat. Vous pouvez utiliser cette rétroaction pour donner à vos participants des indications sur les connaissances testées par la question, ou leur fournir des liens qu'ils pourront utiliser s'ils n'ont pas compris la question.
• (3) Réponse correcte : vous devez choisir si la réponse correcte à la question posée est "Vrai" ou "Faux"
• Feedback pour la réponse « Vrai » (optionnel) : une rétroaction visible uniquement si la réponse « Vrai » est choisie.
• Feedback pour la réponse « Faux » (optionnel) : ne rétroaction visible uniquement si la réponse « Faux » est choisie.

Tentatives multiples

Lorsque des questions sont en mode « Interactif avec essais multiples » ou « Adaptatif », les participants ont plusieurs essais pour trouver la bonne réponse. Cette option contrôle comment ils sont pénalisés pour chaque essai incorrect.

Le mode interactif se met en place dans les paramètres du test :

La pénalité est un pourcentage de la note totale de la question, donc si la question est notée sur 3 points et que la pénalité est de 0,3333333, alors le participant aura 3 points s'il répond correctement à la question au premier essai, 2 points s'il répond correctement au deuxième essai, et 1 point s'il répond correctement au troisième essai.

1.2 - Paramétrer une question à choix multiple ou à choix unique

Présentation

L’étudiant devra choisir entre plusieurs propositions, mais selon votre réglage :

• une seule réponse sera sélectionnable (QCU - Question à Choix Unique)
  
  
• plusieurs réponses seront sélectionnables (QCM - Question à Choix Multiple)
  
  

⚙Paramétrer une question à choix multiple ou unique

(1) Nom de question

Le nom de la question dans la banque et le test ; ce nom n'est pas visible à l'apprenant.

(2) Texte de la question

(4) Réponses

• Réponse n : proposition affichée à l'étudiant (texte, image, son, vidéo).
• Note : pourcentage du score de la question associé à cette réponse.
  

Si une seule réponse est attendue :		Si plusieurs réponses sont attendues :
Choisissez ↓		Choisissez ↓
Notez la réponse juste « 100 % »		Notez les réponses justes « x % » où x = 100 divisé par le nombre de réponses justes Exemple : 33,33333% pour 3 réponses justes
Notez les réponses erronées « Aucun » (= 0 %) (sauf si vous voulez qu’elles induisent des scores négatifs : dans ce cas, consultez mediatice@ut-capitole.fr)		Notez les réponses erronées « - y % » où y = 100 divisé par le nombre de réponses erronées Exemple : - 50% pour 2 réponses erronées Quelles que soient les réponses, le score total sera positif ou nul.

Le feedback combiné

Message affiché selon le score global obtenu à la question.

Tentatives multiples

Lorsque dans le paramétrage du test le comportement des questions est réglé en mode « Interactif avec essais multiples » ou « Adaptatif », les participants ont plusieurs essais pour trouver la bonne réponse.
Cette option permet alors de glisser des indices ou une pénalité en cas de réponse erronée.

(Alternative) Créer des questions à choix unique avec un simple éditeur de texte

Pour créer très rapidement des questions à choix unique (QCU)

1. Ouvrez votre éditeur de texte (type Notepad)
2. Saisissez (ou copiez) le texte de chaque question en séparant l'énoncé, les différentes propositions et la solution par des sauts de ligne. Les propositions doivent être précédées de A., B., C.,etc (en majuscules), et la solution du terme "ANSWER: " (en majuscules également)
3. Enregistrez votre fichier en encodage UTF-8 au format .txt
4. Déroulez "Plus" dans le menu d'en-tête de l'espace de cours concerné et cliquez sur Banque de questions
   
5. Déroulez le menu Questions de gauche et choisissez Importer
6. Sélectionnez le format Aiken puis glissez-déposez votre fichier txt
7. Cliquez sur le bouton Importation
   
8. Vérifiez le résultat de cet import.
   

NB : Ne pas saisir plusieurs réponses. Si vous souhaitez le faire, il suffit de modifier les questions une fois qu'elles ont été créées.

Exemple de contenu de fichier .txt et modèle téléchargeable

Quelle est la troisième couleur du drapeau russe : bleu, blanc et... ? 
A. rouge 
B. vert
C. jaune
D. orange
ANSWER: A

1.3 - Les autres types de questions

Description
Énoncé (texte, vidéo...) qui peut introduire une série de questions

Numérique
Pour demander une réponse numérique

Réponse courte
Pour faire saisir une expression reconnaissable automatiquement (avec troncature possible)

Appariement
Pour demander d'associer des termes (paires, ensembles...)
(peut être créée à partir des questions à réponse courte d'une catégorie : "Question de correspondance à réponse courte")

Calculée, Calculée à choix multiples, Calculée simple
Pour proposer des énoncés dont les données numériques changent à chaque tentative

Questions plus visuelles

Question Cloze

• Pour une question à réponse courte (saisie de mots), insérez dans votre texte le code {:SA:=solution} en remplaçant solution par la réponse attendue.
  Exemple : Patience et longueur de {:SA:=temps} font plus que {:SA:=force} ni que rage.
  
  
  
• Pour une question à réponse numérique, insérez dans votre texte le code {Qn:NM:=solution} en remplaçant Qn par la référence de la question (numéro ou mot-clé) et solution par le nombre attendu.
  Exemple : ici la colonne centrale est codée {:NM:=60000}
  
  
  
• Pour une question à choix multiple, le code à insérer sera de la forme {:MC:solution fausse~=solution juste~solution fausse~solution fausse}
  Par défaut elles seront présentées en menu déroulant : changez MC en MCV si vous souhaitez une présentation verticale, ou MCH pour une présentation horizontale.
  Pour un ordre aléatoire des réponses, ajoutez S à la fin de ce sigle.
  

Question par sélection des mots manquants
Pour demander au participant de choisir directement, dans la question, les réponses correctes placées dans des menus déroulants.

Question par glisser-déposer sur un texte
Pour demander au participant de glisser des images ou des mots sous forme d’étiquettes depuis une liste et de les déposer dans différentes zones prédéfinies dans un texte troué.

Question par glisser-déposer sur une image 
Pour demander au participant de glisser-déposer des textes ou des images sur des zones de dépôts définies sur une image de fond.

2 - Créer et paramétrer le test

Une fois le mode édition activé, ajoutez un "test" Moodle :

1) Les paramètres de temps

 

Attention à bien dissocier créneaux d'ouverture / fermeture (Ouvrir / fermer ce test) et durée du test (le temps disponible pour réaliser le test).

➽ Ouvrir / fermer ce test 

Les étudiants ne peuvent commencer leur tentative de passation du test qu'après l'heure d'ouverture et doivent la terminer avant l'heure de fermeture.

➽ Temps disponible
Si ce réglage est activé, le temps imparti est indiqué sur la page initiale du test et un compte à rebours est affiché dans le bloc de navigation du test.

➽ Temps imparti échu
Ce réglage détermine ce qui se passe si le participant n'envoie pas son test avant l'échéance du délai. 3 options :

1. La tentative en cours est envoyée automatiquement. : si le participant est actif à cet instant, la tentative sera envoyée automatiquement pour correction. Cela correspond au paramétrage réglé par défaut.
   
2. Un laps de temps supplémentaire est donné pour envoyer le test. Il n'est pas permis de répondre aux questions durant cette période : ce réglage indique qu'il doit remettre son test à l'intérieur du délai supplémentaire alloué et qu'il ne peut plus répondre aux questions.
3. La tentative doit être envoyée avant l'échéance, sans quoi elle n'est pas comptabilisée : ce réglage indique que le test ne sera pas noté ni corrigé s'il n'est pas remis avant la date et l'heure de fermeture du test.

Voir aussi ☖ Documentation Moodle - solutions pour les problèmes causés par l'imposition d'une limite de temps dans le test.

2) Les paramètres de note

En cas d'évaluation sommative (type examen) laissez le nombre de tentatives autorisées à 1, qui correspond au paramétrage réglé par défaut.

3) Les paramètres de "mise en page"

Ces paramètres permettent de choisir la façon dont le test se présentera à l'écran.
Par défaut, une nouvelle page du test s'ouvre pour chaque question et la méthode de navigation est réglée sur "Libre" (les participants peuvent naviguer librement à l'intérieur du test).

À noter :
Avec la méthode de navigation séquentielle, les participants doivent parcourir le test dans l'ordre et ne peuvent ni revenir à la page précédente, ni passer à une page ultérieure. Ce mode, lorsqu'il est associé au piochage aléatoire de questions dans une banque permet de limiter le risque de copie.

4) Le comportement des questions

➽ Feedback a posteriori
Ce réglage est activé par défaut, car il correspond au cas le plus fréquent, où l'étudiant doit terminer tout le questionnaire avant de recevoir une note ou des explications.

➽ interactif avec essais multiples
Choisissez ce comportement dans le cas où l'étudiant peut recevoir des explications et améliorer sa réponse avant l'envoi global (plus de détails ici).

5) Les options de relecture

Par défaut, toutes les options de relecture ont été décochées donc les participants ne peuvent voir ni les notes, ni les feedbacks et réponses justes, que ce soit pendant ou après la fermeture du test.
 

À noter :
Il vous faudra activer les options choisis pour les étudiants accèdent à ces informations.
Cochez ici toutes les options uniquement si vous choisissez le mode "interactif avec essais multiples". Sinon, le mieux est de ne donner accès aux résultats et solutions qu'après la fermeture du test.

Cas particuliers / Questions fréquentes

➽ Usage des questions de type Composition

Si des questions de type composition (sert à recueillir des réponses courtes d'un paragraphe ou deux) sont utilisées au sein d'un test, ce test ne pourra être automatiquement évalué. La question composition doit en effet être lue et être manuellement évaluée par l'enseignant . Avant que la question soit corrigée, la note de l'étudiant sera de 0.
Pour les compositions plus longues, le devoir est une meilleure solution.

➽ Cas des étudiants bénéficiant d'un tiers-temps - la dérogation

Il est possible de paramétrer des temps disponibles différents (cas du tiers-temps) pour un ou plusieurs individus par l’intermédiaire des dérogations utilisateur. Cette fonctionnalité peut être utilisée également pour donner des accès individuels à un test qui aurait été clôturé (2e chance).

Une fois les paramètres réglés, n'oubliez pas d’enregistrer !

3 - Insérer les questions dans un test

4- Prévisualiser les questions

Vous pouvez prévisualiser les questions du test pour vérifier ce que voit un étudiant lorsqu'il passe le test et que vous assurer que celles-ci sont conformes.
Dans la page d'accueil du test, cliquez sur "Questions" :

L'ensemble des questions du test s'affiche alors :

Cliquez ensuite sur l'icône en forme de loupe pour prévisualiser chaque question.
Vous pouvez afficher les réponses correctes en cliquant sur "Remplir les réponses correctes" et vérifier ainsi l'exactitude de chacune des questions.

5 - Exporter les résultats

Voici comment procéder pour accéder aux notes souhaitées dans chaque activité en ligne :

1. Cliquez sur "configuration du carnet de notes"
   
   
   
2. Dans cette page un menu vous permet d'exporter les données au format Excel :
   
   
   
3. Pour choisir aisément les "Éléments d'évaluation à inclure" dans cet export, cliquez sur avant de cocher le nom des activités visées.
   
   
   
4. Choisissez le nombre de décimales souhaitées dans les notes, puis cliquez sur "Télécharger".
   
   
   
5. Une fois le fichier ouvert dans Excel, vous pouvez supprimer les colonnes D, E et I qui ne vous seront pas utiles.