Le présent document sert de guide pour créer des questions à choix multiple (QCM) et des questions sur la prise de décisions cliniques (QPDC). Toutes les questions seront dorénavant versées dans notre banque de questions.

Toutes les questions devraient être rédigées selon le modèle de questions de l’examen d’aptitude du Conseil médical du Canada, partie I, Élaboration de questions à choix de réponse et Élaboration de problèmes à éléments-clés et d'énoncés de cas, pour aider les étudiants à se préparer à cet examen. Les questions qui ne sont pas rédigées selon ce modèle seront révisées ou pourraient être retirées de la banque de questions.

• QCM : Les QCM sont formées d’une prémisse (habituellement un scénario clinique), d’une question et de cinq options, l’une étant la bonne ou la meilleure réponse et les autres, quatre leurres.
• QPDC : La composante de prise de décisions cliniques (PDC) de l’examen comprend des descriptions de cas, suivies d’une ou de plusieurs questions, qui évaluent des aspects clés de résolution de cas cliniques. Les QPDC sont des questions à menu court, qui doivent offrir au plus 15 options, avec une seule réponse ou plusieurs bonnes réponses, ou bien des questions écrites.

À proscrire

• Toute question dont les réponses comprennent « Aucune de ces réponses » ou « Toutes ces réponses ».
• Toute question dont les réponses comprennent une combinaison de choix, p. ex. « a et b » ou « c et d ».
• Les questions formulées de cette façon : « Tous les énoncés suivants sont vrais, sauf » ou « Lequel des énoncés suivants est faux? »
• Les majuscules (sauf pour les acronymes) et les caractères gras.
• Toute question contenant les adverbes « toujours » ou « jamais ».
• Plus ou moins de cinq choix de réponses.
• Les acronymes utilisés seuls. Ils doivent être précédés du terme qu’ils désignent, p. ex. « imagerie par résonance magnétique (IRM) ».

Déconseillé

• Les questions factuelles visant à évaluer la mémorisation d’un seul fait, p. ex. « Laquelle des substances suivantes est une hormone? ».
• L’absence d’une prémisse clinique, c.-à-d. uniquement une question d’introduction comme : « Lequel des énoncés suivants est exact? » ou « Lequel est énoncés suivants est vrai? ».

Acceptable / à privilégier

• Dans la plupart des cas, les questions doivent être basées sur un scénario clinique avec une description du contexte clinique.
• Les leurres et la bonne réponse devraient être à peu près de la même longueur et uniformes, c.-à-d. si la question porte sur le meilleur traitement, inclure uniquement des options de traitement (pas de diagnostics ou d’autres types d’éléments).

Nécessaire

• Les questions doivent être associées à un ou à plusieurs objectifs d’apprentissage de l’unité ou du stage. Les objectifs se trouvent dans Zone Professeurs Prof Zone - EMPC | Faculté de médecine (uottawa.ca).
• Les questions doivent être associées à un ou plusieurs domaines.
• Une prémisse clinique peut être accompagnée de plus d’une question à choix multiple. Dans ce cas, bien l’indiquer en inscrivant « Question 1 de 2 », « Question 2 de 2 », etc.
• Ajouter une courte justification (explication) pour la bonne réponse et les leurres, si disponible, à la fin de la question en bleu pâle.
• Les valeurs de référence doivent être insérées dans la question ou dans un tableau comme ci-dessous :
  Une femme de 86 ans se présente à l’urgence pour une dyspnée. La gazométrie artérielle donne les résultats suivants :

Questions on an examination can perform poorly due to a number of reasons, including typographical errors, language issues, poor writing or even testing topics that were not covered in the course. After an examination, it is common practice to review the performance of questions and identify any that did not perform well. Identifying these questions and trying to resolve why they performed poorly helps ensure students’ scores are accurate reflections of their skills and knowledge.

The purpose of this document is to provide guidance to unit leaders and content experts when they are reviewing the performance of multiple-choice questions that have been flagged as poor performing questions on an examination. The focus will be on the statistical indicators that are used to identify poor performing questions and on how that information should be used by unit leaders and content experts when determining what should be done with a flagged question.

Statistical indices used to flag poor performing questions

Table 1 displays an example of a multiple-choice question report that is provided to unit leaders and content experts after an examination. Within this table are two statistical indices that are used to flag poor performing questions. The first index is difficulty (highlighted in yellow), which captures how many students answered the question correctly. This index is reported as a proportion correct. For example, for question 1, 0.75 or 75% of the students answered the question correctly. For question 2, 0.96 or 96% of the students answered the question correctly. If a difficulty index is less than 0.30, then the question would be considered very difficult. If the difficulty index is greater than 0.95, then the
question would be considered very easy.

Table 1. Example of the statistical information generated for multiple-choice questions

The second index displayed in Table 1 is discrimination, which captures the degree to which a question separates lower-scoring from higher-scoring students on that examination. There are actually two values displayed in the table that serve this purpose. The first value is the point-biserial correlation. This correlation measures the relationship between students’ score on the question and their total score. The second value is labelled discrimination. To generate this value, students with overall exam scores that fall in the top 25% and bottom 25% are identified. For any given question, the number of lower-scoring students who answered the question correctly is subtracted from the number of higher-scoring students who answered the question correctly and then divided by the total number of students in these two groups. Although the biserial correlation 3 is provided in the report, it is not used because multiple-choice questions do not meet the assumptions of this correlation.

Either the point-biserial or the discrimination value can be used as the measure of how well a question is discriminating between strong and weak students’ scores and it is personal preference as to which is used. Both produce similar results and both values are interpreted in the same manner. If the discrimination index is above 0.10, it indicates that students with higher overall exam scores tended to answer the question correctly and students with lower examination scores tended to answer the question incorrectly. This would be considered the optimal level for a question. If the discrimination index falls between 0 and 0.09, then it suggests there is little difference in how lower-scoring and higher-scoring students performed on that question and it could indicate a potential problem with the question. If the discrimination index is ever negative, then it indicates that students with low scores on the examination answered the question correctly whereas students with higher scores answered the question incorrectly. A question with a negative discrimination index is always flagged as a poor-performing question. In the example displayed in Table 1, question 5 has a negative point-biserial correlation and therefore would be automatically flagged.

Difficulty and discrimination indices also interact. If a question is very difficult, then many higher-scoring students will answer incorrectly, and the discrimination index will tend to be low. If a question is very easy, then even lower-scoring students will answer correctly, and the discrimination index will also tend to be low. Question 2 in Table 1 illustrates this interaction. The difficulty index is high (0.96), and therefore the point-biserial correlation is less than 0.10, which indicates that even the lower-scoring students were answering the question correctly because it was relatively easy.

What to look for when reviewing a flagged question?

Flagging poor performing questions based on statistics is the first step in determining if a question performed poorly. All flagged questions should be reviewed because there may be an explanation for its statistical results. At this stage, it might be helpful to also review the feedback from students. This feedback could provide an explanation for the statistics that was not obvious to the person reviewing the question. 

The following guidelines list the information that should be considered when reviewing a question.

1 - If a question is difficult (proportion correct less than 0.30)

• check the answer key to ensure the correct answer has been properly identified for scoring;
• read the question to confirm that the correct answer is listed and, if so, check its accuracy and if any of the other answers would apply;
• read the question to ensure there are no clues (e.g., typos, grammar) or other ambiguities
  that would encourage students to choose a wrong answer;
• confirm that the question is testing an objective that was covered in the course;
• check to ensure that the English and French versions of the question are equivalent; and
• check if the students identified any issues with this question.

If the above checks are all negative, then look at the discrimination index. If it is above 0.10, then the question is difficult, but higher-scoring students tended to answer correctly and therefore the question is likely acceptable. If the discrimination index is between 0 and 0.09, then there is likely something wrong with the question and it may need to be removed from scoring and/or sent to a content expert who will revise it before it is used again.

2 - If a question is extremely easy (difficulty index above 0.95)

• read the question to ensure there are no clues (e.g., typos, grammar) that would identify the correct answer.

If the above check does not indicate an obvious reason for the question being easy, then it is likely acceptable to keep it as a scored item, but it should be sent to a content expert to revise before it is used again.

3 - If the discrimination index is negative

• check the answer key to ensure the correct answer has been properly identified for scoring;
• read the question to confirm that the correct answer is listed and, if so, check its accuracy and if any of the other answers would apply;
• read the question to ensure there are no clues (e.g., typos, grammar) or other ambiguities that would encourage higher-scoring students to choose an incorrect answer;
• confirm that the question is testing an objective that was covered in the course;
• check to ensure that the English and French versions of the question are equivalent; and
• check if the students identified any issues with this question.

If the above checks are all negative, then there is something else wrong with the question. Under rare circumstances, a question with a negative discrimination index could be kept on the examination (e.g., the value was close to 0 with a small number of students tested), but in most cases the question should be removed from scoring and sent to a content expert who will revise it before it is used again.

What decisions should be made regarding a question?

There are five options available when reviewing a question that was flagged as poor performing.

1. Delete the question: Deleting a question removes it from scoring so that even if a student answers correctly, they will not get credit for it. This option is used if 
   1. there is no correct answer in the question (i.e., all answers are incorrect) or 
   2. the question is testing an objective that was not covered in the course. The deleted question should be sent back to the content expert to either improve it or remove it from the bank.
2. Credit the question: Crediting a question involves removing the question from the total score, but students who answered the question correctly still get a point. This option is used when the review has identified an issue with the question (e.g., typos, ambiguity, translation issue). Credited questions should be returned to a content expert for editing in order to address any issues before they are used again.
3. Change the answer key: On occasion, the answer that was identified as correct does not apply, but another answer does. In this case, the answer should be changed, and the examination should be rescored using the correct answer key. Note that the person revising the question may decide that there is more than one correct answer in which case, the exam should be rescored using all identified correct
    answers. In the latter case, the question should be sent to the content expert who will address the issue of having more than one correct answer before it is used again.
4. Keep the question on the examination but send it back to the content expert for editing. This option is used when an issue has been identified with a question, but it is not deemed a major question flaw.
5. Keep the question on the examination:  This option is used when no content or structural issues with the question are identified and
   when the question is relevant to the course.

Examples of common statistical patterns and what should be done in each case

The following examples display common situations that could occur with questions and serve to help illustrate how the statistics should be interpreted. All examples refer to the questions and statistics displayed in Table 1.

• Question 1: difficulty index = 0.75, discrimination index (point-biserial) = 0.38
  Because the difficulty index is between 0.30 and 0.95 and the discrimination index is above 0.10, this would be considered a question that is performing well and would not be flagged as poor performing.
• Question 2: difficulty index = 0.96, discrimination index (point-biserial) = 0.05
  The difficulty for this question is above 0.95, and therefore this would be considered a very easy question. The discrimination index is less than 0.10, which indicates that there was little difference in how higher-scoring and lower-scoring students answered the question. Review the question to ensure there wasn’t a typo or other clue as to the correct answer. If there weren’t any, then leave it on the examination as a scored item but send it to a content expert to revise before it is used again.
• Question 3: difficulty index = 0.25, discrimination index (point-biserial) = 0.15
  This would be considered a very difficult question but, because the discrimination index is above 0.10, it indicates that higher-scoring students were performing better on this question than lower-scoring students. Make sure the key is correct and check if another option is being frequently chosen by students. Check the wording of the question to ensure it is well written and check the translation to determine if there is an issue in the language. Confirm that the question is testing an objective that was covered in the course. If there are no obvious problems that would account for the low difficulty index, this question could be kept on the examination.
• Question 4: difficulty index = 0.25, discrimination index (point-biserial) = 0.07 
  This would be considered a very difficult question. Because the discrimination is between 0 and 0.10, it indicates that higher-scoring students are answering the same as the lower-scoring students, and it could indicate that there is a problem. Make sure the key is correct and check if another option is being frequently chosen by students. Check the wording of the question to ensure it is well written and check the translation to determine if there is an issue in the language. Confirm that the question is testing an objective that was covered in the course. Check the students’ feedback to see there were any comments. If no problem is found, then this question could be kept on the examination if it is deemed to be crucial, otherwise consider crediting it.
• Question 5: difficulty index = 0.25, discrimination index (point-biserial) = -0.12 
  This is a question that was either scored with the wrong answer key, did not have a correct answer, tests an objective that was not covered in the course, is poorly written, or had a translation issue. If it was scored with the wrong answer key, then it should be rescored using the right answer. In other cases, this question should either be deleted or credited.

Création de QCM

Adaptation de : Kiyak Y.S., Coskun, O, Budakoglu, I.I., Uluoglu, C., (in press). ChatGPT for generating multiple-choice questions:Evidence on the use of artificial intelligence in automatic item generation for a rational pharmacotherapy exam. European Journal of Clinical Pharmacology. https://doi.org/10.1007/s00228-024-03649-xnorth_eastlien externe

Dans la requête ci-dessous, entrez les renseignements pertinents dans le texte, puis collez toute cette requête dans la fenêtre de ChatGPT. Vous devriez obtenir une question qui correspond à vos spécifications. Il est recommandé de vérifier que la question est exacte et que son niveau de difficulté est approprié avant de l’utiliser.

Vous êtes en train de créer une banque de questions pour des examens en médecine qui portent sur [insérer le diagnostic, le traitement, la prise en charge, etc.] de/du/de la/des [insérer le problème clinique ou l’objectif]. Rédigez une question à choix multiple de qualité avec une seule réponse (la meilleure) en suivant les principes de rédaction de questions à choix multiple en médecine. Élaborez les questions selon la structure suivante :

• Prémisse ou scénario clinique (rédiger un seul paragraphe en regroupant toute l’information suivante) :
• Détails concernant le patient (sexe et âge)
• Motif de la consultation
• Antécédents cliniques pertinents
• Trouvailles à l’examen physique
• Résultats des tests diagnostiques (facultatif)
• Question (dernière phrase de la prémisse) : [inclure les données pertinentes des catégories ci-dessus sans pour autant révéler la réponse].
• Type de questions acceptable : Demander quelle est la MEILLEURE réponse et NON ce qui est VRAI ou FAUX.
• Choix de réponse :
  • [Insérer un choix de réponse plausible]
  • [Insérer un choix de réponse plausible]
  • [Insérer un choix de réponse plausible]
  • [Insérer un choix de réponse plausible]
  • [Insérer un choix de réponse plausible]
• Justification :
  • Indiquer la bonne réponse et l’expliquer.
  • Expliquer pourquoi il s’agit de la réponse la plus appropriée sur la base de lignes directrices fondées sur des données probantes ou de consensus d’experts.
  • Expliquer brièvement pourquoi les autres choix de réponse sont moins bons ou inexacts.
• Niveau de difficulté : [INDIQUER UN NIVEAU DE DIFFICULTÉ (ex. FACILE, DIFFICILE)]

Convertir QPDC en QCM

Dans la requête ci-dessous, entrez les renseignements pertinents dans le texte, puis collez toute cette requête dans la fenêtre de ChatGPT. Vous devriez obtenir une question qui correspond à vos spécifications. Il est recommandé de vérifier que la question est exacte et que son niveau de difficulté est approprié avant de l’utiliser.

Vous êtes en train de créer une banque de questions pour des examens en médecine qui portent sur [insérer le diagnostic, le traitement, la prise en charge, etc.] de/du/de la/des [insérer le problème clinique ou l’objectif].

[insérez le scénario clinique de la QPDC]

Rédigez une question à choix multiple de qualité avec une seule réponse (la meilleure) en suivant les principes de rédaction de questions à choix multiple en médecine. Élaborez les questions selon la structure suivante :

• Type de questions acceptable : Demander quelle est la MEILLEURE réponse et NON ce qui est VRAI ou FAUX.
• Choix de réponse :
  • [Insérer un choix de réponse plausible]
  • [Insérer un choix de réponse plausible]
  • [Insérer un choix de réponse plausible]
  • [Insérer un choix de réponse plausible]
  • [Insérer un choix de réponse plausible]
• Justification :
  • Indiquer la bonne réponse et l’expliquer.
  • Expliquer pourquoi il s’agit de la réponse la plus appropriée sur la base de lignes directrices fondées sur des données probantes ou de consensus d’experts.
  • Expliquer brièvement pourquoi les autres choix de réponse sont moins bons ou inexacts.
• Niveau de difficulté : [INDIQUER UN NIVEAU DE DIFFICULTÉ (ex. FACILE, DIFFICILE)]

Rédiger une question à choix multiples selon le modèle du National Board of Medical Examiners

Rédigez une question à choix multiples selon le modèle du National Board of Medical Examiners (NBME) : scénario clinique de quatre phrases avec signes vitaux et trouvailles à l’examen. Évitez les pseudo-scénarios. (La question doit porter sur un sujet en particulier [problème clinique ou objectif d’apprentissage] et les tâches cliniques associées.)

Zuckerman, M., Flood, R., Tan, R.J., Kelp, N., Ecker, D.J., Menke, J., Lockspeiser, T. (2023) ChatGPT for assessment writing. Medical Teacher, 45(11), 1224-1227.

Si la question répond à vos critères, vérifiez qu’elle est appropriée et que la langue et le style sont adéquats. Dans le cas contraire, modifiez votre requête pour obtenir une meilleure question. Par exemple, supprimez l’information superflue dans l’objectif d’apprentissage, ajoutez des valeurs de laboratoire ou des signes cliniques spécifiques, des facteurs démographiques concernant le patient, etc.

Exemple de requête

Message : Rédiger une question à choix multiples selon le modèle du National Board of Medical Examiners (NBME) : scénario clinique de quatre phrases avec signes vitaux et trouvailles à l’examen. La question doit porter sur le diagnostic et la physiopathologie de l’acromégalie. Éviter les pseudo-scénarios.

Réponse de ChatGPT : Un homme de 42 ans consulte son médecin traitant à cause d’une augmentation progressive de la taille de ses mains et de ses pieds depuis quelques années. Il mentionne aussi que sa voix est plus grave et qu’il a parfois des maux de tête. À l’examen physique, vous constatez que ses mains et ses pieds sont augmentés de volume, notamment un épaississement des doigts et un élargissement des pieds. Sa tension artérielle est de 150/90 mmHg, sa fréquence cardiaque, de 80/minute et sa fréquence respiratoire, de 16/minute. Les traits de son visage sont grossiers : mâchoire avancée, nez élargi et lèvres épaissies. Les analyses de laboratoire révèlent des taux sériques élevés du facteur de croissance analogue à l’insuline de type 1 (IGF-1). Quel est le processus physiopathologique sous-jacent le plus probable du tableau clinique de ce patient?

A. Hypersécrétion d’hormone de croissance (GH) causée par un adénome hypophysaire

B. Sécrétion excessive d’hormone parathyroïdienne (PTH)

C. Destruction auto-immune de la glande thyroïde

D. Production insuffisante de cortisol par les glandes surrénales

Bonne réponse : A. Hypersécrétion d’hormone de croissance (GH) causée par un adénome hypophysaire

Explication : L’acromégalie est une maladie due à une hypersécrétion d’hormone de croissance (GH) après la fermeture des cartilages de croissance qui entraîne une croissance graduelle des os et des tissus. La cause la plus fréquente d’acromégalie est l’adénome hypophysaire, qui entraîne une production et une sécrétion excessives de GH. Cet excès de GH stimule la production du facteur de croissance analogue à l’insuline de type 1 (IGF-1) dans le foie, entraînant les manifestations cliniques de l’acromégalie. Les patients atteints de cette maladie présentent souvent les caractéristiques suivantes : augmentation graduelle de la taille des mains et des pieds et épaississement des traits du visage (avancement de la mâchoire, élargissement du nez et épaississement des lèvres). L’acromégalie s’accompagne souvent d’hypertension artérielle. Un taux élevé d’IGF-1 confirme un diagnostic d’acromégalie. Les options B, C et D n’ont aucun lien avec la physiopathologie de l’acromégalie.