2022-2023: Alignement des niveaux de Certificat de compétence en langue seconde sur les NCLC et le CECR
Les Services d'évaluation linguistique et les membres du GREL ont mené un projet majeur visant à aligner le test de certification en langue seconde de l'ILOB (ESL 3100 et FLS 3500) sur les Niveaux de compétence linguistique canadiens et le Cadre européen commun de référence. Le tableau d'équivalence qui en résulte permettra au public d'interpréter de manière plus pertinente les capacités linguistiques des candidats aux tests. Ce projet a été présenté par Yongfei Wu (Chef des services d'évaluation linguistique) et Rosalie Hirsch (Agente de validation des tests) lors d'une séance d'affichage à la conférence de 2023 de l'Association internationale d'évaluation linguistique (International Language Testing Association).
2017-2019: La création d’un argument de validité pour un programme d’évaluation existant pour les admissions universitaires et la certification professionnelle
Angel Arias and Beverly Baker, ILOB, Université d’Ottawa et Carol Chapelle, professeure distinguée, Iowa State University
Ce projet implique une réorientation de nos activités de validation dans notre secteur vers un programme de recherche alimenté par un cadre d'argument de validité. Plus précisément, nos activités de validation de tests en cours sont réinterprétées en vue du soutien qu'elles peuvent apporter aux revendications dans l'argument de validité de notre interprétation et de notre utilisation des tests.
2017-2018: Développement de méthodes mixtes d'une échelle d'évaluation d'écriture orientée pour les preneurs de test
Beverly Baker et Angel Arias, ILOB, Université d'Ottawa et Maryam Homayounzadeh, Université de Shiraz
Cette étude suit le développement de méthodes mixtes d'une rubrique orientée pour les preneurs de test pour la section d'écriture de CanTEST, pour les candidats potentiels. Comme ce test est utilisé pour les exigences d'accréditation pour les professionnels formés à l'étranger ainsi que les admissions à l'université pour les étudiants internationaux, il est important de fournir des outils transparents validés pour soutenir la préparation des tests.
2017 : Rapport de validation sur les tests TESTCan et CanTEST : Les processus de prise de test et les révisions des biais culturels
Préparé par les étudiants du cours BIL5103 : Évaluation des compétences de la langue seconde
MA en études du bilinguisme, Institut des Langues Officielles et du Bilinguisme
(Professeure : Beverley A. Baker)
Elaaf Alsomali, Sarah Auyeung, Laura Castano Laverde, Majida Harb, Raquel Llama, Giselle Lehman, Stephanie Marshall, Nasren Musa Elsageyer
Cette équipe a mené des protocoles de réflexion à haute voix sur les questions « cloze & scanning » du TESTCan, ainsi que les révisions des biais culturels des éléments de lecture du CanTEST afin d’informer la révision du test.
Programme de recherche : La révision des spécifications d’un test de grande échelle: une approche à la fois conceptuelle et menée par les données (2015-2016)
Chef de projet : Angel Arias, Agent de validation, Institut des langues officielles et du bilinguisme
Ce programme de recherche comporte trois projets en cours.
Projet #1 :
Ce projet vise à réviser les spécifications des items de compréhension orale du CanTEST. Le CanTEST est un test utilisé par des universités ainsi que par des ordres professionnels au Canada. Ce projet comprend 3 étapes. Premièrement, les données des échantillons représentatives de trois versions du test (n = 1,789; n = 1,550; n = 846) sont analysés avec MFRM (Multi-Faceted Rasch Measurement) pour filtrer les items moins performants. Deuxièmement, les nouveaux items sont créés par un processus de rétro ingénierie, en se servant des dernières recherches en évaluation de la compréhension orale (Buck, 2001; Lynch, 2011; Rost, 1990; Field, 2011; Flowerdew, 1995; Taylor & Geranpayeh, 2011). Finalement, les nouvelles spécifications vont être rédigées, qui serviront à créer, d’une façon innovatrice et défendable, de nouvelles versions du test.
Projet #2 :
Dans la communauté de chercheurs en évaluation de la L2, il est de pratique courante d’utiliser des règles prédéfinies ou des plages de valeurs numériques uniques basées sur l’analyse statistique des résidus afin de juger de la qualité de l’ajustement des items et des personnes (p. ex., Aryadoust, Goh & Lee, 2011 ; Eckes, 2005 ; Hsieh, 2013 ; Winke, 2011). Cependant, l’usage d’une plage de valeur numérique unique comme point de référence représente un problème, car les statistiques de carrés moyens sont sensibles à la taille de l’échantillon. Une telle pratique peut amener la sur-détection et la sous-détection des items et des personnes qui ne s’ajustent pas au modèle. Cette étude rapporte les résultats d’une analyse de Rasch qui tient compte de la taille de l’échantillon pour juger l’adéquation des items au modèle lors de l’examen des statistiques des carrés moyens. Les données (n = 845; n = 1,548; n = 1,759) découlent de trois sous-tests de la compréhension orale provenant du CanTEST. L’objectif de l’analyse était de signaler les items mal ajustés afin d’en réviser leur contenu. Les résultats montrent que l’utilisation d’une règle prédéfinie est déconseillée, car cela peut celer des items qui ne s’ajustent pas au modèle. Ces résultats ont des conséquences sur les processus de révision des items lorsque le modèle de Rasch sert à en faire le réglage. De plus, lorsque cet ajustement est fondé sur la taille de l’échantillon, les inférences qui en découlent quant à la qualité des items et à la position des personnes sur un continuum (ou construit) d’habiletés linguistiques sont estimées avec plus de précision et sont basées sur des postulats théoriques fondés.
Projet #3
Le balayage, le repérage et la compréhension écrite : une exploration du concept par une analyse de facteurs exploratoire.
Dans les manuels et la salle de classe, le balayage et le repérage sont souvent soulignés comme étant des stratégies de lecture utiles et importantes. Intuitivement, l’importance de souligner ces stratégies semble justifiée, sous prétexte que les gens ont besoin de rapidement assimiler une grande quantité de matériel de lecture afin d’être en mesure de faire face à l’explosion de l’information dans des contextes professionnels et académiques. Cependant, très peu de recherche a été effectuée sur le(s) concept(s) sous-jacent(s) le balayage et le repérage ainsi que la relation à la compétence globale de compréhension écrite. Cette étude a été entreprise afin de recueillir des preuves théoriques, empiriques et pratiques qui justifient l’utilisation du sous-test de balayage et de repérage au sein du CanTEST.
Évaluer le bilinguisme: Intégrer le “translanguaging” à une activité de compréhension orale pour professeurs universitaires
Chef de projet: Amelia Hope, Chef de services d’évaluation linguistique
Cette étude de validité accompagne le développement d’une activité de compréhension orale pour professeurs universitaires à l’Université d’Ottawa. Le « Translanguaging » peut être défini comme le processus dynamique où des ressources de plus d’une langue sont employées pour exprimer un sens. Puisque les professeurs ont le droit d’utiliser le français ou l’anglais dans tout contexte, les réunions sur le campus alternent souvent entre les deux langues. De ce fait, la compétence passive en bilinguisme sera opérationnalisée dans cette activité par l’habileté de suivre des réunions qui alternent entre le français et l’anglais sans devoir s’exprimer dans sa L2. Ces activités seront pilotées et une rétroaction sera sollicitée par l’entremise d’un sondage auquel répondront les candidats ainsi que d’autres parties prenantes. Ce dernier comprendra des questions spécifiques reliées à l’emploi des deux langues au sein de l’activité.
Les tests d’admission à l’université passés par téléphone: Fonctions interactives du langage et perceptions d’anxiété (2015)
Chef du projet: Beverly Baker, Directrice, Évaluation des langues
Équipe de recherche: Joselyn Brooksbank, Irina Goundareva, Valerie Kolesova, Jessica McGregor, & Mélissa Pesant
Ce projet modeste vise à examiner l’examen oral passé par téléphone qui fait partie du processus d’admission au programme de didactiques des langues secondes à l’Université d’Ottawa. Ce projet examine de plus près le niveau d’anxiété éprouvé par les candidats, ainsi que les fonctions interactives élicité par l’entrevue. Les enregistrements audio ont été analysés avec la liste des fonctions interactives élaborées par O’Sullivan, Weir, & Saville (2002). Un sondage a aussi été aussi remplit par les candidats à propos de leur niveau de confort lors de l’entrevue. Les détails additionnels sur ce projet pourraient être fournis sur demande.
