** La version française suit. Ce courriel est envoyé au nom de David Robinson. La version PDF de la note, en français et en anglais, est jointe au présent message. **
This email is being sent on behalf of David Robinson. The PDFs of this memo, both English and French versions, are attached to this message.
—————————————————————————————–
September 17, 2014
MEMORANDUM 14:28
TO: Presidents and Administrative Officers
Local, Federated and Provincial Associations
FROM: David Robinson, Executive Director
RE: Student Learning Outcomes
Several universities and colleges in Canada, along with some provincial governments, have embraced various forms of defining and measuring “student learning outcomes” in recent years. While the idea of learning outcomes has its roots in educational and pedagogical theory, the concept is increasingly being taken up by institutions, governments, testing agencies and international bodies such as the OECD as a way to develop new measures, no matter how flawed, to assess the efficacy and performance of systems, programs and potentially individual faculty.
In the post-secondary education context, learning outcomes refer generally to the core competencies and abilities that students should be expected to demonstrate at the completion of a course or a program. These outcomes are defined in various ways by different institutions, ranging from vague generalities to more substantive and specific outcomes.
In some cases, learning outcomes are being adopted in Canada with respect to accreditation requirements. Simon Fraser University and Thompson Rivers University, for example, have both developed learning outcomes largely in response to meeting the requirements for accreditation with the North West Commission on Colleges and Universities (NWCCU). In both cases, the faculty associations have raised a number of objections about learning outcomes generally, including the following:
- Learning outcomes undervalue the learning process by focusing solely on outputs. While the ends are important, the means also matter.
- The development of standardized learning outcomes threatens the autonomy and academic freedom of faculty by imposing targets or pre-determined learning objectives.
- Learning outcomes represent another bureaucratic and workload burden on faculty.
- Learning outcomes focus on the short-term rather than the long-term benefits of a college or university education.
- The development of pre-determined learning outcomes runs counter to the educational mission of universities and colleges. Post-secondary education should not seek to meet rigid objectives, but rather advance knowledge by exposing students to intellectual uncertainty, ambiguity and experimentation.
- While most learning outcomes at the institutional level in Canada have been to date largely descriptive and qualitative in nature, there is pressure mounting to develop ways of quantitatively measuring these outcomes. Other jurisdictions have had some experience with this. In the United States, the Collegiate Learning Assessment (CLA) and Community College Learning Assessment (CCLA) were developed by the Lumina Foundation and the Council for Aid to Education to identify the value added from a college or university education. To do so, the tools test students on generic skills both at the beginning and the end of a degree/diploma program. The CLA and CCLA are being tested by the Higher Education Quality Council of Ontario to determine if the results are valid in the provincial context.
At the international level, the OECD’s Assessment of Higher Education Learning Outcomes (AHELO) is intended to measure what final-year university students “know and are able to do” in terms of both generic skills and discipline-specific skills. While the future of AHELO is in doubt, Ontario has participated in the feasibility phase of the project.
The quantification of student learning outcomes through standardized tests like the CLA, CCLA and AHELO instruments clearly raises a number of methodological and implementation problems. However, the more serious challenges as our colleagues in the K-12 system well know are political. Various attempts to “measure” and “assess” appropriate “student learning outcomes” have had a deleterious impact on public education in the United States in particular. They have encouraged the growth of simplistic standardized and high stakes tests used to punish and reward schools and teachers. Already, they have begun to infect American universities and colleges.
Assessment is of course central to teaching and learning, and evaluating students is part of what academic staff have always been doing. Whether testing their students’ grasp of certain facts and information, evaluating the logic of arguments, or challenging pre-conceived opinions and biases, academic staff use their professional judgment to evaluate a student’s performance in a class. Learning outcomes measurements imply that this professional judgment is not enough. Instead, teachers in colleges and universities are being asked to use measurements that essentially reduce student learning to quantifiable standards. It is not a far stretch to see how the results of these assessments could be used, and most certainly abused, to evaluate the “effectiveness” of teaching and learning at the institutional, departmental and individual instructor level.
I would encourage associations to monitor the development of learning outcomes at your institution and to engage with your members on the issue. I would also encourage you to resist the introduction of versions of learning outcomes, such as quantifiable measures like the CLA, which could have significant implications for the work and professional autonomy of academic staff. Finally, please share with me any information you have about the impact of learning outcomes for your members.
Do not hesitate to contact me if you have questions or require further clarification.
____________________________________________________________________________________________________________________________
Le 17 septembre 2014
NOTE 14:28
DESTINATAIRES : Présidents et agents administratifs
Associations locales, fédérées et provinciales
EXPÉDITEUR : David Robinson, directeur général
OBJET : Les acquis d’apprentissage des étudiants
Plusieurs universités et collèges du Canada, de concert avec certains gouvernements provinciaux, ont adopté depuis quelques années une variété de notions et de formes de mesure des « acquis d’apprentissage des étudiants ». En outre, des établissements, des gouvernements, des organismes d’évaluation et des organes internationaux comme l’OCDE font de plus en plus appel à la notion d’acquis d’apprentissage, bien qu’elle relève de la théorie de l’éducation et de la pédagogie, pour l’élaboration de nouvelles mesures fort discutables d’évaluation de l’efficacité et de la performance des systèmes, des programmes et, potentiellement, des membres du corps professoral.
Dans le contexte de l’éducation postsecondaire, la notion d’acquis d’apprentissage a généralement trait aux compétences et aux capacités que l’étudiant devrait avoir acquises à la fin d’un cours ou d’un programme. La définition de ces acquis varie d’un établissement à l’autre, allant d’une formulation vague et générale à un énoncé étoffé et précis.
L’adoption d’acquis d’apprentissage au Canada relève dans certains cas du respect de normes d’agrément. L’Université Simon-Fraser et l’Université Thompson Rivers, par exemple, ont toutes les deux établi des acquis d’apprentissage largement en réponse aux exigences de leur agrément auprès de la North West Commission on Colleges and Universities (NWCCU). Dans les deux cas, les associations de personnel académique ont formulé de nombreuses objections par rapport aux acquis d’apprentissage en général, entre autres :
- Les acquis d’apprentissage sous-estiment le processus d’apprentissage en ne mettant l’accent que sur les résultats. Les résultats d’apprentissage sont bel et bien importants, mais le processus d’enseignement l’est tout autant.
- La normalisation des acquis d’apprentissage, à savoir l’imposition de cibles et d’objectifs d’apprentissage prédéterminés, porte atteinte à l’autonomie et à la liberté académique du corps professoral.
- Les acquis d’apprentissage constituent un nouveau fardeau administratif qui alourdit la charge de travail du corps professoral.
- Les acquis d’apprentissage privilégient les avantages à court terme plutôt qu’à long terme d’une éducation collégiale ou universitaire.
- L’établissement d’acquis d’apprentissage prédéterminés s’oppose à la mission éducative des universités et des collèges. L’éducation postsecondaire ne doit pas viser la réalisation d’objectifs rigides, mais bien l’avancement des connaissances en exposant les étudiants à l’incertitude intellectuelle, l’ambiguïté et l’expérimentation.
- Bien que la plupart des acquis d’apprentissage définis par des établissements canadiens jusqu’ici soient largement de nature descriptive et qualitative, des pressions croissantes se font sentir pour la création d’outils de mesure quantitative de ces acquis. Cette démarche a gagné d’autres pays. Aux États-Unis, par exemple, la Lumina Foundation et le Council for Aid to Education ont créé des outils d’évaluation – Collegiate Learning Assessment (CLA) et Community College Learning Assessment (CCLA) – de la valeur ajoutée d’une éducation collégiale ou universitaire. Ces outils sont utilisés pour évaluer les compétences générales des étudiants au début et à la fin d’un cycle d’études. Le Conseil ontarien de la qualité de l’enseignement supérieur procède actuellement à l’essai de ces outils pour en évaluer la validité dans le contexte ontarien.
À l’échelle internationale, l’OCDE a établi l’Assessment of Higher Education Learning Outcomes (AHELO) qui vise à mesurer ce que l’étudiant universitaire « sait et est capable de faire » au terme de ses études, tant sur le plan de ses compétences générales que de ses compétences spécifiques. Bien que l’avenir de l’AHELO soit incertain, l’Ontario n’en a pas moins participé à une étude de faisabilité du projet.
L’évaluation quantitative des acquis d’apprentissage des étudiants au moyen de tests normalisés comme le CLA, le CCLA et l’AHELO pose manifestement des problèmes sur les plans de la méthode et de l’application pratique. Cependant, comme le savent très bien nos collègues du primaire et du secondaire, les plus importants défis sont d’ordre politique. Divers essais de « mesure » et « d’évaluation » adéquates des « acquis d’apprentissage des élèves » ont eu des effets néfastes sur l’éducation publique, plus particulièrement aux États-Unis. Ils ont favorisé l’usage répandu de tests simplistes standardisés aux enjeux très élevés aux fins de pénaliser ou de récompenser les écoles et le personnel enseignant. Et ils ont déjà commencé à contaminer des universités et collèges américains.
L’évaluation est bien sûr au cœur des démarches d’enseignement et d’apprentissage, et l’évaluation des étudiants fait depuis toujours partie intégrante du travail du personnel académique. Qu’ils vérifient la connaissance de certains faits, évaluent la logique d’arguments ou mettent en question des opinions ou des préjugés, les membres du personnel académique utilisent leur jugement professionnel pour évaluer le rendement des étudiants. La nécessité de mesurer les acquis d’apprentissage laisse supposer que ce jugement professionnel ne suffit pas à la tâche. On demande plutôt au personnel enseignant des collèges et universités d’avoir recours à des mesures qui réduisent ni plus ni moins l’apprentissage des étudiants à des normes quantifiables. N’est pas loin le jour où les résultats de ces évaluations seront employés, et certes abusivement, pour évaluer « l’efficacité » de l’enseignement et de l’apprentissage à l’échelle de l’établissement, du département et de l’individu.
J’incite les associations à surveiller la mise en place d’acquis d’apprentissage au sein de leur établissement et de sensibiliser leurs membres à cet égard. Je vous encourage aussi à vous opposer à l’implantation de versions des acquis d’apprentissage, par exemple des mesures quantifiables comme le CLA, qui pourraient avoir des répercussions majeures sur le travail et l’autonomie professionnelle du personnel académique. Enfin, je vous demande de bien vouloir me faire part de toute information concernant les effets des acquis d’apprentissage sur vos membres.
N’hésitez pas à communiquer avec moi si vous avez des questions ou souhaitez obtenir des précisions à ce sujet.