Transcription
Multiple-Choice-AufgabenTeaching Guide for Higher & ProfessionalEducationZentrum für Innovative Didaktik (ZID)Building Competence. Crossing Borders.
Multiple-Choice-Aufgaben – Teaching Guide for Higher & Professional Education 3Inhalt4 ungen an MC-Aufgaben71.3Vorgehen beim Erstellen von MC-Aufgaben und MC-Prüfungen82MC-AUFGABEN82.1Elemente einer MC-Aufgabe92.2MC-Aufgaben-Typen153KOGNITIVES ANSPRUCHSNIVEAU VON MC-AUFGABEN194GESTALTUNGSHINWEISE194.1Stamm, Frageformulierung und Antwortoptionen194.2Vermeidung von Cue-Effekten22LITERATURVERZEICHNIS23ANHANG 1: FORMULAR ZUR ERSTELLUNG VON MC-AUFGABEN24ANHANG 2: CHECKLISTE FÜR DIE ERSTELLUNG VON MC-AUFGABEN25ANHANG 3: BEISPIEL EINER KOMPLEXEN MC-AUFGABE31IMPRESSUM
4 Multiple-Choice-Aufgaben – Teaching Guide for Higher & Professional Education1 Einführung1.1 AUSGANGSLAGEEinsatzMC-Aufgaben für formativesund summatives Assessment.Multiple-Choice-Aufgaben (MC-Aufgaben) kommen an Hochschulen meistensdann zum Einsatz, wenn eine hohe Auswertungseffizienz gefordert wird. Die Antworten lassen sich im Gegensatz zu offenen Frageformaten rasch oder – wenndigital eingesetzt – sogar automatisiert auswerten. Sie eignen sich darum insbesondere für das E-Learning, weil das elektronische Lernmanagementsystem Lehrenden und Studierenden laufend und effizient Rückmeldungen über die erworbenen Kompetenzen und damit Hinweise für die Anpassung des Lehr- undAuswertungMC-Aufgaben sindauswertungseffizient.Lernprozesses im Sinne des formativen Assessments geben kann. Der regelmässigeEinsatz formativer Assessments ist sinnvoll, denn aus der hochschuldidaktischenForschung ist bekannt, dass häufiges und qualifiziertes Feedback ein zentralesElement effektiver Hochschullehre darstellt (Lübcke, Müller & Johner, 2015).Der Einsatz von MC-Aufgaben für das summative Assessment – d.h. in Prüfungenmit Bewertungen in Form von Prädikaten (pass/fail) oder Noten – wird hingegensowohl unter Lehrenden als auch in der Öffentlichkeit kontrovers diskutiert. HäufigVoraussetzungEin erfolgreicher Einsatz setztAkzeptanz voraus.wird moniert, dass MC-Aufgaben nur Faktenwissen überprüfen und die richtigenAntworten aufgrund der formalen Struktur der Antwortmöglichkeiten erraten werden können (Lindner, Strobel & Köller, 2015). Dies wird teilweise auch durch empirische Forschungsbefunde unterstützt (vgl. z.B. Bücker et al., 2015), wobei dieGründe aber nicht grundsätzlicher Art sind, sondern mehr bei der gelebtenMC-Praxis liegen. Die Erstellung von guten MC-Aufgaben, die nicht nur Faktenwissen abfragen und die das blosse Erraten der richtigen Antwort verhindern,beansprucht eben viel Zeit und ist anspruchsvoll.Dieser Teaching Guide soll Dozierende bei der Konstruktion von MC-Aufgabenunterstützen und ein möglichst hohes Qualitätsniveau bei deren Einsatz an derHochschule sicherstellen. Dazu werden in Kapitel 1.2 die Qualitätsanforderungenund in Kapitel 1.3 das Vorgehen zur Erstellung von MC-Aufgaben und MC-Prüfungen dargelegt. In Kapitel 2.1 werden daraufhin die Elemente einer MC-Aufgabeerläutert und in Kapitel 2.2 die verschiedenen Aufgabentypen vorgestellt. Daraufhinwerden in Kapitel 3 die kognitiven Anspruchsniveaus thematisiert, die mit MC-Aufgaben angesprochen werden können. In Kapitel 4 zur praktischen Gestaltung vonMC-Aufgaben werden schliesslich die inhaltlichen und formalen Grundsätze zurErstellung von MC-Aufgaben thematisiert.1.2 QUALITÄTSANFORDERUNGEN AN MC-AUFGABENEine zentrale Voraussetzung für einen erfolgreichen Einsatz von MC-Aufgaben informativen – vor allem aber auch summativen – Lernkontrollen ist deren Akzeptanz,sowohl unter den Studierenden als auch den Dozierenden (Brauns & Schubert,2008). Eine solche Akzeptanz wird gefördert, wenn die Aufgaben als fair erlebtwerden. Fair sind MC-Aufgaben insbesondere dann, wenn sie den testtheoretischen Gütekriterien genügen.
Multiple-Choice-Aufgaben – Teaching Guide for Higher & Professional Education 5DIE OBJEKTIVITÄT, DIE RELIABILITÄT UND DIE VALIDITÄTZu den testtheoretischen Gütekriterien zählen die Objektivität, die Reliabilität und dieValidität (siehe auch Metzger & Nüesch, 2004). Objektivität ist dann gegeben, wennObjektivitätalle Studierenden die MC-Aufgaben unter gleichen Bedingungen lösen können undWer misst?Unabhängigkeitder Ergebnissealle Aufgaben unter gleichen Bedingungen bewertet werden. Die Objektivität vonMC-Aufgaben ist gegenüber offenen Aufgaben deutlich höher, da die Auswertungund Interpretation der Antworten auf MC-Aufgaben weitgehend, bei Automatisierung der Auswertung gar vollständig, von der korrigierenden Person unabhängig ist.ReliabilitätDie Begriffe der Reliabilität und Validität lassen sich mit einer Zielscheibe veranschaulichen (vgl. Abbildung 1). Die Reliabilität misst, inwieweit die Messung zuver-Wie wird gemessen?Zuverlässigkeit derErgebnisselässig ist. Am Beispiel der Zielscheibe bedeutet dies, dass bei mehreren abgegebenen Schüssen zuverlässig der gleiche Punkt getroffen würde. Im übertragenenSinn für eine MC-Prüfung bedeutet das, dass eine Prüfung mit fünf Aufgaben zuverlässig die gleiche Kompetenz, z.B. Mathematikkenntnisse, prüfen würde. DieReliabilität einer Prüfung zeigt sich entsprechend darin, dass die Antworten derValiditätStudierenden nicht zufällig richtig oder falsch ausfallen. Um eine hohe Reliabilitätin MC-Aufgaben zu erreichen, ist somit zentral, dass die Schwierigkeit der Aufgabeder Zielgruppe angemessen gewählt ist. Auch eine sorgfältige inhaltliche und formale Gestaltung der MC-Aufgaben trägt zur Reliabilität einer MC-Aufgabe bei, weilWas wird gemessen?Aussagekraft derErgebnissedamit beispielsweise unbeabsichtigte Lösungshinweise vermieden werden können. Entsprechende Gestaltungshinweise finden sich in Kapitel 4.ABBILDUNG 1: RELIABILITÄT UND VALIDITÄT AM BEISPIEL «ZIELSCHEIBE»123456781 2 3 4 5 6 7 8123456788 7 6 5 4 3 2 11 2 3 4 5 6 7 8123456788 7 6 5 4 3 2 11 2 3 4 5 6 7 88 7 6 5 4 3 2 1876543218765432187654321unreliabelund daher auchnicht validereliabelabernicht validereliabelundvalide
6 Multiple-Choice-Aufgaben – Teaching Guide for Higher & Professional EducationDie Validität ist schliesslich gegeben, wenn eine Messung zuverlässig das misst,AlignmentConstructive Alignmentfördert Validität.was beurteilt werden soll, und nicht irgendetwas anderes. Reliabilität ist somit Vo raussetzung für Validität. Am Beispiel der Zielscheibe bedeutet dies, dass die abgegebenen Schüsse zuverlässig die Mitte der Zielscheibe treffen und nicht etwa ihrZiel verfehlen. Im übertragenen Sinn für eine MC-Prüfung bedeutet das, dass eineMathematikprüfung mit fünf Aufgaben effektiv Mathematikkenntnisse überprüft undnicht vielmehr Sprachkompetenz, weil die Aufgaben sehr komplex formuliert sind.Die Validität einer MC-Aufgabe wird gefördert, wenn die damit geprüften Inhalte – imLernkontextAnspruchsgehalt einerAufgabe ist vomLernkontext abhängig.Sinne des Constructive Alignment (Biggs, 1996, vgl. Abbildung 2) – mit den angestrebten Lernzielen, dem entsprechenden Anspruchsniveau sowie der Lernumgebung abgestimmt sind. Das bedeutet, dass eine anwendungsorientierte MC-Aufgabe nur dann eingesetzt werden sollte, wenn auch das Lernziel auf derentsprechenden Taxonomiestufe «Anwendung» angesiedelt ist und im Unterrichtdie Studierenden Gelegenheit hatten, den Transfer des Wissens einzuüben.Für Prüfungsaufgaben gilt es, Folgendes zu beachten: Wurden im Unterricht anspruchsvolle Aufgaben gelöst, die in der Prüfung in identischer Weise abgefragtwerden, handelt es sich in der Prüfung nicht mehr um anspruchsvolle Transferaufgaben, da die korrekte Lösung lediglich erinnert werden muss.ABBILDUNG 2: CONSTRUCTIVE mgebung
Multiple-Choice-Aufgaben – Teaching Guide for Higher & Professional Education 71.3 VORGEHEN BEIM ERSTELLEN VONMC-AUFGABEN UND MC-PRÜFUNGENgelten. Diese Gestaltungsprinzipien werden in Kapitel 2Für das Erstellen von MC-Aufgaben und MC-Prüfungen bietetvon MC-Aufgaben findet sich zudem in Anhang 1.und Kapitel 4 thematisiert. Ein Formular zur Erstellungsich ein Vorgehen an, das auch für jede andere Prüfungsartangewendet werden kann (vgl. Abbildung 3).(3) Fragen kritisch prüfen: Sind die einzelnen MC-Aufgaben erstellt, werden sie einer kritischen Prüfung unter-(1) Inhalte und Anspruchsniveau der Fragen festlegen:zogen. Dabei ist es sinnvoll, diese Prüfung sowohl selberWie in Kapitel 1.2 festgehalten, ist es wichtig, die Prü-vorzunehmen als auch Fachkolleginnen und/oder -kolle-fungsaufgaben mit den Lernzielen und den vorgenom-gen um eine Einschätzung zu bitten. Eine Einschätzungmenen Lernaktivitäten (Lernumgebung) abzustimmen (zuvon aussenstehenden Personen ist empfehlenswert, weilden Lernzielen vgl. Kapitel 3). Dabei ist wichtig, dass zumdiese die Aufgabe unvoreingenommen betrachten. Damiteinen ausreichend Fragen formuliert werden, um diekönnen sie oftmals Mängel aufdecken, welche der Aufga-Lernziele abzudecken, und zum anderen die Gewichtungben entwickelnden Person selber nicht auffallen. Eineder Lernziele mit der Gewichtung im vermittelten Unter-Checkliste für eine entsprechende Prüfung findet sich inricht übereinstimmt (vgl. dazu auch Roloff, 2012). AmAnhang 2.Ende werden die Relevanz und Repräsentativität der mitden Fragen zu thematisierenden Aspekte kritisch reflek-(4) Prüfung zusammenstellen: Steht die Auswahl an Auf-tiert. Liegt noch wenig Erfahrung mit dem Erstellen vongaben und sind diese revidiert, werden die AufgabenPrüfungen vor, wird empfohlen, die Zusammenstellungsinnvoll zu einer gesamten Prüfung kombiniert. Dabei istzusätzlich mit Fachkolleginnen und/oder -kollegen zu dis-einerseits darauf zu achten, dass die Prüfung mit eherkutieren.einfachen, sogenannten Eisbrecher-Fragen, begonnenwird und andererseits, dass Fragen zum selben Thema(2) Fragen formulieren: An Hochschulen werden häufiggruppiert werden. Zudem sollten innerhalb eines gleichenanspruchsvolle Lernziele angestrebt, die über das Erin-Themas Fragen desselben Aufgabentyps (vgl. Kapitel 2.2)nern von Faktenwissen hinausgehen. Auch wenn dasgruppiert werden. Der Grund liegt darin, dass es kognitivLösen von MC-Aufgaben nur eine einfache Handlung er-anstrengender ist, wenn man sich beim Lösen der Auf-fordert – das Ankreuzen einer richtigen Antwort, könnengaben immer wieder in einen neuen Aufgabentyp ein-damit anspruchsvolle Lernziele überprüft werden, wie indenken muss, als wenn zu einem Thema z.B. zuerst alleKapitel 3 noch aufgezeigt werden soll. Es gilt dabei aller-Aufgaben mit Einfachauswahl (Single-Choice) und erstdings wichtige Gestaltungsprinzipien zu beachten, diedanach alle Aufgaben mit Mehrfachauswahl (Multiple-auch für kognitiv weniger anspruchsvolle MC-AufgabenChoice) folgen.ABBILDUNG 3: VORGEHEN BEIM ERSTELLEN VON MC-AUFGABEN UND MC-PRÜFUNGENInhalt undAnspruchsniveauder FragenfestlegenFragenformulierenFragenkritisch prüfenPrüfungzusammenstellen
8 Multiple-Choice-Aufgaben – Teaching Guide for Higher & Professional Education2 MC-Aufgaben2.1 ELEMENTE EINER MC-AUFGABEVariante 2: Der Stamm beinhaltet neben dem FragesatzMC-Aufgaben setzen sich aus zwei Elementen zusammen:oder der Arbeitsanweisung zusätzliche Informationen, die zurdem Stamm und den Antwortoptionen. Für die FormulierungBearbeitung der MC-Aufgabe notwendig sind, z.B. die Be-des Stamms können zwei Varianten unterschieden werden,schreibung einer Ausgangslage oder einer konkreten Prob-die nachfolgend näher ausgeführt werden. Für die Antwortenlemstellung. Dabei sollen die dargebotenen Informationengilt, dass mindestens vier, nach Möglichkeit fünf homogeneeinen möglichst authentischen, anwendungsorientiertenOptionen formuliert werden sollen. Homogene Optionen lie-Kontext widergeben und fachlich unumstrittenen sein. Kür-gen dann vor, wenn alle den gleichen inhaltlichen Bereichzere und längere Stämme von Fallbeschrieben sind möglich.ansprechen und grammatikalisch ähnlich strukturiert sindStämme können mit Tabellen, Abbildungen oder – bei einer(Haladyna, Downing & Rodriguez, 2002; vgl. Kapitel 4).elektronischen Darbietung – mit multimedialen Elementen,wie z.B. Animationen, Audios, Videos oder HTML, angerei-Variante 1: Der Stamm besteht lediglich aus einem Frage-chert werden (Ehlers, Guetl, Höntzsch, Usener & Gruttmann,satz oder einer Arbeitsanweisung. Als zusätzliche Information2013). Diese Variante eignet sich, wenn das Verständnis, diewird angegeben, wie viele Punkte die Aufgabe gibt und wieAnwendung oder Analyse von Wissen geprüft werden sollendie Punktevergabe erfolgt. Diese Variante eignet sich ins-(zum kognitiven Anspruchsniveau von MC-Aufgaben vgl.besondere dann, wenn mit einer MC-Aufgabe FaktenwissenKapitel 3). In diesem Fall sind insbesondere komplexe, mög-(Kenntnis) überprüft werden soll (zum kognitiven Anspruchs-lichst reale Problemstellungen sinnvoll.niveau von MC-Aufgaben vgl. Kapitel 3).TABELLE 1: STRUKTUR EINER MC-AUFGABE BEI EINTEILIGEM UND ZWEITEILIGEM STAMMStammEinteiliger Stamm (Variante 1)Zweiteiliger Stamm (Variante 2)Hinweis– Frage oder Anweisung– Hinweis zu Anzahl Punktenund ggf. Bewertung– A usgangslage oder Problemstellung– Frage oder Anweisung– Hinweis zu Anzahl Punkten und BewertungBeispielWelche der folgenden Investitionen ist keinBeispiel für ein «Foreign Direct Investment»(FDI)? (1 Punkt)In der Finanzbuchhaltung (FIBU) eines Handels unternehmens werden die Warenbeständegegenüber der Betriebsbuchhaltung (BEBU)um 1/3 unterbewertet.(Weitere Beispielefinden sich inKapitel 2.2 undKapitel 3)Warengruppe A(in CHF):WareneinkaufZunahmeBestand FIBU3 225 600102 400Wie hoch ist der Einstandswert der verkauftenWare der Warengruppe A (in CHF)? (1 Punkt)Antwortoptionen(mind. 4, nach Möglichkeit5 homogene Antwortoptionen)Kauf einer ausländischen Textilfabrik Kauf ausländischer WertpapiereK auf von Vermögensteilen einerausländischen FirmaK auf von ausländischem Grund fürbetriebliche Zwecke Kauf einer Beteiligung an einem ausländischenJoint Venture 379 2003 3 328 000 3 123 200 3 072 000 3 225 600
Multiple-Choice-Aufgaben – Teaching Guide for Higher & Professional Education 9Wird Variante 2 eingesetzt und ein ausführlicher, zweiteiligerAus messtechnischen Gründen wird empfohlen, fürStamm formuliert, bringt dies im Vergleich zu Variante 1 einennotenrelevante Leistungsmessungen (summativeserhöhten Zeitbedarf zum Lösen der Aufgaben mit sich. AusAssessment) hauptsächlich Best-Antwort-Aufgabendiesem Grund bietet es sich an, die Problemstellung als Ba-mit einer positiven oder negativen Einfachauswahlsis von drei bis fünf MC-Aufgaben zu verwenden, die wiede-(Single-Choice der Typen A und A–) zu nutzen. Alter-rum je unterschiedliche Aspekte testen. Ein Beispiel einernativ können auch Fragen mit vierfacher Richtig-solchen komplexen MC-Aufgabe (auch szenario-basierteFalsch-Entscheidung (Typ Kprim) verwendet werden.MC-Aufgabe genannt, vgl. z.B. Azer, 2003) ist im Anhang 3Alle anderen MC-Aufgabentypen werden für summa-aufgeführt.tive Prüfungen nicht empfohlen, können jedoch imRahmen des formativen Assessments eingesetztDie Beispiele von MC-Aufgaben in diesem Guide (vgl. Kapitelwerden.2.2) weisen aus Gründen der Übersicht teils bewusst kürzereStämme auf.2.2.1 BEST-ANTWORT-AUFGABENBei den Best-Antwort-Aufgaben werden die Typen «Einfach-2.2 MC-AUFGABEN-TYPENauswahl» und «Mehrfachauswahl» unterschieden. In der Auf-Bei MC-Aufgaben handelt es sich um Auswahlaufgaben, d. h.gabenstellung wird jeweils angegeben, wie viele Antwortenes sind Fragen, bei denen keine eigene Antwort formuliertzu wählen sind: Bei der Einfachauswahl (Single-Choice) istwird, sondern aus vorgegebenen Antwortoptionen eine oderes lediglich eine, bei der Mehrfachauswahl (Multiple-Choice)mehrere Antworten ausgewählt werden müssen (Sacher,hingegen sind es mehrere.2009). Dabei gibt es zwei übergeordnete Kategorien an Aufgaben zu unterscheiden: Best-Antwort-Aufgaben und Rich-Diese Aufgaben werden als Best-Antwort-Aufgaben be-tig-Falsch-Aufgaben (Jonkisz, Moosbrugger & Brandt, 2012).zeichnet, weil es darum geht, unter den vorgegebenen Alter-Allgemein kann festgehalten werden, dass Best-Antwort-Auf-nativen die beste auszuwählen. Das heisst, nichtzutreffendegaben es ermöglichen, verschiedene plausible AntwortenAntwortalternativen – sogenannte Distraktoren – dienen dergegeneinander abwägen zu lassen, während Richtig-Falsch-Ablenkung und müssen nicht komplett falsch sein. Es ist so-Auf gaben häufig reines Faktenwissen abfragen (Schelten,gar wichtig, dass die Distraktoren durchaus plausible Ant-1997). Aus diesem Grund sollten Best-Antwort-Auf gabenworten sind, damit nicht nur durch blosses Ausschliessenin MC-Prüfungen häufiger auftreten als Richtig-Falsch-Auf unlogischer Antworten die richtige Antwort hergeleitet wer-gaben.den kann.Innerhalb dieser beiden übergeordneten Kategorien gibt esZu dieser Art von MC-Aufgaben zählen die Typen «positiveweitere Aufgabentypen zu differenzieren. Die BezeichnungenEinfachauswahl» (A ) und «negative Einfachauswahl» (A–),der Aufgabentypen orientieren sich an den Definitionen desdie «Zuordnungsaufgabe» (B) sowie die «positive Mehrfach-National Board of Medical Examiners, das ursprünglich eineauswahl» (N). Diese werden nachfolgend in Tabelle 2 bisAuswahl von über zehn Typen vorgeschlagen hat (Case &Tabelle 5 mit je einem Beispiel veranschaulicht.Swanson, 2002). Mit der Zeit hat man diese aufgrund vonQualitätsüberlegungen auf wenige Typen beschränkt (Krebs,2004), die in den nachfolgenden zwei Kapiteln vorgestelltwerden.
10 Multiple-Choice-Aufgaben – Teaching Guide for Higher & Professional EducationTABELLE 2: BEISPIEL FÜR EINE BEST-ANTWORT-AUFGABE DES TYPS«POSITIVE EINFACH AUSWAHL» (TYP A )PositiveEinfachauswahl(Typ A )Auf eine Frage oder Anweisung folgen vier bis fünf Wahlantworten oder Satzergänzungen, aus welchen die einzigrichtige oder die beste auszuwählen ist. Die Wahlantworten sollen inhaltlich wie formal möglichst homogen sein mitgleichartigem Bezug zum Stamm. Bei mehreren richtigen, aber nur einer besten Antwort sollte sich diese deutlichabheben.Mögliche Bewertung:Richtige Antwort 1 PunktEinsatzempfehlung:Summatives und formatives AssessmentBeispiel:StammVariante 2Die Dreamland AG verkauft das Kissen «Soft» für CHF 20.–/Stück. Ein Kissen benötigt zur Herstellung 1 KilogrammRohmaterial und eine Arbeitsstunde Zeit. Das Rohmaterial kostet CHF 6.–/kg, die Arbeitszeit kostet CHF 4.–/h.Die Fixkosten betragen pro Monat CHF 2000.–. Überdies bezahlt die Dreamland AG monatlich CHF 2000.– für dieMiete der Räume.Leiten Sie ab, wie viele Kissen pro Monat produziert und verkauft werden müssen, damit ein Monats gewinn in Höhevon CHF 1000.– entsteht. (1 Punkt)Antworten 400 500 006700800TABELLE 3: BEISPIEL FÜR EINE BEST-ANTWORT-AUFGABE DES TYPS«NEGATIVE EINFACHAUSWAHL» (TYP A–)NegativeEinfachauswahl(Typ A–)Auf eine Frage oder Anweisung folgen vier bis fünf Wahlantworten oder Satzergänzungen, aus welchen die Ausnahme oder die am wenigsten zutreffende auszuwählen ist. Das Kennen einer wichtigen Ausnahme ist entscheidend.Die Negation muss im Stamm oder der Frage mit Fettdruck oder Unterstreichung markiert werden. Alle Antwortenmüssen positiv formuliert sein, da sonst doppelte Negationen entstehen können. Antworten wie «Keine der genanntenAntworten» sind nicht zulässig.Mögliche Bewertung:Richtige Antwort 1 PunktEinsatzempfehlung:Summ
Aufgaben mit Einfachauswahl (Single-Choice) und erst danach alle Aufgaben mit Mehrfachauswahl (Multiple- Choice) folgen. Inhalt und Anspruchsniveau der Fragen festlegen Fragen formulieren Fragen kritisch prüfen Prüfung zusammenstellen ABBILDUNG 3: VORGEHEN BEIM ERSTELLEN VON MC-AUFGABEN UND MC-PRÜFUNGEN
