Forscher an der Pusan-Nationaluniversität untersuchen die Auswirkungen von wiederholtem Itementwicklungstraining auf die Fähigkeit von Lehrern, den Schwierigkeitsgrad von Items in mehreren medizinischen Fächern vorherzusagen und anzupassen, und zeigen Verbesserungen bei der Qualität der Beurteilung und den Leistungen der Schüler. Bildnachweis: Professor Sang Yeoup Lee / Pusan National University, Korea
Die Bewertung ist ein wesentlicher Teil des Lernprozesses, da sie dabei hilft festzustellen, ob die Schüler die vermittelten Konzepte wirklich verstanden haben. Der Itemschwierigkeitsindex (der Schwierigkeitsgrad von Items oder Fragen) spielt eine Schlüsselrolle bei der Bewertung und stellt das Verhältnis zwischen der Anzahl der Studierenden, die die richtige Antwort gewählt haben, und der Gesamtzahl der Studierenden, die jede Frage beantwortet haben, dar. Dieser Index kann daher ein allgemeines Maß für den Schwierigkeitsgrad der Tests liefern. Darüber hinaus hat die Fähigkeit der Lehrer, Elemente zu erstellen und deren Schwierigkeitsgrad vorherzusagen, erheblichen Einfluss auf den Bewertungsprozess.
Ein wiederkehrendes Problem besteht darin, dass Lehrer die Schwierigkeit von Fragen möglicherweise überschätzen und so die Notwendigkeit hervorheben, die Vorhersagefähigkeiten zu verbessern. Es gibt jedoch nur begrenzte Forschungsergebnisse zu Lehrkräfteentwicklungsprogrammen, die darauf abzielen, die Fähigkeit von Lehrern zu verbessern, Fragenschwierigkeiten vorherzusagen und anzupassen.
Um diese Lücke zu schließen, führte ein Forscherteam der Pusan-Nationaluniversität unter der Leitung von Professor Sang Lee, Vizepräsident für medizinische Angelegenheiten, Professor für medizinische Ausbildung und Professor für Familienmedizin, eine Studie durch, deren Ergebnisse in veröffentlicht wurden BMC medizinische AusbildungDie Studie untersuchte, ob wiederholte Itementwicklungstrainings für Lehrkräfte an medizinischen Fakultäten ihre Fähigkeit verbesserten, den Schwierigkeitsgrad von Multiple-Choice-Fragen (MCQs) vorherzusagen und anzupassen.
Professor Lee erklärt den Kontext ihrer Studie: „So wie der letzte Pinselstrich ein Gemälde vervollständigt und perfektioniert, wird Bildung durch Beurteilung perfektioniert.“ Fakultätsmitglieder medizinischer Fakultäten können ohne entsprechende Schulung keine qualitativ hochwertigen Artikel erstellen. Eine Schulung zur Artikelentwicklung ist unerlässlich, und diese Studie zeigt, dass die Wirksamkeit dieser Schulung mit der Wiederholung zunimmt. »
Zuerst im Jahr 2016 und dann im Jahr 2018 wurden Workshops zur Artikelentwicklung mit 62 Teilnehmern durchgeführt und Schätzungen zur Genauigkeit der Vorhersagen zum Schwierigkeitsgrad von Artikeln verglichen. Vor dem Workshop entwickelten die Lehrkräfte neue Items, die dann überarbeitet wurden. Ein Artikelentwicklungsausschuss schulte die Fakultätsmitglieder, indem er ihnen fortlaufend Feedback gab und sie bei der Überarbeitung neuer Artikel gemäß den nationalen Prüfungsstandards unterstützte, mit einem idealen Schwierigkeitsgrad und einem gezielten Ansatz für die App. Darüber hinaus wurden die von den Teilnehmern vorhergesagten Schwierigkeitsindizes mit Beurteilungsanalysen für Medizinstudenten im vierten Jahr verglichen.
Die Studie ergab, dass vor dem Training nur für ein Fach, nämlich die Kardiologie, eine signifikante Übereinstimmung zwischen der vorhergesagten und der tatsächlichen Bewertung der Itemschwierigkeiten beobachtet wurde. Andererseits wurde eine signifikante Übereinstimmung für vier Fächer beobachtet: Kardiologie, Neurologie, Innere Medizin und Präventivmedizin. Diese Ergebnisse legen nahe, dass systematisches und effektives Training die Qualität von MCQ-Bewertungen in der medizinischen Ausbildung verbessern kann.
Wiederholte Schulungssitzungen verbesserten die Fähigkeit der Lehrer, den Schwierigkeitsgrad der Fragen genau vorherzusagen und anzupassen, erheblich, was zu effektiveren Beurteilungen und besseren Unterrichtsergebnissen führte. Trotz der Vorteile des Workshops kann es aufgrund der dreitägigen Dauer und des vollen Terminkalenders der teilnehmenden Lehrer schwierig sein, diese Ergebnisse aufrechtzuerhalten. Allerdings sind Lehrer, die eine Schulung in der Entwicklung und Änderung von Fragen erhalten, besser in der Lage, Fragen zu erstellen und den Schwierigkeitsgrad genau anzupassen, wodurch die Bewertungspraktiken verbessert werden.
Darüber hinaus können diese Trainingsprogramme in allen akademischen Bereichen angewendet werden. Zusammenfassend befürwortet diese Studie die Fortsetzung von Programmen zur Fakultätsentwicklung, um die Schaffung geeigneter Elemente im Einklang mit dem Bewertungsziel sicherzustellen.
Zu den potenziellen Anwendungen der Studie sagte Professor Lee: „Wiederholtes Training in der Artikelentwicklung passt nicht nur den Schwierigkeitsgrad an, sondern verbessert auch die Artikelkonstruktion, erhöht ihre Unterscheidungskraft und hilft, die Frage der Gültigkeit richtig zu beantworten.“
„Bald werden wir in eine Ära der Artikelentwicklung mithilfe von KI eintreten. Dafür sind Studien wie unsere wichtig, um die notwendigen Informationen zu vorhandenen Artikeln und Antwortdaten der Studierenden bereitzustellen, die bei der Entwicklung eines KI-basierten automatisierten Artikelentwicklungsprogramms helfen werden. »
Mehr Informationen:
Hye Yoon Lee et al., Der Einfluss von wiederholtem Item-Entwicklungstraining auf die Vorhersage des Item-Schwierigkeitsindex von medizinischen Fakultätsmitgliedern, BMC medizinische Ausbildung (2024). DOI: 10.1186/s12909-024-05577-x
Zur Verfügung gestellt von der Pusan National University
Zitat: Fakultätsworkshops verbessern die Vorhersage von Fragenschwierigkeiten in der medizinischen Ausbildung (2024, 1. Juli), abgerufen am 1. Juli 2024 von https://phys.org/news/2024-07-faculty-workshops-item -difficulty-medical.html
Dieses Dokument unterliegt dem Urheberrecht. Mit Ausnahme der fairen Nutzung für private Studien- oder Forschungszwecke darf kein Teil ohne schriftliche Genehmigung reproduziert werden. Der Inhalt dient ausschließlich Informationszwecken.