Evaluering av pensum og fakultet er avgjørende for alle institusjoner for høyere utdanning, inkludert medisinskoler.Elevevalueringer av undervisning (SET) har typisk form av anonyme spørreskjemaer, og selv om de opprinnelig ble utviklet for å evaluere kurs og programmer, har de over tid også blitt brukt til å måle undervisningseffektivitet og deretter ta viktige undervisningsrelaterte beslutninger.Lærerfaglig utvikling.Imidlertid kan visse faktorer og skjevheter påvirke SET-poeng, og undervisningseffektivitet kan ikke måles objektivt.Selv om litteraturen om emne- og fakultetsevaluering i generell høyere utdanning er godt etablert, er det bekymring for å bruke de samme verktøyene for å evaluere emner og fakultet i medisinske programmer.Spesielt kan SET i generell høyere utdanning ikke brukes direkte på læreplandesign og implementering i medisinskoler.Denne gjennomgangen gir en oversikt over hvordan SET kan forbedres på instrument-, ledelses- og tolkningsnivå.I tillegg påpeker denne artikkelen at ved å bruke ulike metoder som fagfellevurdering, fokusgrupper og egenvurdering for å samle inn og triangulere data fra flere kilder, inkludert studenter, jevnaldrende, programledere og selvbevissthet, kan et omfattende vurderingssystem bli bygget.Mål effektivt undervisningseffektiviteten, støtte den faglige utviklingen til medisinske pedagoger og forbedre kvaliteten på undervisningen i medisinsk utdanning.
Kurs- og programevaluering er en intern kvalitetskontrollprosess i alle institusjoner for høyere utdanning, inkludert medisinskoler.Studentevaluering av undervisning (SET) har vanligvis formen av et anonymt papir- eller nettbasert spørreskjema ved å bruke en vurderingsskala som en Likert-skala (vanligvis fem, syv eller høyere) som lar folk angi sin enighet eller grad av enighet.Jeg er ikke enig i spesifikke utsagn) [1,2,3].Selv om SET-er opprinnelig ble utviklet for å evaluere kurs og programmer, har de over tid også blitt brukt til å måle undervisningseffektivitet [4, 5, 6].Undervisningseffektivitet anses som viktig fordi det antas at det er en positiv sammenheng mellom undervisningseffektivitet og elevenes læring [7].Selv om litteraturen ikke klart definerer effektiviteten av opplæring, spesifiseres den vanligvis gjennom spesifikke kjennetegn ved trening, som «gruppeinteraksjon», «forberedelse og organisering», «tilbakemeldinger til studenter» [8].
Informasjon innhentet fra SET kan gi nyttig informasjon, for eksempel om det er behov for å justere undervisningsmateriellet eller undervisningsmetodene som brukes i et bestemt emne.SET brukes også til å ta viktige beslutninger knyttet til lærerens faglige utvikling [4,5,6].Hensiktsmessigheten av denne tilnærmingen er imidlertid tvilsom når høyere utdanningsinstitusjoner tar beslutninger angående fakultet, for eksempel opprykk til høyere akademiske rangeringer (ofte forbundet med ansiennitet og lønnsøkninger) og sentrale administrative stillinger innen institusjonen [4, 9].I tillegg krever institusjoner ofte at nye fakulteter inkluderer SET-er fra tidligere institusjoner i sine søknader om nye stillinger, og påvirker dermed ikke bare fakultetsopprykk innen institusjonen, men også potensielle nye arbeidsgivere [10].
Selv om litteraturen om læreplan og lærerevaluering er godt etablert innen generell høyere utdanning, er ikke dette tilfellet innen medisin og helsevesen [11].Læreplanen og behovene til medisinske pedagoger skiller seg fra de for generell høyere utdanning.For eksempel blir teamlæring ofte brukt i integrerte medisinske utdanningskurs.Dette betyr at medisinstudiet består av en rekke kurs undervist av en rekke fakultetsmedlemmer som har opplæring og erfaring innen ulike medisinske disipliner.Selv om elevene drar nytte av den inngående kunnskapen til eksperter på feltet under denne strukturen, står de ofte overfor utfordringen med å tilpasse seg hver lærers ulike undervisningsstiler [1, 12, 13, 14].
Selv om det er forskjeller mellom generell høyere utdanning og medisinsk utdanning, brukes SET som brukes i førstnevnte også noen ganger i medisin- og helsefagkurs.Implementering av SET i generell høyere utdanning byr imidlertid på mange utfordringer når det gjelder pensum og fakultetsevaluering i helsefagarbeiderprogrammer [11].Spesielt, på grunn av forskjeller i undervisningsmetoder og lærerkvalifikasjoner, kan det hende at kursevalueringsresultater ikke inkluderer studentenes meninger fra alle lærere eller klasser.Forskning av Uytenhaage og O'Neill (2015) [5] tyder på at det kan være upassende å be elevene om å rangere alle individuelle lærere på slutten av et kurs fordi det er nesten umulig for elevene å huske og kommentere flere lærervurderinger.kategorier.I tillegg er mange medisinske lærere også leger for hvem undervisning bare er en liten del av deres ansvar [15, 16].Fordi de først og fremst er involvert i pasientbehandling og i mange tilfeller forskning, har de ofte liten tid til å utvikle sine pedagogiske ferdigheter.Imidlertid bør leger som lærere få tid, støtte og konstruktive tilbakemeldinger fra sine organisasjoner [16].
Medisinstudenter har en tendens til å være svært motiverte og hardtarbeidende individer som med hell får opptak til medisinsk skole (gjennom en konkurransedyktig og krevende prosess internasjonalt).I tillegg, i løpet av medisinstudiet forventes medisinstudenter å tilegne seg en stor mengde kunnskap og utvikle et stort antall ferdigheter i løpet av kort tid, samt å lykkes med komplekse interne og omfattende nasjonale vurderinger [17,18,19 ,20].På grunn av de høye standardene som forventes av medisinstudenter, kan medisinstudenter være mer kritiske og ha høyere forventninger til undervisning av høy kvalitet enn studenter i andre fag.Dermed kan medisinstudenter ha lavere rangeringer fra sine professorer sammenlignet med studenter i andre disipliner av grunnene nevnt ovenfor.Interessant nok har tidligere studier vist en positiv sammenheng mellom elevmotivasjon og individuelle lærerevalueringer [21].I tillegg, i løpet av de siste 20 årene, har de fleste medisinske skoleplaner rundt om i verden blitt vertikalt integrert [22], slik at studentene blir eksponert for klinisk praksis fra de tidligste årene av programmet.I løpet av de siste årene har leger blitt mer og mer involvert i utdanningen av medisinstudenter, og støtter, selv tidlig i programmene, viktigheten av å utvikle SET-er skreddersydd for spesifikke fakultetspopulasjoner [22].
På grunn av den spesifikke karakteren til medisinsk utdanning nevnt ovenfor, bør SET-er som brukes til å evaluere generelle høyere utdanningskurs undervist av et enkelt fakultetsmedlem, tilpasses for å evaluere den integrerte læreplanen og det kliniske fakultetet til medisinske programmer [14].Derfor er det behov for å utvikle mer effektive SET-modeller og omfattende vurderingssystemer for mer effektiv anvendelse i medisinsk utdanning.
Den nåværende gjennomgangen beskriver nylige fremskritt i bruken av SET i (generell) høyere utdanning og dens begrensninger, og skisserer deretter de ulike behovene til SET for medisinske utdanningskurs og fakultet.Denne anmeldelsen gir en oppdatering om hvordan SET kan forbedres på instrumentelle, administrative og fortolkende nivåer, og fokuserer på målene om å utvikle effektive SET-modeller og omfattende vurderingssystemer som effektivt vil måle undervisningseffektivitet, støtte utviklingen av profesjonelle helsepedagoger og forbedre kvaliteten på undervisningen i medisinsk utdanning.
Denne studien følger studien til Green et al.(2006) [23] for råd og Baumeister (2013) [24] for råd om å skrive narrative anmeldelser.Vi bestemte oss for å skrive en narrativ anmeldelse om dette emnet fordi denne typen anmeldelse bidrar til å presentere et bredt perspektiv på emnet.Fordi narrative anmeldelser bygger på metodologisk mangfoldige studier, hjelper de dessuten med å svare på bredere spørsmål.I tillegg kan narrative kommentarer bidra til å stimulere tanker og diskusjon om et emne.
Hvordan brukes SET i medisinsk utdanning og hva er utfordringene sammenlignet med SET brukt i generell høyere utdanning,
Pubmed- og ERIC-databasene ble søkt ved hjelp av en kombinasjon av søkeordene «evaluering av studentundervisning», «undervisningseffektivitet», «medisinsk utdanning», «høyere utdanning», «pensum- og fakultetsevaluering» og for fagfellevurdering 2000, logiske operatører .artikler publisert mellom 2021 og 2021. Inklusjonskriterier: Inkluderte studier var originalstudier eller oversiktsartikler, og studiene var relevante for områdene til de tre hovedforskningsspørsmålene.Eksklusjonskriterier: Studier som ikke var engelskspråklige eller studier der fulltekstartikler ikke fantes eller ikke var relevante for de tre hovedforskningsspørsmålene ble ekskludert fra gjeldende oversiktsdokument.Etter å ha valgt publikasjoner ble de organisert i følgende emner og tilhørende underemner: (a) Bruken av SET i generell høyere utdanning og dens begrensninger, (b) Bruken av SET i medisinsk utdanning og dens relevans for å ta opp spørsmål knyttet til sammenligning av SET (c) Forbedre SET på instrumentelle, ledelsesmessige og fortolkende nivåer for å utvikle effektive SET-modeller.
Figur 1 gir et flytskjema over utvalgte artikler inkludert og diskutert i den nåværende delen av anmeldelsen.
SET har tradisjonelt vært brukt i høyere utdanning og temaet er godt studert i litteraturen [10, 21].Imidlertid har et stort antall studier undersøkt deres mange begrensninger og forsøk på å adressere disse begrensningene.
Forskning viser at det er mange variabler som påvirker SET-skåre [10, 21, 25, 26].Derfor er det viktig for administratorer og lærere å forstå disse variablene når de tolker og bruker data.Den neste delen gir en kort oversikt over disse variablene.Figur 2 viser noen av faktorene som påvirker SET-skårene, som er beskrevet i de følgende avsnittene.
De siste årene har bruken av nettsett økt sammenlignet med papirsett.Imidlertid tyder bevis i litteraturen på at online SET kan fullføres uten at studentene vier den nødvendige oppmerksomheten til fullføringsprosessen.I en interessant studie av Uitdehaage og O'Neill [5] ble ikke-eksisterende lærere lagt til SET og mange elever ga tilbakemelding [5].Dessuten tyder bevis i litteraturen på at studenter ofte tror at fullføring av SET ikke fører til forbedret utdanningsoppnåelse, noe som, kombinert med den travle timeplanen til medisinstudenter, kan resultere i lavere svarprosent [27].Selv om forskning viser at meningene til elevene som tar testen ikke er forskjellig fra hele gruppens, kan lave svarprosent fortsatt føre til at lærere tar resultatene mindre alvorlig [28].
De fleste online SET-er fullføres anonymt.Tanken er å la elevene uttrykke sine meninger fritt uten å anta at deres uttrykk vil ha noen innvirkning på deres fremtidige forhold til lærere.I Alfonso et al.s studie [29] brukte forskere anonyme vurderinger og vurderinger der vurderingspersoner måtte oppgi navn (offentlige vurderinger) for å evaluere undervisningseffektiviteten til medisinske fakulteter av innbyggere og medisinstudenter.Resultatene viste at lærere generelt skåret lavere på de anonyme vurderingene.Forfatterne argumenterer for at elever er mer ærlige i anonyme vurderinger på grunn av visse barrierer i åpne vurderinger, for eksempel skadet arbeidsforhold med deltakende lærere [29].Det bør imidlertid også bemerkes at anonymiteten som ofte forbindes med online SET, kan føre til at noen elever er respektløse og gjengjeldende mot instruktøren hvis vurderingsresultatene ikke oppfyller studentenes forventninger [30].Forskning viser imidlertid at studenter sjelden gir respektløse tilbakemeldinger, og sistnevnte kan begrenses ytterligere ved å lære elevene å gi konstruktive tilbakemeldinger [30].
Flere studier har vist at det er en sammenheng mellom elevenes SET-score, deres forventninger til testprestasjoner og deres testtilfredshet [10, 21].For eksempel rapporterte Strobe (2020) [9] at studenter belønner enkle kurs og lærere belønner svake karakterer, noe som kan oppmuntre til dårlig undervisning og føre til karakterinflasjon [9].I en fersk studie har Looi et al.(2020) [31] Forskere har rapportert at mer gunstige SET er relatert og lettere å vurdere.Dessuten er det urovekkende bevis på at SET er omvendt relatert til studentprestasjoner i påfølgende kurs: jo høyere vurdering, desto dårligere studentprestasjoner i påfølgende kurs.Cornell et al.(2016)[32] gjennomførte en studie for å undersøke om studenter lærte relativt mer av lærere hvis SET de vurderte høyt.Resultatene viser at når læring vurderes på slutten av et emne, bidrar også lærere med høyest karakter til læringen til flest elever.Men når læring måles ved ytelse i påfølgende relevante kurs, er lærere som skårer relativt lavt de mest effektive.Forskerne antok at å gjøre et kurs mer utfordrende på en produktiv måte kunne senke karakterer, men forbedre læringen.Elevvurderinger skal således ikke være det eneste grunnlaget for evaluering av undervisning, men skal anerkjennes.
Flere studier viser at SET-ytelsen påvirkes av selve kurset og dets organisering.Ming og Baozhi [33] fant i sin studie at det var signifikante forskjeller i SET-score blant elever i ulike fag.For eksempel har kliniske vitenskaper høyere SET-score enn grunnleggende vitenskaper.Forfatterne forklarte at dette skyldes at medisinstudenter er interessert i å bli leger og derfor har en personlig interesse og høyere motivasjon til å delta mer på kliniske realfag sammenlignet med grunnleggende naturfagskurs [33].Som ved valgfag har også elevmotivasjon for faget en positiv effekt på skårene [21].Flere andre studier støtter også at kurstypen kan påvirke SET-score [10, 21].
Dessuten har andre studier vist at jo mindre klassestørrelsen er, desto høyere SET-nivå oppnås av lærere [10, 33].En mulig forklaring er at mindre klassestørrelser øker mulighetene for lærer-elev interaksjon.I tillegg kan forholdene som vurderingen gjennomføres under påvirke resultatene.For eksempel ser det ut til at SET-poengsum er påvirket av tidspunktet og dagen kurset undervises i, så vel som ukedagen SET fullføres (f.eks. har vurderinger fullført i helgene en tendens til å resultere i mer positive poengsum) enn fullførte vurderinger tidligere i uken.[10].
En interessant studie av Hessler et al stiller også spørsmål ved effektiviteten til SET.[34].I denne studien ble det gjennomført en randomisert kontrollert studie i et akuttmedisinkurs.Tredjeårs medisinstudenter ble tilfeldig fordelt til enten en kontrollgruppe eller en gruppe som mottok gratis sjokoladekjeks (kakegruppe).Alle gruppene ble undervist av de samme lærerne, og opplæringsinnholdet og kursmateriellet var identisk for begge gruppene.Etter kurset ble alle elevene bedt om å fullføre et sett.Resultatene viste at informasjonskapselgruppen vurderte lærere betydelig bedre enn kontrollgruppen, noe som satte spørsmålstegn ved effektiviteten til SET [34].
Bevis i litteraturen støtter også at kjønn kan påvirke SET-score [35,36,37,38,39,40,41,42,43,44,45,46].Noen studier har for eksempel vist en sammenheng mellom studentenes kjønn og vurderingsresultater: kvinnelige studenter skåret høyere enn mannlige studenter [27].De fleste bevis bekrefter at studenter vurderer kvinnelige lærere lavere enn mannlige lærere [37, 38, 39, 40].For eksempel, Boring et al.[38] viste at både mannlige og kvinnelige studenter mente at menn var mer kunnskapsrike og hadde sterkere lederevner enn kvinner.Det faktum at kjønn og stereotypier påvirker SET støttes også av studien til MacNell et al.[41], som rapporterte at studenter i studien hans vurderte kvinnelige lærere lavere enn mannlige lærere på ulike aspekter ved undervisningen [41].Dessuten ga Morgan et al [42] bevis for at kvinnelige leger fikk lavere undervisningsvurderinger i fire store kliniske rotasjoner (kirurgi, pediatri, obstetrikk og gynekologi og indremedisin) sammenlignet med mannlige leger.
I Murray et al.s (2020) studie [43] rapporterte forskerne at fakultetets attraktivitet og studentenes interesse for kurset var assosiert med høyere SET-score.Motsatt er kursvanskelighet assosiert med lavere SET-score.I tillegg ga studentene høyere SET-score til unge hvite mannlige humanistiske lærere og til fakultetet med fulle professorater.Det var ingen sammenhenger mellom SET undervisningsevalueringer og lærerundersøkelsesresultater.Andre studier bekrefter også den positive effekten av lærernes fysiske attraktivitet på vurderingsresultater [44].
Clayson et al.(2017) [45] rapporterte at selv om det er generell enighet om at SET gir pålitelige resultater og at klasse- og lærergjennomsnitt er konsistente, eksisterer det fortsatt inkonsekvenser i individuelle elevsvar.Oppsummert indikerer resultatene av denne vurderingsrapporten at studentene ikke var enige i det de ble bedt om å vurdere.Reliabilitetsmål utledet fra elevevalueringer av undervisning er ikke tilstrekkelig til å gi grunnlag for å fastslå validitet.Derfor kan SET noen ganger gi informasjon om elever i stedet for lærere.
Helseutdanning SET skiller seg fra tradisjonell SET, men lærere bruker ofte SET tilgjengelig i generell høyere utdanning i stedet for SET spesifikke for helseprofesjonsprogrammer rapportert i litteraturen.Studier utført gjennom årene har imidlertid identifisert flere problemer.
Jones et al (1994).[46] gjennomførte en studie for å avgjøre spørsmålet om hvordan man kan evaluere medisinsk fakultet fra fakultetets og administratorers perspektiv.Samlet sett er de mest nevnte problemstillingene knyttet til undervisningsevaluering.Det vanligste var generelle klager på utilstrekkelighet ved nåværende prestasjonsvurderingsmetoder, med respondenter som også kom med spesifikke klager på SET og manglende anerkjennelse av undervisning i akademiske belønningssystemer.Andre rapporterte problemer inkluderer inkonsekvente evalueringsprosedyrer og forfremmelseskriterier på tvers av avdelinger, mangel på regelmessige evalueringer og manglende evne til å knytte evalueringsresultater til lønn.
Royal et al (2018) [11] skisserer noen av begrensningene ved å bruke SET til å evaluere pensum og fakultet i helsefagarbeiderprogrammer i generell høyere utdanning.Forskere rapporterer at SET i høyere utdanning står overfor ulike utfordringer fordi det ikke kan brukes direkte på pensumdesign og kursundervisning i medisinske skoler.Ofte stilte spørsmål, inkludert spørsmål om instruktøren og kurset, kombineres ofte til ett spørreskjema, slik at studentene ofte har problemer med å skille mellom dem.I tillegg blir kurs i medisinske programmer ofte undervist av flere fakultetsmedlemmer.Dette reiser spørsmål om gyldighet gitt det potensielt begrensede antallet interaksjoner mellom elever og lærere vurdert av Royal et al.(2018)[11].I en studie av Hwang et al.(2017) [14] undersøkte forskere konseptet om hvordan retrospektive kursevalueringer helhetlig reflekterer studentenes oppfatning av ulike instruktørkurs.Resultatene deres tyder på at individualisert klassevurdering er nødvendig for å administrere fleravdelingskurs innenfor en integrert medisinsk skolepensum.
Uitdehaage og O'Neill (2015) [5] undersøkte i hvilken grad medisinstudenter bevisst tok SET i et klasseromskurs med flere fakulteter.Hvert av de to prekliniske kursene inneholdt en fiktiv instruktør.Studentene må gi anonyme vurderinger til alle instruktører (inkludert fiktive instruktører) innen to uker etter fullført kurs, men kan avslå å evaluere instruktøren.Året etter skjedde det igjen, men portrettet av den fiktive foreleseren var med.66 prosent av studentene vurderte den virtuelle instruktøren uten likhet, men færre studenter (49 %) vurderte den virtuelle instruktøren med likhet til stede.Disse funnene tyder på at mange medisinstudenter fullfører SET blindt, selv når de er ledsaget av fotografier, uten nøye vurdering av hvem de vurderer, enn si instruktørens ytelse.Dette hindrer forbedring av programkvaliteten og kan være skadelig for lærernes akademiske fremgang.Forskerne foreslår et rammeverk som tilbyr en radikalt annerledes tilnærming til SET som aktivt og aktivt engasjerer studenter.
Det er mange andre forskjeller i utdanningspensumet til medisinske programmer sammenlignet med andre generelle høyere utdanningsprogrammer [11].Medisinutdanning er, i likhet med profesjonell helseutdanning, tydelig fokusert på utvikling av klart definerte yrkesroller (klinisk praksis).Som et resultat blir læreplanene for medisinske og helseprogrammer mer statiske, med begrensede kurs- og fakultetsvalg.Interessant nok tilbys medisinske utdanningskurs ofte i et kohortformat, med alle studenter som tar samme kurs på samme tid hvert semester.Derfor kan det å registrere et stort antall elever (vanligvis n = 100 eller flere) påvirke undervisningsformatet så vel som lærer-elev-forholdet.I mange medisinske skoler blir dessuten ikke de psykometriske egenskapene til de fleste instrumenter vurdert ved førstegangsbruk, og egenskapene til de fleste instrumenter kan forbli ukjente [11].
Flere studier de siste årene har gitt bevis for at SET kan forbedres ved å ta opp noen viktige faktorer som kan påvirke effektiviteten til SET på instrumentelt, administrativt og fortolkningsnivå.Figur 3 viser noen av trinnene som kan brukes til å lage en effektiv SET-modell.De følgende avsnittene gir en mer detaljert beskrivelse.
Forbedre SET på instrumentelle, ledelsesmessige og fortolkende nivåer for å utvikle effektive SET-modeller.
Som nevnt tidligere bekrefter litteraturen at kjønnsskjevhet kan påvirke lærerevalueringer [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Peterson et al.(2019) [40] gjennomførte en studie som undersøkte om studentenes kjønn påvirket studentenes reaksjoner på bias-reduserende innsats.I denne studien ble SET administrert til fire klasser (to undervist av mannlige lærere og to undervist av kvinnelige lærere).Innenfor hvert kurs ble studentene tilfeldig tildelt et standard vurderingsverktøy eller det samme verktøyet, men ved å bruke språk utviklet for å redusere kjønnsskjevhet.Studien fant at studenter som brukte anti-bias vurderingsverktøy ga kvinnelige lærere betydelig høyere SET-score enn studenter som brukte standard vurderingsverktøy.Dessuten var det ingen forskjeller i vurderinger av mannlige lærere mellom de to gruppene.Resultatene av denne studien er betydelige og viser hvordan en relativt enkel språkintervensjon kan redusere kjønnsskjevhet i elevevalueringer av undervisning.Derfor er det god praksis å vurdere alle SET-er nøye og bruke språk for å redusere kjønnsskjevhet i deres utvikling [40].
For å få nyttige resultater fra ethvert SET, er det viktig å nøye vurdere hensikten med vurderingen og ordlyden av spørsmålene på forhånd.Selv om de fleste SET-undersøkelser tydelig indikerer en seksjon om organisatoriske aspekter ved kurset, dvs. "Kursevaluering", og en seksjon om fakultet, dvs. "Lærerevaluering", er det i noen undersøkelser kanskje ikke forskjellen åpenbar, eller det kan være forvirring blant studentene om hvordan man vurderer hvert av disse områdene individuelt.Derfor må utformingen av spørreskjemaet være hensiktsmessig, tydeliggjøre de to ulike delene av spørreskjemaet, og bevisstgjøre elevene på hva som bør vurderes på hvert område.I tillegg anbefales pilottesting for å finne ut om elevene tolker spørsmålene på den tiltenkte måten [24].I en studie av Oermann et al.(2018) [26] søkte og syntetiserte forskerne litteratur som beskrev bruken av SET i et bredt spekter av disipliner i lavere og høyere utdanning for å gi lærere veiledning om bruken av SET i sykepleie og andre helsefagarbeiderprogrammer.Resultatene tyder på at SET-instrumenter bør evalueres før bruk, inkludert pilottesting av instrumentene med elever som kanskje ikke er i stand til å tolke SET-instrumentelementene eller spørsmålene slik instruktøren hadde tenkt.
Flere studier har undersøkt om SET-styringsmodellen påvirker studentengasjement.
Daumier et al.(2004) [47] sammenlignet studentvurderinger av instruktøropplæring fullført i klassen med vurderinger samlet på nettet ved å sammenligne antall svar og vurderinger.Forskning viser at nettbaserte undersøkelser vanligvis har lavere svarprosent enn undersøkelser i klassen.Studien fant imidlertid at nettbaserte vurderinger ikke ga signifikant forskjellige gjennomsnittskarakterer fra tradisjonelle klasseromsvurderinger.
Det var en rapportert mangel på toveiskommunikasjon mellom elever og lærere under fullføring av online (men ofte trykte) SETs, noe som resulterte i manglende mulighet for avklaring.Derfor kan det hende at betydningen av SET-spørsmål, kommentarer eller elevevalueringer ikke alltid er klar [48].Noen institusjoner har tatt opp dette problemet ved å bringe studenter sammen i en time og tildele en bestemt tid for å fullføre SET online (anonymt) [49].I sin studie har Malone et al.(2018) [49] holdt flere møter for å diskutere med studentene hensikten med SET, hvem som ville se SET-resultatene og hvordan resultatene ville bli brukt, og eventuelle andre spørsmål som studentene tar opp.SET gjennomføres omtrent som en fokusgruppe: den kollektive gruppen svarer på åpne spørsmål gjennom uformell avstemning, debatt og avklaring.Svarprosenten var over 70–80 %, noe som ga lærere, administratorer og læreplankomiteer omfattende informasjon [49].
Som nevnt ovenfor, i Uitdehaage og O'Neills studie [5], rapporterte forskerne at studenter i deres studie vurderte ikke-eksisterende lærere.Som nevnt tidligere er dette et vanlig problem i medisinske skolekurs, der hvert kurs kan bli undervist av mange fakultetsmedlemmer, men studentene husker kanskje ikke hvem som bidro til hvert kurs eller hva hvert fakultetsmedlem gjorde.Noen institusjoner har tatt opp dette problemet ved å gi et fotografi av hver foreleser, hans/hennes navn og emnet/datoen presentert for å friske opp studentenes minner og unngå problemer som kompromitterer effektiviteten til SET [49].
Det kanskje viktigste problemet knyttet til SET er at lærere ikke er i stand til å tolke kvantitative og kvalitative SET-resultater korrekt.Noen lærere vil kanskje foreta statistiske sammenligninger på tvers av år, noen kan se på mindre økninger/reduksjoner i gjennomsnittsskårene som meningsfulle endringer, noen vil tro på hver undersøkelse, og andre er direkte skeptiske til enhver undersøkelse [45,50, 51].
Unnlatelse av å tolke resultater eller behandle tilbakemeldinger fra elevene kan påvirke lærernes holdninger til undervisning.Resultatene til Lutovac et al.(2017) [52] Støttende lærerutdanning er nødvendig og gunstig for å gi tilbakemelding til elevene.Medisinsk utdanning trenger presserende opplæring i riktig tolkning av SET-resultater.Derfor bør det medisinske fakultetet få opplæring i hvordan man evaluerer resultater og de viktige områdene de bør fokusere på [50, 51].
Derfor antyder resultatene som beskrives at SET-er bør utformes, administreres og tolkes nøye for å sikre at SET-resultater har en meningsfull innvirkning på alle relevante interessenter, inkludert fakultetet, medisinske skoleadministratorer og studenter.
På grunn av noen av begrensningene til SET, bør vi fortsette å strebe etter å lage et omfattende evalueringssystem for å redusere skjevhet i undervisningseffektivitet og støtte den faglige utviklingen til medisinske lærere.
En mer fullstendig forståelse av kvaliteten på det kliniske fakultetets undervisning kan oppnås ved å samle inn og triangulere data fra flere kilder, inkludert studenter, kolleger, programadministratorer og fakultetets egenvurderinger [53, 54, 55, 56, 57].De følgende avsnittene beskriver mulige andre verktøy/metoder som kan brukes i tillegg til effektiv SET for å bidra til å utvikle en mer hensiktsmessig og fullstendig forståelse av treningseffektivitet (Figur 4).
Metoder som kan brukes til å utvikle en helhetlig modell av et system for å vurdere effektiviteten av undervisning i en medisinsk skole.
En fokusgruppe er definert som "en gruppediskusjon organisert for å utforske et spesifikt sett med problemstillinger" [58].I løpet av de siste årene har medisinskoler opprettet fokusgrupper for å få kvalitetstilbakemeldinger fra studenter og adressere noen av fallgruvene ved online SET.Disse studiene viser at fokusgrupper er effektive i å gi kvalitetstilbakemeldinger og øke studenttilfredsheten [59, 60, 61].
I en studie av Brundle et al.[59] Forskerne implementerte en studentevalueringsgruppeprosess som tillot kursledere og studenter å diskutere kurs i fokusgrupper.Resultatene indikerer at fokusgruppediskusjoner utfyller nettbaserte vurderinger og øker studentenes tilfredshet med den generelle kursvurderingsprosessen.Studentene verdsetter muligheten til å kommunisere direkte med kursledere og tror at denne prosessen kan bidra til pedagogisk forbedring.De følte også at de var i stand til å forstå kurslederens synspunkt.I tillegg til studenter, vurderte kursledere også at fokusgrupper la til rette for mer effektiv kommunikasjon med studenter [59].Dermed kan bruk av fokusgrupper gi medisinske skoler en mer fullstendig forståelse av kvaliteten på hvert kurs og undervisningseffektiviteten til det respektive fakultetet.Det skal imidlertid bemerkes at fokusgruppene i seg selv har noen begrensninger, som at kun et lite antall studenter deltar i dem sammenlignet med det nettbaserte SET-programmet, som er tilgjengelig for alle studenter.I tillegg kan det å gjennomføre fokusgrupper for ulike kurs være en tidkrevende prosess for rådgivere og studenter.Dette utgjør betydelige begrensninger, spesielt for medisinstudenter som har veldig travle timeplaner og kan gjennomføre kliniske utplasseringer på forskjellige geografiske steder.I tillegg krever fokusgrupper et stort antall erfarne tilretteleggere.Å inkludere fokusgrupper i evalueringsprosessen kan imidlertid gi mer detaljert og spesifikk informasjon om effektiviteten av trening [48, 59, 60, 61].
Schiekierka-Schwacke et al.(2018) [62] undersøkte studentenes og fakultetets oppfatninger av et nytt verktøy for å vurdere fakultetets prestasjoner og studentenes læringsutbytte i to tyske medisinskoler.Fokusgruppediskusjoner og individuelle intervjuer ble gjennomført med fakultets- og medisinstudenter.Lærere satte pris på den personlige tilbakemeldingen som ble gitt av vurderingsverktøyet, og elevene rapporterte at en tilbakemeldingssløyfe, inkludert mål og konsekvenser, burde opprettes for å oppmuntre til rapportering av vurderingsdata.Resultatene fra denne studien støtter derfor viktigheten av å lukke kommunikasjonssløyfen med studentene og informere dem om vurderingsresultater.
Peer Review of Teaching (PRT)-programmer er svært viktige og har vært implementert i høyere utdanning i mange år.PRT innebærer en samarbeidsprosess for å observere undervisning og gi tilbakemelding til observatøren for å forbedre undervisningseffektiviteten [63].I tillegg kan selvrefleksjonsøvelser, strukturerte oppfølgingsdiskusjoner og systematisk tildeling av trente kolleger bidra til å forbedre effektiviteten til PRT og undervisningskulturen ved avdelingen [64].Disse programmene rapporteres å ha mange fordeler ettersom de kan hjelpe lærere med å få konstruktive tilbakemeldinger fra jevnaldrende lærere som kan ha møtt lignende vanskeligheter tidligere og kan gi større støtte ved å gi nyttige forslag til forbedringer [63].Videre, når den brukes konstruktivt, kan fagfellevurdering forbedre kursinnhold og leveringsmetoder, og støtte medisinske lærere i å forbedre kvaliteten på undervisningen deres [65, 66].
En fersk studie av Campbell et al.(2019) [67] gir bevis på at kollegastøttemodellen på arbeidsplassen er en akseptabel og effektiv lærerutviklingsstrategi for kliniske helselærere.I en annen studie har Caygill et al.[68] gjennomførte en studie der et spesialdesignet spørreskjema ble sendt til helselærere ved University of Melbourne for å la dem dele sine erfaringer med bruk av PRT.Resultatene indikerer at det er oppdemmet interesse for PRT blant medisinske pedagoger og at det frivillige og informative fagfellevurderingsformatet anses som en viktig og verdifull mulighet for faglig utvikling.
Det er verdt å merke seg at PRT-programmer må være nøye utformet for å unngå å skape et dømmende, «ledermessig» miljø som ofte fører til økt angst blant observerte lærere [69].Derfor bør målet være å nøye utvikle PRT-planer som vil utfylle og legge til rette for å skape et trygt miljø og gi konstruktive tilbakemeldinger.Derfor er det nødvendig med spesiell opplæring for å trene anmeldere, og PRT-programmer bør kun involvere virkelig interesserte og erfarne lærere.Dette er spesielt viktig hvis informasjonen innhentet fra PRT brukes i fakultetets beslutninger som forfremmelser til høyere nivåer, lønnsøkninger og opprykk til viktige administrative stillinger.Det bør bemerkes at PRT er tidkrevende og, i likhet med fokusgrupper, krever deltakelse av et stort antall erfarne fakultetsmedlemmer, noe som gjør denne tilnærmingen vanskelig å implementere i medisinske skoler med lite ressurser.
Newman et al.(2019) [70] beskriver strategier brukt før, under og etter trening, observasjoner som fremhever beste praksis og identifiserer løsninger på læringsproblemer.Forskerne ga 12 forslag til anmeldere, inkludert: (1) velg ordene dine med omhu;(2) la observatøren bestemme retningen for diskusjonen;(3) holde tilbakemelding konfidensiell og formatert;(4) holde tilbakemelding konfidensiell og formatert;Tilbakemelding fokuserer på undervisningsferdigheter i stedet for den enkelte lærer;(5) Bli kjent med kollegene dine (6) Ta hensyn til deg selv og andre (7) Husk at pronomen spiller en viktig rolle i å gi tilbakemelding, (8) Bruk spørsmål til å belyse undervisningsperspektivet, (10) Etabler prosesser tillit og tilbakemelding i kollegaobservasjoner, (11) gjør observasjon av læring til en vinn-vinn, (12) lag en handlingsplan.Forskere utforsker også virkningen av skjevheter på observasjoner og hvordan prosessen med å lære, observere og diskutere tilbakemeldinger kan gi verdifulle læringserfaringer for begge parter, noe som fører til langsiktige partnerskap og forbedret utdanningskvalitet.Gomaly et al.(2014) [71] rapporterte at kvaliteten på effektiv tilbakemelding bør inkludere (1) klargjøring av oppgaven ved å gi veibeskrivelse, (2) økt motivasjon for å oppmuntre til større innsats, og (3) mottakerens oppfatning av det som en verdifull prosess.levert av en anerkjent kilde.
Selv om fakultetet ved medisinsk skole mottar tilbakemelding på PRT, er det viktig å lære opp fakultetet i hvordan de skal tolke tilbakemeldinger (i likhet med anbefalingen om å motta opplæring i SET-tolking) og gi fakultetet tilstrekkelig tid til å reflektere konstruktivt over tilbakemeldingene som mottas.
Innleggstid: 24. november 2023