Evaluering av pensum og fakultet er avgjørende for alle høyere utdanningsinstitusjoner, inkludert medisinske fakulteter. Studentevalueringer av undervisning (SET) tar vanligvis form av anonyme spørreskjemaer, og selv om de opprinnelig ble utviklet for å evaluere kurs og programmer, har de over tid også blitt brukt til å måle undervisningseffektivitet og deretter ta viktige undervisningsrelaterte beslutninger. Lærernes faglig utvikling. Imidlertid kan visse faktorer og skjevheter påvirke SET-skårer, og undervisningseffektivitet kan ikke måles objektivt. Selv om litteraturen om kurs- og fakultetsevaluering i generell høyere utdanning er veletablert, er det bekymringer om å bruke de samme verktøyene for å evaluere kurs og fakultet i medisinske programmer. Spesielt SET i generell høyere utdanning kan ikke brukes direkte på pensumdesign og implementering i medisinske fakulteter. Denne gjennomgangen gir en oversikt over hvordan SET kan forbedres på instrument-, ledelses- og tolkningsnivå. I tillegg påpeker denne artikkelen at ved å bruke ulike metoder som fagfellevurdering, fokusgrupper og selvvurdering for å samle inn og triangulere data fra flere kilder, inkludert studenter, fagfeller, programledere og selvinnsikt, kan et omfattende vurderingssystem konstrueres. Effektiv måle undervisningseffektivitet, støtte den faglige utviklingen av medisinske undervisere og forbedre kvaliteten på undervisningen i medisinsk utdanning.
Kurs- og programevaluering er en intern kvalitetskontrollprosess ved alle høyere utdanningsinstitusjoner, inkludert medisinske fakulteter. Studentevaluering av undervisning (SET) skjer vanligvis i form av et anonymt papir- eller nettbasert spørreskjema som bruker en vurderingsskala som en Likert-skala (vanligvis fem, syv eller høyere) som lar folk angi sin enighet eller grad av enighet. Jeg er ikke enig i spesifikke påstander) [1,2,3]. Selv om SET-er opprinnelig ble utviklet for å evaluere kurs og programmer, har de over tid også blitt brukt til å måle undervisningseffektivitet [4, 5, 6]. Undervisningseffektivitet anses som viktig fordi det antas at det er en positiv sammenheng mellom undervisningseffektivitet og studentlæring [7]. Selv om litteraturen ikke tydelig definerer effektiviteten av opplæring, spesifiseres den vanligvis gjennom spesifikke egenskaper ved opplæring, for eksempel «gruppeinteraksjon», «forberedelse og organisering», «tilbakemelding til studenter» [8].
Informasjon innhentet fra SET kan gi nyttig informasjon, for eksempel om det er behov for å justere undervisningsmateriellet eller undervisningsmetodene som brukes i et bestemt kurs. SET brukes også til å ta viktige beslutninger knyttet til lærernes faglige utvikling [4,5,6]. Hensiktsmessigheten av denne tilnærmingen er imidlertid tvilsom når høyere utdanningsinstitusjoner tar beslutninger angående fakultetet, for eksempel forfremmelse til høyere akademiske nivåer (ofte assosiert med ansiennitet og lønnsøkninger) og viktige administrative stillinger innen institusjonen [4, 9]. I tillegg krever institusjoner ofte at nye fakultetsmedlemmer inkluderer SET-er fra tidligere institusjoner i sine søknader til nye stillinger, og dermed påvirker de ikke bare fakultetsforfremmelser innen institusjonen, men også potensielle nye arbeidsgivere [10].
Selv om litteraturen om læreplaner og lærerevaluering er veletablert innen generell høyere utdanning, er dette ikke tilfelle innen medisin og helsevesen [11]. Læreplanen og behovene til medisinske undervisere er forskjellige fra de i generell høyere utdanning. For eksempel brukes teamlæring ofte i integrerte medisinske utdanningskurs. Dette betyr at medisinstudiets læreplan består av en serie kurs undervist av en rekke fakultetsmedlemmer som har opplæring og erfaring innen ulike medisinske disipliner. Selv om studentene drar nytte av den inngående kunnskapen til eksperter på feltet under denne strukturen, står de ofte overfor utfordringen med å tilpasse seg hver lærers ulike undervisningsstiler [1, 12, 13, 14].
Selv om det er forskjeller mellom generell høyere utdanning og medisinsk utdanning, brukes SET som brukes i førstnevnte også noen ganger i medisin- og helsefag. Implementering av SET i generell høyere utdanning byr imidlertid på mange utfordringer når det gjelder pensum og fakultetsevaluering i helseprofesjonelle programmer [11]. Spesielt på grunn av forskjeller i undervisningsmetoder og lærerkvalifikasjoner, kan det hende at resultatene av kursevalueringen ikke inkluderer studentenes meninger om alle lærere eller klasser. Forskning av Uytenhaage og O'Neill (2015) [5] antyder at det kan være upassende å be studentene om å vurdere alle individuelle lærere på slutten av et kurs, fordi det er nesten umulig for studentene å huske og kommentere flere kategorier for lærervurderinger. I tillegg er mange medisinske utdanningslærere også leger som bare har undervisning som en liten del av deres ansvar [15, 16]. Fordi de primært er involvert i pasientbehandling og i mange tilfeller forskning, har de ofte lite tid til å utvikle sine undervisningsferdigheter. Leger som lærere bør imidlertid få tid, støtte og konstruktiv tilbakemelding fra sine organisasjoner [16].
Medisinstudenter har en tendens til å være svært motiverte og hardtarbeidende individer som lykkes med å bli tatt opp på medisinstudiet (gjennom en konkurransepreget og krevende prosess internasjonalt). I tillegg forventes det at medisinstudenter i løpet av medisinstudiet tilegner seg en stor mengde kunnskap og utvikler et stort antall ferdigheter på kort tid, samt lykkes i komplekse interne og omfattende nasjonale vurderinger [17,18,19,20]. På grunn av de høye standardene som forventes av medisinstudenter, kan medisinstudenter derfor være mer kritiske og ha høyere forventninger til undervisning av høy kvalitet enn studenter i andre disipliner. Dermed kan medisinstudenter ha lavere vurderinger fra professorene sine sammenlignet med studenter i andre disipliner av grunnene nevnt ovenfor. Interessant nok har tidligere studier vist en positiv sammenheng mellom studentmotivasjon og individuelle lærerevalueringer [21]. I tillegg har de fleste læreplanene for medisinstudier rundt om i verden blitt vertikalt integrert de siste 20 årene [22], slik at studentene blir eksponert for klinisk praksis fra de tidligste årene av studiet. I løpet av de siste årene har leger derfor blitt stadig mer involvert i utdanningen av medisinstudenter, og selv tidlig i programmene sine har de støttet viktigheten av å utvikle SET-er skreddersydd for spesifikke fakultetsgrupper [22].
På grunn av den spesifikke naturen til medisinsk utdanning som nevnt ovenfor, bør SET-er som brukes til å evaluere generelle høyere utdanningskurs undervist av ett enkelt fakultetsmedlem, tilpasses for å evaluere den integrerte læreplanen og det kliniske fakultetet i medisinske programmer [14]. Derfor er det behov for å utvikle mer effektive SET-modeller og omfattende vurderingssystemer for mer effektiv anvendelse i medisinsk utdanning.
Den nåværende gjennomgangen beskriver nylige fremskritt i bruken av SET i (generell) høyere utdanning og dens begrensninger, og skisserer deretter de ulike behovene til SET for medisinske utdanningskurs og fakultet. Denne gjennomgangen gir en oppdatering om hvordan SET kan forbedres på instrumentelt, administrativt og fortolkende nivå, og fokuserer på målene om å utvikle effektive SET-modeller og omfattende vurderingssystemer som effektivt vil måle undervisningseffektivitet, støtte utviklingen av profesjonelle helsepedagoger og forbedre kvaliteten på undervisningen i medisinsk utdanning.
Denne studien følger opp studien til Green et al. (2006) [23] for råd og Baumeister (2013) [24] for råd om skriving av narrative oversikter. Vi bestemte oss for å skrive en narrativ oversikt om dette emnet fordi denne typen oversikt bidrar til å presentere et bredt perspektiv på emnet. Dessuten, fordi narrative oversikter trekker på metodisk mangfoldige studier, bidrar de til å svare på bredere spørsmål. I tillegg kan narrative kommentarer bidra til å stimulere til tanker og diskusjon om et emne.
Hvordan brukes SET i medisinsk utdanning, og hva er utfordringene sammenlignet med SET brukt i generell høyere utdanning?
Det ble søkt i Pubmed- og ERIC-databasene ved hjelp av en kombinasjon av søkeordene «evaluering av studentundervisning», «undervisningseffektivitet», «medisinsk utdanning», «høyere utdanning», «pensum- og fakultetsevaluering», og for fagfellevurdering 2000, logiske operatorer. Artikler publisert mellom 2021 og 2021. Inklusjonskriterier: Inkluderte studier var originalstudier eller oversiktsartikler, og studiene var relevante for områdene under de tre hovedforskningsspørsmålene. Eksklusjonskriterier: Studier som ikke var engelskspråklige, eller studier der fulltekstartikler ikke kunne finnes, eller som ikke var relevante for de tre hovedforskningsspørsmålene, ble ekskludert fra dette oversiktsdokumentet. Etter å ha valgt publikasjoner, ble de organisert i følgende emner og tilhørende underemner: (a) Bruk av SET i generell høyere utdanning og dens begrensninger, (b) Bruk av SET i medisinsk utdanning og dens relevans for å adressere problemstillinger knyttet til sammenligning av SET, (c) Forbedring av SET på instrumentelt, ledelsesmessig og fortolkende nivå for å utvikle effektive SET-modeller.
Figur 1 viser et flytskjema over utvalgte artikler som er inkludert og omtalt i denne delen av oversikten.
SET har tradisjonelt blitt brukt i høyere utdanning, og emnet har blitt godt studert i litteraturen [10, 21]. Imidlertid har et stort antall studier undersøkt deres mange begrensninger og forsøk på å håndtere disse begrensningene.
Forskning viser at det er mange variabler som påvirker SET-skårer [10, 21, 25, 26]. Derfor er det viktig for administratorer og lærere å forstå disse variablene når de tolker og bruker data. Neste avsnitt gir en kort oversikt over disse variablene. Figur 2 viser noen av faktorene som påvirker SET-skårer, som er beskrevet i de følgende avsnittene.
I de senere årene har bruken av nettbaserte kits økt sammenlignet med papirpakker. Imidlertid tyder bevis i litteraturen på at nettbaserte SET-testen kan fullføres uten at studentene vier nødvendig oppmerksomhet til fullføringsprosessen. I en interessant studie av Uitdehaage og O'Neill [5] ble ikke-eksisterende lærere lagt til SET-testen, og mange studenter ga tilbakemeldinger [5]. Dessuten tyder bevis i litteraturen på at studenter ofte tror at fullføring av SET ikke fører til forbedret utdanning, noe som, kombinert med medisinstudentenes travle timeplan, kan føre til lavere svarrater [27]. Selv om forskning viser at meningene til studentene som tar testen ikke er forskjellige fra hele gruppens, kan lave svarrater fortsatt føre til at lærere tar resultatene mindre alvorlig [28].
De fleste nettbaserte SET-er fullføres anonymt. Tanken er å la studentene uttrykke sine meninger fritt uten antagelsen om at deres uttrykk vil ha noen innvirkning på deres fremtidige forhold til lærerne. I Alfonso et al.s studie [29] brukte forskere anonyme vurderinger og vurderinger der vurdererne måtte oppgi navnene sine (offentlige vurderinger) for å evaluere undervisningseffektiviteten til medisinfakultetet utført av spesialistleger og medisinstudenter. Resultatene viste at lærerne generelt scoret lavere på de anonyme vurderingene. Forfatterne hevder at studentene er mer ærlige i anonyme vurderinger på grunn av visse barrierer i åpne vurderinger, for eksempel skadede arbeidsforhold med deltakende lærere [29]. Det bør imidlertid også bemerkes at anonymiteten som ofte er forbundet med nettbasert SET, kan føre til at noen studenter er respektløse og gjengjeldende mot læreren hvis vurderingsresultatene ikke oppfyller studentenes forventninger [30]. Forskning viser imidlertid at studentene sjelden gir respektløs tilbakemelding, og sistnevnte kan begrenses ytterligere ved å lære studentene å gi konstruktiv tilbakemelding [30].
Flere studier har vist at det er en sammenheng mellom studentenes SET-poengsummer, deres forventninger til testprestasjoner og deres testtilfredshet [10, 21]. For eksempel rapporterte Strobe (2020) [9] at studenter belønner enkle kurs og lærere belønner svake karakterer, noe som kan oppmuntre til dårlig undervisning og føre til karakterinflasjon [9]. I en nylig studie har Looi et al. (2020) [31] forskere rapportert at gunstigere SET-er er relaterte og lettere å vurdere. Dessuten finnes det urovekkende bevis for at SET er omvendt relatert til studentenes prestasjoner i påfølgende kurs: jo høyere vurdering, desto dårligere er studentenes prestasjoner i påfølgende kurs. Cornell et al. (2016) [32] gjennomførte en studie for å undersøke om studenter lærte relativt mer av lærere hvis SET de vurderte høyt. Resultatene viser at når læring vurderes på slutten av et kurs, bidrar lærerne med de høyeste vurderingene også til læringen til flest studenter. Men når læring måles etter prestasjoner i påfølgende relevante kurs, er lærere som scorer relativt lavt de mest effektive. Forskerne antok at det å gjøre et kurs mer utfordrende på en produktiv måte kunne redusere karakterene, men forbedre læringen. Studentvurderinger bør derfor ikke være det eneste grunnlaget for evaluering av undervisning, men bør anerkjennes.
Flere studier viser at SET-prestasjoner påvirkes av selve kurset og dets organisering. Ming og Baozhi [33] fant i studien sin at det var signifikante forskjeller i SET-skårer blant studenter i ulike fag. For eksempel har kliniske realfag høyere SET-skårer enn grunnleggende realfag. Forfatterne forklarte at dette er fordi medisinstudenter er interessert i å bli leger og derfor har en personlig interesse og høyere motivasjon til å delta mer i kliniske realfagskurs sammenlignet med grunnleggende realfagskurs [33]. Som i tilfellet med valgfag, har studentenes motivasjon for faget også en positiv effekt på skårene [21]. Flere andre studier støtter også at kurstype kan påvirke SET-skårer [10, 21].
Andre studier har dessuten vist at jo mindre klassestørrelsen er, desto høyere nivå av SET oppnås av lærerne [10, 33]. En mulig forklaring er at mindre klassestørrelser øker mulighetene for samhandling mellom lærer og elev. I tillegg kan forholdene vurderingen gjennomføres under påvirke resultatene. For eksempel ser SET-skårer ut til å være påvirket av tidspunktet og dagen kurset undervises, samt hvilken ukedag SET-en fullføres (f.eks. har vurderinger fullført i helgene en tendens til å resultere i mer positive skårer) enn vurderinger fullført tidligere i uken. [10].
En interessant studie av Hessler et al. stiller også spørsmål ved effektiviteten til SET. [34]. I denne studien ble det gjennomført en randomisert kontrollert studie i et kurs i akuttmedisin. Tredjeårsmedisinstudenter ble tilfeldig tildelt enten en kontrollgruppe eller en gruppe som fikk gratis sjokoladekjeks (kjeksgruppe). Alle gruppene ble undervist av de samme lærerne, og opplæringsinnholdet og kursmateriellet var identisk for begge gruppene. Etter kurset ble alle studentene bedt om å fullføre et sett. Resultatene viste at kjeksgruppen vurderte lærerne betydelig bedre enn kontrollgruppen, noe som setter spørsmålstegn ved effektiviteten til SET [34].
Bevis i litteraturen støtter også at kjønn kan påvirke SET-skårer [35,36,37,38,39,40,41,42,43,44,45,46]. For eksempel har noen studier vist en sammenheng mellom studentenes kjønn og vurderingsresultater: kvinnelige studenter skårer høyere enn mannlige studenter [27]. De fleste bevisene bekrefter at studenter vurderer kvinnelige lærere lavere enn mannlige lærere [37, 38, 39, 40]. For eksempel viste Boring et al. [38] at både mannlige og kvinnelige studenter mente at menn var mer kunnskapsrike og hadde sterkere lederegenskaper enn kvinner. Det faktum at kjønn og stereotypier påvirker SET støttes også av studien til MacNell et al. [41], som rapporterte at studenter i hans studie vurderte kvinnelige lærere lavere enn mannlige lærere på ulike aspekter ved undervisning [41]. Dessuten ga Morgan et al. [42] bevis for at kvinnelige leger fikk lavere undervisningsvurderinger i fire store kliniske rotasjoner (kirurgi, pediatri, obstetrikk og gynekologi, og indremedisin) sammenlignet med mannlige leger.
I Murray et al.s (2020) studie [43] rapporterte forskerne at fakultetets attraktivitet og studentenes interesse for kurset var assosiert med høyere SET-poengsummer. Motsatt er kursets vanskelighetsgrad assosiert med lavere SET-poengsummer. I tillegg ga studentene høyere SET-poengsummer til unge hvite mannlige humanistiske lærere og til fakultet med fulle professorstillinger. Det var ingen korrelasjoner mellom SET-undervisningsevalueringer og resultater fra lærerundersøkelser. Andre studier bekrefter også den positive effekten av lærernes fysiske attraktivitet på vurderingsresultater [44].
Clayson et al. (2017) [45] rapporterte at selv om det er generell enighet om at SET gir pålitelige resultater og at gjennomsnittstallene for klasser og lærere er konsistente, er det fortsatt inkonsekvenser i individuelle elevsvar. Oppsummert indikerer resultatene av denne vurderingsrapporten at elevene ikke var enige i det de ble bedt om å evaluere. Reliabilitetsmål utledet fra elevenes evalueringer av undervisning er ikke tilstrekkelige til å gi grunnlag for å fastslå validitet. Derfor kan SET noen ganger gi informasjon om elever snarere enn lærere.
SET i helseopplæring skiller seg fra tradisjonelle SET, men lærere bruker ofte SET som er tilgjengelig i generell høyere utdanning i stedet for SET spesifikke for helseprofesjonsprogrammer som er rapportert i litteraturen. Studier utført gjennom årene har imidlertid identifisert flere problemer.
Jones et al. (1994). [46] gjennomførte en studie for å avklare spørsmålet om hvordan man skal evaluere medisinstudier fra fakultets- og administratorperspektiver. Totalt sett var de hyppigst nevnte problemstillingene knyttet til undervisningsevaluering. De vanligste var generelle klager om utilstrekkeligheten av nåværende metoder for prestasjonsvurdering, og respondentene kom også med spesifikke klager om SET og mangelen på anerkjennelse av undervisning i akademiske belønningssystemer. Andre rapporterte problemer inkluderte inkonsekvente evalueringsprosedyrer og forfremmelseskriterier på tvers av avdelinger, mangel på regelmessige evalueringer og manglende kobling av evalueringsresultater til lønn.
Royal et al. (2018) [11] skisserer noen av begrensningene ved å bruke SET til å evaluere pensum og fakultet i helseprofesjonelle programmer i generell høyere utdanning. Forskere rapporterer at SET i høyere utdanning står overfor ulike utfordringer fordi det ikke kan anvendes direkte på pensumdesign og kursundervisning på medisinske fakulteter. Ofte stilte spørsmål, inkludert spørsmål om instruktøren og kurset, kombineres ofte i ett spørreskjema, slik at studentene ofte har problemer med å skille mellom dem. I tillegg undervises kurs i medisinske programmer ofte av flere fakultetsmedlemmer. Dette reiser spørsmål om validitet gitt det potensielt begrensede antallet interaksjoner mellom studenter og lærere vurdert av Royal et al. (2018) [11]. I en studie av Hwang et al. (2017) [14] undersøkte forskere konseptet om hvordan retrospektive kursevalueringer på en omfattende måte gjenspeiler studentenes oppfatninger av ulike instruktørers kurs. Resultatene deres tyder på at individualisert klassevurdering er nødvendig for å håndtere tverrfaglige kurs innenfor en integrert medisinsk skolepensum.
Uitdehaage og O'Neill (2015) [5] undersøkte i hvilken grad medisinstudenter bevisst tok SET i et flerfakultetlig klasseromskurs. Hvert av de to prekliniske kursene hadde en fiktiv instruktør. Studentene må gi anonyme vurderinger til alle instruktører (inkludert fiktive instruktører) innen to uker etter at kurset er fullført, men kan nekte å evaluere instruktøren. Året etter skjedde det igjen, men portrettet av den fiktive foreleseren ble inkludert. Sekstiseks prosent av studentene vurderte den virtuelle instruktøren uten likhet, men færre studenter (49 %) vurderte den virtuelle instruktøren med likhet tilstede. Disse funnene tyder på at mange medisinstudenter fullfører SET-er blindt, selv når de er ledsaget av fotografier, uten nøye vurdering av hvem de vurderer, enn si instruktørens ytelse. Dette hindrer forbedringen av programkvaliteten og kan være skadelig for lærernes akademiske fremgang. Forskerne foreslår et rammeverk som tilbyr en radikalt annerledes tilnærming til SET som aktivt og aktivt engasjerer studentene.
Det er mange andre forskjeller i utdanningsplanen for medisinstudier sammenlignet med andre generelle høyere utdanningsprogrammer [11]. Medisinsk utdanning, i likhet med profesjonell helseutdanning, er tydelig fokusert på utvikling av klart definerte profesjonelle roller (klinisk praksis). Som et resultat blir læreplanene for medisinstudier og helsestudier mer statiske, med begrensede kurs- og fakultetsvalg. Interessant nok tilbys medisinstudier ofte i et kohortformat, der alle studenter tar samme kurs samtidig hvert semester. Derfor kan det å melde inn et stort antall studenter (vanligvis n = 100 eller flere) påvirke undervisningsformatet så vel som lærer-student-forholdet. Dessuten vurderes ikke de psykometriske egenskapene til de fleste instrumenter ved første gangs bruk på mange medisinske fakulteter, og egenskapene til de fleste instrumenter kan forbli ukjente [11].
Flere studier de siste årene har gitt bevis for at SET kan forbedres ved å ta for seg noen viktige faktorer som kan påvirke effektiviteten til SET på instrumentelt, administrativt og fortolkningsnivå. Figur 3 viser noen av trinnene som kan brukes for å lage en effektiv SET-modell. De følgende avsnittene gir en mer detaljert beskrivelse.
Forbedre SET på instrumentelt, ledelsesmessig og fortolkende nivå for å utvikle effektive SET-modeller.
Som nevnt tidligere, bekrefter litteraturen at kjønnsskjevhet kan påvirke lærernes evalueringer [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019) [40] gjennomførte en studie som undersøkte om elevenes kjønn påvirket elevenes respons på tiltak for å redusere skjevheter. I denne studien ble SET administrert til fire klasser (to undervist av mannlige lærere og to undervist av kvinnelige lærere). Innenfor hvert kurs ble studentene tilfeldig tildelt et standard vurderingsverktøy eller det samme verktøyet, men med språk utformet for å redusere kjønnsskjevhet. Studien fant at studenter som brukte anti-skjevhetsvurderingsverktøy ga kvinnelige lærere betydelig høyere SET-poengsummer enn studenter som brukte standard vurderingsverktøy. Dessuten var det ingen forskjeller i vurderingene av mannlige lærere mellom de to gruppene. Resultatene av denne studien er signifikante og viser hvordan en relativt enkel språkintervensjon kan redusere kjønnsskjevhet i studentenes evalueringer av undervisning. Derfor er det god praksis å nøye vurdere alle SET-er og bruke språk for å redusere kjønnsskjevhet i deres utvikling [40].
For å få nyttige resultater fra et hvilket som helst SET-test, er det viktig å nøye vurdere formålet med vurderingen og formuleringen av spørsmålene på forhånd. Selv om de fleste SET-undersøkelser tydelig angir en del om organisatoriske aspekter ved kurset, dvs. «Kursevaluering», og en del om fakultetet, dvs. «Lærerevaluering», er forskjellen i noen undersøkelser kanskje ikke åpenbar, eller det kan være forvirring blant studentene om hvordan de skal vurdere hvert av disse områdene individuelt. Derfor må utformingen av spørreskjemaet være passende, tydeliggjøre de to forskjellige delene av spørreskjemaet, og gjøre studentene oppmerksomme på hva som bør vurderes på hvert område. I tillegg anbefales pilottesting for å avgjøre om studentene tolker spørsmålene på den tiltenkte måten [24]. I en studie av Oermann et al. (2018) [26] søkte og syntetiserte forskerne litteratur som beskrev bruken av SET i et bredt spekter av disipliner i bachelor- og masterutdanning for å gi lærere veiledning om bruk av SET i sykepleie og andre helsefaglige programmer. Resultatene tyder på at SET-instrumenter bør evalueres før bruk, inkludert pilottesting av instrumentene med studenter som kanskje ikke er i stand til å tolke SET-instrumentets elementene eller spørsmålene slik instruktøren hadde til hensikt.
Flere studier har undersøkt om SET-styringsmodellen påvirker studentengasjement.
Daumier et al. (2004) [47] sammenlignet studentvurderinger av instruktørutdanning gjennomført i klasserommet med vurderinger samlet inn på nett ved å sammenligne antall svar og vurderinger. Forskning viser at nettbaserte spørreundersøkelser vanligvis har lavere svarrater enn spørreundersøkelser i klasserommet. Studien fant imidlertid at nettbaserte vurderinger ikke ga signifikant forskjellige gjennomsnittskarakterer fra tradisjonelle klasseromsvurderinger.
Det var rapportert mangel på toveiskommunikasjon mellom studenter og lærere under gjennomføring av nettbaserte (men ofte trykte) SET-er, noe som resulterte i manglende mulighet for avklaring. Derfor er betydningen av SET-spørsmål, kommentarer eller studentevalueringer ikke alltid klar [48]. Noen institusjoner har adressert dette problemet ved å samle studentene i en time og sette av en bestemt tid til å fullføre SET-en online (anonymt) [49]. I sin studie holdt Malone et al. (2018) [49] flere møter for å diskutere formålet med SET med studentene, hvem som skulle se SET-resultatene og hvordan resultatene skulle brukes, og eventuelle andre problemstillinger som studentene reiste. SET gjennomføres omtrent som en fokusgruppe: den kollektive gruppen svarer på åpne spørsmål gjennom uformell avstemning, debatt og avklaring. Svarprosenten var over 70–80 %, noe som ga lærere, administratorer og læreplankomiteer omfattende informasjon [49].
Som nevnt ovenfor, i Uitdehaage og O'Neills studie [5], rapporterte forskerne at studentene i studien deres vurderte ikke-eksisterende lærere. Som nevnt tidligere, er dette et vanlig problem i medisinstudier, hvor hvert kurs kan bli undervist av mange fakultetsmedlemmer, men studentene husker kanskje ikke hvem som bidro til hvert kurs eller hva hvert fakultetsmedlem gjorde. Noen institusjoner har adressert dette problemet ved å tilby et fotografi av hver foreleser, hans/hennes navn og emne/dato presentert for å friske opp studentenes hukommelse og unngå problemer som kompromitterer effektiviteten til SET [49].
Det kanskje viktigste problemet knyttet til SET er at lærere ikke klarer å tolke kvantitative og kvalitative SET-resultater riktig. Noen lærere ønsker kanskje å gjøre statistiske sammenligninger på tvers av år, noen ser på mindre økninger/reduksjoner i gjennomsnittsskårer som meningsfulle endringer, noen ønsker å tro på hver undersøkelse, og andre er direkte skeptiske til enhver undersøkelse [45, 50, 51].
Manglende tolkning av resultater eller manglende behandling av tilbakemeldinger fra studenter kan påvirke lærernes holdninger til undervisning. Resultatene fra Lutovac et al. (2017) [52] Støttende lærerutdanning er nødvendig og gunstig for å gi tilbakemeldinger til studenter. Medisinsk utdanning trenger sårt opplæring i riktig tolkning av SET-resultater. Derfor bør medisinstudenter få opplæring i hvordan de skal evaluere resultater og de viktige områdene de bør fokusere på [50, 51].
Resultatene som er beskrevet tyder dermed på at SET-er bør utformes, administreres og tolkes nøye for å sikre at SET-resultatene har en meningsfull innvirkning på alle relevante interessenter, inkludert fakultetet, administratorer ved medisinstudiet og studenter.
På grunn av noen av begrensningene ved SET, bør vi fortsette å strebe etter å lage et omfattende evalueringssystem for å redusere skjevheter i undervisningseffektivitet og støtte den faglige utviklingen av medisinske undervisere.
En mer fullstendig forståelse av undervisningskvaliteten blant kliniske fakulteter kan oppnås ved å samle inn og triangulere data fra flere kilder, inkludert studenter, kolleger, programadministratorer og fakultetets egenvurderinger [53, 54, 55, 56, 57]. De følgende avsnittene beskriver mulige andre verktøy/metoder som kan brukes i tillegg til effektiv SET for å bidra til å utvikle en mer passende og fullstendig forståelse av opplæringseffektivitet (figur 4).
Metoder som kan brukes til å utvikle en omfattende modell av et system for å vurdere effektiviteten av undervisning på et medisinsk fakultet.
En fokusgruppe er definert som «en gruppediskusjon organisert for å utforske et spesifikt sett med problemstillinger» [58]. I løpet av de siste årene har medisinske fakulteter opprettet fokusgrupper for å innhente tilbakemeldinger av høy kvalitet fra studenter og adressere noen av fallgruvene ved nettbasert SET. Disse studiene viser at fokusgrupper er effektive for å gi tilbakemeldinger av høy kvalitet og øke studenttilfredsheten [59, 60, 61].
I en studie av Brundle et al. [59] implementerte forskerne en studentvurderingsprosess som tillot emneledere og studenter å diskutere emner i fokusgrupper. Resultatene indikerer at fokusgruppediskusjoner utfyller online vurderinger og øker studenttilfredsheten med den generelle emnevurderingsprosessen. Studentene verdsetter muligheten til å kommunisere direkte med emneledere og tror at denne prosessen kan bidra til forbedring av utdanningen. De følte også at de var i stand til å forstå emnelederens synspunkt. I tillegg til studentene vurderte emnelederne også at fokusgrupper la til rette for mer effektiv kommunikasjon med studentene [59]. Bruk av fokusgrupper kan dermed gi medisinske fakulteter en mer fullstendig forståelse av kvaliteten på hvert emne og undervisningseffektiviteten til det respektive fakultetet. Det bør imidlertid bemerkes at fokusgruppene i seg selv har noen begrensninger, for eksempel at bare et lite antall studenter deltar i dem sammenlignet med det online SET-programmet, som er tilgjengelig for alle studenter. I tillegg kan det å gjennomføre fokusgrupper for ulike emner være en tidkrevende prosess for veiledere og studenter. Dette medfører betydelige begrensninger, spesielt for medisinstudenter som har veldig travle timeplaner og kan gjennomføre kliniske praksisplasser på forskjellige geografiske steder. I tillegg krever fokusgrupper et stort antall erfarne tilretteleggere. Å innlemme fokusgrupper i evalueringsprosessen kan imidlertid gi mer detaljert og spesifikk informasjon om effektiviteten av opplæringen [48, 59, 60, 61].
Schiekierka-Schwacke et al. (2018) [62] undersøkte studenters og fakultets oppfatninger av et nytt verktøy for å vurdere fakultetsprestasjoner og studentenes læringsutbytte ved to tyske medisinske fakulteter. Fokusgruppediskusjoner og individuelle intervjuer ble gjennomført med fakultet og medisinstudenter. Lærerne satte pris på den personlige tilbakemeldingen som vurderingsverktøyet ga, og studentene rapporterte at det burde opprettes en tilbakemeldingssløyfe, inkludert mål og konsekvenser, for å oppmuntre til rapportering av vurderingsdata. Resultatene av denne studien støtter dermed viktigheten av å lukke kommunikasjonssløyfen med studentene og informere dem om vurderingsresultatene.
Fagfellevurdering av undervisning (PRT)-programmer er svært viktige og har blitt implementert i høyere utdanning i mange år. PRT innebærer en samarbeidsprosess med observasjon av undervisning og tilbakemelding til observatøren for å forbedre undervisningseffektiviteten [63]. I tillegg kan selvrefleksjonsøvelser, strukturerte oppfølgingsdiskusjoner og systematisk tildeling av trente kolleger bidra til å forbedre effektiviteten til PRT og undervisningskulturen ved instituttet [64]. Disse programmene rapporteres å ha mange fordeler, ettersom de kan hjelpe lærere med å motta konstruktiv tilbakemelding fra fagfeller som kan ha møtt lignende vanskeligheter tidligere, og kan gi større støtte ved å gi nyttige forslag til forbedring [63]. Dessuten, når den brukes konstruktivt, kan fagfellevurdering forbedre kursinnhold og leveringsmetoder, og støtte medisinske undervisere i å forbedre kvaliteten på undervisningen sin [65, 66].
En nylig studie av Campbell et al. (2019) [67] gir bevis for at modell for fagfellevurdering på arbeidsplassen er en akseptabel og effektiv strategi for lærerutvikling for kliniske helsepedagoger. I en annen studie gjennomførte Caygill et al. [68] en studie der et spesialutviklet spørreskjema ble sendt til helsepedagoger ved University of Melbourne for å la dem dele sine erfaringer med bruk av PRT. Resultatene indikerer at det er en oppdemmet interesse for PRT blant medisinske pedagoger, og at det frivillige og informative formatet for fagfellevurdering anses som en viktig og verdifull mulighet for faglig utvikling.
Det er verdt å merke seg at PRT-programmer må utformes nøye for å unngå å skape et dømmende, «ledelsesmessig» miljø som ofte fører til økt angst blant observerte lærere [69]. Målet bør derfor være å nøye utvikle PRT-planer som vil utfylle og legge til rette for etableringen av et trygt miljø og gi konstruktiv tilbakemelding. Derfor er det behov for spesiell opplæring for å lære opp evaluatorer, og PRT-programmer bør kun involvere virkelig interesserte og erfarne lærere. Dette er spesielt viktig hvis informasjonen som innhentes fra PRT-en brukes i fakultetsavgjørelser som forfremmelser til høyere nivåer, lønnsøkninger og forfremmelser til viktige administrative stillinger. Det bør bemerkes at PRT er tidkrevende og, i likhet med fokusgrupper, krever deltakelse fra et stort antall erfarne fakultetsmedlemmer, noe som gjør denne tilnærmingen vanskelig å implementere på medisinske skoler med lav ressursbruk.
Newman et al. (2019) [70] beskriver strategier brukt før, under og etter opplæring, observasjoner som fremhever beste praksis og identifiserer løsninger på læringsproblemer. Forskerne ga 12 forslag til evaluatorene, inkludert: (1) velg ordene dine med omhu; (2) la observatøren bestemme retningen på diskusjonen; (3) hold tilbakemeldinger konfidensielle og formaterte; (4) hold tilbakemeldinger konfidensielle og formaterte; Tilbakemeldinger fokuserer på undervisningsferdigheter snarere enn den individuelle læreren; (5) Bli kjent med kollegene dine (6) Vær hensynsfull overfor deg selv og andre (7) Husk at pronomen spiller en viktig rolle i å gi tilbakemeldinger, (8) Bruk spørsmål for å belyse undervisningsperspektivet, (10) Etabler prosesser for tillit og tilbakemeldinger i fagfelleobservasjoner, (11) gjør observasjon av læring til en vinn-vinn-situasjon, (12) lag en handlingsplan. Forskere utforsker også virkningen av skjevhet på observasjoner og hvordan prosessen med å lære, observere og diskutere tilbakemeldinger kan gi verdifulle læringsopplevelser for begge parter, noe som fører til langsiktige partnerskap og forbedret utdanningskvalitet. Gomaly et al. (2014) [71] rapporterte at kvaliteten på effektiv tilbakemelding bør inkludere (1) avklaring av oppgaven ved å gi instruksjoner, (2) økt motivasjon for å oppmuntre til større innsats, og (3) mottakerens oppfatning av den som en verdifull prosess, gitt av en pålitelig kilde.
Selv om medisinstudiets ansatte mottar tilbakemeldinger på PRT, er det viktig å lære opp ansatte i hvordan de skal tolke tilbakemeldinger (tilsvarende anbefalingen om å motta opplæring i SET-tolkning) og å gi ansatte tilstrekkelig tid til å reflektere konstruktivt over tilbakemeldingene som mottas.
Publisert: 24. november 2023