Twintig aios werden uitgenodigd om de vragenlijst te beoordelen; elf van hen (55%) reageerden. De respondenten gaven aan dat termen als ‘supervisor’, ‘team’ en ‘onderwijsmoment’ onduidelijk waren en dat domeinen zoals ‘overdracht’ of ‘samenwerking met peers’ weinig relevant bleken in de extramurale militaire praktijk. Op basis van deze feedback werd een aangepaste versie ontwikkeld: de Dutch-Military Educational Climate Test (D-MECT), waarmee waarschijnlijk bruikbaardere resultaten te verkrijgen zijn op lokaal niveau.
Het evalueren van het leerklimaat is cruciaal. Het aantal aios bij Defensie is echter te klein voor validatie van de aangepaste vragenlijst. Ook dreigt versnippering wanneer elke organisatie een eigen evaluatieinstrument ontwikkelt. Samenwerking met andere extramurale settings is noodzakelijk om tot een breed toepasbaar en valide instrument te komen.
Inleiding
Een veilig leerklimaat is een essentiële randvoorwaarde voor de ontwikkeling van artsen in opleiding tot specialist (aios).1,2 Het draagt bij aan professioneel functioneren, leervermogen, motivatie en welzijn.3,4 Het monitoren van het opleidingsklimaat is daarom een belangrijk instrument om de kwaliteit van medische vervolgopleidingen te waarborgen.4 In klinische context wordt hiervoor sinds 2009 de Dutch Residency Educational Climate Test (D-RECT) gebruikt, welke in 2015 is ingekort tot een 35-item versie.3,5 Hoewel oorspronkelijk ontwikkeld voor klinische omgevingen, is onderzoek door Schouten et al. naar toepassing in de bedrijfs- en verzekeringsgeneeskunde veelbelovend.6 De vraag van dit onderzoek is in hoeverre de verkorte D-RECT bruikbaar is voor aios bedrijfsgeneeskunde (BG) binnen het Ministerie van Defensie, die hun opleiding via civiele instituten volgen maar werken in een militaire context met mogelijk andere vraagstukken.7, 8
Methode
In 2023 werden alle twintig aios BG bij Defensie verzocht om de D-RECT te evalueren op ‘relevantie’ en ‘duidelijkheid’ en van kwalitatieve feedback te voorzien waar nodig, waarbij elf artsen (55%) gereageerd hebben. De resultaten zijn geanalyseerd om te onderzoeken waar de vragenlijst onvoldoende aansloot en hoe deze beter afgestemd kon worden op de (militaire) praktijk.
Resultaten
Uit de analyse kwamen drie hoofdlijnen naar voren. De volledige resultaten zijn op verzoek beschikbaar bij de auteurs van dit artikel.
1. Terminologie sluit onvoldoende aan.
Begrippen als ‘supervisor’, ‘team’ en ‘onderwijsmoment’ werden verschillend geïnterpreteerd. Waar in een kliniek de supervisor vaak eenduidiger omschreven is, kan dit in Defensie de praktijkopleider, de instituutsopleider of zelfs militair in een hogere in rang zijn (zonder geneeskundige achtergrond). Ook het begrip ‘onderwijsmoment’ is diffuus; dit werd soms geïnterpreteerd als het instituutsonderwijs van de NSPOH of de SGBO, door anderen als onderwijsmomenten op de eigen kazerne of bij de eigen eenheid.
2. Contextverschillen beperken de relevantie van bepaalde domeinen.
De extramurale setting verschilt sterk van de kliniek. Het werk is zelfstandiger, vindt plaats op wisselende locaties en kent minder vaste teams. Het domein ‘overdracht’ werd bijvoorbeeld door de meerderheid als niet relevant beoordeeld, omdat structurele patiëntoverdracht in deze context ontbreekt. Ook samenwerking met ‘peers’ kreeg lage scores, mede door het solistische karakter van het werk.
3. Aanpassing leidt tot een nieuwe vragenlijst.
Op basis van de feedback zijn verschillende stellingen uit de vragenlijst aangepast of verwijderd, met als meest in het oog springende wijziging het achterwege laten van de vragen omtrent de overdracht. Deze aangepaste lijst, de Dutch-Military Educational Climate Test (D-MECT), sluit mogelijk beter aan bij de opleidingsrealiteit van Defensie.
Praktische relevantie
Het systematisch evalueren van het leerklimaat is van grote waarde. Aios krijgen hiermee een stem in de verbetering van hun opleiding, en opleiders en beleidsmakers ontvangen concrete aanknopingspunten om de kwaliteit te versterken.3,5 Het gebruik van een passende vragenlijst vergroot de kans dat signalen tijdig worden opgepikt en dat gerichte interventies kunnen worden ingezet, rekening houdend met de (culturele) verschillen per werk- of opleidingsplek.9 De voorgestelde D-MECT lijkt hiervoor bruikbaarder dan de oorspronkelijke D-RECT voor aios BG bij Defensie. Dit zal vermoedelijk leiden tot bruikbaardere feedback voor de organisatie en zou kunnen bijdragen aan het scheppen van een positief opleidingsklimaat.
Tegelijkertijd kent deze aanpak nadelen. De groep aios binnen Defensie is te klein om een herziene vragenlijst te valideren.10 Dit roept de vraag op of het ontwikkelen van een unieke vragenlijsten wenselijk en haalbaar is. Een belangrijk bezwaar is dat het gebruik van verschillende, contextspecifieke varianten van de D-RECT het onmogelijk maakt om gegevens te clusteren, of dat clustering de anonimiteit van de deelnemers niet kan garanderen. Wanneer iedere organisatie haar eigen lijst ontwikkelt, wordt de wetenschappelijke waarde van de metingen beperkt en gaat de mogelijkheid tot het opbouwen van normgegevens of benchmarking verloren.
Reflectie
De kernvraag is dan ook: moeten organisaties hun eigen variant van de D-RECT ontwikkelen, of juist streven naar een gezamenlijke, breed toepasbare versie? Voor Defensie is een zekere mate van aanpassing, of ten minste verduidelijking van de terminologie, nodig om een vragenlijst begrijpelijk en relevant te maken. Tegelijkertijd is het wenselijk om zoveel mogelijk aansluiting te behouden bij de oorspronkelijke D-RECT. Op die manier blijft vergelijkbaarheid gewaarborgd en kunnen data toch worden gebundeld. Een mogelijke oplossing is om, samen met andere extramurale settings, zoals de bedrijfs- en verzekeringsgeneeskunde, een gezamenlijke variant te ontwikkelen. Deze weg zijn Schouten et al ingeslagen, en het verdient, mede gelet op onze resultaten, dat dit wordt uitgewerkt tot een breed gedragen evaluatieinstrument.6
Conclusie
De (verkorte) D-RECT blijkt niet zonder aanpassing of toelichting toepasbaar in een extramurale setting, ook niet binnen Defensie. Een gemodificeerde versie, zoals de D-MECT, levert mogelijk bruikbaardere resultaten op lokaal niveau. Toch is het de vraag of het ontwikkelen van lokale instrumenten wenselijk is. Validatie en betrouwbare toepassing vragen om grotere aantallen en samenwerking met andere settings. Om versnippering te voorkomen en de waarde van evaluaties te vergroten, verdient een gezamenlijke aanpak de voorkeur. Wij roepen onderzoekers op om soortgelijke studies te verrichten in hun setting en de resultaten ervan te publiceren, zodat een breed gedragen instrument voor gebruik in de extramurale setting ontwikkeld kan worden.
Auteurs
drs. Madeleine Bolsius, militair bedrijfsarts bij de Koninklijke Landmacht.
dr. Thijs Wingelaar, militair bedrijfsarts bij de Koninklijke Marine.
Literatuur
1. Wang M-TL, Degol J, Amemiya J, Parr A, Guo J. Classroom climate and children’s academic and psychological wellbeing: A systematic review and meta-analysis. Developmental Review. 2020; 57: 100912. doi: 10.1016/j.dr.2020.100912
2. KNMG. Gedragscode voor artsen. Utrecht: KNMG, 2022. Beschikbaar via: https://www.knmg.nl/download/knmg-gedragscode-voor-artsen-2
3. Boor K. The Clinical Learning Climate. [Proefschift] Amsterdam: Vrije Universiteit Amsterdam, 2009. Beschikbaar via: https://research.vumc.nl/ws/files/518234/8834.pdf
4. Teunissen PW. Unravelling learning by doing. [Proefschrift] Amsterdarm :Vrije Universiteit Amsterdam, 2009. Beschikbaar via: https://research.vu.nl/ws/portalfiles/portal/42188860/complete%20dissertation.pdf
5. Silkens MEWM, Smirnova A, Stalmeijer RE, et al. Revisiting the D-RECT tool: Validation of an Instrument Measuring Residents’ Learning Climate perceptions. Medical Teacher. 2016; 38(5): 476-81. doi: 10.3109/0142159X.2015.1060300
6. Schouten L, A’Campo T, Tromp F, Gulden J van der. Hoe ervaren AIOS bedrijfs- en verzekeringsgeneeskunde het opleidingsklimaat tijdens hun praktijkopleiding? Tijdschr Gezondheidswet. 2018; 96: 19–20. doi: 10.1007/s12508-017-0099-5
7. Wingelaar TT, Wijnands NW, van der Sluis A. Ongeschikt voor militaire dienst. Tijdschr Bedrijfs- en Verzekeringsgeneeskd. 2023; 31: 38–40. doi: 10.1007/s12498-023-2133-7
8. Van Baarle EM, Damsté C, de Bruijn SAJ, Bakx GCH. Moral Issues in Soldier Enhancement: Military Physicians’ Perspectives. J Military Ethics. 2022; 21(3–4): 198–209. doi: 10.1080/15027570.2023.2175861
9. Pacifico JL, van der Vleuten CPM, Muijtjens AMM, Sana EA, Heeneman S. Cross-validation of a learning climate instrument in a non-western postgraduate clinical environment. BMC Med Educ. 2018;18(1):22. doi: 10.1186/s12909-018-1127-0
10. Ranganathan P, Caduff C, Frampton CMA. Designing and validating a research questionnaire – Part 2. Perspect Clin Res. 2024; 15(1):42-45. doi: 10.4103/picr.picr_318_23.
