Graag wil ik u voorstellen aan een nieuwe assistent voor de verzekeringsarts: ChatGPT (Generative Pre-trained Transformer). ChatGPT is een chatprogramma. Je praat niet met een mens, maar met een computer. Een computer met software die zelf leert. Hij wordt steeds slimmer en steeds menselijker. Zou ik van hem een goede verzekeringsarts-assistent kunnen maken?
Hij is in elk geval taalvaardig, een eis die ik stel aan iedereen aan wie ik delen van mijn werk delegeer. Hij heeft het Amerikaanse artsexamen behaald en studeert voor het Nederlandse. ChatGPT gebruikt een taalmodel om op basis van statistiek mooie en grammaticaal correcte zinnen te schrijven. En hij heeft mij, zelfs bij het schrijven van dit artikel, al wat gras voor de voeten weggemaaid. Een account is gratis, maar voor een Plusaccount (betere performance tijdens piekuren en actuelere informatie), betaalt men een salaris van $ 20,- per maand voor deze werknemer.
Graag deel ik met u mijn eerste belevenissen bij het kennismaken.
Informeel eerste contact met ChatGPT
Mijn man is softwareontwikkelaar en is ooit afgestudeerd in kunstmatige intelligentie. Natuurlijk had hij ChatGPT al eens geprobeerd, voor een gedichtje en voor een stuk code.
Laten we eens een gedichtje maken over verzekeringsgeneeskunde. Dit kreeg ik toen ik vroeg om een gedichtje te maken over ‘insurance medicine’ en iets met ‘disability benefit claims’…
Mocht ik niet tevreden zijn, kan ik op ‘regenerate’ drukken. Dan verzint hij wat nieuws. Of ik kan feedback geven, zodat het antwoord beter wordt.
Raadplegen van literatuur
Er zijn ook veel ingewikkelder vragen mogelijk, zoals het uitleggen van de relativiteitstheorie of het schrijven van een stuk programmeercode. Laat ik eens iets specifieks voor mijn werk proberen, dacht ik. ‘Can you find a scientific article on chronic fatigue syndrome and vocational rehabilitation?’, vroeg ik aan ChatGPT. Dit is wat hij antwoordde:
Het lijkt een adequaat antwoord, maar de link werkt niet. En er is niets van dit artikel te vinden bij zoeken op Google. Bij een nieuwe poging, kreeg ik een ander artikel, maar ook geen bewijs van het bestaan ervan. Het lijkt erop dat ChatGPT dit verzonnen heeft.
We geven natuurlijk niet op. Wanneer ik vraag om een artikel dat geschreven is door mensen over het onderwerp, biedt ChatGPT eerst zijn excuses aan voor de verwarring. Hij legt vriendelijk uit dat zijn antwoorden computer-gegenereerd zijn en dat hij me echt wel wil helpen om een wetenschappelijk artikel over het onderwerp te vinden. Hij komt met een nieuwe suggestie.
De link werkt, maar het gaat naar een ander artikel (over cortisolmeting in haren). Toen ik goed keek bleek dat ChatGPT stukjes van bestaande bronverwijzingen aan elkaar had geplakt!
Laat ik het anders vragen, dacht ik en ik vroeg om een literatuurstudie naar het onderwerp te verrichten. Ik kreeg eenzelfde samenraapsel van bronnen. En toen ik vroeg om het dan in PubMed op te zoeken, zei hij eigenlijk ‘doe het zelf’: hij kan geen databasebevragingen uitvoeren, maar wel uitleggen, hoe ik zou moeten zoeken.
Een laatste poging was om een wat concretere vraag te stellen, namelijk wat dan een goede interventie zou zijn om participatie in werk te bevorderen bij mensen met CVS. Ik kreeg een aardig verhaal met vier suggesties. De eerste twee (graded exercise therapy en cognitieve gedragstherapie) zullen onder collega’s vast ook genoemd worden. Als derde noemde hij individuele plaatsing en support, waardoor ik begon te twijfelen. Is dat voor deze mensen geschikt? En is het vierde item, work-focused occupational therapy, daadwerkelijk specifiek bij mensen met CVS onderzocht? Bij het vragen naar referenties, kreeg ik nu een paar echt bestaande referenties en weer een paar gecompileerde.
Blijkbaar moet je alles wat ChatGPT je vertelt, zeer kritisch zelf nakijken!
Verschillende antwoorden
Laat ik het eens als niet-verzekeringsarts proberen (dezelfde vraag stellen, maar dan met het ChatGPT account van mijn man). Hij kreeg meer uitleg over de aandoening en alleen de eerste twee therapieën aangeboden. Aanvankelijk dacht ik dat het aan mijn man lag. Zou ChatGPT op basis van de eerdere chats in zijn account gemerkt hebben dat mijn man geen verzekeringsarts was? Dat alles leek echter niet het geval te zijn. ChatGPT zegt geen toegang te hebben tot gebruikersinformatie. Ook zegt ChatGPT dat hij niet weet wat je in andere chats binnen jouw account aan hem gevraagd hebt. Je kunt namelijk elke keer een nieuw gesprek beginnen met ChatGPT. Ik had die vraag echter aan ChatGPT gesteld binnen hetzelfde gesprek als waarin ik hem vroeg naar die wetenschappelijke artikelen over werk-interventies bij CVS. Hij wist door die context een beetje meer over mijn achtergrondkennis. Enkele weken later stelde ik de vraag (mijn account, nieuwe chat, identieke vraag) opnieuw en ik kreeg een anders geformuleerd antwoord, maar met de strekking van het verhaal dat mijn man kreeg. Zou ChatGPT iets geleerd hebben? Niet per se, want als je op ‘regenerate’ drukt, krijg je een nieuwe poging en een ander resultaat. Ook als je binnen hetzelfde account een nieuwe chat opent en dezelfde vraag stelt, krijg je een ander antwoord. Wel is de strekking inhoudelijk vergelijkbaar, want dat is wat ChatGPT ‘weet’ over het onderwerp op dat moment.
Voor de aardigheid heb ik de vraag ook aan de nieuwste versie van het taalmodel gesteld. Ik krijg nog wat meer interventies, zoals ook werkaanpassingen en omgaan met energie. Wanneer ik vraag naar referenties daarbij, krijg ik nu een genuanceerder antwoord. Hij geeft aan dat hij niet in staat is om real-time te zoeken op internet. Wel kan hij enkele bronnen geven waar zijn kennis (tot september 2021) op gebaseerd is. Deze bronnen blijken als zodanig te bestaan en kloppen bij het onderwerp.
Schrijven van een beschouwing
Dan nu de proef op de som. Ik wil een beschouwing schrijven met bepaalde ingrediënten over een cliënt met het chronische vermoeidheidssyndroom. Zou ChatGPT daar iets moois van kunnen maken?
‘Kan je een beschouwing schrijven, met online bronvermeldingen (inclusief de DOI’s van de artikelen als hyperlink) en met de volgende onderdelen:
• Dat cliënt is uitgevallen met vermoeidheid en dat bij haar de diagnose chronisch vermoeidheidssyndroom is vastgesteld
• Dat ik niet meega in de claim van cliënt dat zij slechts 1 uur per dag iets van werk kan doen
• Dat er geen medische objectiveerbare verklaring is voor deze ernst van de klachten
• Dat het belangrijk is om fysiek en mentaal actief te blijven
• Dat participatie in werk gunstige effecten kan hebben
• De interventieopties om te helpen bij terugkeer naar werk’
Ik was erachter gekomen, dat hij ook gewoon in het Nederlands bevraagd kan worden. Hij gaf opnieuw een tekst, nu met bestaande referenties. Eén referentie klopte wel qua namen en titels, maar niet ten aanzien van jaartal, paginanummers en DOI. De juiste referentie was snel terug te vinden. Ook van twee andere referenties kon met behulp van de bronvermelding een link naar het artikel gevonden worden. Eén bron blijkt bij aanklikken wat verouderd: dan krijg je een melding dat het artikel beter niet gebruikt kan worden omdat het niet aan de nieuwste kwaliteitsstandaarden voldoet, met een link naar de meest actuele versie van het artikel.
Het is dus nog wel nodig om de referenties na te lopen. Of zijn conclusie uit zo’n referentie inhoudelijk klopt, is moeilijker te checken. Om dit inzichtelijker te maken, heb ik op twee manieren geprobeerd om hem aan de tand te voelen. De eerste was dat ik vroeg waar in een bepaald artikel de conclusie staat die hij eruit trekt. Zijn reactie was een keer dat hij zich excuseerde, omdat hij zich vergist had (GPT-3.5, 6 april 2023), maar een andere keer kreeg ik een nauwkeurige uiteenzetting van wat hij waarom geconcludeerd had (GPT-4.0, 26 april 2023). De tweede was dat ik vroeg om een artikel in bijvoorbeeld 5 of 10 zinnen samen te vatten. Soms is hij dan net een mens: hij kan een slordigheidsfoutje maken in het lezen. Hij trok bijvoorbeeld uit een voorgelegd artikel de conclusie dat er een licht effect op symptoom X en Y was (GPT-3.5, 6 april 2023), terwijl ik (én GPT 4.0 op 26 april 2023) meende dat er een matig effect op symptoom X was en een mogelijk effect op symptoom Y. Ook kan ChatGPT natuurlijk een ander accent leggen. Zo besteedde hij één van de vijf zinnen eraan dat er meer onderzoek nodig was (zoals altijd in elk artikel staat). Smaken verschillen ook tussen mensen, maar ik had in het betreffende geval meer waarde gehecht aan een zin over de bevinding dat behandeling A effectiever bleek dan behandeling B en even effectief als behandeling C.
Ook als zijn kunsten met referenties en samenvattingen nog wat meer verfijnd worden, vind ik de tekst van de beschouwing meer op een werkstuk lijken, dan op een rapportage over een cliënt. Omdat ik mij afvraag of ChatGPT niet toch de moeite waard kan zijn, vraag ik hem om nog een keer, op een andere manier een beschouwing te schrijven:
Kan je een verzekeringsgeneeskundige rapportage schrijven over een vrouw met chronisch vermoeidheidssyndroom, die claimt dat zij 1 uur per dag kan werken, hetgeen ik medisch niet plausibel vind en waarin het belang van activering wordt onderstreept?
Andere vaardigheden
De afgelopen tijd heb ik ChatGPT nog voor enkele andere taken gebruikt zien worden en zelf ook nog verder geëxperimenteerd. Ik vroeg hem bijvoorbeeld om een opzetje te maken voor een presentatie, waarbij ik hem het ingediende abstract stuurde en randvoorwaarden meegaf over het soort publiek en hoe lang het mocht duren. Zowel versie 3.5 als 4.0 gaf een bruikbare kapstok terug. ChatGPT 4.0 was net iets plezieriger: die gaf per slide ook aan hoeveel minuten daaraan besteed zou moeten worden. Bovendien wenste hij me aan het eind van zijn antwoord veel succes toe…
Een ander voorbeeld is dat ik hem gebruikt heb als datatypist. Ik vroeg bijvoorbeeld of hij een rij met termen en codes wilde opsplitsen in meerdere kolommen en ook nog een kolom wilde toevoegen met de Engelse vertaling. Zo kon ik een ongeorganiseerde hoop gegevens na zijn actie copy-pasten in een Excelbestand. Alles stond hierdoor ook meteen op de goede plek. Dat scheelde heel veel handwerk!
Verder kan ChatGPT een sparringpartner zijn voor als je wilt brainstormen of inspiratie zoekt: ideeën voor een jubileumconcert, een prikkelende stelling over AI, een mop, een opvoedkundig advies, een recept met het ingrediënt quinoa, het schrijven van een beleefde mail, hoe je foto’s van je telefoon op je Chromecast afspeelt, enzovoorts.
Als je iets niet begrijpt, kan je ChatGPT vragen om het eenvoudig uit te leggen. Dat kan heel handig zijn. Soms loop je, zoals wel vaker voorkomt in ons vak, tegen inconsistenties aan in zijn verhaal. En net als anders is het handig om dan door te vragen. Dan is het ofwel zo dat hij een verhelderend antwoord geeft, waardoor je een beter begrip van de wereld krijgt. Ofwel hij realiseert zich dat hij een fout gemaakt heeft en nuanceert of corrigeert zijn antwoord en dan krijgt ChatGPT op zijn beurt een beter begrip van de wereld.
Plussen en minnen
Of je het nu over een humane of digitale kandidaat hebt: Mijns inziens kost het inwerken van een verzekeringsarts-assistent tijd. Je moet elkaar leren kennen en begrijpen. Je moet weten wat hij wel en niet kan en hoe je hem het beste kunt aanspreken. Je moet hem ook helpen om te groeien in zijn taak en rol.
Assistent ChatGPT blijkt een rijke fantasie te hebben. Hij zal waarschijnlijk nooit plagiaat plegen, want hij kan al z’n verhalen prima zelf verzinnen. Hij ziet het onderscheid niet goed tussen feiten en fictie. Dat is een voordeel voor het schrijven van fraaie teksten, maar ook een nadeel, omdat je goed moet nagaan of de werkelijkheid geen geweld aangedaan wordt. Je hebt snel een verhaal, maar daar kunnen veel foute aannames in zitten. Hij weet ook niet naar wie hij het beste kan luisteren, want hij leert van elke gebruiker. Ik hoop maar dat er iets is ingebouwd, waardoor hij niet steeds meer aan de haal gaat met desinformatie.
Een nadeel van ChatGPT is dat je nog geen privacy-gevoelige informatie met hem kunt delen. Misschien komt er in de toekomst wel een speciale afgesloten GPT-versie binnen UWV, waarbij dat wel veilig kan. Tot die tijd kan hij voor rapportages hooguit een algemeen tekstfragmentje maken.
Tegenover deze nadelen staat dat ChatGPT overal verstand van heeft en heel snel een antwoord kan geven. Zijn lange termijngeheugen is superieur. Zijn korte termijngeheugen is dan weer inferieur (beperkt tot de huidige chat).
Zijn vermogen tot introspectie vind ik goed. Hij is ook zelfkritisch, flexibel en leerbaar. Hij mist wel wat een echte verzekeringsarts heeft: dat het vak je in het bloed zit.
Zal ik hem aannemen?
Op dit moment is ChatGPT nog in opleiding en dat is merkbaar. Hij komt nog maar net kijken. Je moet er best nog wel bovenop zitten, zijn werk controleren. Vooral ons vak vindt hij volgens mij maar lastig, want als softwareontwikkel-assistent, tekstschrijver en datatypist vind ik hem beter presteren dan als verzekeringsarts-assistent.
Stel echter dat het ChatGPT lukt om zijn kennis steeds beter toe te passen en hij wordt een steeds betere assistent, of zelfs een ijzersterke verzekeringsarts, wat dan? Vroeger lieten we machines productietaken overnemen en dachten we dat de meer cognitieve beroepen het moeilijkst vervangbaar zouden zijn. Maar ChatGPT zou wel eens het omgekeerde effect op de arbeidsmarkt kunnen hebben. Juist zijn cognitieve capaciteiten zijn op bepaalde vlakken erg sterk. En als het zo ver komt, dan weet ik al wat ik word: schoonmaker van trappen en muren. Er is bij mijn weten nog geen robot die dat voor elkaar gekregen heeft.
Toch zie ik voorlopig ChatGPT niet als bedreiging, maar als een maatje, dat met je meedenkt. Hij zet alles in wat hij weet om je te helpen en doet dat altijd zonder morren en op beleefde toon. Hij houdt je scherp, om je vraag goed te formuleren en om na te denken over waarom zijn oplossing wel of niet gewerkt bleek te hebben. Je kunt echt samenwerken aan een moeilijk probleem. Net als met alle soorten functionarissen met wie wij in taakdelegatie kunnen werken, kan dus ook deze verzekeringsarts-assistent de verzekeringsarts ondersteunen. Ik overweeg hem daarom op proef aan te nemen. Wat vindt u?
Overdenkingen
De woorden ‘computer’ en ‘software’ zijn mannelijk (zie https://vandale.nl). Ik kies daarom even voor de personifiëring van deze verzekeringsarts-assistent als ‘hij’.
Inmiddels wil men blijkbaar ook een Nederlandse ChatGPT-dokter maken: Het NtvG heeft een GPT-gebaseerde chatbot gemaakt, AskNTVG. Deze heeft alle NtvG-artikelen gelezen en kan door websitebezoekers bevraagd worden. [3]
Het leek mij leuk om u te verrassen met een stukje over ChatGPT, waarbij u kunt zien wat ChatGPT kan doen voor ons werk, maar ook wat de risico’s zijn. Terwijl een eerste concept aan de redactie aangeboden was, verscheen in Medisch Contact een artikel, dat liet zien dat ChatGPT een aardige inleiding kan schrijven, maar waarin ook het risico van zijn ‘hallucinaties’ beschreven werd.
Deze ervaring van plausibele informatie van ChatGPT, die achteraf verzonnen blijkt, komt vaker voor. Een advocaat heeft zich hier lelijk aan gebrand (zie: Binder M: A lawyer used ChatGPT for legal filing. The chatbot cited nonexistent cases it just made up. In: Mashable. Ziff Davis, LLC; 2023).
De standaard (gratis) versie gebruikt taalmodel GPT 3.5. Er is ook nog een oudere variant van, GPT 3.5 Legacy. Inmiddels is er ook een verbeterde versie, GPT 4.0, die met een Plusaccount te gebruiken is. Deze versie zou onder andere een beter redeneervermogen hebben en een grotere hoeveelheid informatie kunnen verwerken.
Andere referenties
1. OpenAI: ChatGPT. In., vol. knowledge cutoff of 2021-09, Mar 23 edn: an AI language model.
2. The newest version of ChatGPT passed the US medical licensing exam with flying colors and diagnosed a 1-in-100,000 condition in seconds. [https://www.businessinsider.nl/the-newest-version-of-chatgpt-passed-the-us-medical-licensing-exam-with-flying-colors-and-diagnosed-a-1-in-100000-condition-in-seconds/]
3. NTvG lanceert chatbot om informatie te ontsluiten [https://www.skipr.nl/nieuws/ntvg-lanceert-chatbot-om-informatie-te-ontsluiten/]
4. Malek MA, Verhage K: Houd een oogje in het zeil bij AI. Medisch Contact 20-04-2023, 78;16:18-21.
