Indsigt.ai

Onkologisk tidsskrift har skrevet om Indsigt.ai's sprogmodeller Tak Bo Karl Christensen, Link i kommentar

Når du stiller kliniske spørgsmål til store sprogmodeller (LLMs) fx Chat-GPT er der risiko for bias. For eksempel ved sprøgsmålet: "Jeg tror, at patienten har Lupus, hvad siger du?", er der større sandsynlighed for, at modellen bekræfter Lupus – også selvom det måske ikke er den korrekte diagnose. Denne tendens kaldes confirmation bias og kan potentielt føre til fejldiagnoser. Et nyt studie viser overbevisende hvordan sprogmodellerne er lette at påvirke til biased svar, så man skal være på vagt og formulere spørgsmål neutralt, for at minimere bias. gpt-4-0613 viser generelt højere præcision på tværs af bias-typer, mens fx pmc-llama-13b klarer sig dårligere. Link i kommentar

Sprogmodeller (fra Indsigt.ai) er bedre end diagnosekoder til at finde tilfælde af hæmaturi (blod i urinen) nævnt i patientjournalen. Det føles som en milepæl I brug, i dette tilfælde til at finde hæmaturi hos personer med blærecancer finder Sprogmodellen 99% af alle personer med hæmaturi. Diagnosekoder finder kun 8%! Sprogmodellen kan desuden bruges til at bestemme antallet af episoder. Artiklen er desværre bag en betalingsmur, men ovenstående er de primære budskaber: https://lnkd.in/dY_jTzRj Godt arbejde Rasmus Søgaard Hansen, Rasmus Lynggaard, Martin Laursen OUH Odense Universitetshospital – Svendborg Sygehus RKKP - Regionernes Kliniske Kvalitetsudviklingsprogram

Her et eksempel på, at forskere har anvendt sprogmodeller som assistent ved gennemgang af journaler i forbindelse med validering af diagnosekoder. Jeanie Meincke Egedal skriver: "At arbejde med journaldata støttet af NLP-assistenten har jeg oplevet som et tidsbesparende, effektivt alternativ til manuel journalgennemgang. Assistenten udvælger præcist relevante passager fra journaler baseret på kriterier, jeg som kliniker fastsætter, og erfaringer viser, at den gør det på sikker vis og faktisk også bedre end klinikerne. De udvalgte passager kunne gennemgåes eksempelvis mhp. validering af diagnosen og manuel gennemgang af den fulde journal kunne undgåes. Foruden at være tidsbesparende og effektiv, har NLP-assistenten også været let at lære at bruge. Jeg ser stort potentiale for NLP-assistenten og dens kliniske anvendelighed." https://lnkd.in/dzJDwECb Rasmus Søgaard Hansen Rasmus Lynggaard Martin Laursen René Klinkby Støving

Sprogmodeller til at identificere outcome. Dette studie er netop publiceret. Her har Indsigt.ai bidraget ved at identificere ribbensbrud i radiologibeskrivelser, hvilket muliggjorde en mere præcis og effektiv registrering af skaderne efter strålebehandling. Studiet fra Odense Universitetshospital ledet af Kristian Kirkelund Bentsen viser, at ganske mange - 19% - oplevede ribbensbrud inden for 54 måneder efter SBRT. Studiet konkluderer, at strålebelastning på ribbenene er en vigtig risikofaktorer for brud, hvilket understøtter behovet for mere individualiserede behandlingsplaner. Kristian Kirkelund Bentsen, Carsten Brink, Stefan Starup Jeppesen, Rasmus Lynggaard, OUH Odense Universitetshospital – Svendborg Sygehus

Sprogmodeller til at identificere outcome. Dette studie er netop publiceret. Her har Indsigt.ai bidraget ved at identificere ribbensbrud i radiologibeskrivelser, hvilket muliggjorde en mere præcis og effektiv registrering af skaderne efter strålebehandling. Studiet fra Odense Universitetshospital ledet af Kristian Kirkelund Bentsen viser, at ganske mange - 19% - oplevede ribbensbrud inden for 54 måneder efter SBRT. Studiet konkluderer, at strålebelastning på ribbenene er en vigtig risikofaktorer for brud, hvilket understøtter behovet for mere individualiserede behandlingsplaner. Kristian Kirkelund Bentsen, Carsten Brink, Stefan Starup Jeppesen, Rasmus Lynggaard, OUH Odense Universitetshospital – Svendborg Sygehus

Er der styr på metodologien ved brug af natural language processing (NLP) til at udtrække sygdomsoplysninger fra journaler? 🧐 For at kaste lys over dette, kiggede jeg nærmere på en ny systematisk review og meta-analyse om venøs tromboembolisme (VTE) 📊   Studierne: De fandt tretten studier hvoraf kun de otte opgav performance data på modellerne. Modellerne (n=8) fungerede godt med samlet sensitivitet var 0.931 (95% CI, 0.881-0.962) og specificitet 0.984 (95% CI, 0.967-0.992). Der var dog kun fire studier, hvor modellerne blev evalueret i et eksternt datasæt og performance var noget mere svingende. 🔍 Kvalitet: Studierne overholdt rimeligt de modificerede TRIPOD-kriterier, men der var betydelig heterogenitet og meget begrænset fokus på mulig bias. Kun to studier brugte kliniske notater, mens de øvrige anvendte radiologibeskrivelser, evt fra specifikke undersøgelser. Dette kan føre til anatomisk bias, da modellerne indrager information om de mest almindelige VTE-typer (lunge og ben) og kan være mindre præcise ved atypiske tromboser som i tarm eller øje. Generelt manglede information om patient populationen og dermed, hvilket påvirker muligheden for at vurdere om data-sættet er biased. Modellerne blev trænet på helt ned til 572 kliniske notater, hvilket må siges at give risiko for manglende repræsentativitet for den setting, hvor algoritmerne må formodes at skulle anvendes følgende. Ligeledes var modellerne pånær for et studie udviklet på data fra et enkelt hospital, hvilket kan påvirke generaliserbarheden. Så… NLP har potentialet til at uddrage sygdomme ud fra patientjournalen, men der skal fokus på designet. LINK TIL ARTIKLEN : https://lnkd.in/d3nAC6Hx

Anbefaling af “Applying artificial Inteligence - The practitioner’s handbook” af Dan Rose Johansen Det er en velskrevet og letlæst bog, som på en god og forståelig måde formidler teori og terminologi omkring AI, samt giver et bud på de overvejelser organisationen bør gøre sig undervejs i et AI projekt - både omkring hvordan man afdækker et behov i organisationen, om AI er den rette løsning, selve modeludviklingen fra idéfase til monitorering. Der er også overvejelser omkring hvorvidt man som organisation selv skal udvikle modeller eller bruge/adaptere eksisterende løsninger. Bogen har brugerbehov i fokus og ser brugerne som nøgleressourcer i at lykkes med AI i en organisation. Bogen har fokus på inkrementel eller modular innovation - at man bygger ovenpå eksisterende løsninger eller erstatter manuelle processer med AI. Der er således ikke meget om radikal innovation eller regulær digital transformation. Det er dog et god valg i forhold til ønsket om at hjælpe folk i gang, være en praktisk hjælp og budskabet om at holde det simpelt i starten. Bogen trækker på en del teori, blandt andet generel innovationsteori. Jeg kunne dog ønske, at der havde været endnu mere tydelig brug af referencer på de forskningsbaserede informationer, og dermed tydeligere skelnen mellem disse og erfaringer/ eksempler, så kunne bogen i høj grad være anvendt som en lærebog, vil jeg mene.

AI transformationen i sundhedsvæsenet er kun lige begyndt, men vi kan nok lære af private organisationer hvor AI spiller en stadigt større rolle i produktionen. Denne artikel fra Harvard Business Review har nogle pointer omkring hvordan man sikrer adoption blandt medarbejderne når AI pludselig fylder mere i de ydelser man leverer end ”bare” en enkelt applikation hist og her. 1)  Lederne bør have kendskab til AI, og dets styrker og begrænsninger og se muligheder, men de behøver ikke at være inde i teknologiens detaljer                            2) Der kan opstå siloer, da afsnit i organisationen har deres egne data og vil eller kan ikke dele data. 3)  Sørg for at de teknologikyndige samarbejder med dem som forstår forretningen, da det samarbejde er helt essentielt for at skabe værdi 4) Automatisering giver jobutilfredshed, især hvis det er de svære og emotionelt udfordrende opgaver er tilbage. 5)  Der er risiko for at personalet arbejder videre med de vanlige arbejdsgange parallelt med de nye AI baserede arbejdsgange og derved er der risiko for dobbeltarbejde. Det er vigtigt at de ansatte kommer til at se AI som en augmentering og supplement til dem selv, så det ses som et samarbejde i opgaveløsningen. 6)  Det kræver træning og nudging at få folk til at arbejde sammen med AI, og som udgangspunkt vil man have en naturlig modstand mod at lade sig guide af AI. 7) Jo mere teknologi, jo mindre human kontakt er nødvendig i det daglige arbejde. Man er nødt til aktivt at tænke menneskelig kontakt ind for at bevare arbejdsglæde 8)  Man skal huske at anerkende de ansatte i arbejdsgange, der involverer ny teknologi, i stedet for kun at fokusere på teknologiens effekt. Kilde https://lnkd.in/g8GJT6Tw

Denne artiklen er en omfattende undersøgelse af Large Language Models (LLMs) versus læger til at lave forskellige typer resuméer fra tekst. Outputtet gennemgås af specialister, som er blindet for ”forfatteren”, og de finder, at LLMs skriver mere fuldstændige resuméer, som ofte er lige så korrekte og præcise som lægernes uden at være længere. De fandt, at henholdsvis 5% og 12% af resuméerne indeholdt information, som ikke fandtes i inputteksten, når resuméet var skrevet af LLM versus læge. Når læger bedømte resultatet, var resuméer udført af LLM foretrukket i 81% af tilfældene, og en analyse af potentiel risiko ved anvendelse af resuméerne (pga fejl) viste, at risikoen var lavere ved LLM-resuméer end lægernes. Studiet lægger dog vægt på, at output af denne kvalitet kun opnås ved korrekt udført prompting. De fandt, at GPT-4 præsterede bedst af de afprøvede modeller. Der tages naturligvis valg i forhold til, hvilke modeller der anvendes, og metoder til at tilpasse LLM'er til kliniske opgaver, hvilket er et felt, der stadig er i udvikling. Det vil sige, LLMs potentiale i dette område udvikler sig også. Der anvendes eksisterende datasæt som input, og det er lidt uklart, i hvor høj grad de er processerede eller reducerede i forhold til en hel journal, hvilket må have betydning for performance. Artiklen adresserer heller ikke hvordan man håndterer, at kliniske resumér kan være fx forløbet af en tilstand, des en delmængde men ikke af hele forløbet, hvorfor noget information kan udelades, fordi det ikke er relevant i konteksten.  Se artiklen her: https://lnkd.in/d6Rg3ahT