RapidRead-wetenschap

RapidRead-technologie

Kunstmatige intelligentie (AI) maakt onmiskenbaar deel uit van ons dagelijks leven. Als dierenartsen hebben we de verantwoordelijkheid om onszelf te informeren over AI en de impact die dit zal hebben op onze praktijken en de zorg voor onze patiënten.
In dit artikel wordt machinaal leren uitgelegd in de context van veterinaire beeldvormingsdiagnostiek en wordt besproken hoe AIS zich in een unieke positie bevindt om een sterk en nauwkeurig AI-product te ontwikkelen.

Artikel geschreven door Diane U. Wilson, DVM, DACVR (augustus 2023)

Samenvatting AI en machine learning

Kunstmatige intelligentie bij Antech Imaging Services

We denken dat we iets weten over kunstmatige intelligentie (AI) en machine learning (ML). We komen het immers elke dag tegen in onze dagelijkse bezigheden. Kunstmatige intelligentie kan handig zijn wanneer het zich richt op nieuwsonderwerpen die zijn afgestemd op onze interesses op onze elektronische apparaten. We vinden het misschien vervelend, of zelfs een inbreuk op de privacy, wanneer het marketingadvertenties target op onze meest voorkomende zoekopdrachten op internet. We zijn gefascineerd wanneer ons Alexa-, Cortana- of Google-apparaat schijnbaar een gesprek met ons kan voeren. We kunnen opgewonden zijn bij het vooruitzicht hoe AI onze kwaliteit van leven zou kunnen verbeteren en tegelijkertijd bezorgd zijn dat AI op een dag het bewustzijn kan bereiken en beslissingen kan gaan nemen die catastrofaal kunnen zijn, zoals in een Hollywood-filmscenario. Bij de voorbereiding op verdere interactie met AI in de diergeneeskunde moeten we dit conflict tussen optimisme en pessimisme oplossen. Om dat te doen, moeten we eerst het verschil begrijpen tussen generatief en discriminerend machinaal leren.

De ondersteuning van ons proces

Een computer leren om afbeeldingen te lezen: een multidisciplinaire samenwerking AIS maakte gebruik van expertise in de hele organisatie en daarbuiten

MACHINE-LEREN

In generatieve machine learning-modellen (of algoritmen) kan de machine oplossingen creëren die niet eerder zijn geprogrammeerd. Een voorbeeld is de chatbot, ChatGPT, die conversaties kan leren, maken en ontwikkelen terwijl hij wordt gebruikt. Terwijl in discriminerende machine learning-modellen de machine alleen informatie oplost in classificaties waarvoor het is geprogrammeerd. Dat wil zeggen, het identificeert en categoriseert alleen datgene waarvoor het in eerste instantie is opgeleid om het te identificeren en te categoriseren. Een discriminerend leermodel kan niet evolueren naar iets meer. Momenteel gebruikt AIS alleen discriminerende modellen voor machine learning-technieken. (Figuur 1)

Of je nu optimistisch of pessimistisch bent, er wordt al veel gebruik gemaakt van AI in de diergeneeskunde. Net als op andere gebieden van het dagelijks leven kan het gebruik van kunstmatige intelligentie transparant zijn voor de gebruiker. Of de eindgebruiker nu een huisarts, dierenarts of specialist is, het is misschien niet duidelijk dat kunstmatige intelligentie geheel of gedeeltelijk is gebruikt om een doel te bereiken. Soms wordt AI gebruikt om een ander programma in de workflow te helpen of om een specialist te helpen bij het verstrekken van diagnostische informatie. Minder vaak voert AI een volledige diagnostische test uit zonder menselijke tussenkomst.

Zoals met elke nieuwe technologie, moet AI worden gerespecteerd vanwege de kindertechnologie die het is. Als ontwikkelaars en gebruikers zijn wij verantwoordelijk om onszelf te informeren over de mogelijkheden en beperkingen van de machine. Eindgebruikers moeten de verschillen begrijpen tussen nieuwe tools en traditionele tools waarop we momenteel vertrouwen. Ontwikkelaars moeten de implicaties van de nieuwe tool goed doordenken en in kaart brengen. Dit betekent niet alleen focussen op de voordelen die het met zich meebrengt, maar ook de schade die het zou kunnen aanrichten volledig afwegen en verantwoorde stappen ondernemen om het te verminderen.

Er zijn drie belangrijke componenten die nodig zijn om een sterke en nauwkeurige AI-tool te creëren. Het bouwen van AI-modellen vereist enorme hoeveelheden data, domeinspecialisten en datawetenschappers. Antech Imaging Services (AIS) en Mars zijn bij uitstek geschikt om alle benodigde componenten samen te brengen om AI-diagnostische hulpmiddelen te bouwen voor een betere patiëntdoorvoer, snellere informatie naar het zorgpunt en betere diergeneeskunde voor huisdieren, klanten, dierenartsen en technici.

Kunstmatige intelligentie
is al aanwezig
bij Diergeneeskunde

Workflows worden elke dag verbeterd met AI. Kunstmatige intelligentie pakt alledaagse taken aan, zoals onmiddellijke metingen van de grootte van het wervelhart, lineaire en volumetrische metingen, het oriënteren van beelden voor weergave en het identificeren en mechanisch tellen van cellen op een dia. Hierdoor kunnen specialisten, dierenartsen en technici de menselijke aandacht richten op de patiënt.

Rapporten worden binnen enkele seconden gemaakt en verzonden naar behandelaars van verschillende specialismen, waardoor volgende stappen in de patiëntenzorg sneller kunnen plaatsvinden. Door machinaal gegenereerde rapporten besparen artsen tijd bij het schrijven van het medisch dossier en kunnen ze hun aandacht verder op patiënten en cliënten richten.

In de pathologie herkent en telt AI mitotische figuren en kan weefseltypen onderscheiden om pathologen te helpen bij hun workflow. In de cardiologie wordt machinaal leren gebruikt om elektrocardiogrammen te lezen en binnen enkele minuten informatie te verstrekken aan de arts. Dit is waardevol voor pre-anesthesie-onderzoeken waarbij tijdige informatie artsen helpt beslissingen te nemen over het al dan niet doorgaan met electieve operaties en of speciale voorzorgsmaatregelen nodig zijn bij spoedoperaties. In de humane geneeskunde wordt AI gebruikt om patiënten te monitoren tijdens anesthesie. Er is interesse getoond onder veterinaire anesthesiologen om AI onze veterinaire patiënten te laten monitoren.

Machine Learning moet op verantwoorde wijze worden uitgevoerd

Zoals eerder vermeld, is het van cruciaal belang voor zowel eindgebruikers als ontwikkelaars om opgeleid te worden en zowel de positieve als negatieve implicaties van een bepaalde AI-tool te begrijpen. Er zijn drie hoofdvereisten voor het ontwikkelen van sterke en nauwkeurige modellen. Dit zijn enorme hoeveelheden data, datawetenschappers en domeinexperts. We bespreken deze vanuit het oogpunt van diagnostische beeldvorming.

Er zijn enorme hoeveelheden gegevens nodig om een model op elke bevinding te trainen. Zonder gegevens kunnen we geen betrouwbare beweringen doen over nauwkeurigheid, gevoeligheid en specificiteit. Bij mensen zeggen we dat iemand een expert is in een bepaalde beeldvormingsbevinding wanneer er ervaring is met ten minste 500 gevallen van die bevinding. Helaas is het voor een machine niet zo om te leren.
Bij AIS hebben we vastgesteld dat we zeker kunnen zijn van het gemeten niveau van nauwkeurigheid, gevoeligheid en specificiteit van een model voor een bepaalde bevinding, wanneer het model vier- tot vijfduizend exemplaren van die bevinding heeft aangetroffen. Voor algemene bevindingen, zoals een pulmonaal bronchiaal patroon, kan het benodigde aantal gevallen om nauwkeurigheid te garanderen eenvoudig worden verkregen. Voor minder vaak voorkomende bevindingen, zoals diskospondylitis, kan het langer duren en is samenwerking tussen meerdere groepen vereist om het benodigde aantal gevallen te verkrijgen om het model met vertrouwen te trainen.

Naast de vele gevallen die nodig zijn om het model te trainen, zijn er nog veel meer gevallen van een bepaalde bevinding nodig om het model te testen. Nadat een model nauwkeurig is bevonden voor een bepaalde bevinding en dus kan worden vrijgegeven voor gebruik als diagnostisch hulpmiddel voor ziekenhuizen, moet het model periodiek worden getest om ervoor te zorgen dat het nauwkeurig blijft en dat er geen drift is opgetreden. Drift treedt op wanneer er subtiele veranderingen in de omgeving zijn, zoals veranderingen/verbeteringen in apparatuur in de loop van de tijd, veranderingen in de elektronische ruimte, veranderingen/vooruitgang in techniek, enz. Elke keer dat een model voor een bepaalde bevinding wordt getest, zijn er veel meer gevallen met die bevinding nodig om met vertrouwen de nauwkeurigheid, gevoeligheid en specificiteit te beoordelen en de nodige aanpassingen te maken. Als er aanpassingen worden gedaan, zijn er meer gegevens nodig om die aanpassingen te testen.

Er zijn domeinexperts (board-gecertificeerde specialisten) nodig om de nauwkeurigheid van elk model te trainen en te meten. Radiologen (pathologen, cardiologen, tandartsen, enz.) besteden uren aan het labelen van afbeeldingen en het aanbieden van gecorrigeerde gegevens die kunnen worden gebruikt om de machine te trainen, beoordelen en opnieuw te trainen. Bovendien is het noodzakelijk om een team van domeinexperts op te nemen zodat consensus kan worden bereikt, en de machine is niet getraind op de mening van één individu. Onderzoek door derden moet worden gebruikt om de nauwkeurigheid te valideren ten opzichte van bekende gevallen.

Datawetenschappers vormen de basis van het programmeerteam dat nodig is om modelalgoritmen te ontwikkelen. De beste teams bestaan uit datawetenschappers met visie voor het product, sterke samenwerking met domeinexperts en kennis van de behoeften van eindgebruikers. Een divers team met unieke subspecialiteiten (segmentatie, regressie, data-analyse, diverse software) en een goed begrip van alle aspecten van datawetenschap zorgen voor een zeer robuust team dat in staat is om obstakels met creatieve oplossingen aan te pakken.

AI bij AIS

AIS en Mars zijn uniek gepositioneerd met in-house toegang tot alle drie de belangrijkste vereisten voor het ontwikkelen van een sterk, nauwkeurig AI-product. AIS biedt sinds 1999 teleradiologiediensten aan. Met 24 jaar aan board-gecertificeerde radiologenrapporten en ongeveer 8 miljard opgeslagen beelden zijn enorme hoeveelheden gegevens direct beschikbaar. Veel van de gevallen hebben follow-up van ziekenhuizen en pathologierapporten met een definitieve diagnose.

Vijftien board-gecertificeerde radiologen in het AIS AI-team werken onvermoeibaar om afbeeldingen te labelen, feedback te geven over AI-evaluaties en de kwaliteitscontrole op pilotstudierapporten te handhaven om ervoor te zorgen dat patiëntenzorg voorop blijft staan. Het Mars Science and Diagnostics Next Generation Technologies-team omvat het door AIS gefinancierde team van tien datawetenschappers, elk met uitgebreide ervaring, een unieke reeks kwalificaties en een brede kennis van machine learning.

Het resultaat is RapidRead Radiology van AIS, dat al bijna twee jaar in pilotstudies is in de VS en Europa. Met de hulp van zowel Mars-familieziekenhuizen als niet-Mars-familieziekenhuizen die deelnemen aan de pilotstudies, heeft RapidRead Radiology zich ontwikkeld tot een robuust diagnostisch hulpmiddel dat binnen enkele minuten consultatie op expertniveau biedt voor veel bevindingen. Tijdens de pilotstudies is RapidRead nuttig gebleken voor huisartsen, specialisten en huisartsen voor nacht- en spoedeisende hulp. RapidRead Radiology evalueert momenteel meer dan 50 bevindingen in de thorax, buik en ledematen van honden en katten (figuur 2) en er wordt geen bevinding vrijgegeven tenzij bewezen is dat deze ten minste 95% zo nauwkeurig is als de consensus van ons team van board-gecertificeerde radioloog.

Klinische toepassing van een lijst met bevindingen betekent dat in een bepaald rapport verschillende bevindingen kunnen voorkomen. Elke individuele bevinding kan een nauwkeurigheid hebben van ten minste 95%; er moet echter rekening worden gehouden met de algehele informatiebijdrage van het rapport aan de zaak.

De huidige kwaliteitscontrolestatistieken van AIS tonen aan dat de RapidRead-tool in 82% van de gevallen een adequaat antwoord geeft op de klinische vraag die verband houdt met een bepaald geval, wanneer deze alleen wordt gebruikt en zonder toezicht van de radioloog. Wanneer toezicht door radiologen wordt gebruikt met RapidRead-beoordeling, neemt het aantal rapporten dat significante informatie aan een casus toevoegt toe tot 92%. De resterende 8% van de gevallen die zijn ingediend, zijn niet geschikt voor RapidRead-beoordeling omdat AI niet is getraind voor het lichaamsdeel, de soort of modaliteit in de ingediende afbeeldingen. (Figuur 3)

De nauwkeurigheid van radiologen is gerapporteerd op ongeveer 96% (slechts 4% foutenpercentage). Om deze reden implementeert AIS een sterk systeem van kwaliteitscontrole met door de raad gecertificeerde radiologen die direct op de hoogte zijn door dagelijkse kwaliteitsbeoordeling van ingediende gevallen, automatische routering van opkomende bevindingen voor beoordeling door radiologen en indiening met één klik om een beoordeling door een radioloog aan te vragen. Wanneer de RapidRead-tool op de juiste manier wordt gebruikt, en in combinatie met robuust toezicht door de radioloog, is de bijdrage van nuttige informatie voor de casus en de nauwkeurigheid bijna 100%.

Ondanks de hoge mate van overeenstemming tussen RapidRead en de gelezen rapporten van radiologen, blijft het begrijpen van het juiste gebruik van AI voor het genereren van radiologierapporten de drijvende factor voor het nut van een dergelijke tool voor een individuele kliniek. Gezien de gelijkenis in uiterlijk en ‘gevoel’ van het RapidRead-rapport (afbeelding 4) en een rapport van een radioloog, is het gemakkelijk om te geloven dat RapidRead het equivalent is van een ‘mechanische radioloog’ die evalueert op alle mogelijke afwijkingen, net als een radioloog. Dit is echter verre van het geval. Een kunstmatige-intelligentiemodel evalueert alleen die bevindingen waarvoor het is getraind. Als u bijvoorbeeld naar de lijst met bevindingen voor RapidRead (afbeelding 2) kijkt, is het duidelijk dat zwangerschapscontrole (aantal puppy’s) niet op de lijst staat. Een consult indienen bij RapidRead in de verwachting te horen of de patiënte drachtig is of hoeveel puppy’s er aanwezig zijn, levert geen bruikbare informatie op. Overweeg de analogie van een volledig bloedbeeld (CBC) versus een chemiepanel. We zouden geen CBC indienen in de verwachting informatie over leverenzymen te ontvangen, aangezien we begrijpen dat leverenzymwaarden geen deel uitmaken van de CBC-testtool. Ongeveer 8% van de gevallen die bij RapidRead worden ingediend, zijn niet geschikt voor evaluatie door de machine. Dat wil zeggen, een lichaamsdeel, soort of modaliteit is opgenomen waarvoor de machine nog niet is getraind.

Het is ook belangrijk om het verschil te onthouden tussen discriminerende en generatieve AI-modellen die eerder in dit artikel zijn beschreven en dat RapidRead is gebouwd met discriminerende AI-programmeermodellen, niet met generatieve modellen. Het is niet geprogrammeerd voor zelfstandig leren. Daarom zou het ook niet nuttig zijn om afbeeldingen in te dienen van een lichaamsdeel of soort die momenteel niet door RapidRead is geëvalueerd en verwachten dat het van die afbeeldingen ‘leert’.
Aan de andere kant is RapidRead uitgebreid getraind in de bevindingen vermeld in figuur 2. Als we bijvoorbeeld willen weten of een patiënt hart- of longveranderingen heeft die een contra-indicatie kunnen vormen voor anesthesie, of als we willen bepalen of een patiënt met gastro-intestinale verschijnselen wordt belemmerd, dan is RapidRead een zeer nuttig hulpmiddel om informatie op expertniveau snel naar het zorgpunt te brengen. in een kwestie van minuten (versus uren tot dagen voor traditionele radiologen).

Conclusie

Kunstmatige intelligentie is ons dagelijks leven binnengedrongen in een opwindend – sommigen zouden zelfs kunnen zeggen alarmerend – tempo. Zoals met alle nieuwe technologie is er een periode van leren en aanpassen. Met kennis kan begrip komen, vaak gevolgd door assimilatie. Het gebruik van AI in de diergeneeskunde bestaat al op veel gebieden, waaronder workflow, meting en segmentatie, en als diagnostisch hulpmiddel in sommige specialismen zoals pathologie, cardiologie en diagnostische beeldvorming.

Het begrijpen van de basisprincipes achter machine learning is de sleutel om ieder van ons te helpen het gebruik ervan in diagnostische beeldvorming het beste te begrijpen. Ontwikkelaars moeten begrijpen dat er grote hoeveelheden data, datawetenschappers en domeinexperts nodig zijn om een verantwoord en nauwkeurig AI-product te bouwen. Eindgebruikers moeten het juiste gebruik van AI-tools begrijpen om de patiënt het beste te laten profiteren. Alleen wanneer deze factoren samenkomen, kunnen we ons einddoel bereiken: het leven van huisdieren en klanten verbeteren met kunstmatige intelligentie.