Contra la medicina de caixa negra

Encoding Bioethics: AI in Clinical Decision-Making 

El llibre «Encoding Bioethics: AI in Clinical Decision-Making», escrit pels cirurgians Charles Binkley i Tyler Loftus, analitza la integració ètica de la intel·ligència artificial (IA) en la medicina, centrant-se en els sistemes de suport a la decisió clínica (AI CDS). L'obra sosté que, tot i el potencial de la IA per millorar l'eficiència i els resultats, la medicina és fonamentalment relacional i s'ha de protegir el vincle de confiança entre metge i pacient.

A continuació, es detallen els punts clau del llibre estructurats per temes i grups d'interès:

1. Fonaments Ètics i el Suport a la Decisió Clínica (AI CDS)

• Maximitzar el benefici i minimitzar el dany: Els autors apliquen els principis clàssics de la bioètica (autonomia, beneficència, no maleficència i justícia) a la IA. La IA no és moral per si mateixa, sinó que depèn dels valors que hi codifiquen els humans.
• Reducció de la incertesa: Un dels grans potencials de l'AI CDS és reduir la incertesa clínica en situacions de vida o mort, ajudant a predir millor qui es beneficiarà realment d'un tractament d'alt risc.
• Col·laboració Humà-Màquina: El llibre no proposa que la IA substitueixi els metges, sinó que treballin en equip (human-machine teaming), on el metge actua com a agent que valida i comunica la predicció al pacient.

2. El Metge davant la IA: El Problema de la "Caixa Negra"

• Manca d'explicabilitat: El principal repte ètic és que moltes decisions d'IA són opaques ("caixa negra"), cosa que impedeix que el metge entengui o expliqui la raó d'una recomanació específica.
• Autonomia Professional: Hi ha el risc que el metge perdi la seva agència si es veu obligat (per biaix d'automatització o pressió del sistema) a seguir la IA sense judici crític.
• Responsabilitat Moral: Si la IA s'estableix com el "estàndard de cura", el metge pot enfrontar-se a dilemes morals i legals si decideix actuar en contra de la predicció de la màquina.

3. El Pacient i la Confiança

• El "Pacient Triune": El llibre defineix tres rols que el pacient assumeix davant la IA: el de pacient que rep cura, el de donant de dades (fenotip digital) i el de subjecte d'aprenentatge de l'algoritme.
• Consentiment Informat: Els pacients han de ser informats que el seu metge col·labora amb una IA i que les seves dades s'utilitzen per entrenar el sistema, garantint que aquesta participació sigui voluntària.
• Riscos de Privacitat: La donació de dades de salut comporta riscos de reidentificació o de creació de perfils que podrien perjudicar el pacient en el futur si es comparteixen entre plataformes.

4. Desenvolupadors: Codificar la Bioètica

• Transparència i Biaix: Els programadors tenen la responsabilitat de crear sistemes transparents i utilitzar conjunts de dades diversos per evitar perpetuar biaixos racials, de gènere o socioeconòmics.
• IA Causal vs. Associativa: Es proposa passar de models que només busquen correlacions a models de IA causal que entenguin quins factors causen realment un resultat mèdic.
• Inclusió de Valors: Els desenvolupadors poden utilitzar tècniques com l'aprenentatge multitarea per oferir rangs d'opcions que permetin al pacient aplicar els seus propis valors (per exemple, prioritzar qualitat de vida sobre durada).

5. Executives i Sistemes de Salut

• Oversight i Seguretat: Els administradors han de vigilar la implementació de la IA, assegurant que els incentius financers no passin per sobre de la seguretat del pacient.
• Dèficit de Proves: Molts sistemes d'IA s'implementen sense els assajos clínics rigorosos que s'exigeixen als medicaments; els autors demanen més assajos pragmàtics i digitals per provar el benefici real.
• Aprenentatge Federat: Una solució proposada per protegir la privacitat és l'aprenentatge federat, on els models s'entrenen localment en hospitals i només comparteixen els paràmetres apresos, no les dades dels pacients.

6. El Cicle de Vida de l'AI CDS: Marc de Gestió Ètica

El llibre culmina amb una proposta pràctica: la creació d'un grup de supervisió multidisciplinari que gestioni el sistema des de la idea inicial fins al seu desmantellament. Aquest grup ha d'incloure pacients, bioeticistes i experts en dades per auditar constantment el sistema per detectar dades obsoletes o canvis en el rendiment (dataset shift).

La diferència fonamental entre la intel·ligència artificial (IA) associativa i la causal radica en si el sistema es limita a trobar correlacions estadístiques o si és capaç d'entendre els mecanismes de causa i efecte:

• IA Associativa (o basada en correlacions): La majoria dels models d'IA actuals funcionen derivant associacions i correlacions a partir de dades històriques per predir resultats en observacions noves. Aquest enfocament és útil per fer prediccions precises, però pot ser enganyós perquè les associacions, de manera aïllada, poden induir a error. Per exemple, un model podria "aprendre" a associar temps de transport curts amb una mortalitat més alta en pacients traumàtics (perquè els pacients més greus es traslladen més ràpidament), sense entendre que el temps curt no és la causa de la mort.
• IA Causal: Aquest tipus d'IA busca respondre a la pregunta: "Quins factors han causat el resultat?". En lloc de basar-se només en patrons, utilitza models mecanístics que apliquen veritats matemàtiques o lleis fonamentals per establir relacions de causa i efecte. Això permet als investigadors canviar variables individuals per avaluar com aquests canvis afecten directament els resultats.

Importància en l'àmbit mèdic i ètic

L'elecció entre un model o un altre té implicacions crítiques per a la pràctica clínica i l'equitat:

1. Reducció de biaixos: L'IA causal és una eina potent per combatre el biaix algorítmic. Per exemple, mentre que un model associatiu podria assenyalar que la raça negra està vinculada a un major risc de mortalitat en cirurgia cardíaca, un model mecanístic (causal) podria demostrar que la raça no és la causa de la mort i identificar els factors reals que sí que ho són.
2. Suport a la decisió: Tot i que els models associatius són adequats quan l'únic objectiu és una predicció precisa, informen de manera molt més limitada la presa de decisions clíniques que els models causals, que permeten entendre el "perquè" darrere d'una recomanació.
3. Transparència: La capacitat d'identificar quins factors causen realment un resultat mèdic ajuda a aixecar la tapa de les anomenades "caixes negres" de l'IA, augmentant la transparència i la confiança dels metges i pacients en el sistema.

PS. Més material.