Aquest és un resum del llibre "Auditing AI" (2026), de The Marquand House Collective (publicat per MIT Press dins de la seva col·lecció Essential Knowledge Series). El col·lectiu està format per onze experts d'àmbits com la informàtica, el dret, les polítiques públiques, les ciències socials i el periodisme.
Capítol 1: Introducció (Introduction)
Aquest capítol introdueix la necessitat històrica i actual de les auditories de sistemes automatitzats a través de tres casos d'estudi fonamentals.
- L'algoritme de trasplantament de ronyó (LYFT): Als anys vuitanta, la presa de decisions mèdiques assistida per ordinador era ciència-ficció, però cap al 2000 es va dissenyar el sistema automatitzat LYFT (life years from transplant) per prioritzar l'assignació de ronyons. Aquest algorisme calculava quant de temps viuria una persona si rebia un trasplantament, però va rebre fortes crítiques. Els pacients d'edat avançada al·legaven discriminació per edat, i les comunitats racialitzades i de baixos recursos denunciaven que beneficiava els pacients més rics. El 2009, el cirurgià Peter Stock i el seu comitè van presentar una sèrie d'auditories independents que van identificar disparitats per edat, gènere, geografia i raça, la qual cosa va permetre reformar el sistema cap a un model més equitatiu.
- El precedent històric de SABRE: A mitjan segle XX, reservar bitllets d'avió requeria hores de trucades i un registre analògic en taulers de xulles. El 1960, el llançament de SABRE (creat per IBM i American Airlines) va computeritzar les reserves. Aviat, aerolínies competidores van detectar comportaments anòmals (com vols que desapareixien o es canviaven a American Airlines) i que els primers resultats de cerca afavorien sempre l'aerolínia propietària del sistema. El 1983, es va impulsar una investigació per aquest "biaix de visualització" (display bias). El president d'American Airlines, Robert L. Crandall, va defensar obertament que el sistema s'havia dissenyat per afavorir-los ("la queixa de Crandall": per què construir un sistema car si no pots esbiaixar-lo al teu favor?). El regulador va prohibir aquesta pràctica i va obligar a fer públics els algorismes de cerca.
- La discriminació publicitària de Meta (Facebook): El 2016, periodistes de ProPublica van revelar que la plataforma de Meta permetia als anunciants excloure determinades "afinitats ètniques" (com "afroamericans", "asiàtics americans" o "hispans") en anuncis de lloguer d'habitatges o d'ocupació, violant directament les lleis federals de drets civils. Malgrat les declaracions de Meta afirmant que s'havia corregit, auditories posteriors de periodistes i acadèmics van seguir trobant patrons discriminatoris. El cas va acabar el 2022 amb una demanda del Departament de Justícia dels EUA (DOJ), una sanció i l'obligació de Meta de sotmetre's a auditories periòdiques i independents.
Capítol 2: Què és l'auditoria d'IA? (What Is AI Auditing?)
L'autoria clarifica els conceptes, definicions i marcs d'actuació de la disciplina.
- Definició de sistema d'IA i auditoria: Un sistema d'IA és qualsevol sistema automatitzat on s'integren algorismes (processos computacionals codificats sovint basats en dades). S'anomena auditoria d'IA a l'avaluació rigorosa i sistemàtica de les afirmacions, expectatives o estàndards (siguin requisits legals o normes socials com la privacitat) d'un sistema d'IA. Un bon auditor comença la seva tasca des de l'escepticisme.
- L'origen dels mètodes de l'auditoria: Es basen en les auditories financeres, tributàries (IRS) i reguladores (FDA, EPA, SEC). No obstant això, el seu antecedent directe en l'àmbit de la justícia social es troba en els estudis d'auditoria de l'habitatge del segle XX per combatre el redlining (la discriminació immobiliària cap a persones negres). Aquests estudis enviaven parelles de provadors (un de negre i un de blanc, amb el mateix perfil econòmic) a sol·licitar un habitatge alhora, registrant com eren tractats. Després es va aplicar al mercat laboral mitjançant l'enviament de currículums falsos amb noms que suggerien diferents races o gèneres (correspondence audits).
- El cas COMPAS: El 2016, Julia Angwin i el seu equip de ProPublica van auditar l'algorisme COMPAS, utilitzat per jutges dels EUA per avaluar la probabilitat de reincidència criminal. L'auditoria va revelar que el sistema doblava la taxa d'error en predir falsos positius de reincidència per a defensors negres i, a la vegada, qualificava erròniament els defensors blancs com a de "baix risc" molt més sovint. Aquest cas va evidenciar que els sistemes d'IA estan condicionats pel biaix humà contingut en les seves dades d'entrenament històriques.
- Tipus d'auditoria segons el seu objectiu:
- Auditories de viabilitat/destí: Determinen si un sistema s'ha d'abandonar (per exemple, les auditories sobre els algorismes de patrullatge policial predictiu de PredPol o Palantir van portar ciutats com Los Angeles i Chicago a deixar d'utilitzar-los per la seva ineficàcia i biaix racial).
- Auditories com a tripwires (fils de trencament): Serveixen com a alertes inicials que justifiquen accions legals o investigacions governamentals més profundes on els reguladors demanen més informació interna (com va passar amb Meta o Apple Card).
- Auditories de supervisió continuada: Reavaluacions periòdiques per comprovar si el programari s'ha degradat o millorat. Un exemple són les auditories continuades a Google Image Search (2015, 2019 i 2021) sobre els estereotips de gènere en les cerques d'ocupacions (el problema de "la constructora sexy").
- Límits de les auditories: Sovint no poden obrir del tot la "caixa negra" (el funcionament intern d'un sistema que fins i tot pot ser desconegut per als seus propis enginyers) ni garanteixen per si soles la rendició de comptes d'una corporació si aquesta decideix ignorar els resultats.
- L'auditor i els conflictes d'interès: Les auditories fetes per tercers independents són el "patró d'or". Les realitzades per les mateixes empreses o amb la seva col·laboració directa presenten riscos de conflictes d'interès o de rentat d'imatge (audit-washing). Amb tot, algunes auditories internes de qualitat han servit perquè empreses descobrissin falles i abandonessin sistemes (com Amazon amb el seu escanejador de currículums o Twitter amb el seu retallador d'imatges).
Capítol 3: Els passos d'una auditoria d'IA (The Steps of an AI Audit)
L'auditora Joy Buolamwini va descobrir que les tecnologies de detecció facial comercials de grans marques no reconeixien la seva cara (ella és negra) excepte si es posava una màscara de disfressa blanca, la qual cosa la va portar a realitzar amb Timnit Gebru l'auditoria canònica "Gender Shades" (2018). Aquestes errades tenien conseqüències greus a la vida real, provocant detencions policials injustes per coincidències biomètriques errònies d'homes negres com Robert Williams a Detroit.
A partir d'aquí, es descriuen els cinc passos clàssics d'una auditoria d'IA:
- Identificar el sistema a auditar (Identify the system): Definir les fronteres de la tecnologia, que sovint és un paquet de múltiples components complexos, de vegades utilitzant diagrames de sistemes per destriar el camí de les dades.
- Planificar una investigació sistemàtica (Planning): Passar de l'anècdota a un mètode organitzat. Latanya Sweeney, per exemple, va formalitzar la seva sospita que Google mostrava anuncis suggerint detencions policials en cercar noms propis associats a persones negres mitjançant una cerca sistemàtica utilitzant bases de dades de naixements reals, provant que els noms afroamericans tenien un 25% més de probabilitats de rebre aquests anuncis.
- Recollir dades (Collecting data): Pot fer-se per diferents mètodes:
- Web scraping: Baixar informació de llocs webs sense demanar permís de manera automatitzada.
- APIs: Fer servir les eines de programació que les pròpies empreses ofereixen com a "invitació" de connexió.
- Sock puppets (titelles de drap): Programes o perfils automatitzats simulats que actuen com a usuaris humans de diferents demografies per avaluar-ne les respostes.
- Auditories col·laboratives o crowdsourced: Demanar a usuaris reals que donin o capturin les seves dades a través de ginys o extensions de navegador (com es va fer per comprovar si el portal de viatges Orbitz apujava els preus als usuaris de Mac).
- Consideracions ètiques i de càrrega: L'auditoria ha de protegir la privacitat de les dades recollides i mesurar que les seves consultes massives no alentin, sobrecarreguin o facin caure el sistema auditat.
- Anàlisi de dades (Analysis): Procés estadístic i iteratiu per mesurar els danys o el compliment de les normes. Es demana evitar l'ús de plantilles o tràmits buits per complir obligacions com la llei Local Law 144 de Nova York.
- Comunicar les conclusions (Communicating findings): Divulgar els resultats de forma clara (en revistes acadèmiques, xarxes socials, informes o a la premsa). El ressò de Gender Shades va motivar que grans firmes de tecnologia aturessin o abandonessin la venda de reconeixement facial a la policia.
- Exemple pràctic d'auditoria ("The Silicon Ceiling"): El llibre detalla un estudi realitzat sobre GPT-3.5 de OpenAI per avaluar biaixos en els processos de selecció. Els auditors van utilitzar el model per generar de forma automatitzada 320 currículums associant-los a noms estadísticament vinculats a perfils de gènere i ètnics. L'anàlisi va demostrar que GPT-3.5 redactava currículums amb un menor nombre d'anys d'experiència laboral per a noms de dona en comparació amb els d'home, i assumia que el 100% de les persones amb noms hispans parlaven espanyol i eren immigrants en tràmits de visat (unes dades molt allunyades de la realitat demogràfica dels EUA).
- Variacions de l'auditoria: S'inclouen les auditories de codi font (habituals en sistemes de votació), auditories que avaluen les pantalles sense poder connectar entrades i sortides, i les auditories recurrents, necessàries perquè els sistemes d'IA estan en constant actualització i aprenentatge (com va passar amb el canvi del trending tòpic de Twitter el 2010 pel "fenomen Justin Bieber", que va modificar completament el funcionament de la xarxa).
Capítol 4: Interpretació dels resultats de l'auditoria (Interpreting Audit Results)
Amb el naixement de lleis com la Local Law 144 de Nova York (que obliga a auditar els algorismes de contractació de recursos humans), els directius de les empreses i els usuaris necessiten aprendre a destriar si una auditoria està ben executada o si és de mala qualitat.
- Bugs de disseny i paranys de l'intèrpret:
- El problema de la definició: S'ha de comprovar quina pregunta s'ha plantejat l'auditoria. Per exemple, el "problema del magdalena-Chihuahua" (un error de categorització còmic de l'IA visual) és fàcil de definir, però avaluar el "biaix" és molt més abstracte. Un exemple de buit legal va ser quan els portals de vols van començar a canviar la nomenclatura d'ordenació a "millor" o "recomanat" per passar les auditories de "display bias" sense haver de modificar les seves pràctiques opaques de promoció de vols.
- La regla del 4/5 (80%): Un llindar comú en les auditories de selecció laboral és el del 80% (admetre un ràtio de contractació de minories de com a mínim quatre de cada cinc respecte al grup més afavorit). Tot i utilitzar-se de manera automatitzada, molts experts recorden que és una mesura antiga i arbitrària que no sempre detecta els danys reals.
- La representativitat de les categories d'assaig: Els conjunts de dades utilitzats per auditar (com el conjunt FairFace) sovint s'etiqueten mitjançant treballadors barats de plataformes de microtreball, excloent perfils complexos com les persones de raça mixta o minories de poca presència (com els illencs del Pacífic) si els treballadors no es posaven d'acord en l'etiqueta visual.
- Dades obsoletes i heretades: Si l'auditoria es fa amb les mateixes dades històriques esbiaixades de l'empresa, es corre el risc de validar i consolidar els biaixos, com va ocórrer amb un programari d'Amazon que penalitzava paraules de currículums de dones perquè els deu anys anteriors de dades de contractació de l'empresa eren majoritàriament d'homes que utilitzaven termes masculins com "executat".
- Comparativa de dos casos reals sota la Local Law 144:
- L'auditoria de Paramount (realitzada per BABL AI sobre Pymetrics): Un informe aparentment oficial i extens de 21 pàgines amb un resultat de "PASS". Malgrat el seu aspecte, una anàlisi dels detalls revela que les dades demogràfiques es recollien mitjançant una pantalla voluntària al final del procés. Un lector atent pot calcular que les dades de gènere i ètnia faltaven en el 30% dels sol·licitants, de manera que l'auditoria només analitzava l'experiència de 7 de cada 10 persones, ocultant un gran grup on podien ocórrer pràctiques de biaix.
- L'auditoria de NBCUniversal (realitzada per ConductorAI sobre SmartRecruiters): Un document d'una sola pàgina que, a diferència de l'anterior, era transparent i detallat. Mostrava el nombre absolut d'aplicants, els candidats exclosos per manca de dades (que representaven només el 2,5% del total, donant molta més confiança) i publicava els ràtios d'impacte de tots els grups ètnics, incloent els de menys del 2% de representació.
- Aquesta comparativa demostra que "no s'ha de jutjar un llibre per la seva coberta" en matèria d'auditories.
Capítol 5: Després de l'auditoria (After the Audit)
L'auditoria ha de servir per propiciar el canvi pràctic o bé protegir un producte ben fet.
- Millora de producte: L'auditoria serveix per corregir biaixos, com els errors de gènere que cometia Google Translate quan traduïa idiomes sense gènere gramatical de forma asimètrica (per exemple, associant "doctor" a homes i "infermera" a dones en traduir el turc a l'anglès), el qual va ser modificat gràcies a mètodes de mitigació d'estereotips en les associacions de paraules (word embeddings). També, Eslami i Karahalios van auditar les cerques de Twitter per demostrar de manera científica que el motor de cerca no prioritzava els candidats demòcrates de forma artificial, sinó que es limitava a reflectir el volum de tuits reals dels usuaris.
- El parany de les solucions "tirita" (Band-Aid): El 2015, l'aplicació Google Photos va etiquetar erròniament una foto de dues persones negres com a "goril·les". Google es va disculpar i la seva solució ràpida va ser esborrar les etiquetes de "goril·la", "ximpanzé" i "mico" del tot. Una auditoria feta vuit anys després va revelar que ni Google Photos ni Apple Photos eren capaços d'etiquetar un goril·la de veritat. Això demostra que les solucions cosmètiques només amaguen el problema de fons.
- La repetició d'auditories: ProPublica va repetir l'auditoria a Facebook el 2017 i va descobrir que, tot i haver eliminat les "afinitats ètniques", l'entorn de publicitat seguia permetent excloure de forma manual perfils de mares o persones amb cadira de rodes en anuncis de lloguer d'immobles. Finalment, Meta va eliminar completament la tria per edat o gènere en aquests anuncis, però l'algorisme de lliurament de la pròpia plataforma va continuar distribuint la visualització dels anuncis de manera desigual en funció de categories protegides.
- Altres conseqüències:
- Abandonament del sistema: Tancar un programari per ser massa perillós (com l'asfíxia de les aplicacions de patrullatge policial predictiu).
- Accions de resistència activa: Com el teixit "HyperFace" dissenyat per l'artista Adam Harvey amb patrons que l'IA de vigilància confon amb cares humanes per camuflar l'usuari, o la col·locació d'adhesius en senyals de STOP per desorientar el visor de cotxes autònoms.
- Revelar valors: L'auditoria d'UNOS va obligar a eliminar la variable de "raça" en el càlcul de la funció renal dels pacients per rebre trasplantaments, canviant un sistema que perjudicava els malalts de ronyó negres.
- Polítiques públiques i dret: Les auditories van guiar la redacció de documents de referència de l'administració nord-americana com el Blueprint for an AI Bill of Rights de la Casa Blanca o l'Ordre Executiva 14110 del 2023 (vigent com a guia de regulacions). A més, donen legitimitat (standing) en demandes col·lectives davant la justícia i alimenten litigis en els tribunals (com el cas d'Idaho on es va demostrar que el càlcul d'ajudes de salut per a discapacitats usava dades històriques falses i retallava les prestacions de forma inconstitucional).
Capítol 6: Un ecosistema d'auditoria saludable (A Healthy Audit Ecosystem)
L'objectiu final de les auditories és aconseguir que el nostre ús diari de la tecnologia sigui tan invisible, segur i confiable com beure un got d'aigua neta de l'aixeta de casa.
- La cultura de Silicon Valley i els "accidents normals": La vella consigna de Facebook "Mou-te ràpid i trenca coses" (Move Fast and Break Things) i la seva relaxació pel risc pot servir per a un servei trivial de xarxa social, però s'ha tornat molt perillosa quan es tracta de sistemes militars d'orientació d'atacs (com SKYNET o el sistema Lavender que calcula un marge d'error de víctimes civils col·laterals a Gaza). El sociòleg Charles Perrow va descriure com en sistemes de gran escala i interactius els anomenats "accidents normals" són inevitables. Això demana la integració periòdica de mecanismes de control com les auditories o l'abandonament dels sistemes de perill evident.
- La normalització de les auditories i el cas de Twitter: S'analitza el precedent del programari, on les errades o deutes es gestionaven oferint recompenses per falles (com feia el prestigiós Donald Knuth signant xecs de 2,56 dòlars als lectors que detectaven errades als seus llibres, o els programes corporatius de bug bounties). Seguint aquest camí, la cap d'ètica d'IA de Twitter, Rumman Chowdhury, va obrir una auditoria del biaix d'imatge el 2021 per implicar la comunitat després de comprovar que el seu visor automàtic retallava i invisibilitzava les cares de persones negres a les fotos de les piulades. El guanyador, Bogdan Kulynych, va demostrar de forma matemàtica que l'algorisme de retallada preferia sistemàticament imatges de dones joves, primes i de pell clara. Davant la impossibilitat de solucionar la complexitat d'aquests biaixos, Twitter va decidir abandonar el retallador automàtic i retornar als usuaris el control manual d'aquesta funció.
- Protecció legal per als auditors: Un obstacle clau històric era el perill de ser acusat de delictes de pirateria informàtica sota la llei federal CFAA (Computer Fraud and Abuse Act), que penalitzava saltar-se de forma acadèmica els "termes de servei" de les plataformes digitals per scraping o ús de sock puppets. Els professors Karahalios i Sandvig, assistits per Esha Bhandari de l'ACLU, van dur a terme una llarga batalla legal (Sandvig v. Barr) on el Tribunal Suprem dels EUA va sentenciar que auditar per defensar els drets civils no pot ser castigat com a pirateria informàtica, establint el "dret a auditar".
- Democratització i lliçons globals: El futur de la disciplina requereix que no es redueixi l'auditoria a un procés burocràtic de consultories, sinó que es creïn sistemes oberts on els propis usuaris s'uneixin de manera col·laborativa per forçar solucions (com van fer els usuaris de WhatsApp en veure que l'IA de adhesius dibuixava nens amb metralletes en escriure "Palestina", o la tasca dels investigadors de la plataforma independent WeAudit). S'esmenta com a bona pràctica internacional l'auditoria de l'associació holandesa Algorithm Audit, que va detectar biaix racial en el sistema "Smart Check" utilitzat per l'Ajuntament d'Amsterdam per predir el frau en ajudes de benestar, motivant que els directius l'abandonessin.
Epíleg: En quin món volem viure?
Els autors acaben recordant que la tecnologia no és un mer mirall neutral de la societat, sinó que té el poder de modular i governar què sabem i com recordem la nostra pròpia història (com ho fan els algorismes de YouTube quan esborren de forma automatitzada per "violència" milers de vídeos que en realitat són proves crítiques de crims de guerra a Síria, el Iemen o el Sudan).
La principal diferència entre una auditoria de caixa negra i una auditoria de codi rau en el nivell d'accés que tenen els auditors a l'interior de la tecnologia i en la metodologia que s'utilitza per avaluar-la:
-
Auditoria de "caixa negra" (o de comportament):
- Metodologia: Es basa en el disseny d'auditoria clàssic que consisteix a variar sistemàticament les entrades (inputs) del sistema i examinar-ne les sortides (outputs) que genera.
- Nivell d'accés: Els auditors no tenen accés al funcionament intern ni al codi (d'aquí prové el terme "caixa negra"). Aquestes tecnologies són sovint tan complexes que fins i tot els mateixos enginyers o propietaris que les han construït tenen dificultats per explicar exactament per què es comporten com ho fan.
- Objectiu: Se centra en el que fa el sistema en lloc de com funciona internament. Permet detectar biaixos i extreure conclusions sobre el seu comportament a partir d'allò que és directament observable des de l'exterior.
-
Auditoria de codi:
- Metodologia: Els auditors no interactuen directament amb el sistema desplegat, ni amb les seves sortides o dades d'ús. En lloc d'això, l'avaluació es realitza llegint directament el codi font de la programació.
- Nivell d'accés: S'obté un accés total a la programació interna del programari, una situació que sol ocórrer quan la regulació o un contracte obliguen l'empresa a obrir i fer públic el seu codi.
- Objectiu: S'utilitza per analitzar les línies de codi i determinar de manera anticipada quins errors, biaixos o problemes podria cometre el sistema un cop es posi en pràctica. És l'estructura habitual per a les proves de seguretat informàtica i la investigació de màquines de votació.
Mentre que l'auditoria de caixa negra s'ocupa d'avaluar i mesurar de manera externa els resultats pràctics i els efectes reals del sistema, l'auditoria de codi busca auditar les instruccions de programació originals de manera interna.
El llibre tanca citant la tesi del filòsof Karl Popper a The Open Society and Its Enemies: les societats lliures i democràtiques necessiten informació de qualitat per treballar juntes pel bé comú. Les auditories de la intel·ligència artificial són la font d'aquesta informació essencial en la societat de l'automatització.
