Algorithmic Harm. Protecting People in the Age of Artificial Intelligence
El llibre "Algorithmic Harm: Protecting People in the Age of Artificial Intelligence" (2025), escrit per Oren Bar-Gill i Cass R. Sunstein, analitza com l'ús creixent d'algoritmes d'intel·ligència artificial (IA) està transformant els mercats i generant noves formes de perjudici per als consumidors, treballadors i ciutadans. La tesi central de l'obra és que, tot i que la IA pot augmentar l'eficiència, el seu gran poder per diferenciar i personalitzar les ofertes permet explotar sistemàticament les vulnerabilitats humanes.
A continuació se'n presenta un resum detallat estructurat segons els eixos principals del llibre:
1. El marc d'anàlisi: Mercats S vs. Mercats U
Els autors proposen una matriu per entendre quan la IA és beneficiosa o perjudicial, basada en el tipus de consumidor:
- Mercats S (Sophisticated): Poblats per consumidors ben informats i racionals. En aquests mercats, la diferenciació algorítmica sol ser beneficiosa perquè millora l'encaix entre producte i client, augmentant l'eficiència general, tot i que el venedor sol quedar-se amb gran part del benefici econòmic.
- Mercats U (Unsophisticated): Poblats per persones amb dèficits d'informació o biaixos cognitius (com l'optimisme irreal o el biaix de present). Aquí, l'algoritme identifica precisament qui és més vulnerable i "enganya" el consumidor perquè pagui preus excessius per productes que no necessita, generant el que anomenen "dany algorítmic".
2. Categories del Dany Algorítmic
El llibre identifica diversos mecanismes a través dels quals els algoritmes causen perjudicis:
- Discriminació de preus algorítmica: Els venedors utilitzen dades personals per fixar el preu màxim que cada individu està disposat a pagar (WTP). En mercats U, això pot portar a un "surplus negatiu", on el consumidor paga més del que el producte realment val per a ell.
- Targeting (Selecció de productes): L'IA no només canvia el preu, sinó que ofereix productes inferiors o innecessaris a persones que sobreestimen els seus beneficis (per exemple, assegurances inútils o cures ineficaces).
- Mispercepcions millorades per la IA: Els models de llenguatge (LLM) poden dissenyar comunicacions manipuladores o falses per exacerbar els biaixos dels consumidors, creant necessitats on no n'hi ha.
- Coordinació algorítmica (Antitrust): Els algoritmes de venedors competidors poden "aprendre" a col·ludir i mantenir preus artificialment alts sense necessitat d'un acord humà explícit, perjudicant la competència.
- Discriminació de raça i sexe: Tot i que els algoritmes no tenen "prejudicis inconscients" com els humans, poden perpetuar la discriminació si s'entrenen amb dades esbiaixades o si utilitzen variables (com el codi postal) que actuen com a representants (proxies) de la raça o el sexe.
3. Propostes de Política i Reforma Legal
Davant d'aquests reptes, Bar-Gill i Sunstein proposen tres nivells d'intervenció:
- Transparència Algorítmica: Defensen el dret dels consumidors a saber quan i com s'estan utilitzant algoritmes per diferenciar preus o ofertes. Proposen l'ús de "protocols de transparència" (com SHAP o LIME) per obrir la "caixa negra" de l'IA i identificar els factors que mouen les decisions.
- Revisió de l'Impacte Disparat: Proposen aplicar la doctrina de l'impacte disparat (típica de les lleis contra la discriminació racial) per protegir també els consumidors en funció del seu nivell de sofisticació. Si un algoritme castiga sistemàticament els més vulnerables, l'Estat hauria d'intervenir.
- Regulació Ex Ante: Suggerixen prohibir certs usos dels algoritmes en mercats especialment perillosos o obligar els programadors a incloure "restriccions de no-discriminació" directament en el codi de la IA.
4. Extensions: Mercats Laborals i Polítics
El llibre conclou que aquests danys no es limiten al consum:
- Mercats Laborals: Els empresaris usen IA per fixar salaris individualitzats i detectar quins empleats acceptarien sous més baixos o pitjors condicions per falta d'informació.
- Mercats Polítics: Els polítics utilitzen algoritmes per segmentar els votants i enviar missatges altament manipuladors o fake news que exploten les pors i biaixos de la ciutadania, posant en risc la pròpia democràcia.
En resum, l'obra és una crida a l'acció reguladora per garantir que el progrés tecnològic no es converteixi en una eina d'explotació de les debilitats humanes, sinó en un instrument per al benestar social.
PS. Una crítica al liberalisme apàtic.
