La discriminació darrere de l’algorisme
by Ramón Flores
Mentre naveguem entre la tradició de les comunitats gitanes i la nostra relació amb la tecnologia, observem un fenomen pertorbador: la discriminació que aquest poble ha enfrontat durant segles no ha desaparegut en l’era digital—simplement s’ha transformat, ocultant-se en els algorismes que governen les nostres vides.
En el Dia Internacional contra el Racisme, el món reflexiona sobre les manifestacions evidents de discriminació, però existeix una nova frontera del prejudici que roman gairebé invisible: el racisme integrat en els sistemes d’intel·ligència artificial que ara prenen decisions crucials sobre les nostres vides, des de la concessió de préstecs fins a la selecció de candidats per a ocupacions.
Quan busquem termes com a «gitano» o «romaní» en Google, els suggeriments automàtics revelen immediatament el problema: aquests termes apareixen persistentment associats amb «robatoris», «estafes» o «problemes». Això no és una casualitat tecnològica, sinó el resultat directe de sistemes entrenats amb dades històriques impregnades de prejudicis.
Ja la recerca de Safiya Noble en Algorithms of Oppression (2018) ens donava una pista sobre el que es podria produir en un futur ja present. Aquest estudi documenta el que experimenten moltes persones diàriament: en buscar termes racialitzats com a «noies negres», els resultats són predominantment sexualitzants i degradants, mentre que les cerques de «noies blanques» ofereixen representacions molt més dignes i diverses. Aquest mateix patró discriminatori afecta a la comunitat gitana en l’ecosistema digital.
La discriminació perpetuada per la intel·ligència artificial va molt més allà dels motors de cerca. Els grans models de llenguatge i els sistemes de IA generativa, cada vegada més presents en processos de selecció laboral, concessió de crèdits i assignació de recursos públics, creen barreres invisibles però infranquejables per a la comunitat gitana, reproduint biaixos històrics amb una nova capa d’aparent objectivitat tecnològica.
En les xarxes socials, experimentem el que anomeno «moderació selectiva». Expressions culturals gitanes són sovint marcades com a «inapropiades», mentre que el contingut antigitano roman accessible sota l’empara de la «llibertat d’expressió». Fins i tot les tecnologies de vigilància presenten taxes d’error significativament més altes quan analitzen rostres de persones gitanes, exposant a la comunitat a riscos addicionals en contextos de seguretat on ja sofreixen una vigilància desproporcionada.
La crueltat d’aquesta discriminació digital resideix en la seva paradoxa: mentre la imatge estereotipada és hipervisible en l’ecosistema digital, les veus autèntiques romanen sistemàticament silenciades.
Els sistemes de IA que controlen quin contingut es torna viral i quin roman invisible rarament promouen veus gitanes autèntiques. Aquests models d’intel·ligència artificial, entrenats amb corpus de dades que infrarrepresenten les nostres experiències, sistemàticament suprimeixen les nostres narratives mentre amplifiquen continguts estereotipats sobre la nostra comunitat.
Les bases de dades que alimenten els sistemes de IA contenen, predominantment, imatges estereotipades o folklòriques de gitanos, amb escassa representació de la nostra diversitat professional, acadèmica i social actual.
Quan una nena gitana busca imatges de «metges», «científics» o «empresaris» i no pot veure’s representada, el missatge implícit sobre el seu potencial futur resulta devastador. Em pregunto quants talents de la comunitat mai aconseguiran el seu ple desenvolupament perquè un algorisme els va suggerir, subtil però persistentment, que uns certs camins no estaven destinats a ells.
No obstant això, existeix esperança. En aquesta fase primerenca, encara som a temps de desenvolupar formes innovadores de resistència digital. Des de la creació de conjunts de dades més representatives fins a auditories ciutadanes d’algorismes; ha de sorgir un moviment per a descolonitzar l’espai digital i reclamar una narrativa pròpia. El Consell d’Europa ha començat a reconèixer la necessitat d’avaluacions d’impacte ètnic en el desenvolupament tecnològic, encara que aquestes mesures resulten insuficients sense la participació directa de les comunitats afectades.
Necessitem un enfocament integral que inclogui auditories independents específiques per a models de IA, amb mètriques clares sobre el seu impacte en comunitats marginades com la gitana, major diversitat en els equips que desenvolupen i entrenen aquests sistemes d’intel·ligència artificial, accés prioritari a educació en IA per a les nostres comunitats, i marcs reguladors que exigeixin no sols transparència sinó responsabilitat pel mal que aquests sistemes poden causar quan reprodueixen biaixos històrics.
La tecnologia no és inherentment discriminatòria, però tampoc és naturalment justa. Els models de IA amplifiquen i perpetuen els biaixos presents en les seves dades d’entrenament, i quan aquestes dades reflecteixen segles de marginació del poble gitano, el resultat és una discriminació automatitzada i a escala sense precedents, ara legitimada per una falsa aura d’objectivitat matemàtica.
El codi s’ha convertit en el nou llenguatge del poder i ha de ser sotmès al mateix escrutini crític que apliquem a altres estructures socials. La justícia social en el segle XXI ha d’incloure també la justícia algorítmica. Només així podrem assegurar que la revolució digital no reprodueixi les mateixes jerarquies ètniques que han marcat la nostra història col·lectiva.
Ja a Catalunya, entitats com Rromane Siklovne estan explorant aquesta problemàtica, investigant els biaixos algorítmics que afecten la nostra comunitat i explorant com desenvolupar metodologies per a documentar i contrarestar la discriminació digital, marcant un camí prometedor cap a la justícia algorítmica des de la nostra pròpia perspectiva.
La identitat gitana i la nostra educació tecnològica ens situen en una posició única per a observar aquesta discriminació evolutiva. Viure aquesta dualitat ens ha d’ensenyar que els prejudicis més perillosos són aquells que s’oculten darrera d’una façana d’objectivitat. I en el dia d’avui, dedicat a confrontar el racisme en totes les seves formes, és imprescindible recordar que la lluita per la igualtat ha d’estendre’s també als algorismes que, silenciosament, estan donant forma al nostre futur comú.
