L’era digital es caracteritza per la disponibilitat massiva de dades que alimenten algorismes, alguns dels quals són simples regles mecàniques, mentre que d’altres, els d’intel·ligència artificial, són màquines capaces de formar-se un criteri propi per prendre decisions complexes a partir del que els ensenyem o fins i tot del que aprenen pel seu compte. Això dona a la humanitat una nova i potent capacitat de resoldre reptes, així com de generar alguns efectes secundaris no desitjats.

A les administracions públiques no estem exempts de reptes no resolts, i la ciutadania espera legítimament que emprem la tecnologia disponible, per exemple, per no frenar l’activitat econòmica i ciutadana amb la lentitud dels nostres processos burocràtics manuals, o per llegir les dades disponibles i actuar àgilment en situacions d’emergència, com la pandèmia que vivim, ajudant les persones que ho necessiten quan ho necessiten. Però al mateix temps s’espera que siguem especialment curoses i evitem de donar als algorismes la possibilitat de prendre decisions errònies o arbitràries, o que puguin perjudicar drets i llibertats que han costat molt de guanyar. En aquest sentit s’està produint un degoteig de polèmiques arreu del món, sobre usos qüestionats dels algorismes com ara la decisió sobre la selecció d’estudiants per a la Universitat o la vigilància per mitjà del reconeixement facial, que poden haver produït perjudicis en persones individuals o el conjunt de la societat, i que minen la credibilitat tant de les institucions impulsores com dels algorismes en el seu conjunt.

Per aquest motiu, és imprescindible que les administracions afrontin una reflexió ètica sobre la implantació dels algorismes, i això és el que vam iniciar a la Generalitat al setembre de l’any passat per mitjà d’un programa de laboratoris d’aprenentatge que anomenem ApLab, a iniciativa de la Direcció General d’Administració Digital i amb la participació de desenes de tecnòlegs, juristes i responsables d’àmbits funcionals de tots els departaments de la Generalitat, amb la contribució d’experts externs i amb representació de la societat civil. L’objectiu no era ni sumar-nos a la moda ni inventar la roda, sinó posar en comú el coneixement i les experiències internacionals en la matèria per fer-nos conscients dels riscs a evitar en la implantació d’algorismes, valorar quins dels mecanisme ja coneguts ens poden servir per evitar-los o mitigar-los i plantejar com ens podríem organitzar per fer-ho bé quan implantem algorismes.

El principal repte en la implantació d’algorismes d’intel·ligència artificial als serveis públics deriva de l’opacitat: la màquina decideix, però no diu per què. Això introdueix la necessitat de detectar i mitigar biaixos indesitjats, ja que l’algorisme podria perjudicar uns col·lectius i beneficiar-ne d’altres, i evitar-ho requereix no només tècnica sinó també un criteri social o polític sobre què cal protegir especialment i què es considera just; d’altra banda, cal proporcionar a la ciutadania explicacions tant per a cada decisió individual de l’algorisme com sobre el seu funcionament general, per tal que aquesta pugui jutjar fins a quin punt cada algorisme contribueix positivament o negativament a garantir drets i llibertats.

Per donar resposta a aquests reptes, el procés de cocreació d’aquests mesos ha donat com a fruit una proposta de marc de treball d’ètica dels algorismes per a la Generalitat de Catalunya. Aquesta proposta consisteix en un entramat de principis i mesures que ens han d’ajudar a millorar els serveis públics mitjançant la implantació responsable d’algorismes, és a dir, amb consciència i control dels efectes adversos que puguin tenir. Aquesta implantació s’ha de guiar pel principi de precaució, segons el qual no hem de fer tot allò que sigui tècnicament possible, sinó que hem d’emprar tecnologies madures per a les aplicacions més sensibles, mentre paral·lelament anem aprenent sobre les tecnologies més disruptives en àmbits on no es pugui fer mal, en línia amb el principi de proporcionalitat, segons el qual no s’han d’aplicar sempre tots els mateixos controls, sinó que s’han de graduar aplicant una aproximació basada en el risc.

Cal desplegar un conjunt de mesures que garanteixin que no implantarem cap sistema algorísmic perjudicial, sinó que durant el procés de disseny n’haurem identificat i mitigat els riscs, o bé que haurem descartat l’algorisme en el cas extrem en què aquests riscs no es puguin mitigar. Aquestes mesures comencen per una anàlisi sociotècnica, que entengui el problema a resoldre i els col·lectius que es podrien veure afectats per l’algorisme, i l’anàlisi de protecció de dades que ja duem a terme actualment, i segueix amb una contractació basada en uns plecs de prescripcions tècniques que atribueixin al proveïdor la responsabilitat de proporcionar les dades i anàlisis necessàries per avaluar i millorar el funcionament de l’algorisme des del punt de vista ètic. Per fer-ho possible, caldrà constituir un equip interdisciplinari interdepartamental que ajudi els departaments a fer l’anàlisi sociotècnica i a redactar els plecs, i habilitar eines intuïtives que permetin els permetin fer un control de qualitat bàsic de les anàlisis proporcionades pels proveïdors.

Les garanties ètiques no han d’acabar quan l’algorisme ja estigui a punt, sinó que cal preveure els mecanismes que permetin supervisar-lo i qüestionar-lo, tant a nivell intern com extern. Internament, caldrà haver establert si l’algorisme es limitarà a recomanar actuacions a empleats públics responsables de la decisió final, cas en què caldrà formar-los per compensar els biaixos de l’algorisme, o bé si l’algorisme actuarà de forma directa, però sota una vigilància ex post que ha de ser especialment intensa en el període inicial de funcionament. Externament, caldrà publicar una fitxa entenedora de cada algorisme en el portal de transparència, que expliqui les seves característiques i els resultats del seu funcionament i indiqui l’òrgan davant del qual es podran recórrer les seves decisions particulars o impugnar el seu funcionament general, per a la qual cosa s’hauran d’habilitar eines d’explicabilitat que permetin donar raó de les decisions de l’algorisme.

Finalment, i perquè tot això sigui possible, cal desplegar accions de formació i sensibilització que permetin que tothom dugui a terme el seu paper: formació especialitzada per als professionals que hagin de dur a terme les noves anàlisis; sensibilització i formació bàsica per als empleats públics que intervenen en el funcionament dels sistemes algorísmics, per als responsables de decidir sobre la implantació d’aquests sistemes, i per als qui intervindran en el seu disseny, i també sensibilització per als ciutadans, tant per als usuaris d’un servei concret com per a la ciutadania en general, per tal que puguin exercir el seu dret d’entendre i jutjar el funcionament dels serveis de la seva Administració.

Josep Maria Flores
Cap de l’Àrea d’Impuls de la Millora dels Serveis Digitals