Inteligencia artificial y derecho: Reflexiones jurídicas para el debate sobre su desarrollo y aplicación [1 ed.] 8411229491, 9788411229494

Citation preview

Esta obra, recoge las reflexiones y recomendaciones de un conjunto de expertos en diferentes ramas del Derecho sobre algunos de los principales interrogantes suscitados con la incorporación de la Inteligencia Artificial a la vida cotidiana. No pretende aportar todas las respuestas, pero sí al menos, incentivar el necesario debate sobre su regulación y la incorporación de límites legales a su utilización y explotación.

Cubierta - Inteligencia artificial y derecho.indd 1

Coordinadores

M. A. Rocha - D. Sansó-Rubert Pascual - N. Rodríguez Dos Santos

El vacío legal existente, sumado a la identificación de posibles derroteros nocivos por los que la aplicación y recurso a la Inteligencia Artificial parece comenzar a deslizarse, han disparado todas las alarmas, especialmente entre los juristas.

INTELIGENCIA ARTIFICIAL Y DERECHO Reflexiones jurídicas para el debate sobre su desarrollo y aplicación Martín A. Rocha Espíndola Daniel Sansó-Rubert Pascual Nuria Rodríguez Dos Santos Coordinadores

INTELIGENCIA ARTIFICIAL Y DERECHO

La Inteligencia Artificial ha llegado para quedarse. Progresivamente su aplicación a una diversidad variopinta de campos desde la administración y la gestión pública, el sector servicios, el comercio electrónico, los ámbitos sanitarios, docente, mercantil o de la seguridad y defensa, entre los más significativos, ha abierto las puertas no sólo a revolucionarios avances sino, por igual, a multitud de incertidumbres sobre el impacto a medio y largo plazo de su empleo y sobre cómo desarrollar regulaciones que posibiliten su correcto uso limitando, en todo, caso cualquier injerencia sobre los derechos fundamentales y las libertades públicas.

03/07/2023 11:21:26

INTELIGENCIA ARTIFICIAL Y DERECHO REFLEXIONES JURÍDICAS PARA EL DEBATE SOBRE SU DESARROLLO Y APLICACIÓN

INTELIGENCIA ARTIFICIAL Y DERECHO REFLEXIONES JURÍDICAS PARA EL DEBATE SOBRE SU DESARROLLO Y APLICACIÓN Martín A. Rocha Espíndola Daniel Sansó-Rubert Pascual Nuria Rodríguez Dos Santos

No está permitida la reproducción total o parcial de este libro, ni su incorporación a un sistema informático, ni su transmisión en cualquier forma o por cualquier medio, sea éste electrónico, mecánico, por fotocopia, por grabación u otros métodos, sin el permiso previo y por escrito del editor. La infracción de los derechos mencionados puede ser constitutiva de delito contra la propiedad intelectual (art. 270 y siguientes del Código Penal). Diríjase a Cedro (Centro Español de Derechos Reprográficos) si necesita fotocopiar o escanear algún fragmento de esta obra. Puede contactar con Cedro a través de la web www.conlicencia.com o por teléfono en el 917021970/932720407

Este libro ha sido sometido a evaluación por parte de nuestro Consejo Editorial Para mayor información, véase www.dykinson.com/quienes_somos

©Copyright by los autores Madrid, 2023

Editorial DYKINSON, S.L. Meléndez Valdés, 61 - 28015 Madrid Teléfono (+34) 915442846 - (+34) 915442869 e-mail: [email protected] http://www.dykinson.es http://www.dykinson.com

ISBN: 978-84-1122-949-4 Depósito Legal: M-19169-2023 DOI: 10.14679/2053 ISBN electrónico: 978-84-1170-411-3

New Garamond Diseño y Maquetación, S.L.

ÍNDICE PRESENTACIÓN............................................................................................................... 15 PRÓLOGO........................................................................................................................... 17 CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL Y NECESIDAD JURÍDICA DE SU LIMITACIÓN........................... 25 Martín A. Rocha Espíndola y Javier Sánchez Moro 1. INTRODUCCIÓN.......................................................................................................... 25 2. LA FRAGILIDAD DEL SER PERSONAL................................................................... 26 3. NATURALEZA HUMANA, TRANSHUMANISMO E INTELIGENCIA ARTIFICIAL.................................................................................................................... 29 4. EN TORNO A LOS PRINCIPIOS GENERALES Y LOS VALORES SUPERIORES DEL ORDENAMIENTO JURÍDICO COMO LIMITACIÓN DE LA INTELIGENCIA ARTIFICIAL............................................ 31 5. CONCLUSIONES........................................................................................................... 38

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL.................................................................................................................. 41 Julio Guinea Bonillo 1. INTRODUCCIÓN.......................................................................................................... 41 2. LA COMUNICACIÓN DE LA COMISIÓN: LA INTELIGENCIA ARTIFICIAL PARA EUROPA...................................................................................... 42 2.1 Inversión en Inteligencia Artificial prevista ..........................................................44 2.2. Transformación socioeconómica de Europa ........................................................46 2.3. Auspiciar un respeto ético y legal a nivel europeo ...............................................47

3. PLAN COORDINADO SOBRE LA INTELIGENCIA ARTIFICIAL EN

EUROPA: EL CASO ESPAÑOL................................................................................... 48 3.1. La creación de un pool público-privado ...............................................................49 3.2. El Espacio de Datos europeo...................................................................................49

8

ÍNDICE 3.3. Una ética coordinada en la expansión de la Inteligencia Artificial.....................51 3.4. El Plan Nacional de Inteligencia Artificial de España..........................................52 4. EL LIBRO BLANCO SOBRE LA INTELIGENCIA ARTIFICIAL - UN ENFOQUE EUROPEO ORIENTADO A LA EXCELENCIA Y LA CONFIANZA.................................................................................................................. 53 4.1. La concreción de un ecosistema basado en la excelencia....................................54 5. CONCLUSIÓN ............................................................................................................... 56

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL.. APLICADA A LA MEDICINA: ACTUALIDAD Y PROPUESTAS........................................................... 57 Óscar Andrés Molina 1. INTRODUCCIÓN ......................................................................................................... 57 2. CÓMO FUNCIONA LA INTELIGENCIA ARTIFICIAL EN LA MEDICINA.... 59 3. BENEFICIOS QUE APORTA LA INTELIGENCIA ARTIFICIAL EN LA MEDICINA...................................................................................................................... 61 4. DEFICIENCIAS Y RIESGOS QUE PRESENTA LA INTELIGENCIA ARTIFICIAL EN EL SECTOR SANITARIO.............................................................. 64 5. ANÁLISIS DE LA REGULACIÓN ACTUAL............................................................ 66 6. PROPUESTAS A CONSIDERAR................................................................................. 69 7. CONCLUSIONES........................................................................................................... 73

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN.. DE RIESGOS EN MATERIA PENAL. ESTÁNDARES MÍNIMOS PARA UN USO ACORDE A LAS EXIGENCIAS DEL DEBIDO PROCESO .......................... 75 Ximena Marcazzolo Awad y Nathalie Walker Silva 1. INTRODUCCIÓN.......................................................................................................... 75 2. LOS SISTEMAS ALGORÍTMICOS DE EVALUACIÓN DE RIESGOS EN LA TOMA DE DECISIONES JUDICIALES.............................................................. 76 3. ¿QUÉ SON Y CUÁL ES LA FUNCIÓN DE LOS SISTEMAS ALGORÍTMICOS DE EVALUACIÓN DE RIESGOS?............................................. 78 4. PRINCIPALES PROBLEMAS QUE HA PLANTEADO EL USO DE SISTEMAS DE EVALUACIÓN DE RIESGOS EN EL PROCESO PENAL .......... 79 4.1. Sesgo algorítmico y falta de imparcialidad............................................................79 4.2. Falta de transparencia y explicabilidad de los algoritmos....................................81 4.3. Vulneraciones al debido proceso en las resoluciones judiciales..........................84 5. ¿CÓMO COMPATIBILIZAR EL USO DE ESTOS SISTEMAS ALGORÍTMICOS Y LAS EXIGENCIAS DEL DEBIDO PROCESO EN MATERIA PENAL?........................................................................................................ 85

ÍNDICE

9

5.1. ¿Qué ha señalado la jurisprudencia y la doctrina en relación con el uso de sistemas algorítmicos de predicción de evaluación de riesgos? .............85 5.2. ¿En qué aspectos debemos poner especial atención al momento de pensar en la posibilidad de aplicar estos sistemas y en el ordenamiento interno?.......................................................................................................................91 6. CONCLUSIONES........................................................................................................... 95

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD: UNA VISIÓN DESDE EL DERECHO CIVIL......................................................................................... 97 Esther Alba Ferré 1. INTRODUCCIÓN.......................................................................................................... 97 2. LAS PERSONAS CON DISCAPACIDAD Y LA INTELIGENCIA ARTIFICIAL: BENEFICIOS E INCERTIDUMBRES............................................... 98 3. EUROPA Y LAS NORMAS CIVILES SOBRE LA ROBÓTICA: ESPECIAL REFERENCIA A LA PROTECCIÓN DE LAS PERSONAS CON DISCAPACIDAD............................................................................................... 105 4. LA VOLUNTAD, LAS PREFERENCIAS Y LOS DESEOS DE LAS PERSONAS CON DISCAPACIDAD EN LA SOCIEDAD TECNOLOGIZADA: LA ROBÓTICA INCLUSIVA.............................................. 109 5. CONCLUSIONES ........................................................................................................ 112

BLOCKCHAIN Y SMART CONTRACTS.. EN EL TRÁFICO JURÍDICO EXTERNO.......................................................................................................................... 115 Lidia Moreno Blesa 1. INTRODUCCIÓN........................................................................................................ 115 2. ALGUNAS CONSIDERACIONES SOBRE LA TECNOLOGÍA BLOCKCHAIN............................................................................................................. 117 3. REFLEXIONES JURÍDICAS EN TORNO A LOS SMART CONTRACTS........ 119 3.1. La validez y eficacia de los smart contracts......................................................... 121 3.2. La perfección de los contratos inteligentes y sus consecuencias jurídicas...... 123 4. CUESTIONES LEGALES QUE SE PLANTEAN EN LA CADENA DE BLOQUES...................................................................................................................... 124 5. LOS CONTRATOS INTELIGENTES EN EL TRÁFICO JURÍDICO EXTERNO...................................................................................................................... 127 5.1. Los conflictos de jurisdicciones ........................................................................... 128 5.2. Los conflictos de leyes............................................................................................ 131 6. CONCLUSIONES......................................................................................................... 133

10

ÍNDICE

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS.. DE REGISTRO DISTRIBUIDO.. Y BLOCKCHAIN PARA LA DEFENSA DE LA COMPETENCIA........................................................................................................ 137 Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina 1. INTRODUCCIÓN ....................................................................................................... 137 2. RETOS PROPIOS DE LA RELACIÓN DE LAS TRD CON LA DEFENSA DE LA COMPETENCIA......................................................................... 138 2.1. Los retos dogmáticos............................................................................................. 139 2.2. Los retos ‘sustantivos’ vinculados con el mercado............................................. 141 2.2.1. Retos relacionados con el funcionamiento de las TRDs, con especial énfasis en las cadenas de bloques.................................................................... 142 2.3. Retos de aplicación y de enforcement de la normativa de defensa de la competencia............................................................................................................ 147 3. CONCLUSIONES......................................................................................................... 150

LOS RETOS DE LA UNIVERSIDAD Y LA INTELIGENCIA ARTIFICIAL: NUEVAS APLICACIONES EN EL ÁREA DE COMUNICACIÓN, LAS CIENCIAS SOCIALES Y JURÍDICAS......................................................................... 153 Marta Abanades Sánchez 1. INTRODUCCIÓN Y PLANTEAMIENTO DE LA CUESTIÓN.......................... 153 2. ENSEÑANZA UNIVERSITARIA DE AYER DE HOY: CAMBIOS ACONTECIDOS EN EL PERFIL DE ESTUDIANTES Y NUEVAS DIRECTRICES EN LOS DOCENTES...................................................................... 154 3. CAMBIO EN EL PARADIGMA DE LA UNIVERSIDAD: INSTITUCIÓN Y CLAUSTRO.................................................................................. 156 4. CONECTIVIDAD EN EL AULA............................................................................... 158 4.1. Ventajas y desventajas del conectivismo............................................................. 159 5. PRINCIPIOS DE LA INTELIGENCIA ARTIFICIAL............................................ 161 6. APLICACIONES EN EL ÁREA DE COMUNICACIÓN Y CIENCIAS SOCIALES...................................................................................................................... 162 7. CONCLUSIONES......................................................................................................... 165

EL RESPETO A LOS DERECHOS FUNDAMENTALES.. DESDE LA PERSPECTIVA ÉTICA.. DE LA INTELIGENCIA ARTIFICIAL............................ 167 Elena García-Antón Palacios 1. INTRODUCCIÓN........................................................................................................ 167

ÍNDICE

11

2. INSTRUMENTOS LEGALES DE PROTECCIÓN DE LOS DERECHOS FUNDAMENTALES EN MATERIA DE INTELIGENCIA ARTIFICIAL.......... 168 3. EL RESPETO A LOS DERECHOS FUNDAMENTALES A LA LUZ DE LA “ROME CALL FOR AI ETHICS”........................................................................ 171 3.1 “Rome Call for AI Ethics” y sus precedentes...................................................... 171 3.2. La ética como instrumento de protección de la dignidad y los derechos fundamentales........................................................................................ 172 3.3. El principio de igualdad y no discriminación frente a los sesgos de la IA ..... 173 3.4. La implementación de la IA en el derecho a la educación y al servicio de las personas con discapacidad......................................................................... 175 3.5. La protección de los datos personales ante los sistemas de IA y la posible colisión con otros derechos fundamentales.......................................... 177 4. CONSIDERACIONES FINALES .............................................................................. 181

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO.. DE DERECHOS HUMANOS: LA UTILIZACIÓN DE ALGORITMOS DISCRIMINATORIOS EN EL ÁMBITO DE LA INTELIGENCIA ARTIFICIAL...................................................................................................................... 185 Jacqueline Hellman 1. INTRODUCCIÓN........................................................................................................ 185 2. IDEAS ESENCIALES EN TORNO A LA PROHIBICIÓN DE NO DISCRIMINACIÓN .................................................................................................... 188 2.1. La prohibición de no discriminación en el ámbito de la regulación internacional........................................................................................................... 189 2.2. Las implicaciones del artículo 14 del CEDH ..................................................... 191 2.3. Algoritmos “bajo la lupa” del artículo 14 del CEDH......................................... 194 3. UNA MEDIDA ESENCIAL PARA EVITAR ALGORITMOS DISCRIMINATORIOS: LA PROTECCIÓN DE DATOS...................................... 195 3.1. Estrategias jurídicas destinadas a la protección de datos.................................. 197 4. CONCLUSIONES......................................................................................................... 201

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS.. Y DERECHOS FUNDAMENTALES. ¿HASTA DÓNDE ESTAMOS DISPUESTOS A LLEGAR?............................................................................................ 203 Daniel Sansó-Rubert Pascual 1. LA CONSECUCIÓN DE LOS OBJETIVOS DE LA AGENDA 2030 DE LAS NACIONES UNIDAS COMO GARANTÍA DE PROTECCIÓN DE LOS DERECHOS FUNDAMENTALES ANTE UN ENTORNO DE SEGURIDAD EN CONTINUA TRANSFORMACIÓN......................................... 203

12

ÍNDICE 2. INTELIGENCIA ARTIFICIAL Y SISTEMAS DE ARMAS LETALES AUTÓNOMOS: UN DESAFÍO JURÍDICO PARA LA EFECTIVA PROTECCIÓN DE LOS DERECHOS FUNDAMENTALES................................ 207

3. LOS SISTEMAS DE ARMAMENTO AUTÓNOMOS OFENSIVOS ANTE EL DERECHO. LA IMPERIOSA NECESIDAD IRRENUNCIABLE DE LA REGULACIÓN DEL CONTROL HUMANO DEL USO DE LA FUERZA......................................................................................... 211 4. LA PROTECCIÓN DE LA DIGNIDAD HUMANA COMO OBJETIVO PRIMORDIAL SUBYACENTE.................................................................................. 220 5. CONCLUSIONES. MUCHOS INTERROGANTES Y POCAS RESPUESTAS. UN FUTURO PLAGADO DE INCERTIDUMBRES.................. 224 REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS.. DE LOS ROBOTS............................................................................................................................. 227 José Julio Fernández Rodríguez 1. INTRODUCCIÓN........................................................................................................ 227 2. UN PASO PREVIO: ¿A QUÉ ROBOTS NOS REFERIMOS?................................ 229 3. UN RECORDATORIO: LA LIBERTAD COMO LA BASE QUE PERMITE EL EJERCICIO DE LOS DERECHOS................................................... 232 4. LA LIBERTAD DE LOS ROBOTS ¿SUFICIENTE?................................................ 234 5. ASPECTOS SOCIOLÓGICO-EMOCIONALES..................................................... 235 6. RÉGIMEN JURÍDICO ESPECÍFICO ...................................................................... 236 7. A FAVOR Y EN CONTRA.......................................................................................... 240 8. CONCLUSIONES......................................................................................................... 241

LA RESPONSABILIDAD DE LOS ROBOTS............................................................. 243 Miguel Ortego Ruíz 1. INTRODUCCIÓN........................................................................................................ 243 2. LA PERSONALIDAD ELECTRÓNICA .................................................................. 244 3. RESPONSABILIDAD CIVIL Y ROBOTS INTELIGENTES................................. 248 4. PROBLEMÁTICA DE LAS SOLUCIONES INTERMEDIAS............................... 255 5. CONCLUSIONES......................................................................................................... 257

LAS MÁQUINAS CREAN DERECHO: DE CÓMO ALGUNAS APLICACIONES DE COMPRAVENTA POR INTERNET PRETENDEN MODIFICAR LA REGULACIÓN IMPERATIVA DEL CÓDIGO CIVIL........... 259 Carmen Florit Fernández 1. INTRODUCCIÓN: BREVE PLANTEAMIENTO DEL PROBLEMA................. 259

ÍNDICE

13

2. PLATAFORMAS QUE MODIFICAN LOS REQUISITOS DE PERFECCIONAMIENTO DEL CONTRATO......................................................... 260 2.1. La noción de contrato electrónico........................................................................ 260 2.2. Perfeccionamiento del contrato electrónico. Disposiciones legales del Código civil............................................................................................................. 261 2.3. El caso de Wallapop................................................................................................ 262 3. EL CASO DE LOS CONTRATOS CON OBJETO TOTALMENTE INDETERMINADO..................................................................................................... 265 3.1. Noción y requisitos del objeto. Disposiciones legales del Código civil........... 265 3.2. El caso de las “cajas sorpresa”................................................................................ 267 4. CONCLUSIONES REFLEXIVAS: IMPERATIVIDAD EN AMBOS CASOS DE LA REGULACIÓN DEL CÓDIGO CIVIL Y POSIBLE COSTUMBRE JURÍDICA........................................................................................... 268

BIBLIOGRAFÍA............................................................................................................... 269 RESEÑAS CURRICULARES DE LOS AUTORES.................................................... 285

PRESENTACIÓN La irrupción de la Inteligencia Artificial (IA) en nuestras vidas representa un salto cualitativo, que impacta con fuerza en el enfoque y estudio jurídico de la realidad. Las transformaciones introducidas y las novedosas expectativas generadas demandan la articulación de nuevas regulaciones, que den cumplida respuesta a la diversidad de necesidades sociales surgidas de la constante revolución tecnológica en la que vivimos. De entre todas las inmensas posibilidades que aporta la implementación de la IA, los trabajos recogidos en esta obra centran el interés en los principales retos y problemáticas, que la IA incorpora o podría introducir en la esfera del Derecho. Aceptar de forma acrítica los avances y aportes de la IA como beneficiosos e inamovibles, asumiendo un «principio de autoridad» derivado de las expectativas creadas por dichos sistemas, sin cuestionar el hecho de posibilitar la adopción de decisiones a través del funcionamiento de un algoritmo y las repercusiones derivadas para los derechos fundamentales y la práctica jurídica que todo ello pudiese conllevar, no parece la mejor de las opciones, ni la más prudente. De ahí la necesidad de introducir reflexiones jurídicas al debate sobre los pros y contras del desarrollo de la IA, y la viabilidad de las opciones para su creciente aplicación en diversidad de ámbitos, que transitan desde su empleo en la esfera comercial, pasando por la aplicación biosanitaria o para determinar la identidad y huella digitales, hasta escenarios de seguridad y defensa. Y, en todos y cada uno de los posibles ámbitos implicados, con especial incidencia sobre los derechos humanos. Hay que empezar a plantear preguntas y proponer respuestas para nuestros sistemas jurídicos. El futuro se abre paso en el presente a pasos agigantados y el Derecho no puede, ni debe permanecer impasible ante las transformaciones y cambios. Se abre por tato, un espacio para el debate jurídico en torno a las nuevas realidades y cómo regularlas para que, ni el Estado de derecho, ni la seguridad jurídica, ni las garantías de los derechos y libertades sufran ni un ápice de menoscabo ante el desarrollo tecnológico en ciernes. Que el imperio de la ley no se vea arrollado por la realidad tecnológica. Los escenarios brevemente apuntados demandan legislación, ya sea para actualizar la existente o crear una nueva. La cuestión no es baladí: requiere traducir la técnica al mundo jurídico. Las lagunas legales y la desregulación tecnológica representan, sin lugar a duda, uno de los principales desafíos para los juristas de cara al presente siglo XXI y el incipiente futuro. Esperamos que las reflexiones jurídicas y debates recogidos en esta obra colectiva, contribuyan a dotar de respuestas al desafío tecnológico planteado. Martín A. Rocha Espíndola Daniel Sansó-Rubert Pascual Nuria Rodríguez Dos Santos Coordinadores

PRÓLOGO Momentos antes de morir, el replicante Roy Batty pronuncia ante Rick Deckard, mientras llueve torrencialmente: “I´ve seen things you people wouldn’t believe. Attack ships on fire off the shoulder of Orion. I watched C-beams glitter in the dark near the Tannhäuser Gate. All those moments will be lost in time, like tears in rain. Time to die”. Este constituye el monólogo más citado, más analizado y más escalofriantemente bello que cierra la magnífica película de Ridley Scott de 1982, Blade Runner. ¿Quién no recuerda este monólogo, quién no recuerda la distópica y futurista película en la que los replicantes, humanos artificialmente fabricados se emplean en trabajos peligrosos y como esclavos en las colonias exteriores de la Tierra? ¿Llegó ese momento, nos encontramos en este punto? ¿Es este el destino de la Inteligencia artificial? Refiere Irene Vallejo (El Infinito en un junco, 2019) la pasión de Alejandro Magno por crear una biblioteca universal que reuniera todos los libros existentes como “otra forma de poseer el mundo”, la Biblioteca de Alejandría. Pasión que atribuye compartida con Borges, a través de su relato La Biblioteca de Babel. El universo (que otros llaman “la biblioteca”), dice Borges, es una especie de colmena monstruosa que existe desde siempre. “En un sorprendente anacronismo, apunta Vallejo, Borges presagia el mundo actual. El relato contiene, es cierto, una intuición contemporánea: la red electrónica, el concepto que ahora denominamos web, es una réplica del funcionamiento de las bibliotecas. En los orígenes de internet latía el sueño de alentar una conversación mundial. Había que crear itinerarios, avenidas, rutas aéreas para las palabras. Cada texto necesitaba una referencia -un enlace- gracias al cual el lector pudiera encontrarlo desde cualquier ordenador en cualquier rincón del mundo… ()”. La Biblioteca de Alejandría, la Biblioteca de Babel, los instrumentos que permitan “otra forma de poseer el mundo”, entiendo que siempre serán positivos siempre que el resultado no sea el contrario, el sometimiento del individuo a tales instrumentos. Cuando hace ya más de un año el profesor Martín Rocha, codirector de esta publicación junto con los profesores Daniel Sansó-Rubert Pascual y Nuria Rodríguez Dos Santos, me pidió expresamente en nombre de sus responsables y artífices que me encargara de prologarla, mi contacto más directo con la Inteligencia artificial, más allá del impacto que en su momento me supuso la película cuya cita da comienzo a estas reflexiones, había sido la presentación de una ponencia como invitada (“Sociedad 5.0. El impacto de las tecnologías en la tercera y cuarta edad: ¿tecnología Vs. solidaridad familiar?”) en la Facultad de Trabajo Social y Desarrollo Humano de la Universidad Autónoma de Nuevo León- México-, en agosto de 2020, en plena efervescencia de la, creo, segunda ola de la Pandemia de Covid-19 (curiosa contradicción donde la tecnología parece superar los límites más infranqueables

18

PRÓLOGO

ante el acoso y derribo de un virus imperceptiblemente letal- ¿la lucha de David y Goliat?). La intervención, que obviamente se produjo telemáticamente y con una gran audiencia, abría el XVI Coloquio Internacional sobre Políticas Sociales, destinado al estudio de los retos de las políticas de bienestar social frente a la sociedad 5.0. Lo que para mí resultaba ser un reto absoluto, que llevaba la trasversalidad de mi forma de trabajar más allá de lo que pudiera haber previsto (dado mi desconocimiento sobre aquello que pudiera tener tal denominación: La sociedad 5.0), me llevó por unos derroteros, como digo, impensables para mí hasta el momento en que gestioné mi intervención destinada a analizar precisamente en ese ámbito, el impacto de las tecnologías en la tercera y cuarta edad/ancianidad tratando de descubrir en qué medida el uso de las nuevas tecnologías en ese ámbito podría constituir un sustituto (o no) de la solidaridad familiar. La mayor longevidad de las personas, la mayor duración en la vida de las mismas, ¿puede verse beneficiada por el uso de las nuevas tecnologías? ¿suponen éstas un beneficio para la denominada tercera y cuarta edad o una manera artificial de prolongar las vidas? ¿sustituyen o pueden sustituir, física y emocionalmente la función tuitiva que representan los lazos de solidaridad familiar tan necesarios en esa fase de la vida? ¿Constituyen un complemento que puede ayudar a que esa solidaridad familiar con nuestros mayores se desempeñe de forma más completa? ¿Está la tecnología preparada para nuestros mayores, o son ellos los que tienen que acomodarse a los ritmos y avances tecnológicos? ¿Debemos dirigirnos hacia una tecno-geriatría que se presente al servicio, físico y psíquico de nuestros mayores sin necesidad de contemplarlos necesariamente como adultos discapacitados? La tecnología nos rodea en todas y cada una de nuestras facetas vitales, es evidente y a poco que pensemos en qué medida forma parte de nuestras vidas nos daremos cuenta de que se ha instalado de forma completa y compleja y para quedarse, hasta el punto de que uno de los retos que en estos momentos se plantean jurídicamente es cómo dar respuesta regulatoria a aspectos impensables hasta el momento: la atribución de personalidad jurídica a los robots, la determinación o no de reglas que atribuyan responsabilidad civil más allá de la propia de sus creadores, entre otras cuestiones. Nos adentramos en un mundo inexpugnable en el que, en esencia, desde mi particular punto de vista, la clave se encuentra en considerar la IA como instrumento que nos apoye, nos complemente y nos facilite la vida y el desarrollo de nuestros más fundamentales derechos y no en un instrumento que nos destruya y despersonalice. En consonancia con lo indicado, me sirvo a presentar esta obra colectiva en la que creo que en mayor o menor medida se evidencian algunos de los aspectos que acabo de mencionar. Esta obra presenta, a través de sus contribuciones, un aspecto actual, completo y esencialmente trasversal en su contenido, de algunos de los aspectos más relevantes vinculados con la IA. Martín Rocha y Javier Sánchez Moro abordan en su trabajo, “Claroscuros iusfilosóficos de la Inteligencia Artificial y necesidad jurídica de su limitación”, la relación iusfilosófica entre la fragilidad del ser humano, sus derechos fundamentales, el transhumanismo y la inteligencia artificial. Gira el artículo en torno a la necesidad o no de establecer límites al desarrollo tecnológico para anticipar y evitar que el uso de la potencia de la inteligencia no humana supere sin retorno a esta última. Sobre tal idea se reflexiona sobre los posibles

PRÓLOGO

19

límites a la IA: Así, se preguntan los autores, si puede la IA ser una manera de superar la vulnerabilidad humana, si en la IA existe un sentido de perfección y utilidad que justamente resulta ser contrario a la propia condición humana construida sobre los adoquines de la superación perseverante y de la colaboración distante de la autosuficiencia. Elena García-Antón Palacios, bajo el título “El respeto a los derechos fundamentales desde la perspectiva ética de la Inteligencia Artificial”, confronta los cuantiosos beneficios que para el bienestar de los ciudadanos suponen las nuevas tecnologías y la IA, con la necesidad de contemplar la existencia de ciertos parámetros sociales y éticos que garanticen en paralelo el respeto a la dignidad de la persona, sus derechos fundamentales y las libertades públicas. Para ello realiza un análisis del documento “Rome Call for AI Ethics” firmado en Roma en febrero de 2020 para promover un enfoque ético de la IA. Se trata, apunta la autora, de que todos los operadores intervinientes en el ámbito de la IA acojan un enfoque de respeto a los derechos fundamentales y de protección a las personas más vulnerables y lo pongan en práctica según el papel que cada uno deba jugar. En esta misma línea argumental, Daniel Sansó-Rubert Pascual, bajo el sugerente título “Inteligencia artificial, sistemas de armas autónomas y derechos fundamentales. ¿Hasta dónde estamos dispuestos a llegar?”, aborda con preocupación la aplicación de los avances tecnológicos en general y la IA en particular, en el ámbito de la seguridad y la defensa. La cuestión para el autor resulta esencial en la protección de los derechos de las personas en tanto en cuanto en esta materia existe un vacío normativo, tanto específico en relación con la incorporación de la IA al diseño y desarrollo armamentístico en general, como en relación con las expectativas suscitadas en torno a la posibilidad de dotar de plena autonomía funcional a los sistemas de armas ofensivos. No puede obviarse, se señala, el hecho de que la situación a día de hoy demanda ineludiblemente y de forma improrrogable la articulación de un conjunto mínimo indispensable de medidas organizativas, técnicas y legales para asegurar un desarrollo seguro de la IA y minimizar los riesgos a los que están expuestas las personas. El derecho debe proporcionar un marco legal de referencia que posibilite la conciliación entre los intereses involucrados en impulsar el desenvolvimiento de la robótica, al tiempo que asegura su desarrollo en congruencia con los valores propios del ordenamiento jurídico y las garantías de protección necesarias de los derechos fundamentales. José Julio Fernández Rodríguez, como experto constitucionalista, aborda en su trabajo la existencia o no de derechos de los robots (“Reflexiones(provisionales) sobre los derechos de los robots”, su posible admisión social y régimen jurídico específico y los pros y contras de su reconocimiento. Delimita primeramente el ámbito de aplicación de sus reflexiones para centrarse posteriormente en la libertad como base esencial, dando paso posteriormente al ejercicio de otros derechos. Para ello se centra en analizar a qué tipo de robots habría que referirse para postular la existencia de tales derechos, atendiendo a una probable realidad futura que le sitúa no ante cualquier tipo de robot sino ante aquellos que, tras su proceso de creación sobre la base de algoritmos de aprendizaje, sean capaces de actuar y tomar decisiones “libremente”, los que, en definitiva, podría decirse que tienen voluntad propia y se aproximen lo máximo posible a los seres humanos. En definitiva, el debate gira sobre la necesidad o no de atribuirles una suerte de personalidad jurídica que inicialmente pueda determinar el nacimiento de algún tipo de responsabilidad jurídica por sus actua-

20

PRÓLOGO

ciones, así como, ante la existencia de robots con libertad, su titularidad correspondiente de derechos. También con un enfoque más de derecho positivo, es abordado por Miguel Ortego Ruíz, a través de su contribución sobre “La responsabilidad de los robots”, el problema de la responsabilidad civil en que, tras atribuirles personalidad, pudieran incurrir éstos como consecuencia de la disrupción de la IA en todos los planos del Derecho. La interacción cada vez mayor de los sistemas de IA en el mundo y en la sociedad hace replantearse y revisar el sistema de responsabilidad civil planteándose en qué medida debería interferir en esta la actuación de los robots: si a través del nacimiento de una suerte de responsabilidad civil derivada de la personalidad jurídica atribuible a los mismos (personalidad electrónica) o seguir manteniendo la primacía del hombre sobre la máquina. Posición esta última que, para el autor, tras desarrollar minuciosamente los argumentos divergentes, resulta insuficiente para explicar las actuaciones autónomas de una máquina, abogando por la atribución de responsabilidad civil a la máquina en sí misma. Por su parte Julio Guinea Bonillo diserta en su trabajo “La Unión Europea y el desafío de la Inteligencia Artificial”, sobre el reto que supone abordar un desarrollo jurídico uniforme a nivel europeo sobre IA. El trabajo, en palabras del propio autor, presenta los grandes hitos de la actuación europea y esboza el ambicioso futuro que a la Unión Europea le aguarda en los próximos años en relación con el tema. En esta línea aborda los diferentes pasos dados en este ámbito, destinados a dicha finalidad regulatoria, inicialmente a través del procedimiento de Comunicación de la Comisión Europea en 2018 al Consejo Europeo, Comité Económico y Social Europeo y Comité de las regiones sobre IA en Europa, a través de la concienciación sobre la necesidad de invertir en IA así como con la necesaria concienciación y adaptación social a los cambios que suponen las transformaciones digitales (cuestión respaldada por la Comisión Europea a través de un plan de educación digital). Todo ello, en todo caso, debe estar apoyado y sustentado en los valores definidos en el artículo 2 del Tratado de la UE. El autor considera que ha sido a partir de elaboración del Libro Blanco de 2020 cuando la Comisión Europea destaca la necesidad de un marco de gobernanza sobre el ámbito de la IA en el que se requiere de medidas concretas alineadas con la estrategia europea de datos, que conviertan a la Unión en un centro neurálgico digital a nivel mundial. Dentro del contenido monográfico que supone este trabajo conjunto, algunos de sus autores se centran de manera específica en la repercusión de la utilización de la IA en campos o ámbitos concretos como la medicina, el derecho penal, la discapacidad, el tráfico jurídico externo o la defensa de la competencia. No son sin embargo los únicos. En este sentido, la colaboración de Oscar Andrés Molina se centra en la repercusión de la IA en el campo de la medicina (“Regulación de la Inteligencia Artificial aplicada a la medicina: actualidad y propuestas”). Aquí se refleja la trascendencia que en el ámbito sanitario está teniendo cada vez más la IA (aplicable a los triajes, asistencia geriátrica, automatización de procesos y análisis de datos, siendo grandes los beneficios que esta aporta sin perjuicio obviamente de que la actividad humana no pueda ser completamente sustituida por estos medios tecnológicos). El autor analiza los beneficios que aporta la IA a la medicina, así como las deficiencias y riesgos que presenta la misma en el sector sanitario, entre ellos los derivados de la posible toma de decisiones autónomas por parte de los robots de nue-

PRÓLOGO

21

va generación y los problemas derivados de la responsabilidad derivada de las mismas, así como la vulneración de la protección de datos o los problemas que derivan de la necesaria delimitación del sistema de responsabilidad contractual en tales situaciones. Por su parte, Ximena Marcazzollo y Nathalie Walker se centran en la trascendencia del uso de la IA en el ámbito del derecho penal a través del estudio del sistema de algoritmos de evaluación de riesgos en este campo, en su aportación titulada “Empleo de sistemas algorítmicos de evaluación de riesgos en materia penal. Estándares mínimos para un uso acorde a las exigencias del debido proceso”. Se presenta la IA aquí como mecanismo para la resolución de conflictos de índole jurídico -también denominados con frecuencia por su sigla “MASC” o “ADR” (Alternative Dispute Resolution)–, los cuales han experimentado un alto grado de desarrollo debido, en parte, a la creciente automatización de ese tipo de procedimientos. En particular, el auge de los Sistemas de Resolución de Disputas en Línea (RDL) se explica, en gran medida, por la implementación de tecnologías de inteligencia artificial. La primera parte de este estudio se dedica a la noción de sistemas algorítmicos de evaluación de riesgos y la función que éstos pueden cumplir en un proceso judicial de carácter penal. La segunda parte se destina a la búsqueda de criterios para hacer compatible el uso de sistemas algorítmicos de predicción de riesgos con las exigencias del debido proceso en materia penal. Así, en base a la experiencia existente, se intenta determinar qué condiciones deberían darse para que esos sistemas funcionen sin faltas al debido proceso y sin atropello de las garantías de los justiciables. Esther Alba Ferrer en su trabajo “La inteligencia artificial y la discapacidad: una visión desde el derecho civil” pone en valor la necesidad de aprovechar los beneficios de la IA, así como de los robots médicos y asistenciales, en ayuda de las personas con discapacidad, pero siempre respetando su autonomía personal, esto es, la voluntad, los deseos o las preferencias de estas personas (en consonancia con lo dispuesto en la Ley 8/2021, por la que se modifica la legislación civil y procesal para el apoyo a las personas con discapacidad) o de sus familias y así, manteniendo el control sobre las máquinas inteligentes. Se demandan unas normas civiles sobre la robótica que protejan a las personas con discapacidad a través del desarrollo de medidas tecnológicas de apoyo necesarias, que les ayuden a eliminar barreras, preservando su voluntad al desarrollar su autonomía. De nuevo, la conexión entre el resto de los trabajos que aborda el presente estudio monográfico se sitúa en los márgenes de la utilidad de los medios (la IA o como define la autora, “la robótica inclusiva” que favorezca la toma de decisiones, la accesibilidad y la asistencia personal de los más necesitados) puestos a disposición de un fin más elevado: la persona, el individuo como sujeto de derechos y digno de la mayor protección. A la tecnología Blockchain en el tráfico jurídico externo y en el ámbito de la defensa de la competencia se refieren finalmente Lidia Moreno Blesa por un lado y Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina, por otro. La primera, en su trabajo “Blockchain y smart contracts en el tráfico jurídico externo” y los segundos, en el capítulo titulado “A propósito de algunos retos de las TRD y la Blockchain para la defensa de la competencia”. La tecnología Blockchain o “cadena de bloques” es definida por Lidia Moreno como un sistema informático, que permite verificar las transacciones que se efectúan a través de la red y sin la presencia de intermediarios. La validación de las operaciones se

22

PRÓLOGO

realiza por los mismos participantes cualificados, que a través de la fuerza computacional y criptográfica pueden prescindir de las tradicionales entidades de confianza. Por su parte, los smart contracts o “contratos inteligentes” son acuerdos que se documentan en lenguaje de programación para ser incorporados en la cadena de bloques. Su inclusión en la infraestructura blockchain permite el cumplimiento automatizado de los compromisos adquiridos por las partes previamente, lo que aporta seguridad y rapidez en la ejecución de lo estipulado. La inalterabilidad de lo pactado es una de las características principales de todo el entramado cibernético, además del componente internacional que estará presente de manera habitual en casi todos los negocios que se lleven a cabo a través de este mecanismo. Por lo tanto, ante las indiscutibles ventajas y beneficios de la tecnología blockchain (rapidez, agilidad de las transacciones, reducción de costes y, sobre todo, eliminación de los terceros intermediarios) serán frecuentes las controversias de tráfico jurídico externo, que requieran de una respuesta por parte del derecho internacional privado. Inciden por su parte Soto Pineda y Villanueva Tobalina en los beneficios que conlleva la implementación de estas herramientas, tales como ahorros en costes, incrementos en eficiencia, el surgimiento de nuevos modelos de negocio o la descentralización que implican a los que se contraponen desafíos tales como la falta de claridad en la terminología utilizada e insuficiente comprensión de la tecnología, incógnitas e incertidumbre en materia regulatoria y la remoción de los fundamentos de los modelos de negocio y prácticas industriales hasta ahora conocidas. Es por ello por lo que resulta de especial relevancia para los autores el estudio de las oportunidades, pero también de los retos, que plantean las Tecnologías de Registro Distribuido ‒y las cadenas de bloques en concreto‒ en materia antitrust. El trabajo de estos autores realiza por tanto una primera aproximación hacia el necesario análisis de estas cuestiones, preceptivo para poder aprovechar las posibilidades que ofrece esta tecnología, y también conditio sine qua non para afrontar con eficacia los obstáculos que pueden constituir las TRDs para el sistema de defensa de la competencia. Marta Abanades en “Los retos de la universidad y la inteligencia artificial: Nuevas aplicaciones en el área de comunicación y ciencias sociales” procura repasar cuáles han sido los cambios por los que ha pasado la propia institución educativa, tanto en el plano de la educación superior como en su claustro, en la denominada época de la globalización. Finalmente, Carmen Florit en “Las máquinas crean Derecho: De como algunas aplicaciones de compraventa por internet pretenden modificar la regulación imperativa del Código civil” alude a la colisión entre condiciones generales de de la contratación de una multitud de plataformas con lo sostenido por el Código civil respecto a los elementos esenciales del contrato o los requisitos para su perfeccionamiento. Resultado del trabajo conjunto que se presenta es un corolario de reflexiones que, transversalizando entre los diferentes ámbitos de la vida ordinaria a los que la IA afecta, podríamos afirmar que tienen un elemento común referido en esencia, por un lado, a la valoración positiva del uso de la IA siempre que atienda, beneficie, desarrolle y complemente un mayor y mejor sistema de protección de las personas y no las convierta a su vez en esclavas del sistema y por otro la necesidad de dar cobertura y respuesta legal a las nuevas situaciones y figuras descritas que ponen de manifiesto una vez más que los avances sociales y tecnológicos van muy por delante de la labor creadora del legislador. Todo ello

PRÓLOGO

23

no excluye, ni mucho menos, plantearse en este debate si las estructuras tradicionales sirven para dar cobijo a estas nuevas realidades. Descubra el lector si con las reflexiones de los autores que participan en esta obra se da respuesta a los interrogantes que los retos de las nuevas tecnologías nos plantean evitando que se produzcan inevitablemente los vaticinios del replicante Roy Batty momentos antes de morir. Una calurosa tarde de verano de 2022. Pilar Benavente Moreda Profesora Titular de Derecho Civil Universidad Autónoma de Madrid

CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL Y NECESIDAD JURÍDICA DE SU LIMITACIÓN Martín A. Rocha Espíndola Profesor Universidad Europea (Madrid) MartínA.RochEspdlyJavier Sánchez Moro Colegiado ejerciente del Ilustre Colegio de Abogados de Alcalá de Henares DOI: 10.14679/2054

1. INTRODUCCIÓN El principal tema que se trata de analizar en este artículo es la relación iusfilosófica entre la fragilidad del ser humano, sus derechos fundamentales, el transhumanismo y la inteligencia artificial. El transhumanismo puede entenderse como una propuesta de mejorar tecnológicamente a los seres humanos como individuos y como sociedad por medio de su manipulación como especie biológica, bajo el entendido de que esa mejora sería intrínsecamente buena, conveniente e irrenunciable1. El transhumanismo al cual también se le conoce como posthumanismo, aunque por ejemplo MORENO GONZÁLEZ considera que existen diferencias ya que los transhumanistas en tanto que presuntos herederos del humanismo clásico, no son tan radicales en sus propuestas o presuposiciones, sin perjuicio de ser muy difícil separar ambas corrientes. Su fe en la biotecnología se canaliza hacia el objetivo de la mejora de las condiciones y esperanza de vida, no en la necesidad de crear una especie posthumana con características diferenciadas, sin perjuicio de ello, la ausencia de eticidad en sus postulados, al igual que ocurre con el más radical posthumanismo, sigue siendo preocupante para el ideario humanista en la medida en que la dignidad integral puede verse en entredicho2. 1 VELÁZQUEZ FERNÁNDEZ, H., “Transhumanismo, Libertad e Identidad Humana”, Thémata. Revista de Filosofía, núm. 41, 2009, p. 578. 2 MORENO, G., La Democracia Humanista, Sevilla: Athenaica Ediciones, 2020, p. 89.

26

Martín A. Rocha Espíndola y Javier Sánchez Moro

El transhumanismo ha sido considerado como la cosmovisión propia de la época postmoderna, dominada por el culto a la técnica tal como lo ha señalado DIÉGUEZ y otros3. El transhumanismo sería el único gran relato posible tras el descrédito en el que han caído diversas cosmovisiones. En él se dan la mano tesis filosóficas, científicas y técnicas, además de otras de carácter político y social. Los diversos temas que se analizan desde su perspectiva pueden enmarcarse en los siguientes tópicos, La inmortalidad, la superinteligencia, en relación con la inteligencia artificial (en adelante IA), el volcado de la mente en un ordenador, las exploraciones y colonizaciones de lugares remotos del universo, etc. Una de las principales razones de su potencial es el saber conectar con los deseos insatisfechos de amplios sectores de la población en los países más desarrollados; deseos un tanto difusos pero que ahora se revisten de más seguridad y que resultan irrenunciables para todos aquellos que quieren aprovecharse de los avances provenientes en las diversas formas nuevas de tecnología. Es más, puede afirmarse que sería algo así como un proyecto de salvación laica, que puede realizarse aquí y ahora4. Sin duda que uno de los elementos más importantes de este planteamiento es suponer que la especie humana no es el fin sino apenas el comienzo de una nueva fase dentro de la evolución5. Lo anterior es bastante complejo porque indica que el ser humano deja de estar en el centro, o mejor dicho, puede dejar de estarlo, si acaso surge una nueva especie más avanzada en la escala de la evolución. Sin perjuicio de lo anterior existen diversos posthumanismos, no todos son de esta opinión. Este movimiento comparte, sin embargo, algunas de las apreciaciones de raigambre humanista, tal como el respeto por la razón y por la ciencia, un compromiso con el progreso y una apreciación de la existencia humana en esta vida en vez de alguna vida sobrenatural que podría acaecer con posterioridad a la muerte. Una de las principales diferencias, sin embargo, con el mismo, radicaría en el asumir alteraciones radicales de la naturaleza humana y en las posibilidades vitales resultantes de la aplicación de diversas ciencias y tecnologías como la neurociencia, la ultrainteligencia artificial en la identidad humana, lo cual escaparía a una visión antropológica de su esencia. En este sentido, las propuestas transhumanistas obligan a plantear, por ejemplo, qué se entiende por tal identidad ¿Es humano el ordenador al cual se han transportado los contenidos mentales de una persona ya fallecida y que se han reducido a un código binario? ¿Por qué es tan importante someter la fragilidad propia del ser humano? 2. LA FRAGILIDAD DEL SER PERSONAL HOLZAPFEL reflexiona en torno a cómo la persona humana, que es frágil, acaba por sincerarse acerca de quién es cuando asume esto, aún más, expone el que hay algo atractivo en esto, en la medida en que esta comienza entonces a mostrarse tal cual es, y tal vez en 3 DIÉGUEZ, A., Transhumanismo, Barcelona: Herder Editorial, 2017, p. 151; HOTTOIS, G., ¿El transhumanismo es un humanismo?, Bogotá: Universidad del Bosque, 2016; CORTINA RAMOS, A., ¡Despertad! Transhumanismo y nuevo orden mundial, Navarra: Eunsa (Astrolabio Ciencias Sociales), 2021. 4 Ibid., p. 152. 5 VELÁZQUEZ FERNÁNDEZ, H., Transhumanismo, Libertad e Identidad Humana, op. cit., p. 579.

CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL

27

ello encuentra nuevamente su fuerza. Del mismo modo, existe la opción de percatarse de que claramente hay algo de índole dialéctico, en este encontrar la fuerza en la fragilidad6. Aceptar la propia verdad es fundamental y fundante de un sano camino, sin engaños. Una persona puede emprender un camino en la vida sólo a partir del reconocimiento de lo que es. Si tal camino se construye sobre la ruta de lo que no se es, claramente se encuentra abocado al fracaso. La condición humana de fragilidad no es producto de un defecto de fábrica como podría serlo si se tratase de un robot o de un ordenador, ni tampoco un subrayar aspectos negativos, sino que dicha fragilidad manifiesta una humanidad que implica la imperiosa necesidad de responder humanamente ante el otro, ante los otros. Por ello, lo que constituye la humanidad como vulnerable es la posibilidad y oportunidad de vivir reconociéndose en tal sentido y reconocer el valor de la vulnerabilidad en la manifestación de la heridas y, por supuesto, más allá de las mismas. El reconocimiento de la propia fragilidad, llena de límites y posibilidades, abre la opción de reconocer compasivamente al otro. Con tal reconocimiento, se puede captar el sufrimiento o la alegría de los otros, sin él no se es capaz de indignarse, de reclamar frente a las injusticias que acaecen. Justamente es por la vulnerabilidad que las personas buscan cambiar y transformar el mundo, y tal vulnerabilidad no implica una actitud pasiva, sino la posibilidad de una apertura, de una apertura a la comunión y al encuentro. Es más, lo que en muchas ocasiones une a las personas es justamente el reconocimiento de la fragilidad, porque desde ella se experimenta la necesidad del otro y la solidaridad con el otro. El sólo fortalecimiento de lo propio tiende en ocasiones a separar y a dividir, porque existe el engaño de una autonomía absoluta del individuo. Por el contrario, reconocer la fortaleza que puede existir en la fragilidad construye relaciones solidarias, porque coloca esa misma fortaleza al servicio del otro, ya que reconoce la necesidad, la del otro y, por supuesto la propia. En este sentido, la fragilidad puede entenderse como don, debido a que permite encontrarse con lo más auténtico de uno mismo, con la condición de ser criatura y aspirar a una relación de filiación que se torna fraternal hacia otros. Tal fragilidad humana, constituye también un ethos del reconocimiento; lo cual es, a fin de cuentas, un ethos del don. El ethos del reconocimiento implica el saberse similar a otro, similitud que navega en los mares de la dignidad. Pero, considerado con más profundidad, implica el saberse como otro, en cierta medida igual pero asimismo diverso, saberse en otro, compartir cierta noción de existencia. Ello provoca que se procure compartir lo que se es, y esto puede ayudar a reconstruir al otro. La fragilidad es una tarea, es un reconocimiento, tal cual se ha mencionado recientemente. Y la aceptación de la fragilidad humana de una manera poco reflexiva puede conducir a la pasividad frente a la vida, a una actitud de victimización frente a las distintas situaciones, si se entiende tan sólo como un límite. Pero dicha fragilidad también se refiere a las posibilidades que pueden surgir a partir de dichas limitaciones. Constituye entonces 6 HOLZAPFEL, C., Ser – humano (Cartografía antropológica), Santiago de Chile: Universidad de Chile, 2014, p. 169.

28

Martín A. Rocha Espíndola y Javier Sánchez Moro

una perspectiva realista frente a la vida que, sin descartar la existencia de los condicionamientos, intenta construir a partir de ellos, intenta hacerlo con ellos7. El reconocimiento de la fragilidad humana invita a un cierto sentido de responsabilidad, es más, en ocasiones las diversas interdependencias pueden ser vistas como una debilidad o una fortaleza. La fragilidad no implica, en tal sentido, necesariamente debilidad, ya que el conocimiento de los vínculos personales es también señal de fortaleza. El olvidar el entorno que implica una vulnerabilidad, más allá del propio imperio, más allá de las capacidades, obliga a situarse y pensar en los márgenes. De lo contrario, la existencia deja de ser real y se vuelve un utópico vuelo de la imaginación8. Los sueños de la autonomía plena pueden conducir a la hegemonía de una heteronomía totalitaria. Es la aceptación de la fragilidad la que permite vincularse de una manera más íntima y profunda con los otros, debido a que por ella se entra en la dinámica de la comprensión y así en el compromiso de la solidaridad9. El concepto de fragilidad se vincula, en tal sentido, con la sensibilidad corporal y espiritual de la subjetividad, anterior a la conciencia, con la proximidad y contacto con el otro que se reconoce como un tú, con una pasividad originaria, por la cual alguien puede ser afectado y transformado en un sujeto ético por el mandato del rostro del otro, a quien debe responder de su desnudez, de su indigencia y clamor, convirtiéndose en un “elegido” para dar respuesta. La fragilidad, en cuanto posibilidades situadas dentro de unos límites, fundamenta de manera ineludible la dimensión ética del ser humano. Ello, porque este está llamado a hacerse cargo de su autobiografía, de su propio relato, que se halla necesariamente ligado al de otros. Por el contrario, fragilidad sin ethos deriva de un individualismo asocial, fundado en un fuerte narcisismo10, incapaz de construir comunidad y que evita asumir las consecuencias de sus propias decisiones y actos. La ausencia de un ethos produce la indiferencia frente al otro y a los otros. El ethos hace referencia a un estilo de vida, a partir de las opciones que se van tomando en la existencia, que, a su vez, se traducen en actitudes y comportamientos coherentes con ellas. A veces, se contrapone el ethos a la realidad, en el sentido de un marco de valores que 7 MASIÁ CLAVEL, J., Fragilidad en esperanza: enfoques de antropología, Bilbao: Desclée de Brouwer, 2004, p. 156. 8 GONZÁLEZ GONZÁLEZ, A., “Cuando lo frágil es absoluto, o la dimensión metafísica de la ética”, en Flamarique Zaratiegui, L. (coord.), Las raíces de la ética y el diálogo interdisciplinar, Madrid: Biblioteca Nueva, 2012, pp. 145-161. 9 Marta Palacio plantea que: “En efecto, Lévinas plantea un giro radical respecto a la tradición filosófica al colocar como fundamento de la solidaridad y la justicia la “vulnerabilidad” del sujeto. También opera un desplazamiento del concepto sociológico, que circunscribe la vulnerabilidad a la vida “de los otros”– los vulnerables por procesos de exclusión social– al argumentar que el soporte o “anudamiento ético” de la responsabilidad por el Otro yace en la “propia vulnerabilidad del sujeto” afectado por la “vulnerabilidad del rostro desnudo del otro”. Debido a esta vulnerabilidad del sujeto apelada por la vulnerabilidad del otro se constituye una nueva subjetividad, el “Otro en el mismo” entendida como responsabilidad y donación “a pesar mío”- en palabras de Lévinas- ante el rostro del Otro”. PALACIO, M., “La vulnerabilidad fundando la ética de la solidaridad y la justicia”, Análisis. Revista de investigación filosófica, vol. 2, núm. 1, 2015, pp. 29-47. 10 MIFSUD, T., Una ética desde la fragilidad, cit., p. 38.

CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL

29

ilumina la realidad en el proceso dialéctico del rechazo y aceptación; rechazo cuando se opone a un valor, y aceptación cuando lo complementa. Por tanto, se tiende a comprender la finalidad de la ética en términos de los ideales, versus la realidad. Tampoco podría sustraerse el ámbito ético de aquella nota que, desde el inicio, identifica al hombre en singular, a cada persona, como criatura y que no es otra, como ya se ha visto, que el ser donado. Si se pudiera atravesar la epidermis del fenómeno ético, en la que se muestran con mayor o menor intensidad un evidente esfuerzo, la voluntad de contrarrestar tendencias y deseos en contra, se hallaría en el fondo del fenómeno el don, que para la persona es la vida moral11. Así también lo presenta GUARDINI, aludiendo a que la actitud moral completa incluye el conocimiento de que, además de la fórmula “debo hacer esto porque estoy obligado”, existe otra fórmula consistente en “puedo hacerlo porque me es concedido”, es el indicio de una oportunidad para alcanzar un ideal de plenitud que ilumina la actuación personal12. El concepto de lo ético no se vincula sólo a la exigencia, al esfuerzo del deber o a la severidad de lo que es permitido. En lo ético, reside la grandeza del hombre, y cada uno recibe la vocación hacia algún aspecto especial de esta grandeza13. 3. NATURALEZA HUMANA, TRANSHUMANISMO E INTELIGENCIA ARTIFICIAL Para el transhumanismo la naturaleza del ser humano es su condena, porque limita sus legítimas aspiraciones de trascender con sus propios medios sin acudir al ardid religioso. Por ello acertadamente MONTERDE FERRANDO es de la opinión de que uno de los fundamentos de este movimiento radica en su comprensión de que la libertad humana debe ser sustraída del orden natural para poder realizarse plenamente. La naturaleza es una amenaza para el hombre y debe ser sometida con la cultura y la tecnología que en ésta se desarrolla14. Es decir, en relación con todo lo recientemente expuesto, el posthumanismo o bien puede entenderse como una visión actual y avanzada del clásico humanismo, o resulta ser un utópico entendimiento de que el progreso, a pesar de no ser tan rápido como se desearía, puede ser ilimitado dentro de una inmortalidad técnica que no requiere anclajes en la naturaleza humana ni menos aún sobrenaturales. ¿Están capacitados los principios humanistas para suministrar una guía al desarrollo tecnológico? La respuesta afirmativa puede invocar la diferencia entre lo que es fin en sí mismo y los meros medios, que son lo único que la técnica pone a disposición; o bien re11

2018.



BARRACA MAIRAL, J., Aportaciones a una antropología de la unicidad, Madrid: Dykinson,

12 FERRER, U., “Filosofía del amor y del don como manifestación de la persona”, Quién. Revista de filosofía personalista, núm. 3, 2016, pp. 23-33. 13 GUARDINI, R., Ética. Lecciones en la Universidad de Múnich, Madrid: BAC, 1999, p. 327. Sobre la dominación en la virtud moral, puede verse el estudio de FERRER, U., “La naturaleza de la virtud moral en Guardini” en González, A. L., Zorroza, I. (eds.), In umbra intelligentiae. Estudios en homenaje al Prof. Juan Cruz, Pamplona: Eunsa, pp. 289-301. 14 MONTEVERDE FERRANDO, R., “Transhumanismo: la abolición del ser humano”. Accesible en: http://www.observatoriobioetica.org/2017/03/transhumanismo-la-abolicion-delser-humano/18649.

30

Martín A. Rocha Espíndola y Javier Sánchez Moro

mitirse a la jerarquía entre los saberes, que asignará siempre un lugar subordinado a las categorías funcionalistas, en tanto que carentes de discriminaciones cualitativas; o bien mostrar que la técnica no puede solucionar los problemas que ella misma ha provocado en las sociedades industriales y postindustriales ¿Cuál es la noción ético humanista que impide concebir la evolución socio biológica como un conjunto sistémico que se autorregulara en su funcionamiento y en su interacción con el medio? A este respecto, es indudable que reconocer una dignidad a la naturaleza humana es tanto lo que permite orientar los avances en la experimentación biomédica como lo que precave de aquella ingeniería genética que no tiene por beneficiaria a la constitución natural del hombre15. Sin embargo, la dignidad de la naturaleza humana sólo es efectiva en los hombres y mujeres singulares, justamente en cada uno de ellos. Su consideración en abstracto, absolutizada, la pone en dependencia de la evolución filogenética y la reduce en definitiva a resultado de un proceso. Aparte de que expone a la propia noción de dignidad de la especie a la crítica de “especismo” injustificado (esgrimida por Peter SINGER), ya que no se ve por qué la naturaleza humana habría de gozar de un estatus más alto que las otras especies biológicas. Precisamente los atributos diferenciadores del ser humano (la racionalidad y la libertad) son singulares, inseparables de un yo irreemplazable. Pero esta singularidad, que se hace consciente y se ejercita en los actos libres de autogobierno, está ya esbozada biológicamente antes de adquirir la conciencia de sí y de modelarse libremente. La dignidad de la naturaleza humana se reconduce, de este modo, a la dignidad del embrión desde sus primeras fases de desarrollo a partir de la concepción, en tanto se advierten en él las señas distintivas de un ser humano diferenciado. Hoy, en la era tecnológica, en la era de la inteligencia artificial, nos encontramos en un momento de ruptura en el cual debemos volver preguntarnos las interrogantes filosóficas fundamentales que nos hacen bucear en nuestra profunda humanidad: ¿Quién soy? ¿De dónde vengo y hacia dónde voy? ¿Cuál es el sentido de la presencia del mal, del sufrimiento, de la muerte? ¿Qué cosa habrá después de la vida? ¿Por qué deseo la inmortalidad?16. Un nuevo humanismo deberá ser capaz, según el profesor VIOLA, de recuperar el sentido de la unidad en la división y de la universalidad en lo particular. Para esto será necesario retomar el camino del pensamiento a partir de la experiencia de la vida ordinaria y de un renovado examen de prácticas sociales más consolidadas. El principal cometido, en tal sentido es salvar la propia vida, aprendiendo a distinguir lo verdadero de lo falso y el bien del mal. Ello sería imposible sin la práctica del diálogo y de la unión. En el acto de dialogar los interlocutores ponen en discusión la misma subjetividad y tienen la experiencia del logos que los trasciende. También la misma finalidad cognoscitiva tiene sentido si se busca como un bien en si misma capaz de realizar una vida buena17.

15 FERRER, U., “Posthumanismo y dignidad de la especie humana”, en Ballesteros, J. y Fernández, E. (coords.), Biotecnología y Posthumanismo, Pamplona: Thomson Aranzadi Editores, 2017, pp. 153 y ss. 16 RATZINGER, J., “La presentazione del Documento Pontificio”, en “Per una letura dell’ Enciclica Fides et Ratio”, Cuadernos de “Observatore Romano”, Ciudad del Vaticano, 1999, p. 9. 17 VIOLA, F., “La defensa de la persona humana en la era tecnológica”, cit., p. 48.

CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL

31

ARISTÓTELES, tal como lo menciona el mismo VIOLA18, recuerda las palabras de HERÁCLITO. Los forasteros que vienen a visitarlo no son recibidos en la habitación principal donde arde el fuego sagrado, pero son invitados a acercarse a la estufa de la cocina, dado que cualquier fuego es divino. Lo que implica que lo sagrado no está confinado a determinados lugares. Todo el universo es sagrado a partir de los seres más humildes y de las experiencias más elementales de la vida. Pero significa también que cada doctrina debe ser puesta a prueba en la vida y debe ser capaz de demostrar que es capaz de salvar la vida humana, tal cual es, en su perfección y sacralización. La estufa de Heráclito es distinta de la de Descartes: esta es el lugar de la soledad y de la duda, aquella de la hospitalidad y la de lo sagrado. La vulnerabilidad ética es distinta, porque induce la confianza y a la cooperación, es profundamente humanista porque provoca crear nuevos lazos de humanidad. La persona humana no puede lograr por si sola ciertos bienes superiores, porque estos requieren para ser alcanzados del trabajo común, así como de su disfrute solidario. Todos los valores fundamentales implican una característica relacional, una colaboración con los otros. La paradoja de la persona humana está justamente en hacer referencia conjuntamente a la vulnerabilidad, a la sociabilidad y a la sacralidad ¿Cómo no ser vulnerables si estamos proyectados hacia bienes inconmensurables y necesitados de ayuda? Ahora, en cambio, la vulnerabilidad aparece en contraste con la dignidad humana. Se piensa que el sufrimiento es un indicio de la erosión de la dignidad. El enfermo terminal ha perdido su dignidad del todo. En cada caso parece imposible asociar esta dignidad a la corporalidad. El cuerpo natural, limitado, enfermo, débil, vulnerable y mortal es anticuado, pero el artificial esta privado de sacralidad, puede cumplir las mismas funciones, pero es obra de otro hombre. Se cita a MARCEL: “El carácter sagrado del ser humano aparecerá con mayor claridad cuando nos acerquemos al ser humano en su desnudez y en su debilidad, al ser humano desarmado, así como lo encontramos en el niño, en el anciano, en el pobre19”. Surgen muchas interrogantes, pero es necesario centrarlas ¿Puede la IA ser una manera de superar la vulnerabilidad humana? ¿No existe en la IA un sentido de perfección y utilidad que justamente resulta ser contrario a la propia condición humana construida sobre los adoquines de la superación perseverante y de la colaboración distante de la autosuficiencia? Por consiguiente ¿Debe limitarse la IA? 4. EN TORNO A LOS PRINCIPIOS GENERALES Y LOS VALORES SUPERIORES DEL ORDENAMIENTO JURÍDICO COMO LIMITACIÓN DE LA INTELIGENCIA ARTIFICIAL La tecnología y, con ella, la inteligencia artificial, representan sinergias necesarias y avances inevitables, pero también habrán de tener un límite para procurar una mayor confianza y un progreso económico y tecnológico ético y responsable, en consonancia con el ideario general de la sociedad y, por qué no, para anticipar y evitar que el uso y la poten18 19



Ibid., p. 48. MARCEL, G., La dignité humaine et ses assises existentielles, París: Aubier, 1964, p. 168.

32

Martín A. Rocha Espíndola y Javier Sánchez Moro

cia de la inteligencia no humana supere sin retorno a esta última, impidiendo la aparición de desequilibrios indeseados y asegurándose que sus decisiones se mantienen bajo control, especialmente cuando estas puedan comportar un riesgo o efectos negativos para las personas. Partiendo de este punto, resulta necesario reflexionar sobre cuáles serán estos límites y cómo vendrán dispuestos. En otro contexto, se habría empezado a reflexionar partiendo de los principios generales, los valores superiores del ordenamiento jurídico y los derechos fundamentales, pero se hará, al inicio de estos parágrafos, sobre la reciente propuesta de Reglamento, publicada por la Comisión Europea el pasado mes de abril de 2021; una reglamentación que viene a ser consciente de la notable injerencia de los sistemas de IA sobre la esfera humana, provenga de las relaciones personales y corporativas, o de la propia vinculación administrado-Administración Pública, habiéndose apoyado para su desarrollo –muy acertadamente– sobre las tres figuras en cursiva, a las que nos referiremos indistintamente y en lo sucesivo con esta última expresión, junto a la de mecanismos e instrumentos. Es, la regulación que mencionamos, una iniciativa que se contemplaba ya para el periodo de gobernanza 2019-2024, aunque, a decir verdad, ha requerido cierto impulso por parte de algunas instituciones europeas y nacionales, así como importantes esfuerzos sociales. Al final, se ha optado por una norma organizada en torno al riesgo, estableciendo determinadas fronteras, pero sin frenar la innovación –especialmente generosa en este sentido–, dejando asimismo algunos aspectos, en armonía con la actual tendencia regulatoria, en un plano de autorregulación. Resultaba además necesario incluir un régimen sancionador, y así se ha hecho, donde las cuantías por el incumplimiento representarán sanciones muy elevadas. La Unión Europea se sitúa así ya en una posición de liderazgo sobre la ordenación de los sistemas de IA, esperando con su propuesta, y por añadidura, definir una visión de vanguardia global similar a la que protagonizó en materia de protección de datos. También es cierto, a propósito de lo señalado, que esta regulación no se concretará en la extensión perseguida o esperada por algunos, pero de lo que no cabe duda es que se ha entrado en un auténtico, imparable y práctico proceso de fiscalización, a lo que, indiscutiblemente, le seguirán previsibles adecuaciones por la transversalidad y dinamismo de la temática. Este último, especialmente por el presumiblemente amplio periodo de implementación. Conviene subrayar, antes de continuar, una aclaración sobre el término regulación, del que se viene hablando con carácter general y sin mayor acotación en una suerte de supra-concepto, donde su concepción no será exactamente la misma si queremos referirnos a que algo está contemplado en la norma, o aludimos a la regulación reforzada de los clásicos sectores estratégicos de nuestra economía –los sectores regulados–, quienes cuentan de base con una destacada tradición monopolística e infraestructuras difícilmente replicables. No obstante, también es cierto que la regulación de la IA no se agotará con la creación de una base normativa, sino que vendrá igualmente acompañada de una estricta, especializada y prolongada intervención pública, lo que conformará verdaderos progresos y límites. Con motivo de esta consideración, cabe de igual forma advertir la particularidad de que algunos avances, también importantes –como los criptoactivos–, se han podido integrar y fortalecer a partir de la regulación de sectores económicos históricamente regulados,

CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL

33

como la banca y las finanzas. En cambio, la tecnología y, en concreto, la IA, conforman una industria económica independiente, pero a la vez intersectorial, esto es, que opera en todos los sectores, pero sin depender de ninguno. En consecuencia, aventuro que su regulación no finalizará con el entrante Reglamento, sino que se continuará complementando a partir de cuerpos legales ad hoc para su uso específico en determinadas industrias. A propósito de lo expuesto, el hecho de que en la regulación sobre IA sólo se haga referencia a aquellos instrumentos más amenazados, no significa que el resto no sean directamente invocables; su exigencia quedará legitimada con el sólo hecho de haberse producido la vulneración del mismo; de un principio jurídico, de un valor superior, de un derecho fundamental, e incluso del equilibrio de los intereses generales. Y así, como transversal es la tecnología, transversales serán, por tanto, el conjunto de figuras que se han señalado y que servirán como garantía o fianza jurídica para un adecuado funcionamiento –en tan diversas circunstancias– del ordenamiento. Es conveniente reiterar que ninguna actividad se encuentra a salvo de su acatamiento, operando fundamentalmente, sin perjuicio de lo expuesto, cuando la regulación pudiera no haber sido suficientemente previsible y, por tanto, no sea lo bastante completa, desplegando desde ese momento sus verdaderos efectos, particularmente en el interim hasta su reforma. A veces, también y sencillamente por la natural imposibilidad de que una ley escrita prevea todas y cada una de las situaciones, máxime aquellas menos habituales. A partir de lo señalado surge la necesidad de continuar un somero, pero claro recorrido sobre las virtudes y el sentido de mecanismos que, positivados o no en dicha regulación, servirán para salvar obstáculos difícilmente superables si nos quedásemos en la rigidez inherente de los preceptos, en su concepción más convencional, a saber, las reglas; aquellas configuradas con una premisa mayor y una premisa menor, formuladas en términos expresos en textos positivos. Y respecto del turbulento trámite de reconocimiento, el profesor DE CASTRO sostiene con esperanza que «el trámite de positivación va unido a su propia existencia» y, por tanto, si se está seguro de su existencia, más pronto que tarde se producirá su registro jurídico. Por ejemplo, la vigencia del principio de buena fe es innegable, tanto ahora como en los próximos años; pero el proceso será previsiblemente más complejo con los principios que se pretendan incorporar sobre la IA, en cuanto la percepción que la sociedad tiene sobre esta no es, como se ha manifestado, la misma. Inmersos ya en una dimensión de teoría jurídica, hablar de normas es hacerlo, tanto de reglas, como de principios generales. Si partimos de la base de que tanto normas como principios tienen un carácter prescriptivo, realmente la diferencia no radica en su grado de prescripción, sino en el modo; es decir, las normas –reglas según nuestra doctrina– son prescripciones concretas y en las que se define claramente los supuestos que resultan de aplicación, mientras que, por el contrario, los principios no son proposiciones prescriptivas concretas, sino que contienen términos altamente vagos y abstractos, definiendo el supuesto de hecho de forma abierta. Y aunque doctrinalmente no haya un consenso sólido, me animo sin embargo a confirmar que un principio es una norma, aunque una norma no es sólo un principio, sino también una regla. No se trata pues de negar su condición de norma, sino de aceptar el carácter bifronte de la misma.

34

Martín A. Rocha Espíndola y Javier Sánchez Moro

Estas observaciones o división doctrinal en dos conceptos se apoyaron con fundamento por PECES-BARBA, mediante normas principio y normas regla. Simultáneamente, ATIENZA y RUIZ han hecho asimismo dobles distinciones, en este caso, sencillamente entre reglas y principios, primero a través de un enfoque estructural y, en segundo término, mediante un enfoque funcional20. Del primer enfoque –sub-interpretación que se extrae de SÁNCHEZ SÁNCHEZ–, se afirma nuevamente que los principios configuran de forma más amplia el supuesto de hecho y, de forma precisa, la consecuencia jurídica. Sin embargo, las reglas –normas jurídicas ordinarias–, configurarán de forma cerrada tanto el supuesto como la sanción jurídica, es decir, la consecuencia21. Cuestión diferente será su aplicabilidad, que partiendo desde el ejercicio práctico del Derecho, habrá que esperar efectivamente a cada caso en particular, pues la manifestación teórico-jurídica de que una norma se tenga por principio sin que resulte necesaria su plasmación en un texto positivo –salvo que ya se encuentre positivado–, generará no pocos obstáculos su invocación inmediata en igualdad a las reglas, especialmente hasta el antes mencionado reconocimiento e identificación mayoritaria. Para tratar de clarificar más si cabe las diferencias apuntadas, el profesor PRIETO señala una serie de propiedades22 bastante ilustrativas. En primer lugar, a través de la fundamentalidad de los principios, pues «su modificación o sustitución tendrá como efecto directo una transformación del ordenamiento en su conjunto o del sector del ordenamiento sobre el que se proyectan»; en segundo lugar, su generalidad –prefiriendo la exégesis del profesor ANSUÁTEGUI– por la que «el supuesto de hecho está formulado en términos muy generales y abstractos y las consecuencias normativas tampoco están fijadas y determinadas con certeza»; en tercer lugar y, por último, por su vaguedad, en el sentido de que «dado el alto grado de indeterminación de su formulación lingüística y conceptual, no es sencillo realizar una subsunción clara entre el supuesto de hecho previsto y el caso real acontecido; por ejemplo, en algunas ocasiones es bastante difícil determinar cuándo una actuación puede considerarse o no como realizada de buena fe». Nada de lo expuesto hasta aquí tendría sentido si no proseguimos con el análisis de los principios generales, o principios jurídicos, cuyo rol será transcendental en el dominio de la inteligencia artificial y, donde, la principal diferencia entre los mencionados podría radicar en la amplitud de los primeros sobre los segundos, salvo aspectos particulares que requieren un mayor desarrollo, pero el uso indistinto de ambos lenguajes resultará, por ahora, compatible. Si buscamos una clarificación más precisa, ARCE y FLÓREZ-VALDÉS consideran los principios generales del derecho como los grandes principios que vendrían a informar los «ejes sobre los que el ordenamiento jurídico se conforma»23, aunque, siguiendo a BELADIEZ ROJO, una distinción entre pequeños y grandes principios supondría la problemática y rigurosa tarea de determinar cuáles sí y cuáles no son fuente del Derecho, por lo que, en suma, los “generales” vendrían a designar únicamente su asentamiento y 20 ATIENZA, M. y RUIZ MANERO, J., Sobre principios y reglas. Accesible en: http://www. cervantesvirtual.com/descargaPdf/sobre-principios-y-reglas-0/. 21 SÁNCHEZ SÁNCHEZ, J., Cuestiones de Teoría Jurídica. Manual para un curso de Teoría General del Derecho, Madrid: Edisofer Libros Jurídicos, 2020, p. 132. 22 SÁNCHEZ SÁNCHEZ, J., Cuestiones de Teoría Jurídica, cit., p. 131. 23 BELADIEZ ROJO, M., Los principios jurídicos, Madrid: Civitas, 2010, pp. 182-183.

CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL

35

amplia proyección. Otros, como JIMÉNEZ CANO, manifiesta la consideración de que –si es que hubiere diferencia entre ambos– el término “generales”, podría bien referirse a facultades iusnaturalistas, pero el “del derecho” también goza de cierta generalidad, pues podrá considerarse «el orden natural únicamente, el positivo o a ambos a la vez»24. Así pues, a partir de una definición tentativa integral y situados como fuente última del derecho, los principios facilitarán la armonización y dinamización de los ordenamientos jurídicos, informando a los desafíos de creación, integración, reforma, interpretación, aplicación y ejecución del Derecho. La formulación de SÁNCHEZ SÁNCHEZ la complementa oportunamente, en cuanto: «Se ofrecen como referencia sólida y eficaz para superar las angustiosas estrecheces del formalismo positivista sin caer en abstractas y etéreas invocaciones a la justicia, a la moral o a la conciencia del juez»25. Llegados a este punto se puede apreciar ya, por tanto, la exigente diferencia entre reglas y principios jurídicos, a reserva de otros entendimientos. Ayudará, aun así, la siguiente reflexión de SÁNCHEZ SÁNCHEZ, luego «los principios ordenan que algo sea realizado en la medida de lo posible, tanto vital como jurídicamente, y las reglas, sin embargo –si estas son válidas– son normas que solo pueden ser, o no, cumplidas. Así pues, los principios son mandatos de optimización que pueden ser cumplidos en diferente grado y medida, al tiempo que en las reglas ha de hacerse lo que ellas exigen, no más o menos»26. La materialización de lo planteado en la IA se irá desarrollando con el transcurso del tiempo, pues los principios generales se han configurado como las convicciones jurídico-éticas de la sociedad, y, por ende –tras sucesivas referencias–, la percepción de esta no será, en absoluto, ni pacífica, ni generalizada. En consecuencia, resultará fundamental una observancia acentuada de este elemento jurídico, tanto para procurar plasmar el convencimiento actual –puede que pasando desapercibido– de un amplio número de personas, como para influir asimismo en la ejecutividad de futuros ideales, transformados en principios. De todas maneras y en otra línea, un autorizado sector doctrinal ha venido sosteniendo que el hecho de descubrir las convicciones de la sociedad no tendría fuerza jurídica en sí mismo y, por tanto, no supondría automáticamente el hallazgo de un principio jurídico, resultando necesario su positivación. En palabras de ESSER, «transformaría los principios prepositivos en principios positivos»27. Sin embargo, parecería sostenerse mejor la interpretación que se realiza del razonamiento de BELADIEZ, en cuanto los principios generales son, verdaderamente, las convicciones de la comunidad, para lo que no sería necesario un proceso específico de positivación, sino la superación de algunas fases razonables, al menos, si no para actuar como principio constitucional, sí para hacerlo como principio no constitucional28. Y esta reflexión o guía bien resulta de aplicación no sólo en el 24 JIMÉNEZ CANO, R.M., “Sobre los principios generales del Derecho. Especial consideración en Derecho Español”, Revista Telemática de Filosofía del Derecho, núm. 3, 2000, p. 2. Accesible en: http:// www.rtfd.es/numero3/1-3.pdf. 25 SÁNCHEZ SÁNCHEZ, J., Los principios generales, cit., pp. 15 y ss. 26 SÁNCHEZ SÁNCHEZ, J., Cuestiones de Teoría Jurídica, cit., p. 134. 27 BELADIEZ ROJO, M., Principio y norma en la elaboración jurisprudencial del Derecho privado, Barcelona: Bosch, 1961, p. 58. 28 Ibid., p. 58.

36

Martín A. Rocha Espíndola y Javier Sánchez Moro

orden nacional, sino también comunitario, esto es, entender una jerarquía necesaria entre principios, no en cuanto a ser más o menos fuente, sino sobre la función constitucional de los mismos; para el caso de la Unión, los recogidos en los tratados constitutivos. Definitivamente, resolver la cuestión jerárquica no es un extremo ni sencillo, ni que admita relativizaciones, pero parecería no encontrar un encaje lógico a una superioridad arbitraria en unos casos, e inferioridad en otros, cuando el término de comparación es el mismo. Por ello, resultará más prudente entender su jerarquía mediante su función constitucional, que se cristaliza a través de la ilustrativa postura que defiende BELADIEZ, distinguiendo entre principios constitucionales y principios no constitucionales. Los primeros coincidirían con la fuerza normativa de la Constitución y, por ello, son de aplicación preferente frente a cualquier norma que los contradiga, independientemente del rango. En este sentido, ARAGÓN ha señalado que: «Los principios constitucionales ocupan en las fuentes formales del Derecho, el lugar de la Constitución, simplemente porque son Constitución»29. Respecto a los principios no constitucionales, tendrán la fuerza jurídica que su condición de fuente les otorga, pero se situarán en una escala jerárquica inferior, por debajo de la ley y de la costumbre, pero por encima del reglamento, pues este último no contiene la expresión directa de la dimensión moral de los principios que, en definitiva, provienen de la legitimidad que le otorgan sus destinatarios. Cabe sostener también que algunos principios no constitucionales, también deberían gozar del criterio superior de considerarse constitucionales, como, por ejemplo, el principio de proporcionalidad. Aun no estando recogidos en la Carta Magna, su fuerza es tal al integrarse en la misma concepción del Estado de Derecho, que no sería admisible que la ley lo desconociera30. Como manifestación peculiar y última del potencial de los principios jurídicos, cabe señalar que, en términos de eficacia31, aunque por su estructura tendrán una menor eficacia cualitativa que las reglas, su extenso ámbito de aplicación se ve compensado por una mayor eficacia cuantitativa. Una menor eficacia cualitativa que se debe a que sus efectos normativos se verán reducidos porque imponen un deber genérico a todos los sujetos de una sociedad, prohibiendo actuar en contra del contenido moral consagrado por el mismo, es decir, limita el hecho de que nadie puede ser obligado a algo concreto mediante un principio, sino en términos generales, como ya se ha precisado. En otras palabras, mediante un principio jurídico se podría llegar a satisfacer el respeto al derecho de propiedad, pero si se busca el respeto del derecho de uso de un bien concreto –de dicha propiedad–, se tendrá que acudir necesariamente a una regla. Cuestión diferente es que, sobre esa obligación de respeto concreta, que ya ha nacido respecto de una regla o un título jurídico previo, y crea por tanto una obligación, servirá de aplicación para su refuerzo o ejecutividad, un principio general. Ahora, el hecho de que algunos principios jurídicos no tengan la capacidad para otorgar directamente un derecho subjetivo, no les resta valor ni fuerza normativa, pues simplemente configura su ámbito de aplicación que, dependiendo de la figura, se dirigirá a unos destinatarios u otros, imponiendo obligaciones de carácter general. ARAGÓN, M., Constitución y Democracia, Madrid: Tecnos, 1989, p. 82. MUÑOZ MACHADO, S., Tratado de Derecho Administrativo y Derecho Público General, Tomo III, Los principios de constitucionalidad y legalidad, Madrid: Boletín Oficial del Estado, 2015, p. 120. 31 BELADIEZ ROJO, M., Los principios jurídicos, cit., p. 113. 29 30

CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL

37

Tras el desarrollo de los principios, se debe agregar un segundo mecanismo, los valores superiores del ordenamiento jurídico. Se ha sostenido que los principios generales «sirvieron de inspiración a todo el proceso creativo del derecho y que portaron los valores esenciales que habrían de tenerse en cuenta al aplicarlo»32, lo que nos traslada a la disyuntiva de afirmar si existe o no realmente una diferencia entre valores superiores y principios jurídicos. Efectivamente, a los valores superiores del ordenamiento se les reconoce igualmente una función informativa, pero, aunque sólo sea por su naturaleza etimológica y su proporción con respecto a los principios generales, merecen sin mayores ambages el reconocimiento de una cierta prelación o jerarquía informativa superior, en cuanto los valores superiores servirán como base, génesis y superficie original de todo ordenamiento. Al tiempo que un principio general puede llegar a operar contra legem, un valor superior no debe solicitar permiso alguno para imponerse sobre una ley cuando, en sí misma, o su espíritu, sea contraria –en el caso de la Constitución Española– a uno de sus valores superiores. Nuestra Constitución, en su artículo primero propugna como valores superiores la libertad, la justicia, la igualdad y el pluralismo político. En el caso de la Unión Europea, se promociona el respeto a la dignidad humana, la libertad, la democracia, la igualdad, el Estado de Derecho y el respeto de los derechos humanos. Una figura –si bien verdaderamente amplia– que, de nuevo, sobre términos para aquellos llamados a la aplicación del Derecho, actuará de restricción y salvaguardia frente a todas aquellas acciones y/o injerencias de la inteligencia artificial que pudieran resultar o entenderse contrarias a estos valores superiores, y que provisionalmente se han tratado de desarrollar en el Título II del Reglamento de llegada, bajo la denominación de “prácticas prohibidas”. De cualquier modo, es indiscutible que, tanto valores superiores como principios generales tienen un carácter prescriptivo, pero, para ser exactos, los primeros con un mayor grado de abstracción y generalidad que los segundos, una interpretación que aquí sí resulta pacífica entre los diferentes autores. Los valores incorporan siempre un sentido de proyección, de horizonte y meta de todo el ordenamiento jurídico, mientras que los prinicipios podrían conformar más bien una función estructural, de armazón interno del ordenamiento para darle consistencia y coherencia. Los valores nos dicen a dónde ir, los principios cómo hacerlo y, sobre todo, cómo no hacerlo. Sirve de conclusión la lectura de ALEXY, entendiendo los valores superiores como conceptos axiológicos que permiten discernir lo mejor y no generan deber alguno, mientras que, los principios, son conceptos deontológicos que prescriben mandatos y tratan de lo que es debido33. En términos compatibles, SÁNCHEZ SÁNCHEZ apunta que los valores superiores del ordenamiento jurídico «constituyen el punto de máxima relación entre el Derecho y la Moral, proclamando una serie de ideales de justicia social, que servirán de criterio de contraste para afirmar el mayor o menos carácter justo de las normas que se produzcan dentro del ordenamiento»34, posición esta predominante en el pensamiento jurídico occidental 32 MUÑOZ MACHADO, S., Tratado de Derecho Administrativo y Derecho Público General, cit., p. 107. 33 ALEXY, R., “Sistema jurídico, principios jurídicos y razón práctica”, en Derecho y razón práctica, México: Fontamara, 1993, p. 11. 34 SÁNCHEZ SÁNCHEZ, J., Cuestiones de Teoría Jurídica, cit., p. 30.

38

Martín A. Rocha Espíndola y Javier Sánchez Moro

moderno, por lo que, no sería improcedente considerar que los principios deberían ser los siguientes en su conexión con la moral y el resto de sus dimensiones, confirmando en cierto modo su posición en el segundo escalón. Respecto a la abstracción y generalidad de los valores y de los principios generales –donde la mayoría de los teóricos había encontrado un punto en común– no todos coinciden, sin embargo, respecto de la eficacia35 de unos y otros. Como tercer y cuarto elemento, con una tangibilidad no menor, pero sí en otro plano, procede apuntar, en primer lugar, la configuración de los derechos fundamentales como estructuras de control o límite, donde su aspecto objetivo hará que –como lo han venido haciendo valores superiores y principios jurídicos– tengan un papel informador sobre el ordenamiento y con una proyección holística indiscutible. Estos, en cuanto se trata de derechos recogidos en cuerpos superiores, como la Constitución Española o la Carta Europea de Derechos Fundamentales, operarán sin temor a la legalidad ordinaria, protegiendo unos bienes jurídicos sin los que sería imposible entender un Estado de nuestro tiempo. En segundo lugar, esta reflexión sobre los controles a la inteligencia artificial podría extenderse asimismo añadiendo otro cuasi instrumento, como son los intereses generales de los Estados Miembro y de la Unión Europea. 5. CONCLUSIONES Analizados sumariamente los límites o, mejor dicho, las herramientas de que dispone el ordenamiento para su establecimiento, la contención de la IA sólo será posible en cuanto la regulación positiva no se aparte y se siga apoyando en los mecanismos jurídicos a los que nos hemos venido refiriendo. Una exponencial evolución técnica, junto a una escasa trayectoria jurídica sobre la materia, son dos factores que justifican ampliamente su existencia y profundización, en la medida en que todos y cada uno de los instrumentos reseñados tienen una licencia universal para su aplicación horizontal. Será necesario estar atentos y no acostumbrarnos a exposiciones progresivas cada vez mayores donde, algunas veces revestidas de unos efectos aparentemente lícitos y favorables, nos hagan perder la perspectiva. La hipertrofia legislativa, el marasmo normativo y la vetustez de algunas leyes ha hecho que nos estemos dirigiendo, inevitablemente, hacia un derecho principal –como arreglo– pues ciertas ineficacias del legislador podrían estar forzando una inversión paulatina del sistema clásico de fuentes del Derecho. En armonía con la supervisión de la IA y en palabras de SÁNCHEZ SÁNCHEZ, la conexión entre derecho y moral en un mundo tan cambiante y globalizado, «es, en todo caso, una vía necesaria que ha de transitar todo jurista, y no sólo el teórico sino también y muy especialmente el llamado a la aplicación práctica del derecho, pues como acertadamente señaló GARCÍA DE ENTERRÍA, los principios son los únicos instrumentos disponibles para dar sentido a las instituciones y para articular éstas en el sistema general del ordenamiento»36, y es precisamente la utilización de los principios como técnica comprensiva de 35 36



BELADIEZ ROJO, M., Los principios jurídicos, cit., p. 194. SÁNCHEZ SÁNCHEZ, J., Cuestiones de Teoría Jurídica, cit., p. 36.

CLAROSCUROS IUSFILOSÓFICOS DE LA INTELIGENCIA ARTIFICIAL

39

los textos normativos lo que constituye, según el citado autor: «la justificación del hecho elemental de que la interpretación de la ley escrita sea un menester técnico y no gramatical»37. Una manifestación de la carga o elevado componente moral de los principios es, por ejemplo, que, una regla permite una alteración libre de sus consecuencias, mientras que el carácter de principio de buena fe hace imposible la variación de su contenido por el legislador ordinario. Sin ánimo de resultar reiterativos, pero, para finalizar sobre la figura de los principios, en cuanto es la que mayor protagonismo teórico ha acaparado, se puede extraer una consideración peculiar de la realidad práctica, que se manifiesta en la deficiente codificación, utilización y definición irregular de los mismos, aun gozando de tal validez y categoría; sea por su complejidad, por una insuficiente instrucción a los estudiantes y profesionales del Derecho –cualesquiera sea la institución académica–, o por otra razón que escapa a quienes redactan este documento, pero, en todo caso, sí que se da la singularidad de que las lecciones principales de filosofía jurídica se imparten, en general, en los primeros momentos de la carrera, donde el interés por entender o profundizar estos mecanismos es generalmente escaso. Todas estas observaciones encuentran relación con el hecho de que fue justamente en Europa y, por consiguiente, ámbito natural de la actual UE, donde se gestó el Humanismo, ahora bien, se puede retornar y a su vez refundar un nuevo movimiento de tal naturaleza desde el diálogo filosófico, político y jurídico, porque la necesidad del mismo deriva del afán de retornar a la experiencia ordinaria, para hacerla objeto de interés y reflexión, y esa experiencia es humana por excelencia. Este Humanismo no puede ser un discurso privado de una persona o grupo, debe de ser fruto de una vida en común, debe de estar abierto a todos. La custodia de la persona en la era tecnológica, en la era del transhumanismo y de la existencia y aplicación de la IA está confiada a la supervivencia del diálogo en el régimen de un pluralismo humanista, lo que no implica que deba de ser relativista. Este filosofar dialogando debe fundarse en la interdependencia consciente y libre. Hay una verdad, en el diálogo dentro de los terrenos del Humanismo en una sociedad pluralista, así como hay una verdad del amor y en el amor ¿Se puede afirmar que la voluntad humana no tenga objeto alguno al cual dirigirse y que anhele todo o cualquier parte de este todo? Tal como escribió RATZINGER: “El amor a Dios y al prójimo puede tener consistencia solamente cuando es en lo profundo amor a la verdad de Dios y del prójimo38”. Cuanto más se universaliza la técnica, tanto más las culturas se sienten amenazadas y se encierran en lo particular, poniendo la identidad en lugar de la verdad, como acaece con el nacionalismo distante del cuidado de la casa común, donde somos seres singulares, originales, imprescindibles, únicos y frágiles. El único Humanismo que puede construir futuro es el construido sobre un diálogo fecundo que busca no la utilidad, no la eficacia, que si bien importantes son insuficientes. Debe, al fin y al cabo, tener anhelo de verdad, debe “verdadear”. Ibid., p. 37. RATZINGER, J., “La presentazione del Documento pontificio”, en Per una letura dell’ Enciclica Fides et Ratio, Cuadernos de “Observatore Romano”, Ciudad del Vaticano, 1999, página 14. 37 38

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL Julio Guinea Bonillo Profesor de Derecho Internacional Público Universidad Europea (Madrid) DOI: 10.14679/2055

1. INTRODUCCIÓN Los principales desarrollos de la normativa en materia de Inteligencia Artificial parten sobre una base previa, la experiencia acumulada en la construcción del mercado único digital, como elemento vital para completar la construcción del mercado único analógico y perfeccionado en su vertiente digital. La transformación tecnológica acelerada que ha experimentado el conjunto de la Unión Europea ha supuesto acelerar el desarrollo legislativo en torno a los campos de la tecnología de la información y la comunicación que están cambiando la forma en la que nos relacionamos, desempeñamos nuestras funciones laborales, nos comunicamos, y planteamos líneas de negocio o emprendemos viajes a terceros países. Se ha iniciado un proceso de convergencia tecnológica, tras la adopción de la estrategia de Lisboa, que elimina gradualmente las distancias existentes entre telecomunicaciones, radiodifusión y las Tecnologías de la Información. En el Consejo Europeo de Sevilla, de 21 y 22 de junio de 2002, se adoptaron los planes de acción e-Europe previendo el necesario impulso digital que la Unión debía imprimir con el nuevo milenio. Los avances parten de los programas marco en investigación y desarrollo, que desde el año 2004 se centraron en la innovación robótica y se extenderían en el 2010, bajo la Comisión de DURAO BARROSO, que tuvo una notable determinación por centrar mayores esfuerzos en una potente agenda digital, superando la insuficiente inversión privada, impulsando la productividad y trasladando a los Estados miembros la necesidad de modernizar los servicios públicos. Resultaba imprescindible, a ojos de la Comisión, comenzar a poner a Europa en los raíles de la nueva y floreciente sociedad de la información mundial, en aras de desarrollar plenamente sus capacidades. En el marco financiero plurianual de 2014 a 2020 se invirtieron un total de 700 millones de euros, en régimen de cofinanciación de programas de innovación y desarrollo, y en los cuales el sector privado completó con un nivel de inversiones que rondaba los 2.100 millo-

42

Julio Guinea Bonillo

nes de euros. Un montante que ha facilitado a Europa adquirir una importancia destacable en el campo de los avances de la robótica, pero que no llegaba a propiciar un despegue de la Inteligencia Artificial ya que ésta no es equiparable exclusivamente a la robótica. En el programa Horizonte 2020 se dedicaron alrededor de los 1.100 millones de euros, para investigar todo lo relacionado con la Inteligencia Artificial y que pudiera ser empleada en la tecnología espacial, sanitaria, en los transportes, o bien en el análisis y la gestión del denominado Big Data1. El programa Horizonte 2020 sería de los primeros mecanismos empleados a la hora de implementar las líneas generales de la Agenda Digital europea. A partir de él, se desplegaron plenos efectos con la elección como nuevo presidente de la Comisión Europea al luxemburgués Jean Claude JUNCKER. En la presentación de su plan de trabajo ante el Parlamento Europeo, el 15 de julio de 2014, destacó que era necesario un nuevo comienzo para Europa, priorizando la articulación del Mercado Único Digital, partiendo de la experiencia previa que se asume bajo el desarrollo del mercado único analógico. Su mandato lograría fortalecer una de las áreas tecnológicas más relevantes del s. XXI y facilitó que, tras la llegada de la siguiente Comisión, presidida por vez primera por una mujer, bajo la alemana, Ursula von DER LEYEN. Con ella se emprendería una hoja de ruta en favor de las personas y la sostenibilidad, esto es, la agenda social y la agenda medioambiental, y por otro lado la digitalización y la Inteligencia Artificial. Para ello, se adoptó una Comunicación titulada: “Configurar el futuro digital de Europa”, en la que se destacaba por la Comisión los principales retos en los cuales la Unión debía centrarse. Se identificaban tres ejes de actuación decisivos para los siguientes cinco años, ante el desarrollo de nuevas tecnologías, entre los que cabría señalar: una tecnología al servicio de las personas, una economía digital justa y competitiva y una sociedad abierta, democrática y sostenible en el contexto digital. En estos tres campos, la Inteligencia Artificial íntimamente se imbrica en ellos, ante su gran potenciación y expansión vivida en los últimos años. 2. LA COMUNICACIÓN DE LA COMISIÓN: LA INTELIGENCIA ARTIFICIAL PARA EUROPA La Comunicación forma parte del procedimiento que sigue la Comisión Europea cuando se enfrenta a un nuevo desafío político. Es un documento de política general y abierta, dirigido a los legisladores de la UE, para informarles de la situación que existe respecto a una determinada temática y, por lo general, incluye propuestas para resolver el problema con líneas legislativas que podrían ser adoptadas en un futuro cercano. Como toda Comunicación, suele ir precedida de una consulta pública, en la que la Comisión invita a todas las partes interesadas, incluidos ciudadanos, empresas, asociaciones, autoridades locales, etc., a aportar su punto de vista sobre la temática abordada. La Comisión al entender que la legislación de la UE sobre la Inteligencia Artificial no está logrando 1 HILDEBRANDT, M., “The Artificial Intelligence of European Union Law”, German Law Journal, 2020, vol. 21, núm. 1, pp. 74-79.

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL

43

alcanzar los niveles adecuados de desarrollo propone avances en los que cabría una acción comunitaria. En ese momento, publica un documento de consulta en el que explica el problema e invitará a las partes interesadas a aportar su punto de vista. Sobre la base de las respuestas recibidas, posiblemente combinadas con el asesoramiento técnico de consultores y técnicos en la materia, produce una Comunicación dirigida al Consejo de Ministros y al Parlamento Europeo, en la que ofrece una serie de soluciones alternativas al problema y posibles avances a concretar en el ámbito regulatorio. El Consejo y el Parlamento responderán, incluida su elección de lo que se debe hacer al respecto. Sobre esa base, la Comisión tomará medidas, posiblemente redactando legislación si se considera necesario. Partiendo de esta base, el primer momento en el que las instituciones comunitarias empezaron a replantearse el futuro de la Inteligencia Artificial para Europa fue desde el 25 de abril de 2018, con la Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones sobre Inteligencia Artificial para Europa. Asumiendo, en primer lugar, que la Inteligencia Artificial está llamada a transformar las vidas de las próximas generaciones, forma parte integrante del quehacer diario y cotidiano de los seres humanos, ayudando inclusive a la hora de realizar múltiples tareas desde la conducción autónoma, la elección de un restaurante al que acudir o bien proveernos de una lista de reproducción afín a nuestros gustos. La propia Comisión Europea formula un significado para el término Inteligencia Artificial y lo aplica “a los sistemas que manifiestan un comportamiento inteligente coma pues son capaces de analizar su entorno y pasar a la acción con cierto grado de autonomía con el fin de alcanzar objetivos específicos los sistemas basados en la Inteligencia Artificial pueden consistir simplemente en un programa informático (por ejemplo robots avanzados, automóviles autónomos, drones o aplicaciones del internet de las cosas)2”. La Comunicación se hizo pública 15 días después, tras la adopción del Acuerdo internacional el 10 de abril de 2018, entre 24 Estados miembros de la Unión3 más Noruega, para incrementar cuantitativa y cualitativamente las inversiones y el desarrollo de la Inteligencia Artificial y al que más tarde se adhirieron Rumanía, Grecia y Chipre en mayo de 2018. Fue aprobada por el Consejo Europeo en junio de 2018 y Croacia se sumaría en julio del mismo año4. Los expertos participantes en la reflexión sobre el futuro de la Inteligencia Artificial en Europa han convenido que se trata de un conjunto de sistemas coma a modo de programas informáticos diseñados por el hombre y que actúan autónomamente en el entorno analógico, así como el digital cuando perciben a su alrededor datos que mediante algorit2 Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones “Inteligencia Artificial para Europa”. Bruselas, 25.4.2018 COM(2018) 237 final p-1. 3 Bélgica, Bulgaria, República Checa, Dinamarca, Alemania, Estonia, Irlanda, España, Francia, Italia, Letonia, Lituania, Luxemburgo, Hungría, Marta, Países Bajos, Austria, Polonia, Portugal Eslovenia Eslovaquia, Finlandia, Suecia y Reino Unido. 4 Texto íntegro de la Declaración: https://ec.europa.eu/jrc/communities/sites/default/ files/2018aideclarationatdigitaldaydocxpdf.pdf

44

Julio Guinea Bonillo

mos internos los interpretan y dicho razonamiento produce la acción que conduce a un objetivo determinado. Los países de la Unión empiezan a emplear la Inteligencia Artificial en sectores tan fundamentales como las enfermedades y pruebas diagnósticas, contribuyen a esclarecer los resultados de chequeos médicos y se aplica desde el sector terciario, hasta el sector primario en el cual la amplia gama de nuevas oportunidades tecnológicas facilitan la labor al sector agropecuario, la plantación, siembra, recolección o bien la alimentación del ganado, son tareas que pueden ser automatizadas mediante el uso de la Inteligencia Artificial5. De hecho, Europa cuenta a día de hoy con importantes elementos que pueden proyectar su fortaleza y consolidar su protagonismo en el entorno de la Inteligencia Artificial. Para ello, simplemente es necesario poder coordinar la actuación de los Estados miembros y capitalizar 3 elementos fundamentales: Investigadores, laboratorios y empresas emergentes, cuya actuación se desarrolla ampliamente en este sector y son polos de innovación y crecimiento en el ámbito de la robótica. En segundo lugar, la Unión se debe disponer a sacar pleno rendimiento y partido al Mercado Único Digital, que lo conforma todo el conjunto de reglamentos y directivas que han erosionado las barreras que existía en el entorno digital entre los distintos Estados miembros y, en tercer lugar, se precisa hacer buen uso del conjunto de datos procedentes del sector privado, tanto la industria como la investigación y también del sector público porque la Inteligencia Artificial se sustenta sobre un aprendizaje constante que procede de todos aquellos datos que se obtienen del mundo real. 2.1 Inversión en Inteligencia Artificial prevista Uno de los grandes aspectos que más destaca la Comisión Europea es el hecho de que el peso económico que mantiene la Unión Europea en contraposición a la inversión que se realiza en términos de Inteligencia Artificial es claramente insuficiente porque ha rondado los 2.400 a 3.200 millones de euros en el año 2016, limitando en parte el potencial de Europa frente a otros actores internacionales. Entre las economías occidentales, Estados Unidos es uno de los países que mayor inversión dedica y que junto a China son los dos gigantes cuyo dominio es indiscutible6. Éste último se encuentra acometiendo un plan de desarrollo de la Inteligencia Artificial de próxima generación que quiere convertir a Pekín en la capital asiática que compita con Silicon Valley como un polo de desarrollo extraordinario, financiando su gobierno la creación de un Parque Tecnológico por valor de más de 1.700 millones de euros7.

Las nuevas máquinas que sustituirán a los agricultores y jornaleros, Por Omar Kardoudi, El Confidencial (14/06/2021) Accesible en: https://www.elconfidencial.com/tecnologia/ novaceno/2021-06-14/robot-agricultor-trabajar-dar-de-comer_3131643/ 6 MIAILHE, N., et al., “Geopolítica de la inteligencia artificial”, Política exterior, 2020, vol. 34, núm. 193, pp. 56-69. 7 CYMAN, D.; GROMOVA, E. y JUCHNEVICIUS, E., “Regulation of artificial intelligence in BRICS and the European Union”, BRICS Law Journal, 2021, vol. 8, núm.1, pp. 86-115. 5

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL

45

En ese sentido, los competidores de Europa no escatiman en recursos. La Unión asume que debe potenciar su capacidad tecnológica e industrial, impulsando la adopción de la Inteligencia Artificial decididamente, en todos los ámbitos de la actividad económica, tanto en el sector público como en el privado. El conjunto de los Estados miembros debe tomar consciencia de la profundidad que conlleva esta nueva transformación tecnológica, que supondrá notables efectos socioeconómicos. Para lo que deberá adoptar todo un conjunto de normas que eleven los estándares éticos y salvaguarden la seguridad jurídica a lo largo de la Unión. Hasta el año 2017 solo el 25% de las grandes empresas europeas y el 10% de las pymes habían introducido en su cadena de producción y elevados sus estándares de digitalización. Cifras que contrastan, a su vez, con el hecho de que un tercio de la población activa de la Unión Europea carece de las habilidades suficientes para trabajar en el entorno digital a nivel básico. Este es uno, sino el mayor, de los grandes elementos contra los que la Unión está trabajando por revertir las elevadas cifras, insistiendo a los Estados miembros en que mejoren la formación de su población, solo así Europa podrá dar el salto necesario y colocarse a la vanguardia. El camino previsto por la Unión Europea, para avanzar en el ámbito de la Inteligencia Artificial, ha requerido un esfuerzo adicional al sector público y al privado. Ambos deben trabajar Unidos para generar sinergias positivas e incrementar mutuamente su inversión hasta alcanzar los 20.000 millones de euros. En ese sentido, el Ejecutivo comunitario juega como un protagonista fundamental, al ser la Comisión Europea la que aumentaría 500 millones de euros al año en inversión desde 2018, para impulsar el crecimiento, al mismo tiempo que brindaría su colaboración con los Estados miembros y que mantendría un nivel de coordinación adecuado, con el que se lograra alcanzar los objetivos de desarrollo necesarios. Este hecho diferencial supone que el relato en la construcción y articulación de la Inteligencia Artificial en Europa cobre un especial protagonismo todos los sectores económicos, a los que busca su implicación, en aras de maximizar los beneficios con la cooperación necesaria de los Estados, que debe coordinarse entre sí, pudiendo con ello, transformar las economías en entornos altamente digitalizados y en los que cabría insertar a todos los niveles de los procesos productivos la Inteligencia Artificial. Con un presupuesto que ha rondado los 2700 millones de euros, la Comisión Europea ha apoyado el reforzamiento de la investigación y la innovación para mantener el músculo necesario de Europa. El Consejo Europeo de investigación, disponiendo de una línea de financiación que apueste por la excelencia científica, ha adoptado subvenciones bajo el programa de acciones MarieSkłodowska-Curie que apuestan por la investigación en Inteligencia Artificial. Una investigación cuyos resultados deben redundar en el beneficio empresarial y social, accesible a las pequeñas y medianas (pymes) del que se nutre el tejido laboral europeo. La comisión ha propuesto desarrollar una plataforma de Inteligencia Artificial a la carta que facilite la adopción de esta puntera tecnología por parte de los operadores económicos, promocionando una red de polos de innovación digital especializados en Inteligencia Artificial, como desarrolladores de dicha tecnología.

46

Julio Guinea Bonillo

Además, una de las cuestiones que puede ayudar a potenciar la Inteligencia Artificial en Europa es el acceso plural a los datos recolectado. Los algoritmos con los que funciona la Inteligencia Artificial se nutren de un conjunto de datos y la Comisión es consciente que solo a través de un acceso plural y seguro se potenciará esta nueva transformación tecnológica, siempre que los datos no requieran necesariamente de una especial protección. En ese sentido, el sector público y el sector privado deben forjar la alianza conjunta para que, respetando las normas en materia de Protección de Datos Personales, se permita la reutilización de datos que no entrañe un riesgo sobre la privacidad. Europa apuesta por un centro de apoyo para compartir en común los datos y que facilite la asistencia técnica y legal, para que puedan verse con todas las garantías a este Banco de datos europeo. 2.2. Transformación socioeconómica de Europa La Comisión Europea fue consciente desde 2018 que la Inteligencia Artificial estaba llamada a transformar completamente el conjunto de las relaciones humanas. Una nueva época que estaba llamada a llegar con una transición un tanto abrupta. Con vistas a evitar errores que sucedieron en el pasado, con la llegada de nuevas tecnologías a los procesos de trabajo, supuso la aparición de movimientos sociales de protesta, como el ludismo que, a principios del siglo XIX con la destrucción de las máquinas, que venían a disminuir la necesidad de mano de obra. El ludismo marcó una época y Europa debe tratar de evitar que esta nueva revolución tecnológica suscite los mismos recelos. Para ello, es necesario, ante los 3 grandes retos a los que se enfrenta el conjunto de la Unión con la aparición de la Inteligencia Artificial, que la sociedad sea capacitada y comience su adaptación a un nuevo entorno en el que se requiere distintas habilidades. En principio, comenzar con la educación y la formación de los ciudadanos, puesto que solo se podrá aceptar una transformación de gran envergadura si previamente se sientan las bases para una adaptación social en su conjunto mediante la formación de las personas. Ello supondrá trasladar un conocimiento competencial en materia digital para que los ciudadanos puedan desarrollar con plena normalidad y funcionalidad su vida cotidiana. La Comisión Europea ha respaldado un plan de acción de educación digital con objeto de elevar las capacidades y competencias digitales de los europeos y formar a la ciudadanía en esta área tan vital. La desigualdad es uno de los riesgos más evidentes en los que pueden impactar negativamente en los balances económicos de los Estados miembros, si no se establecen medidas efectivas para que la ciudadanía sea capacitada con conocimientos y dominio de las nuevas tecnologías en este nuevo entorno. Ayudar en esta labor exige de fondos estructurales y de inversión europeos, cuya cantidad ascendía a los 2.7000 millones de euros en el marco financiero plurianual de 2014 a 2020, aportando ayudas específicas, para mejorar las capacidades digitales, de igual manera, que el Fondo Social Europeo con una cantidad de 2300 millones de euros. Se debe subrayar la necesidad de establecer prácticas específicas, para incrementar las competencias digitales avanzadas, desde la academia con el mundo empresarial, fomentando el acceso al mercado laboral con excelentes índices de formación. Asimismo, en

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL

47

niveles inferiores, como la formación profesional, se debe asumir el aprendizaje en Inteligencia Artificial como un elemento central de sus planes de estudio, de la misma manera que en los niveles superiores de educación formal, posgrados y doctorados deben incrementar su investigación y su atención sobre este ámbito de conocimiento. Por otra parte, resulta necesario incrementar y robustecer la protección social puesto que existirán una gran variedad de puestos de trabajo menos cualificados que, ante el desarrollo de la Inteligencia Artificial van a sufrir cambios o van a dejar de existir y eso supondrá cientos de miles de personas que acabarán en el desempleo y a las cuales hay que saber reorientar o reciclar en su formación y otorgarles una nueva posibilidad de integrar en el círculo de la economía. En efecto, si se van a destruir muchos empleos, también habrá millones de puestos de trabajo llamados a ser creados en este particular ámbito, mientras tanto se priorizará en la formación y la protección, para que nadie pueda quedarse atrás, reforzando la protección social como el salario mínimo vital para que todo ser humano perciba una cantidad económica que le permita llevar una vida con dignidad. 2.3. Auspiciar un respeto ético y legal a nivel europeo La Unión Europea se sustenta sobre unos valores claramente definidos en el Tratado de la Unión, a tenor del artículo 2 establece que: “la Unión se fundamenta en los valores de respeto de la dignidad humana, libertad, democracia, igualdad, Estado de Derecho y respeto de los derechos humanos, incluidos los derechos de las personas pertenecientes a minorías. Estos valores son comunes a los Estados miembros en una sociedad caracterizada por el pluralismo, la no discriminación, la tolerancia, la justicia, la solidaridad y la igualdad entre mujeres y hombres”. Esto pone de manifiesto que, si la Unión Europea debe adoptar unas normas en el marco de la Inteligencia Artificial, ante todo tiene que prevalecer la salvaguardia de la dignidad de todo ser humano, el pleno respeto a las parcelas de libertad individual y colectiva, la protección de la democracia, como sistema elemental de gobierno, la asunción de la la igualdad como principio ineludible en la vida social y digital y la promoción de los Derechos Humanos8. A ello contribuye positivamente el Reglamento General de Protección de Datos y las normas que se han creado, para garantizar la seguridad en el Mercado Único Digital. La Inteligencia Artificial debe seguir mismo recorrido, y destinada al bien común de la sociedad en su conjunto, apostar por la transparencia en su empleo, evitando que los algoritmos impidan el normal desarrollo de las personas o que se utilice con fines dolosos9. El principal elemento para apostar por la Inteligencia Artificial es el hecho de que va a suponer una mejora de la vida humana, el fin último es la felicidad, no con objeto de emplearla ZAVRŠNIK, A., “Criminal justice, artificial intelligence systems, and human rights”, ERA Forum. Springer Berlin Heidelberg, 2020. pp. 567-583. 9 LARSSON, S. y HEINTZ, F., “Transparency in artificial intelligence”, Internet Policy Review, 2020, vol. 9, núm. 2, pp. 1-16. 8

48

Julio Guinea Bonillo

para poner en riesgo a la sociedad, el estado de derecho o que se establezca un sistema discriminatorio10. La Unión apostará por la elaboración de un código ético en materia de Inteligencia Artificial, alineado la Carta de Derechos Fundamentales e incrementando la seguridad y responsabilidad en la utilización de las nuevas herramientas que se creen. Para lo cual, se precisa de un riguroso compromiso en favor de la actuación correcta, no fraudulenta, auspiciando controles y supervisiones por parte de los Estados miembros y movilizándose de manera que sean los principales interesados en dotar a la Inteligencia Artificial de unos contrapesos que eviten los excesos que se pudieran derivar de su uso masivo.

3. PLAN COORDINADO SOBRE LA INTELIGENCIA ARTIFICIAL EN EUROPA: EL CASO ESPAÑOL

El Acuerdo internacional suscrito el 10 de abril de 2018, entre 26 Estados miembros de la Unión11 y Noruega, buscaba comprometer a los Estados miembros en una estrategia coordinada en materia de Inteligencia Artificial y aprobada por el Consejo Europeo en junio de 2018. A partir del compromiso voluntario y participativo, adoptado soberanamente en el denominado día digital de 2018, la Comisión Europea comenzó a trazar un plan de coordinación que pudiera facilitar la extensión de la Inteligencia Artificial por parte de todos y cada uno de los europeos. Al mismo tiempo, se ponía en valor la confianza por parte de la ciudadanía, salvaguardando estándares éticos y las legítimas aspiraciones empresariales, acelerando el desarrollo esta tecnología. El primer punto de partida requería de un diseño por parte de los Estados miembros de planes nacionales, o también denominadas estrategias nacionales, que reflejasen las grandes líneas maestras de ejecución del plan junto a un presupuesto adecuado. Según la consultora McKinsey12, Europa invertía entre 6 y 8 menos que América del Norte en Inteligencia Artificial y 3 veces menos que Asia. El punto clave de la coordinación debía comenzar por la inversión, y la Unión Europea tenía que estructurar un crecimiento en inversiones de Inteligencia Artificial desde finales de 2018, encauzándose hacia un objetivo de 20.000 millones de euros, para la próxima década. Ese resultaba el elemental más trascendental y trasladaba una línea de financiación al programa Horizonte 2020 de 1.500 millones de euros para los años 2018 a 2020. No obstante, el objetivo para la próxima década era aunar entre inversiones públicas y privadas, correspondiendo al sector público un esfuerzo de 7.000 millones de euros y 13.000 a la empresa privada. No obstante, de poco serviría la inversión si continuaba la fragmentación en 10 ZUIDERVEEN BORGESIUS, F. J., “Strengthening legal protection against discrimination by algorithms and artificial intelligence”, The International Journal of Human Rights, 2020, vol. 24, núm. 10, pp. 1572-1593. 11 Bélgica, Bulgaria, República Checa, Dinamarca, Alemania, Estonia, Irlanda, España, Francia, Italia, Letonia, Lituania, Luxemburgo, Hungría, Marta, Países Bajos, Austria, Polonia, Portugal Eslovenia Eslovaquia, Finlandia, Suecia y Reino Unido. 12 Diez imperativos para Europa en la era de la Inteligencia Artificial y la automatización, McKinsey, 2017.

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL

49

el mercado digital, puesto que las empresas no podrían asumir una verdadera economía de escala y, por lo tanto, completar la articulación del Mercado Único Digital se vuelve crítico para el firme desarrollo de la Inteligencia Artificial. 3.1. La creación de un pool público-privado Los sectores de robótica y macrodatos ya mantienen una asociación estrecha entre las entidades públicas y privadas, movilizando más de 4.000 millones de euros en inversiones y, sin embargo, este mismo modelo debe replicarse para la Inteligencia Artificial. La Comisión Europea prevé que solo mediante un refuerzo entre las entidades privadas y el sector público se podrá alcanzar un desarrollo en la innovación de este ámbito, para lo cual, reiteramos que la Academia debe ser un pilar fundamental en el entorno científico e industrial europeo. La Unión Europea movilizará recursos, no solo para apoyar a las empresas consolidadas en el sector, sino también a las emergentes, como a los aceleradores de startups y se creará el Consejo Europeo de Innovación, con miras a sustentar aquellos esfuerzos tecnológicos más punteros y a las empresas que se encuentren dispuestas a innovar, independientemente de su tamaño y capacidad. Junto a la colaboración conjunta internacional, deben extenderse programas de apoyo a la experimentación porque este tipo de tecnología requiere de numerosas pruebas y programas que testeen los sistemas. Precisándose de laboratorios adecuados y la adopción de una plataforma de pruebas europea conjunta que todavía está por concretar. Uno de los puntos clave que enfatiza el plan de coordinación es el de apoyar la atracción de talento por parte de aquellos profesionales cuya formación permita desplegar todas las capacidades en este sector. Europa debe hacer un esfuerzo a la hora de ofrecer flexibilidad para obtener los trámites burocráticos en el acceso espacio Schengen y las empresas deben entender que solo mediante una correcta remuneración van a poder fijar estos profesionales en suelo comunitario. Mientras Europa no disponga de un capital humano lo suficientemente formado para surtir de mano de obra a las empresas tecnológicas, estará obligada a importar trabajadores y la tarjeta azul, que se encuentra regulada bajo la directiva 2009/50/CE debe contemplar estos supuestos. Sin embargo, no solamente de la atracción del talento se puede encargar la Unión, sino que también debe formarse a las siguientes generaciones en este ámbito tan especifico con la promoción de estudios específicos en Inteligencia Artificial. Los Estados vienen siendo los responsables en fijar en diferentes programas de apoyo a la investigación a todos aquellos que se centren en robustecer la Inteligencia Artificial. 3.2. El Espacio de Datos europeo La Inteligencia Artificial en Europa podrá tomar fuerza y estar operativa siempre y cuando existan los sistemas adecuados para recolectar datos, ponerlos a disposición de entidades públicas y privadas, basándose en las premisas de confianza, disponibilidad y una correcta infraestructura.

50

Julio Guinea Bonillo

Los algoritmos que alimentan los procesos de toma de decisiones autónomas por parte de robots y computadoras, guiados por sistemas de Inteligencia Artificial requieren de un gran número de datos para poder operar. Los algoritmos son capaces de actuar autónomamente, identificando patrones en aquellos datos que se les suministran y tienen la capacidad de encontrar evidencias que al ojo humano se le escaparían. La Unión Europea, en vista a facilitar la correcta disposición y tratamiento de datos, ha adoptado el Reglamento General de Protección de Datos como principal vehículo jurídico para dotar al Mercado Único Digital de un acceso correcto y adecuado a esos datos, respetuoso con los derechos individuales de las personas. No obstante, el Consejo Europeo de Protección de Datos es el que debe adoptar un papel proactivo a la hora de velar porque el procesamiento de los datos en el campo de la Inteligencia Artificial se lleve a cabo de una manera correcta. Por otro lado, se ha adoptado en 2018 el Reglamento relativo a la libre circulación de datos no personales y ha permitido comenzar a desbloquear todos aquellos datos que emanen de procesos industriales o terciarios, que sean obtenidos por parte de computadoras o máquinas y que circulen a lo largo de la Unión, para optimizar el proceso de aprendizaje de Inteligencia Artificial13. La adopción de espacios de datos europeos en ámbitos como las energías, el sector manufacturero u otro tipo de empresas de importante valor añadido innovador será enormemente valioso, ya que permitirá el acceso común a los datos tanto del sector público como del sector privado y permitirá capacitar a la Inteligencia Artificial, bajo un marco de interoperabilidad y requisitos claramente definidos. La Unión Europea ya ha puesto sobre la mesa distintas iniciativas con las que está aportando datos que parten de programas espaciales, con el programa estrella copernicus, a través de la cual se realiza una detenida observación de la tierra y se están obteniendo millones de fotografías y de valores que pueden ser empleados por otras empresas y compañías para la creación de un determinado producto. Al mismo tiempo, en el campo de la salud se están financiando bases de datos con imágenes anonimizadas relacionadas con dolencias de tipo canceroso que facilita el rápido diagnostico por la Inteligencia Artificial de otros pacientes que pueden estar sufriendo un desarrollo en etapas tempranas de cáncer y que puede aliviar el sufrimiento humano14. El volumen de datos que va a ser creado en los próximos años es de tal magnitud que se van a requerir ordenadores de muy alto rendimiento, denominados súper ordenadores y bajo el programa Eurohpc, la Unión Europea destinará la financiación adecuada para imprimir un salto generacional cuántico en la generación de computadoras capaces de procesar el Big Data y formar expertos en el manejo de la Inteligencia Artificial. Para ello, es vital adquirir una autonomía estratégica en el campo de la creación y diseño de procesadores con un nivel de consumo energético no muy elevado porque toda esta gama de Reglamento (UE) 2018/1807 del Parlamento Europeo y del Consejo, de 14 de noviembre de 2018, sobre un marco para la libre circulación de datos no personales en la Unión Europea. 14 TSANG, L., et al., “The impact of artificial intelligence on medical innovation in the European Union and United States”, Intellectual Property & Technology Law Journal, 2017, vol. 29, núm. 8, p. 3-11. 13

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL

51

superordenadores va a ser una realidad en muy pocos años. Europa no puede depender de suministradores externos, debería lograr su propia línea de producción tanto de chips, como microchips y procesadores, con una potente industria dedicada a suministrar los componentes necesarios. 3.3. Una ética coordinada en la expansión de la Inteligencia Artificial El plan coordinado por la Unión Europea vuelve a reivindicar que la ciudadanía solo aceptará el uso masivo de la Inteligencia Artificial siempre que obedezca a los requisitos de: predictibilidad, responsabilidad, verificabilidad y respetuosidad con los derechos fundamentales y la ética15. Tal y como ha destacado en numerosas ocasiones la catedrática de ética, Adela Cortina, esta tecnología debe ser empleada para poner en el centro del desarrollo y el progreso al ser humano, con miras a hacer el bien y se diseñe con objeto de robustecer a la sociedad y no de empeorarla. Sobre la base del trabajo de un Conjunto de expertos se elaboraron las directrices éticas para hacer un uso responsable de la Inteligencia Artificial en la Unión Europea. Se publicó un borrador a finales de 2018 y en marzo de 2019 ya se tenía la versión definitiva, permitiendo que aquellos países terceros que no perteneciesen a la Unión Europea pudieran entender la visión que por objeto tenía la Unión sobre este nuevo campo tecnológico. De esta manera, si compartían este mismo propósito, podía configurarse una alianza internacional para fortalecer el desarrollo de la Inteligencia Artificial, guiado por patrones éticos y responsables. Supone también mantener una línea de estudio sobre el posible mal uso de esta tecnología, para prevenir ataques o abusos por parte de empresas o gobiernos que buscan debilitar a la Unión Europea. La ciberseguridad necesariamente tiene que estar presente de la mano de una actuación ética porque los conflictos que se suceden en el mundo y las tensiones geopolíticas van a impactar en el entorno digital y buscarán más tarde o temprano sabotear las redes de Inteligencia Artificial16. No obstante, si en el futuro hubiera que desplegar algún tipo de tecnología que requiriese una actuación armada conjunta a nivel europeo, en aras de defender nuestros valores y derechos frente a posibles ataques, la actuación ética y, al mismo tiempo, aceptable solo aceptará por procedimiento que la orden para neutralizar cualquier objetivo tendrá que ser dada por un ser humano, y no por parte de un algoritmo que decida sobre la vida o muerte de otras personas17.

VAKKURI, V., et al., “The current state of industrial practice in artificial intelligence ethics”, IEEE Software, 2020, vol. 37, núm. 4, pp. 50-57. 16 MOSTEANU, N. R., “Artificial Intelligence and Cyber Security–A Shield against Cyberattack as a Risk Business Management Tool–Case of European Countries”, Quality-Access to Success, 2020, vol. 21, núm. 175. 17 BARBÉ, E. y BADELL, D., “The European Union and lethal autonomous weapons systems: United in diversity?”, European Union Contested, 2020. pp. 133-152. 15

52

Julio Guinea Bonillo 3.4. El Plan Nacional de Inteligencia Artificial de España

La Unión Europea solicitó que a mediados de 2019 los Estados miembros estuvieran preparando sus planes de coordinación y los hicieran públicos al respecto de la extensión de la Inteligencia Artificial, pero en el caso español se vivió con un gran retraso la publicación. Hasta noviembre de 2020 no se hizo oficial desde el Palacio de la Moncloa la Estrategia Nacional de Inteligencia Artificial (ENIA) y ha comenzado a desplegar sus efectos en 2021. La Agenda España Digital 2025, presentada en julio de 2020, ya presentaba en su línea de acción 9 sobre Economía del dato e Inteligencia Artificial, un eje prioritario de actuación principal, y sustentado sobre la Agenda del Cambio que había sido publicada en febrero de 201918. El propósito era el de plantearse “como un marco de referencia para el periodo 20202025 que permita orientar los planes sectoriales, estatales y estrategias regionales en esta materia, en línea con las políticas desarrolladas por la UE, e impulsar la transformación de los diferentes sectores económicos mediante la cooperación público-privada19”. Sus objetivos son la excelencia científica e innovación en la Inteligencia Artificial; la proyección de la lengua española, la creación de empleo cualificado; la transformación del tejido productivo; la generación de un entorno de confianza en relación a la Inteligencia Artificial; subrayar en este proceso los valores humanistas en la Inteligencia Artificial y, en último lugar, hacerla más inclusiva y sostenible. Objetivos que comparte plenamente con la ambiciosa agenda comunitaria y las Naciones Unidas, a través de su Agenda 2030. El Plan presenta 6 ejes estratégicos: 1. Impulsar la investigación científica, el desarrollo tecnológico y la innovación en IA. 2. Promover el desarrollo de capacidades digitales, potenciar el talento nacional y atraer talento global en Inteligencia Artificial. 3. Desarrollar plataformas de datos e infraestructuras tecnológicas que den soporte a la IA. 4. Integrar la IA en las cadenas de valor para transformar el tejido económico. 5. Potenciar el uso de la IA en la administración pública y en las misiones estratégicas nacionales. 6. Establecer un marco ético y normativo que refuerce la protección de los derechos individuales y colectivos, a efectos de garantizar la inclusión y el bienestar social. Cada uno de dichos ejes aborda una serie de medidas de actuación. El primero asume la necesidad de crear la Red Española de Excelencia en Inteligencia Artificial, el Refuerzo del sistema de contratos pre-doctorales y post-doctorales de investigación, la flexibilización de la trayectoria científica del personal investigador en Inteligencia Artificial o la creación de nuevos centros nacionales de desarrollo tecnológico multidisciplinares que coadyuven a la consolidación de la Inteligencia Artificial en España; programar ayudas para empresas en este sector, reforzar la red de Centros de Innovación Digital o la creación del programa de Misiones de I+D+i. En el segundo eje destaca el Desarrollo del Plan Nacional de Competencias Digitales, la promoción de una mayor oferta formativa en Formación Profesional y universitaria orien18 Accessible en: http://www.mineco.gob.es/stfls/mineco/ministerio/ficheros/190208_agenda_del_ cambio.pdf 19 Estrategia Nacional de Inteligencia Artificial, noviembre de 2020, p. 13.

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL

53

tada a la IA. La puesta en marcha del Programa “SpAIn Talent Hub” y el lanzamiento de un programa de ayuda a la homologación de títulos y acreditaciones internacionales para la atracción de talento internacional promoviendo talento femenino. El tercer eje asume la creación de la Oficina del Dato y del Chief Data Officer. La creación de espacios compartidos de datos sectoriales e industriales y repositorios descentralizados y accesibles. El impulso al Plan Nacional de Tecnologías del Lenguaje. El refuerzo de las Capacidades Estratégicas de Supercomputación (cloud, edge, quantum) y la puesta en marcha del Proyecto Datos por el Bien Social. El cuarto eje destaca por el lanzamiento de programas de ayudas para empresas para incorporación de IA en los procesos productivos de las cadenas de valor. Los programas de impulso a la transferencia de innovación en IA mediante los Centros de Innovación Digital especializados en Inteligencia Artificial de carácter industrial. El lanzamiento del Fondo NextTech de capital riesgo público-privado para impulsar el emprendimiento digital y crecimiento de empresas en IA (scale ups). El desarrollo del Programa Nacional de Algoritmos Verdes. El quinto eje busca incorporar la Inteligencia Artificial en la administración pública para mejorar la eficiencia y eliminar cuellos de botella administrativos. Poner en marcha un laboratorio de innovación para nuevos servicios y aplicaciones de la IA en la Administración Pública (GobTechLab). Fomentar las competencias Inteligencia Artificial en las Administraciones Públicas. Adoptar el Programa “Inteligencia Artificial para una gestión pública basada en datos”. Promover misiones estratégicas nacionales en el ámbito de la administración pública donde la Inteligencia Artificial puede tener impacto (foco en salud, justicia, empleo). El sexto eje desarrollará un sello nacional de calidad Inteligencia Artificial. Pondrá en marcha observatorios para evaluar el impacto social de los algoritmos. Desarrollará la Carta de Derechos Digitales. Implementará un modelo de gobernanza nacional de la ética en la Inteligencia Artificial (Consejo Asesor IA). Se promocionará el diálogo en foros de discusión, sensibilización y participación nacionales e internacionales en relación a la Inteligencia Artificial y con todo ello se espera que España esté a la vanguardia de la Inteligencia Artificial. En función de que se ejecuten los programas de inversión previstos, se dote de recursos suficientes y se evite la negligente administración, la hoja de ruta sea adecuada para adaptar España al nuevo contexto de competitividad global en términos de Inteligencia Artificial. 4. EL LIBRO BLANCO SOBRE LA INTELIGENCIA ARTIFICIAL - UN ENFOQUE EUROPEO ORIENTADO A LA EXCELENCIA Y LA CONFIANZA El Libro Blanco es la última pieza sobre la que pivotará la articulación legislativa futura en materia de Inteligencia Artificial20. Fue publicado el 19 de febrero del 2020 y ofrece el enfoque europeo a través del cual deberá sustentarse el ecosistema normativo en materia de 20 DE MIGUEL ASENSIO, P. A., “Libro Blanco sobre inteligencia artificial: evolución del marco normativo y aplicación efectiva”, La Ley Unión Europea, 2020, núm. 79, pp. 1-5.

54

Julio Guinea Bonillo

Inteligencia Artificial, a ser desarrollado para que sus beneficios desprendan efectos sobre el conjunto de la ciudadanía, las empresas y los gobiernos. Los grandes pilares en los que se apoya son el marco político, en el cual destaca los principales compromisos que tendrán la obligación de ser adoptados a nivel regional, nacional y europeo, para poder concretar el denominado ecosistema de excelencia bajo una sólida base investigadora que otorgue claros beneficios al conjunto de las cadenas de valor. Por otra parte, se destaca el marco normativo que la Unión debería articular en el ámbito de la Inteligencia Artificial, sustentándose sobre el respeto a los derechos fundamentales, los derechos de los consumidores y la seguridad jurídica en aras de articular la necesaria confianza, para que los ciudadanos y las empresas, así como los organismos públicos puedan desarrollar sus funciones con total normalidad. En último lugar, se destaca la estrategia europea de datos, como elemento que facilitará a la Unión transformar su economía en una más ágil a la hora de gestionar los datos en el entorno digital. 4.1. La concreción de un ecosistema basado en la excelencia La Unión está dispuesta a apostar por una nueva adaptación que extraiga las ventajas de la Inteligencia Artificial, pero para ello reconoce que la economía solo puede llevar a cabo la transformación necesaria siempre que exista la colaboración óptima entre los Estados miembros. Por ello, no solo propone revisar el primitivo plan de coordinación, sino que pide además un esfuerzo a la comunidad investigadora, que actualmente se encuentra bajo una grave fragmentación en centros dispersos en cada uno de los Estados miembros, para que europeíce sus avances. En ese sentido, resulta imperativo crear una plataforma a modo de web que permita la interconexión de equipos y especialistas, que ayuden y materialicen al progreso de la investigación, la innovación y el desarrollo técnico. El Ejecutivo comunitario está dispuesto a apostar por los denominados centros de excelencia como polos de recepción de inversión público-privada, tanto europea y nacional como la procedente del sector empresarial y que servirán como motores y modelos de este proceso. La Comisión Europea apuesta por una agenda de capacidades que consolide las competencias por parte de la población y se refuerce con el Plan de Acción sobre Educación Digital que contribuirá a que ningún ciudadano quede abandonado en esta transformación digital. Supondrá una mejora notable en la formación de los currículos educativos nacionales, para que contemplen mayores y mejores competencias en el contexto digital. El programa Europa digital respaldará a las universidades que se preocupen por facilitar a los investigadores más punteros un desarrollo académico y que transformen a la comunidad educativa en un puntal vanguardista global. No cabe solamente ceñirse sobre el aspecto puramente académico, sino también abordar las necesidades de las pequeñas y medianas empresas, siendo apoyadas desde los centros de innovación digital y que cuenten con el necesario acceso a la financiación para poder implementar en sus cadenas de valor innovaciones oportunas y trasladen la Inteligencia Artificial a su negocio. Los fondos de recuperación tras la pandemia del coronavirus van a contemplar específicamente a las

LA UNIÓN EUROPEA Y EL DESAFÍO DE LA INTELIGENCIA ARTIFICIAL

55

empresas que lleven a cabo la ejecución de esta transformación, para darles una ayuda y las consolide. Singularmente, el Ejecutivo comunitario va a permitir que los Estados miembros mantengan una gran autonomía en este proceso, aunque eso no impida que realice las oportunas averiguaciones y controles, para comprobar que al menos un centro de innovación digital en el seno de cada uno de los Estados asuma un notable nivel de especialización en Inteligencia Artificial. Ello permitirá contar con centros de referencia europeos tutelados por los Estados, pero controlados más directamente por la Comisión. La Unión Europea apostará por una alianza estratégica entre el sector privado y el sector público en cuestiones de Inteligencia Artificial, robótica y datos, que facilite la investigación conjunta y la obtención de los mayores beneficios por parte de ambos sectores. En efecto, los beneficios conducirán al cumplimiento de una de las claves que es la promoción por parte de las instituciones comunitarias de la adopción plenamente de la Inteligencia Artificial por parte de la administración pública21, ya sea en la prestación de servicios públicos, en la configuración de Smart cities22, en la atención sanitaria o por parte de las administraciones rurales que suelen quedar más olvidadas bajo los planes de inversión pública. De hecho, existen ya multitud de normas dispersas que abordan los pormenores de la seguridad en el ámbito digital, pero ninguna en concreto sobre la Inteligencia Artificial y algunos Estados miembros han optado por crear sus propios paquetes normativos23. Eso pone en riesgo la coherencia jurídica en la Unión y, por ello, la Comisión Europea propone la articulación de un marco regulador europeo específico sobre este ámbito, exclusivamente centrado en la Inteligencia Artificial. Se precisa un enfoque que tenga en cuenta el riesgo de estos nuevos sistemas y que las partes interesadas sean conscientes del derecho aplicable en cada caso en concreto. El nuevo paquete normativo, que supondrá la constitucionalización de la Inteligencia Artificial en Europa24, debería centrar: los datos de entrenamiento y registros de datos por parte de la Inteligencia Artificial, la información a ser facilitada por parte de los sistemas, su solidez y exactitud; la supervisión humana que existirá en todo momento y los requisitos específicos en el caso de determinadas aplicaciones. Al fin y al cabo, los destinatarios de estas normas van a ser el conjunto de los ciudadanos, pero se van a ver especialmente afectados aquellos que desarrollen e implementen esta tecnología los usuarios potenciales de la misma. Ante lo cual, independientemente de que estén o no establecidos en la Unión Europea deberían estar sujetos a estos requisitos, de forma que se eviten los agujeros a través de los cuales perdería completa eficacia. Se asume la necesidad de implementar 21 CRIADO, J. I., “Inteligencia Artificial (y Administración Pública)”, EUNOMÍA. Revista en Cultura de la Legalidad, 2021, núm. 20, pp. 348-372. 22 TANTAU, A. y ŞANTA, A. M., “Iulia. New Energy Policy Directions in the European Union Developing the Concept of Smart Cities”, Smart Cities, 2021, vol. 4, núm. 1, pp. 241-252. 23 BARFIELD, W., y PAGALLO, U., Advanced Introduction to Law and Artificial Intelligence, Edward Elgar Publishing, 2020. 24 DE GREGORIO, G., “The rise of digital constitutionalism in the European Union”, International Journal of Constitutional Law, 2021, vol. 19, núm. 1, pp. 41-70.

56

Julio Guinea Bonillo

prontamente un sofisticado sistema de evaluación, para probar previamente la Inteligencia Artificial que suponga un riesgo elevado, antes de ponerla en uso, con una obligación absoluta por parte de todos los sujetos económicos para que las lleven a cabo antes de que se ponga en funcionamiento25. Aprobado el nuevo marco financiero plurianual de 2021 a 2027 Europa se propone mejorar sus centros de excelencia dedicados a la investigación en materia de Inteligencia Artificial, así como su modelo de gobernanza26, para continuar con los programas de investigación y profundizar en ámbitos tan sensibles como la energía, la eficiencia de datos, el aprendizaje automático no supervisado, apostar por adicionales instalaciones de ensayo y experimentación en materia de Inteligencia Artificial con miras a desarrollar las futuras tecnologías que se trasladen al sector sanitario, industrial, de transportes, manufacturero o agroalimentario. Especialmente, pensando en el compromiso de convertir a Europa en un continente hipocarbónico, neutro en emisiones de CO2 para el año 2050. La Comisión Europea apostará por todas aquellas tecnologías que energéticamente otorguen a la Inteligencia Artificial una sostenibilidad mayor y suponga una mejora ecológica en la cadena de valor27. 5. CONCLUSIÓN La Inteligencia Artificial en la Unión Europea se encuentra en pleno desarrollo y se ha venido reforzando económicamente las inversiones en este sector. Sin embargo, es importante destacar que su extensión normativa no es muy extensa. De hecho, a partir del Libro Blanco de 2020 es cuando la Comisión Europea destaca la necesidad de un marco de gobernanza sobre el ámbito de la Inteligencia Artificial en el que se requiere de medidas concretas alineadas con la estrategia europea de datos, que conviertan a la Unión en un centro neurálgico digital a nivel mundial. En temas de Inteligencia Artificial está todo por escribirse, se van a realizar consultas a las empresas, a la sociedad civil, a los entornos académicos para que eleven las propuestas más adecuadas teniendo en cuenta el marco de seguridad y responsabilidad civil que la Comisión ha facilitado. Por ello, los próximos años serán decisivos para entender el rumbo que Europa asume bajo el contexto de la Inteligencia Artificial.

25 SANCHO De HOYOS, M., “El libro blanco sobre inteligencia artificial de la Comisión Europea: reflexiones desde las garantías esenciales del proceso penal como “sector de riesgo”, Revista Española de Derecho Europeo, 2020, núm. 76, pp. 9-44. 26 HERNÁNDEZ PEÑA, J. C., “Gobernanza de la inteligencia artificial en la Unión Europea. La construcción de un marco ético-jurídico aún inacabado”, Revista General de Derecho Administrativo, 2021, núm. 56, p. 13. 27 HAMON, R.; JUNKLEWITZ, H. y SANCHEZ, I., “Robustness and explainability of artificial intelligence”, Publications Office of the European Union, 2020.

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL.. APLICADA A LA MEDICINA: ACTUALIDAD Y PROPUESTAS Óscar Andrés Molina Profesor Adjunto de Legislación Sanitaria Director de la Clínica Jurídica Universidad Europea (Madrid) DOI: 10.14679/2056

1. INTRODUCCIÓN1 Actualmente, nuestra sociedad vive rodeada de programas y sistemas que han sido desarrollados por el ser humano, y cada vez es más habitual que dichos sistemas tengan integrada Inteligencia Artificial (IA). Dichos sistemas almacenan, gestionan y analizan cantidades ingentes de datos, y dependiendo del tipo de software con el que hayan sido diseñados, pueden incluso tomar decisiones autónomas, sin que hayan sido prestablecidas por el ser humano. En el sector sanitario, la Inteligencia Artificial no solo ha resultado ser efectiva de cara a mejorar la calidad de las asistencias y maneras de cuidar al paciente, sino que también ha permitido reducir los diferentes errores que se producen por el ser humano. De este modo, algunas de las tareas realizadas por los profesionales sanitarios que resultaban más monótonas y repetitivas en el campo de la medicina, y que además ocupaban un gran espacio de tiempo para nuestro personal sanitario, son ahora competencia de programas y robots que tienen integrada inteligencia artificial y reemplazan al ser humano en dicha labor, permitiendo a su vez al personal sanitario dedicarse a realizar otras tareas y mejorando a su vez la medicina personalizada. Para poder entender mejor qué significa e implica la Inteligencia artificial podemos tomar como referencia a Alan TURING (1950), que fue uno de los pioneros en este campo, que en su artículo “Computing Machinery and Intelligence” define dicho concepto como un conjunto de sistemas y ordenadores digitales que combinan diferentes algoritmos y 1 Esta investigación se realiza dentro del marco del Proyecto Resolución Analógica y Digital de Controversias ante los Objetivos de Desarrollo, de la Facultad de Ciencias Sociales y de la Comunicación de la Universidad Europea de Madrid.

58

Óscar Andrés Molina

programas de procesamiento con el objetivo de reproducir algunos de los trabajos del ser humano2. Otra posible definición proviene de la Comisión de la Unión Europea (2018), que considera en un informe inédito que la Inteligencia Artificial es un conjunto de dispositivos, sistemas y máquinas que combinan diferentes algoritmos con el objetivo de imitar y recrear acciones y funciones propias del ser humano3. Según el mismo informe de la Comisión (2018), los trabajos recreados por estos dispositivos pueden estar predeterminados de forma específica por el ser humano para un objetivo concreto, o bien, si disponen de un software y diseño más complejo, podrán incluso elaborar cometidos de forma autónoma. Así, cuantos más datos e información posean dichos sistemas, más productivos y eficientes serán sus resultados y, para ello, serán necesarios los algoritmos. Para definir qué es un algoritmo y justificar por qué lo incluimos en el estudio, es necesario subrayar que es un modelo matemático que se aplica como una solución tecnológica en el mundo de la inteligencia artificial, produciendo una gran diversidad de resultados y opciones. El algoritmo se está utilizando mucho dentro del segundo modelo de inteligencia artificial, denominado Machine Learning. Este instrumento de la IA nos permite realizar una serie de predicciones y establecer numerosos patrones a través de la información, esta información está formada por una gran cantidad de datos no tabulados, es decir que se pueden generar patrones sin operar con datos claramente prestablecidos por el hombre. De la misma manera que hay varios modelos en los que se basa la IA, también disponemos de diferentes tipos de algoritmos que se diferencian en función de su manera de encontrar patrones y de tratar los diferentes datos para después generar una predicción4. El primer tipo de algoritmo del que vamos a hablar es el Algoritmo Supervisado; dicho algoritmo está orientado a hacer una clasificación a través de una predicción concreta y específica. Para poder hacer dicha predicción se requiere que haya unos datos con los que pueda entrenar el algoritmo y además etiquetar los datos con los que está entrenando. Un ejemplo sería que en diferentes radiografías de pulmón voy etiquetando si tienen cáncer o si están sanos, con estas etiquetas y estos datos el algoritmo aprende a distinguir unas de otras, una vez que el algoritmo a través del entrenamiento ha aprendido, se pueden incluir nuevas imágenes que no hayan estado en el modelo de entrenamiento previo y el algoritmo podrá hacer la distinción con las mismas etiquetas que habíamos elegido anteriormente sin que tenga que mediar el ser humano5. Dentro del algoritmo Supervisado podemos encontrarnos dos clases, el algoritmo de regresión que realiza predicciones de carácter numérico y el algoritmo de clasificación que 2 TURING, A.M., “Computing machinery and intelligence”, Mind, vol. 59, núm. 236, 1950, pp. 433-460. 3 Comisión de la Unión Europea. “Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones. Inteligencia artificial para Europa”. Informe inédito. Comisión de la Unión Europea, 2018. 4 Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadoras sobre la IA (Acto de IA) y por el que se modifican determinados actos legislativos de la Unión. COM (2021) 2021/0106 COD 206 final, p. 39. 5 Ibid., p. 39.

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL...

59

es el que hemos visto con el ejemplo de antes. Dicho algoritmo de clasificación suele ser dicotómico, es decir, pulmón sano o pulmón con cáncer, afirmativo o negativo. El machine Learning se aplica cada vez más en todos los sectores, en el campo de la medicina los algoritmos de aprendizaje supervisado que más se utilizan son el Support Vector Machines (Máquinas de soporte vectorial) en a delante SVM, y las Redes Neuronales. El SVM es uno de los algoritmos supervisados más eficaces que existen, es de carácter dicotómico ya que contiene dos tipos de etiquetas/agrupaciones. El SVM busca separar de la forma más eficaz los dos tipos de agrupaciones en el estudio, creando un modelo de predicción capaz de identificar estos dos mismos grupos en una agrupación nueva. Decimos que la precisión es muy alta cuando el algoritmo consigue separar claramente ambas agrupaciones de datos. El siguiente tipo de algoritmo es el algoritmo No Supervisado, el modus operandi parece el mismo en el sentido que es necesario nutrirle de datos para que pueda operar, pero se diferencia del anterior principalmente en que en esta ocasión no se establecen previamente unas etiquetas, sino que el propio algoritmo busca similitudes entre los numerosos datos y los agrupa el mismo teniendo en cuenta las diferencias que puedan tener. Posteriormente es el investigador que tendrá que interpretar y etiquetar las diferentes agrupaciones. Dentro de los algoritmos de aprendizaje no supervisado se suelen utilizar los de Agrupamiento o los de Reglas de Asociación. Un algoritmo No Supervisado que es bastante utilizado es el K-MEANS, dicho algoritmo realiza agrupaciones de forma automática, se utiliza fundamentalmente en el procesamiento y el análisis de Big Data, permite clasificar a los sujetos según sus características, y el objetivo fundamental es que dentro de cada agrupación o clúster se encuentren sujetos que sean muy parecidos entre sí, pero que a su vez sean muy diferentes con respecto a los sujetos que se encuentren dentro de otro clúster diferente. es importante definir el número de grupos que va a haber previamente. El tercer tipo de algoritmo es el algoritmo de refuerzo, está orientado a potenciar y fortalecer el aprendizaje, la peculiaridad y la gran ventaja que tiene este algoritmo es que es capaz de reaccionar en tiempo real a lo que va sucediendo a su alrededor, adaptándose sobre la marcha a los diferentes datos que va analizando6. Una vez definidos los conceptos principales, nos centraremos en los siguientes epígrafes en describir cómo se ha incorporado la Inteligencia Artificial al ámbito de la medicina, cuáles son sus ventajas y los riesgos de su uso y qué legislación actual podría aplicarse en los conflictos que se plantean, así como qué propuestas se están produciendo para mejorar la normativa en estas situaciones nuevas y complejas. 2. CÓMO FUNCIONA LA INTELIGENCIA ARTIFICIAL EN LA MEDICINA Lo que antes ocurría únicamente en películas de ciencia ficción y que pensábamos que no podría darse en la vida real, lleva, en realidad, décadas desarrollándose. Poco a poco hemos podido comprobar que el desarrollo de robots y de sistemas basados en la inteligencia artificial en el ámbito sanitario nos aporta una mayor funcionalidad. La asistencia geriátrica, por ejemplo, es uno de los grandes campos en los que se aplican estos productos, con una gran 6



COM (2021) 2021/0106 COD 206 final, p. 39.

60

Óscar Andrés Molina

aceptación por parte de los consumidores y de los gestores, sobre todo porque a través de la investigación y el desarrollo se han podido reducir considerablemente los costes. A día de hoy disponemos de una amplia gama de tecnologías que podemos aplicar en funciones tan importantes como prevención, asistencia, seguimiento para todas aquellas personas mayores o que padecen algún tipo de trastorno cognitivo, pérdida de memoria o similar trastorno7. La Inteligencia Artificial no debe ni puede quedar al margen de los avances en el ámbito sanitario y, por ello, debe ser parte integral de la formación de estos profesionales, de modo que no solo se conviertan en expertos en su ámbito, sino que también comprendan los fundamentos de las tecnologías digitales que utilizan y que conozcan en profundidad la parte más técnica de su uso. No olvidemos que, diariamente y de forma constante, los profesionales de la Salud se enfrentan a multitud de decisiones y situaciones que afectan a la vida y al bienestar de los pacientes, resolviendo y mejorando en numerosas ocasiones sus patologías a través de una asistencia que, gracias a la tecnología, puede ser más rápida, sencilla y eficiente. En este sentido, pensemos en ejemplos como el triaje, que facilita la distribución de los pacientes en el servicio de Urgencias o en todos los médicos de cabecera que señalan que, en ocasiones, escuchar a sus pacientes es la mejor forma de determinar las causas de su malestar, además de ser una parte de su actividad muy valorada por los pacientes, que se sienten mejor al ser escuchados8. La IA y la robótica, sin duda, pueden ayudar a los profesionales del sector en estas tareas que, en realidad, no requieren de un gran esfuerzo ni de protocolos excesivamente complejos, pero que impactan enormemente en las vidas de los ciudadanos y ciudadanas y en su derecho a la protección de la salud. Así, de la misma manera que en muchos sectores y en numerosas ocasiones podemos descubrir que la mejor manera de resolver un problema no tiene por qué ser aquella que implique los últimos avances tecnológicos, o los más complicados, también en el ámbito de la Medicina puede ser más útil emplear herramientas, programas y dispositivos más simples, no solo desde un punto de vista médico, sino también desde un punto de vista económico y temporal. Las aportaciones de los profesionales de la medicina serán, en este sentido, necesarios para escoger y desarrollar los medios más adecuados y eficientes, puesto que los programadores de software y los productores y creadores de programas no son los responsables últimos de su uso y aplicación ni conocen, posiblemente, todas las casuísticas que pueden darse en un campo tan complejo como la Medicina9. Con la automatización de todos los procesos, en la Medicina actual se comparan cantidades ingentes de datos, a través del contraste y la identificación de diferentes patologías en infinidad de imágenes, radiologías e historias clínicas. Los programas basados en Inteligencia Artificial son capaces de automatizar este tipo de trabajos de una manera más eficiente y rápida que el ser humano. Sin embargo, especialmente en un campo tan sensible, aunque la IA y los dispositivos tecnológicos logren aportar esa mayor rapidez y agilidad a 7 Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103-INL). 8 MOLINA, A. y JIMÉNEZ BERNAL, M., “Los desafíos de la Robótica y la Inteligencia Artificial para la construcción de una nueva ciudadanía europea”, en Bonillo, J. et al. (coord.), La Europa Ciudadana, Madrid: Dykinson, 2020, pp. 161-178. 9 Comité Económico y Social Europeo 2017.

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL...

61

la hora de realizar servicios repetitivos, especializados y de gestión y análisis de datos, esto no significa que el ser humano pueda ser sustituido por ellos, puesto que, una vez gestionados los datos, es necesario que alguien interprete la información y la aplique a cada caso concreto, algo que solo los profesionales del ámbito sanitario podrán hacer con solvencia10. De este modo, los servicios aportados por la robótica y la Inteligencia Artificial en la Medicina tienen como objetivo cumplir unas tareas especializadas y repetitivas que ocupan un gran espacio de tiempo a los profesionales sanitarios. Para que estos puedan dedicar toda su atención a otras tareas que impliquen criterios pluridisciplinares o que requieran más empatía y cercanía de cara al paciente, deben delegar dichas funciones en los programas y sistemas basados en Inteligencia Artificial, que puede contribuir a potenciar e impulsar el fortalecimiento de la Medicina personalizada, ofreciendo a los profesionales la posibilidad de invertir tiempo y esfuerzos en innovación e investigación. Una de las posibilidades que ofrece la evolución de la robótica ha sido la que ha llevado a crear y utilizar sistemas ciberfísicos (SCF); dichos sistemas pueden llegar a restablecer parcial o completamente algunas funciones de nuestro cuerpo que se encontraban reducidas. Si logramos insertar dichos sistemas en un organismo humano, siendo capaces de incluso sustituir o rehabilitar la capacidad funcional de ciertos órganos, hasta que punto no se podría considerar que un órgano dirigido por un SCF no sería más sano o fiable que un órgano sano sin ser manipulado por la robótica11. Un mal uso y aplicación de estos programas y sistemas, sin embargo, pueden influir directa o indirectamente en los daños y perjuicios sufridos por el paciente, tales como la pérdida de historias clínicas por fallos del sistema o como el mal funcionamiento de la maquinaria para la realización de pruebas. Por ello, es fundamental que la legislación tenga en cuenta a todos los agentes implicados en el proceso, de modo que pueda identificarse la participación de cada uno de ellos, determinando su grado de responsabilidad. Por ello, todas estas aplicaciones, como hemos ido comprobando al hablar de las mismas, deben respetar la legislación vigente y, en especial, los derechos fundamentales, tales como la igualdad, la dignidad o la intimidad12. No obstante, es muy posible que los avances en Medicina gracias a las tecnologías digitales requieran también ciertos cambios en la legislación, que deberá moverse entre la priorización de la privacidad y la de la salud de los ciudadanos. En este capítulo, iremos desgranando todas estas posibilidades. 3. BENEFICIOS QUE APORTA LA INTELIGENCIA ARTIFICIAL EN LA MEDICINA A día de hoy, como hemos mencionado, ya ha quedado demostrado que los ordenadores no solo pueden aportar una serie de prestaciones sustituyendo la labor del ser humano, COM (2021) 2021/0106 COD 206 final. Resolución (UE) 2015/2103 del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica; 2017. 12 Dictamen del Comité Económico y Social Europeo de 31 de agosto de 2017 sobre la Inteligencia artificial: las consecuencias de la inteligencia artificial para el mercado único (digital), la producción, el consumo, el empleo y la sociedad, DOUE § C 288 (2017). 10 11

62

Óscar Andrés Molina

sino que, además, dependiendo de la tarea pueden ser mucho más eficientes a la hora de realizarla que los humanos, reduciendo a su vez numerosos costes y optimizando el tiempo. Esta labor efectuada por los ordenadores no solo es interesante por la gran velocidad que emplean, sino también porque sustituyen al ser humano en tareas que suelen ser tediosas y repetitivas, permitiendo así al ser humano dedicar su tiempo e ingenio en tareas con un valor añadido o que tengan un carácter más personal en los que haya que emplear diferentes valores cognitivos inherentes en una persona13. En el campo de la medicina, hay mucho trabajo de comparación de grandes cantidades de información de imágenes sobre las diferentes patologías y los numerosos efectos adversos que pueden presentan todos y cada uno de los pacientes en función de infinitos factores, como pueden ser la edad o el tiempo que lleven padeciendo la enfermedad; si los ordenadores automatizan dicho trabajo, ahorrando a los médicos el tiempo de comparación de las imágenes, estos podrán centrarse en hacer una medicina más personalizada e innovadora y podrán centrarse en la investigación de nuevas técnicas de detección y prevención de enfermedades. Además, a través de los sistemas de Big Data podemos no solo detectar patologías in situ, sino que también podemos detectar y prevenir patologías futuras, puesto que dichos sistemas no analizan los datos de forma aislada y de forma individual, sino que son capaces de analizar cantidades ingentes de datos de diferentes pacientes a tiempo real y de forma más rápida, proporcionando una gran capacidad de diagnóstico y detección de enfermedades. Sin ir más lejos, en China ya existen clínicas autónomas operativas con el nombre de Good Doctor14. Desde un punto de vista empresarial, las cinco grandes ventajas por las que está produciéndose este cambio son: la disminución de gastos, la generación de datos más rápida, la velocidad y especialización en el tratamiento y la falta de conflictos. La primera, la disminución de gastos, se debe a la reducción económica en mano de obra, puesto que los ordenadores no cobran un salario fijo ni honorarios, y a esto se añade que un ordenador obedece ciegamente y elabora la tarea sin presentar objeciones ni ningún tipo de pega. De cara a la gestión y análisis de los datos, gracias a estas tecnologías, cada vez se generan más rápido y en mayor volumen, siendo aún más enriquecedoras las tareas de los ordenadores cuando se les incrementan los datos. Las otras dos grandes ventajas de los ordenadores y las máquinas son de cara a afrontar tareas referidas al trabajo repetitivo y al trabajo especializado, ya que aportan una gran velocidad y veracidad en los resultados aportados en función a los parámetros previamente introducidos por el ser humano. Asimismo, la predicción en el diagnóstico es una de las grandes ventajas que ofrece esta tecnología, esto es, poder identificar enfermedades antes de que se manifiesten completamente a través de una serie de patrones, lo cual no solo salva vidas, sino que también hace que los seres humanos puedan vivir durante más tiempo y de una forma más saludable. Otro de los grandes objetivos que se persigue es reducir el riesgo de posibles errores humanos, sin pretender que la máquina sustituya al individuo, y es que no tenemos que COM (2021) 2021/0106 COD 206 final. SÁNCHEZ-CARO, J., y ABELLÁN-GARCÍA, F., “Aspectos bioético-legales relacionados con la IA en la asistencia sanitaria y su repercusión en materia de responsabilidad”, Inteligencia artificial en el campo de la salud, Fundación Merck, pp. 76-112. 13 14

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL...

63

considerar que los robots y la Inteligencia Artificial en el ámbito sanitario son nuestros rivales, sino un trampolín que sirve y servirá de ayuda a sus profesionales. Las nuevas tecnologías en el sector de la salud no paran de reinventarse, se desarrollan con la idea de dar cada vez más protagonismo a los consumidores, usuarios y pacientes. Como ya hemos podido comprobar, no solo ofrecen ventajas a los profesionales sanitarios de cara a la predicción en el diagnóstico, sino que también permiten a la sociedad ser cada vez más participativa; esta situación facilita la atención médica exponencialmente. Esta participación por parte de la sociedad nos permite tener un sistema de salud que está conectado, al que se conoce como Salud digital. Dicho sistema nos permite mejorar la calidad de vida en cualquier lugar y a cualquier hora, debido a que cada paciente dispone de una experiencia más personalizada, permitiendo a todos los profesionales sanitarios ajustarse a las pretensiones específicas de cada paciente. Esto hace que se pueda maximizar el uso de los recursos que se tienen que gestionar, reduciendo considerablemente el gasto y consumo de los productos sanitarios. Sin duda, este sistema de salud digital podrá seguir mejorando a medida que las infraestructuras aporten cada vez más una información adecuada, clara y rápida sobre cómo utilizar y beneficiarse de dicha tecnología. Los modelos que gestionen la salud participativa a través del flujo de datos son vitales para continuar con este gran progreso15. El Parlamento Europeo considera que el aprendizaje automático ofrece innumerables ventajas en todos los aspectos a la sociedad, principalmente a la hora de analizar datos. Sin embargo, es por esto mismo que tenemos que prestar especial atención para no discriminar a las minorías, para poder ofrecer garantías reales y potenciar todo lo posible la igualdad y la transparencia. El mismo derecho universal que se aplica a internet es el mismo derecho que sería necesario establecer de cara a utilizar un único criterio de cómo se debe interactuar, repartir y utilizar las prestaciones y servicios que haya entre los seres humanos y los sistemas y programas basados en inteligencia artificial. El acceso a los grandes avances y servicios tiene que ser de carácter universal intentando qué llegue a todo tipo de empresas, entidades y personas sin importar los medios técnicos o económicos que dispongan. Los proveedores de servicios no solo tienen que garantizar el respeto de los derechos de la Constitución y de los convenios en los que forme España, también deberán asegurar a los usuarios la seguridad de los datos que transmitan y comunican a los demás. A través de la investigación se ha demostrado que todos aquellos puestos de trabajo que emplean la informática crecen considerablemente en comparación con aquellos que se resisten a implementarla. Este hecho en el mundo de la medicina, tiene que ser una prioridad, sobre todo para todas las asistencias y servicios que sean mecánicos, ya que si a través de la inteligencia artificial podemos cubrir este tipo de elaboraciones, los médicos y demás profesionales sanitarios podrán emplearse en actividades que impliquen una mayor creatividad y racionalidad, que a día de hoy son los dos aspectos fundamentales que

15 DEL BARRIO, J., “IA y transformación del sistema sanitario”, Inteligencia artificial en el campo de la salud, Fundación Merck, 2021, pp. 113-138.

64

Óscar Andrés Molina

justifican por qué el factor humano sigue siendo imprescindible en esta interactuación con las máquinas16. A través de los análisis y las recomendaciones formuladas por el Parlamento Europeo, debemos considerar la inteligencia artificial y los robots como una ayuda y soporte a los médicos, no como un elemento sustitutivo de ellos. Actualmente hay una gran tendencia a utilizar el autodiagnóstico a través de Robots móviles; esta tendencia no busca reemplazar la labor de los médicos, sino que el objetivo es reducir la probabilidad de haya un posible error humano y por supuesto prolongar y mejorar la vida de los ciudadanos a través de la aportación de más información generada por dichos dispositivos. A través del desarrollo y la investigación del diseño de las máquinas podemos aportar una gran ayuda a nuestros profesionales sanitarios, y de igual modo podemos reducir grandes cantidades económicas que podremos utilizar para seguir avanzando en el mundo de la medicina personalizada y en la precisión del diagnóstico. Los robots diseñados para la medicina avanzada apoyan de forma muy eficaz en los hospitales, no solo desde un punto de vista logístico, sino también a la hora de reducción de costes, cada vez se utilizan más dichos robots sobre todo en cirugías de alta precisión y para todas aquellas asistencias repetitivas y mecánicas, logrando un gran rendimiento y fiabilidad. 4. DEFICIENCIAS Y RIESGOS QUE PRESENTA LA INTELIGENCIA ARTIFICIAL EN EL SECTOR SANITARIO Si nos centramos ahora en los riesgos que presenta el uso de la Inteligencia Artificial en el sector sanitario, observaremos que el problema viene cuando los robots de última generación toman decisiones unilaterales y autónomas, otorgándoles un carácter imprevisible, ya que, si estas decisiones causan algún daño, las normas tradicionales no disponen de herramientas suficientes para poder regular esta situación. Esto significa que no se podría determinar quién asumiría y se haría cargo de la indemnización, ni tampoco a qué parte se le puede exigir que repare el daño. Al hablar de la toma de decisiones que pueden realizar los programas y sistemas que tienen integrada inteligencia artificial en el sector sanitario, hay que hacer referencia a los métodos de predicción y diagnóstico de dichos programas. Históricamente hablando, el diagnóstico era competencia exclusiva del médico, pero actualmente con los nuevos avances y la aplicación de la inteligencia artificial de Machine learning, hemos podido sustituir en diferentes asistencias y tareas al profesional sanitario por robots, máquinas y programas que son capaces de almacenar y analizar una cantidad ingente de datos de diferentes pacientes con diversidad de patologías. El riesgo que podría surgir si dejásemos el diagnóstico y el poder de decisión únicamente en manos de los robots en vez de que el profesional sanitario tuviese la última palabra, sería que con la gestión por parte de dichos sistemas, por un lado podría quedar desprotegida toda esa información 16 Resolución (UE) 2015/2103 del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica, 2017.

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL...

65

sensible que proviene de los innumerables pacientes, y por otro nos podrían llevar en ocasiones a diagnosticar a pacientes una enfermedad que quizás nunca provocaría síntomas, que no va aportar ningún beneficio al paciente y que a su vez ocasionaría riesgos y costes innecesarios. Este riesgo lo conocemos como sobrediagnóstico17. Otro factor de riesgo a tener en cuenta sería si los procesos de automatización que realizan los sistemas que tienen integrados inteligencia artificial tuviesen la capacidad de operar en el sector sanitario, puesto que, si se permitiese ejecutar dicha tarea en la asistencia sanitaria, se podría vulnerar el respeto a la dignidad humana, en el sentido de que se tratase a las personas como objetos sin respetar los derechos fundamentales ni su propia autonomía. Esto implica que, para salvaguardar la dignidad humana y garantizar que no se excluyan a pequeños sectores de la sociedad, es necesaria la supervisión por parte del factor humano sobre cada sistema que pueda generar algún efecto adverso, y esto solo resulta posible si cooperan todas las entidades y organizaciones, ya sean o no gubernamentales. Es cierto que en otros sectores como el de la publicidad a través de su servicio personalizado, estos sistemas pueden ser muy prácticos y eficientes, pero en el campo de la medicina implicaría un grave riesgo con respecto a la autonomía de los pacientes18. Por otro lado, en relación con la responsabilidad contractual, en este momento en el que nos encontramos, donde numerosas empresas han optado por la inclusión de máquinas, prácticamente en todos los sectores, y en diferentes puestos de trabajo, las normas tradicionales se convierten en inaplicables, haciéndose necesaria una actualización de dichas normas de acuerdo con los diferentes avances tecnológicos e innovaciones en el ámbito laboral. A día de hoy no hay ninguna disposición jurídica que se aplique de forma específica a la robótica; por ello el Parlamento Europeo solicita que a la hora de hacer cualquier tipo de enfoque, este se haga de una manera neutral e igualitaria para todos los Estados miembros, ajustándose a los principios de proporcionalidad y de necesidad y por supuesto respetando la protección de datos y la vida privada de los ciudadanos, limitando la finalidad para la que se utilizará esta cantidad ingente de datos. Uno de los posibles riesgos que se contemplan es que los programas y dispositivos basados en Inteligencia Artificial y robótica disponen de la capacidad de automatizar y analizar millones de datos sin ser dirigidos por seres humanos, un avance impresionante que, si tenemos en cuenta la Ley de Protección de Datos, también puede generar algunas consecuencias adversas y controvertidas que afecten al ser humano. En este sentido se precisa que haya un control humano que garantice la protección de los derechos de los pacientes. Un empleo que conviene revisar y regular de forma exhaustiva para identificar la responsabilidad y el nexo causal es el de los ingenieros en robótica, ya que dependiendo de su función se podrían generar situaciones adversas contra la seguridad, la imagen, la confidencialidad y el honor de las personas. Hay que hacer especial hincapié que este empleo, SÁNCHEZ-CARO, J., y ABELLÁN-GARCÍA, F., “Aspectos bioético-legales relacionados con la IA en la asistencia sanitaria y su repercusión en materia de responsabilidad”, Inteligencia artificial en el campo de la salud, Fundación Merck, pp. 76-112. 18 DEL BARRIO, J., “IA y transformación del sistema sanitario”, cit., pp. 113-138. 17

66

Óscar Andrés Molina

puede ser uno de los que más puestos de trabajo genere en esta nueva evolución de la sociedad. Precisamente por este motivo, sería preciso crear normas homogéneas y generales de comportamiento no solo a nivel legal, sino también a nivel ético desde las primeras fases de la investigación y creación en el mundo de la robótica. De esta manera podremos adelantarnos a las futuras situaciones generadas por la inteligencia artificial y la nueva tecnología19. Actualmente en varios estudios e investigaciones podemos observar que se utiliza el electroencefalograma para interpretar ondas cerebrales de diferentes seres humanos y así poder descifrar palabras que tienen en su mente. Dichos estudios abren un mar de posibilidades, pero, a su vez, nos invitan a pensar en la posibilidad de que puedan surgir nuevos riesgos de carácter neurológico como podrían ser el riesgo de perder el derecho a la privacidad mental o el riesgo de perder la posibilidad de elegir sobre nuestro futuro a corto, medio y largo plazo porque haya sistemas que tengan integrada inteligencia artificial y puedan tomar las decisiones por nosotros. El autor Javier SÁNCHEZ CARO los cataloga como “Neuroderechos” y propone que formen parte de la Declaración de Derecho Humanos con el objetivo de evitar los grandes riesgos que podrían suponer estos nuevos avances sin una regulación adecuada20. 5. ANÁLISIS DE LA REGULACIÓN ACTUAL El Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo establece un marco jurídico al que tenemos que acudir de cara hacer frente a cómo y de qué manera se deben utilizar todos los aspectos relativos a la intimidad, al posible acceso de los datos personales de los pacientes y usuarios, y de qué manera debemos proteger dichos datos. Este reglamento habla por supuesto de todos aquellos profesionales que por su trabajo tengan que acceder a esta información, pero qué ocurriría si alguna de estas asistencias mecánicas comenzase a realizarse sin intervención humana, de alguna manera tendremos que regular los diferentes efectos directos e indirectos que supondrá que las aplicaciones de inteligencia artificial traten cantidades ingentes de datos sin la supervisión humana. Habrá que asegurar que dicho sistema preserve la dignidad y autonomía de los pacientes no solo en el ámbito de la medicina si no en todos los sectores. La utilización de datos personales implica una serie de controversias, basadas fundamentalmente en el Derecho y la legislación. El derecho a la protección de datos personales está regulado en nuestro ordenamiento jurídico como un derecho fundamental en la Constitución Española. En ese sentido, puede destacarse el artículo 18.1, que trata sobre la intimidad personal, otorgando una protección especial a los datos personales de los individuos. También podemos encontrar protección para las personas en relación con el tratamiento de datos en el Tratado de Funcionamiento de la Unión Europea (TFUE), en su 19 Real Decreto Legislativo 1/2007, de 16 de noviembre, por el que se aprueba el texto refundido de la Ley General para la Defensa de los Consumidores y Usuarios y otras leyes complementarias, BOE núm. 287 § 20555 (2007). 20 SÁNCHEZ-CARO, J., y ABELLÁN-GARCÍA, F., “Aspectos bioético-legales relacionados con la IA en la asistencia sanitaria y su repercusión en materia de responsabilidad”, cit., p. 110.

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL...

67

artículo 16.1 que subraya la protección de los datos de carácter personal de las personas. Por otra parte, el Tribunal Constitucional diferencia el derecho a la libertad informática del derecho a la intimidad y reconoce, en una sentencia, la necesidad de que el individuo sepa, en todo momento, no solo quién, sino con qué finalidad se emplean sus datos personales. En el sistema jurídico español conviven tres mecanismos de responsabilidad por hechos ajenos21. La responsabilidad patrimonial, que se produce cuando los autores de los hechos son empleados públicos, la responsabilidad civil que se produce cuando los hechos son realizados por particulares a particulares y la tercera responsabilidad que también es de carácter civil, pero se aplica por los tribunales de lo penal cuando los hechos están tipificados en el Código Penal. En el Código Civil, la responsabilidad podrá clasificarse de diferentes formas, podría ser directa, por causa presunta, de forma no exclusiva o como responsabilidad solidaria. También es necesario mencionar el artículo 1902 CC que establece que deberá atribuirse la responsabilidad a aquellas personas que por sus acciones u omisiones hayan producido un daño siempre que intervenga culpa o negligencia. De esta manera también se tendría en cuenta aquellos actos realizados de forma directa o indirecta en los que exista premeditación22. Otro planteamiento para identificar la persona responsable de asumir los daños y efectos adversos de las máquinas sería a través del Real Decreto Legislativo 1/2007, de 16 de noviembre, por el que se aprueba el Texto Refundido de la Ley General para la Defensa de Consumidores y Usuarios (TRLGDCU). En el artículo 135 de esta ley se establece que las personas encargadas de fabricar productos deberán asumir la responsabilidad de aquellos daños y perjuicios que se producen por causa de cualquier estado defectuoso de ellos, el mismo efecto tendrán con aquellos productos que se hayan importado. No obstante, los motivos por los que el productor quedará eximido de responsabilidad vienen reflejados en el artículo 140 (TRLGDCU), dicha exoneración se producirá si el producto no se hubiese puesto en circulación o si en el momento de comenzar a comercializar dicho producto no hubiese existido ningún defecto. También quedarán exentos si el producto no tuviese una finalidad económica ni se hubiese creado para venderlo a las empresas y profesionales. Tampoco habrá responsabilidad si los defectos hubiesen sido originados por unas directrices imperativas previas y existentes, esta exoneración de responsabilidad se aplicará también a los creadores de sistemas de software, programas basados en inteligencia artificial y robótica. Como también ocurre en las profesiones sanitarias, solo se podrá justificar algún tipo de responsabilidad de los efectos adversos producidos, si en el momento de producirse se tuviesen los conocimientos científicos y técnicos suficientes para haberlos podido detectar. Evidentemente si el producto ha sido integrado en otro que ya está terminado y se pudiese demostrar que el defecto viene de este último, también sería exonerado el productor. JUÁREZ VASALLO, F., “La responsabilidad civil por hechos ajenos derivada del delito. Especial referencia a la responsabilidad de padres y tutores”, en Actas del XVII Seminario Internacional de Filosofía del Derecho y Derecho Penal, Univ. de León, 2016. 22 Ibid. 21

68

Óscar Andrés Molina

Como en cualquier conjunto de normas se debe de respetar una jerarquía normativa, y en nuestro sistema jurídico, la norma suprema es la Constitución, por lo tanto, en todo caso, los diseñadores, investigadores e ingenieros en robótica deberán respetar todos y cada uno de los derechos fundamentales recogidos en ella inherentes al ser humano, simplemente por el hecho de serlo. La protección de los datos personales de las personas físicas viene recogida en el artículo 18.4 de la Constitución, que a su vez es desarrollado y regulado en el reglamento UE 2016/679. Por ello, los diseñadores e ingenieros no deberán ocultar información, fomentando la transparencia y la claridad en los datos a cada una de las partes interesadas y que formen parte de alguna manera en la interacción. Siempre que se hable de privacidad, acceso y manejo de datos, es necesario tener en cuenta y basarse en el Reglamento General de Protección de Datos, de ahora en adelante, (RGPD). El RGPD entró en vigor el 24 de mayo de 2016, pero no se empezó a aplicar de manera obligatoria para todas las personas hasta el 25 de mayo de 2018. La ley orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales en su artículo 1, refleja el objetivo de la presente ley, que consiste en adaptar el conjunto de normas jurídicas españolas al reglamento de la Unión Europea (UE) 2016/679 del Parlamento Europeo y el Consejo, de 27 de abril de 2016, relacionado con el manejo y circulación de datos y a la privacidad de la información de las personas. Este derecho viene recogido en el artículo 18.4 de la Constitución. Uno de los principios referidos a la protección de datos es el que está relacionado con la exactitud de estos, conforme al artículo 5.1.d) del Reglamento (UE) 2016/679, no se considerará imputable a aquellas personas que hayan aplicado todas las medidas necesarias para modificar o eliminar los elementos de inexactitud existentes con respecto al objetivo por el que se hayan recogido. También dentro de este mismo artículo 5 del Reglamento (UE) 2016/679 referido al deber de confidencialidad, se subraya que deberán respetarlo no solo los responsables y encargados de tratar los datos, sino también cualquier persona que por razones de su trabajo o por cualquier otra circunstancia intervenga en cualquier fase del tratamiento de dichos datos; además de esta obligación, será complementaria a la relacionada con los deberes del secreto profesional para cada normativa aplicable. Dichas obligaciones deberán conservarse incluso una vez se haya finalizado la relación entre el paciente y el responsable del tratamiento. Conviene resaltar que el consentimiento del afectado que queda regulado en el artículo 4.11 de este mismo reglamento (UE) 2016/679, se entiende por aquella manifestación que se hace de forma libre, consciente y voluntaria, que no lleva lugar a ningún tipo de duda, ya sea de forma explícita o de forma implícita la afirmación de dicho consentimiento relacionado con el tratamiento de sus datos personales. En el consentimiento deberá incluirse de forma clara todas aquellas finalidades por las que se requieren los datos del afectado, sin poder utilizarlas para fines diferentes a los que previamente se había pactado. Cuando hablamos de consentimiento informado y derecho sanitario en España, conviene destacar el derecho a la explicación que tienen tanto pacientes como usuarios de cara a conocer de forma previa los posibles riesgos que acarrea cada asistencia sanitaria. Dicho derecho se ve respaldado no solo a través de la ley 41/2020 de 14 de noviembre, de la autonomía del paciente, sino también a través del principio de transparencia y del

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL...

69

Reglamento de Protección de Datos de la Unión Europea (RGPD), que obliga a cada responsable a aportar la información relevante para cada asistencia sanitaria. Esto implica que las decisiones tienen que explicarse de manera clara, para que sean comprendidas por los pacientes y usuarios y que, en caso de que se genere algún efecto adverso puedan ser impugnadas y se asigne la responsabilidad correspondiente a cada persona que haya intervenido. De esta manera, el nexo causal queda respaldado por el derecho de explicación y, en función de la gravedad y de los riesgos, el grado de aplicación de este derecho aumentará de forma racional y proporcional23. En la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales, dentro del Título III sobre el derecho de las personas, se hace referencia en su artículo 11.2 a la transparencia e información al afectado. Se establece el deber que tiene el responsable de tratar los datos y de facilitar al paciente la información básica, indicándole una dirección electrónica u otro medio que permita acceder de forma fácil y rápida a la información obtenida cuando la información haya sido obtenida del afectado. La información mínima que se debe facilitar será la identidad del responsable de tratar los datos, el objetivo con el que se pretende tratarlos y los derechos establecidos en los artículos 15 a 22 del Reglamento (UE) 2016/679. En el artículo 22, concretamente se regula que el afectado deberá de ser informado de que podrá oponerse a la adopción de decisiones automatizadas de carácter individual que puedan producir efectos jurídicos sobre él o que le afecten ostensiblemente. Por último, la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales podrá sancionar hasta cinco sujetos o entidades diferentes que vienen recogidas en su artículo 70. Dichos sujetos responsables son: “Los responsables de los tratamientos, los encargados de los tratamientos, los representantes de los responsables o encargados de los tratamientos no establecidos en el territorio de la Unión Europea, las entidades de certificación, y las entidades acreditadas de supervisión de los códigos de conducta”. 6. PROPUESTAS A CONSIDERAR Basándome en algunas de las recomendaciones hechas por el Parlamento Europeo considero necesario que los Estados y gobiernos deben remar hacia la misma dirección e incentivar a las grandes y pequeñas empresas en enfocar sus esfuerzos económicos en formar a sus trabajadores, para que aquellos puestos de trabajo que más puedan sufrir por tener mucha actividad mecánica puedan adaptarse de la mejor manera posible sin que tengan que desaparecer o quedarse obsoletos24. Otra propuesta a considerar de cara a otorgar responsabilidad a los seres humanos, a los robots y a los programas que tienen integrada Inteligencia Artificial depende de la manera en la que el ser humano defina y considere a dichos sistemas. Es decir, si con SÁNCHEZ-CARO, J., y ABELLÁN-GARCÍA, F., “Aspectos bioético-legales relacionados con la IA en la asistencia sanitaria y su repercusión en materia de responsabilidad”, cit., pp. 105 y ss. 24 Resolución (UE) 2015/2103 del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica, 2017. 23

70

Óscar Andrés Molina

sideráramos a los robots como productos, podríamos basarnos en la normativa vigente de la Directiva 85/374/CEE, que establece dos alternativas diferentes. La primera opción consistiría en que el fabricante de dicho producto asumiría la responsabilidad por haber fabricado un producto defectuoso, siempre y cuando el perjudicado pudiese demostrar el daño real, el defecto del producto y la relación de dicho defecto del producto con el daño causado. La segunda opción sería que el usuario fuese el responsable por realizar un uso indebido de dicho producto, causando así algún tipo de daño. Continuando con la cuestión de la responsabilidad, de la misma manera que en aquellos trabajos que conllevan una serie de riesgos directamente relacionados con la actividad laboral hay un seguro obligatorio que cubriese los posibles daños y perjuicios, que previamente han sido evaluados, se podría crear uno para los robots inteligentes y para aquellos que actúan y toman decisiones de forma autónoma. Evidentemente esta evaluación de consecuencias asociadas a los robots se debería de hacer por personas especializadas en inteligencia artificial a nivel europeo para poder realizarla de manera precisa y exhaustiva. El Parlamento Europeo considera necesaria la creación de una Agencia Europea para reforzar la cooperación entre los Estados miembros y la Comisión. Dicha agencia se encargaría de hacer cumplir unos niveles éticos y de seguridad básicos y generales para todos, haciendo desaparecer las fronteras en este ámbito. Proporcionaría conocimientos técnicos, éticos y normativos para que en el caso de que hubiese algún conflicto se pudiese resolver de una forma rápida y efectiva en el menor tiempo posible. La agencia estaría compuesta por expertos en cuestiones técnicas y deontológicas y por personas capaces de regular las diferentes situaciones que pudiesen darse. También contarían con medios económicos suficientes para hacer esto posible. Tal y como considera el Parlamento Europeo, para poder tener una imagen más precisa de los efectos adversos y positivos que producen los dispositivos que tienen integrada Inteligencia Artificial sobre los seres humanos, es necesario realizar ensayos en situaciones de la vida real, para poder evaluar con mayor precisión dichos efectos. Para llevar a cabo este objetivo de manera eficiente convendría unificar los criterios y prácticas a través de normas jurídicas homogéneas por parte de todos los Estados. De este modo cualquier altercado se podría resolver de una forma más eficiente. Por poner un ejemplo, sería preciso aclarar los criterios y normas de cara a utilizar las cámaras y sensores de los robots y el modo de analizar y tratar todos los datos a través de la inteligencia artificial que sacará conclusiones con gran impacto en las personas. Por otro lado, ahora más que nunca, la colaboración de los profesionales sanitarios de cara a convivir con las máquinas es fundamental. Se necesita disponer de profesionales que dominen no solo su área de conocimiento, sino también la parte técnica de la Inteligencia Artificial. Solo de esta manera el ser humano podrá aprovechar y optimizar las prestaciones que ofrecen estas tecnologías y reducir el margen de error25. La convivencia entre los seres humanos y los robots en el ámbito laboral cada vez es más frecuente, no solo porque ya forman parte de la evolución profesional y el ahorro eco25 Resolución (UE) 2015/2103 del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica, 2017.

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL...

71

nómico, sino porque permiten a los profesionales centrarse en asistencias más específicas y concretas, pudiendo delegar las actividades mecánicas, perjudiciales y que conlleven algún riesgo a las máquinas. La robotización de estas tareas a su vez, hacen que la interacción entre humanos y robots sea mucho más frecuente pudiendo generar nuevos riesgos, por ello es conveniente tener claras las normas orientadas a dicha interacción y concretar que tipo de responsabilidad tendrá cada parte con el objetivo de garantizar el bienestar, la seguridad y los derechos en el ámbito laboral. Exponiendo las ideas de SMITH26, para poder impulsar y desarrollar tecnologías y programas basados en inteligencia artificial de una forma legal, política y moralmente correctas es necesario hacer hincapié en la defensa de la privacidad, la protección de datos y la ética. Solo así podremos convivir y seguir evolucionando sin limitarnos y pisarnos los unos a los otros. Brad SMITH fue una de las primeras personas en verlo y propuso crear una Convención Digital de Ginebra para que los máximos dirigentes de cada Estado no pudiesen acceder a los datos de los demás haciendo abuso de autoridad e infringiendo los derechos de privacidad de los ciudadanos. Subraya la imperiosa necesidad de establecer y regular unos códigos éticos mínimos de conducta en los que se establezcan límites a la hora de desarrollar tecnología basada en Inteligencia Artificial. El avance más importante sobre computación y almacenamientos de datos que más ha evolucionado es el “cloud computing” también conocido como la nube reduciendo exponencialmente los costes y estando presente a nivel mundial. Hoy en día cualquier persona puede acceder a la tecnología sin tener muchas dificultades ni sufrir grandes costes. La forma de usar la tecnología, el procesamiento y almacenamiento de datos, y especialmente la inteligencia artificial ha evolucionado a pasos agigantados en los últimos años, sobre todo ahora que los dispositivos, programas y robots tienen la capacidad de aprender de forma autónoma sin la necesidad de que el ser humano tenga que tabular previamente los datos, esto es gracias a lo que conocemos como deep learning y a las redes neuronales de dichos dispositivos. El paradigma social está evolucionando de la mano de la tecnología y de la inteligencia artificial, el ser humano se ha acostumbrado a vivir con estos dispositivos y la gran mayoría los considera un recurso increíble, pero si no se establecen unos códigos éticos que regulen esta evolución podría volverse en nuestra contra. Por este motivo, es preciso que se respeten y no se limiten los derechos fundamentales de las personas, y que se creen medios y plataformas que permitan el acceso a todos. Tanto las grandes compañías como las pequeñas empresas deben tener las mismas oportunidades para poder seguir avanzando y evolucionando sin que se generen desigualdades; en este caso son fundamentalmente las grandes entidades y potencias las que tienen que incentivar esta evolución de una forma conjunta y homogénea27. Tras estos últimos años ha quedado demostrado que los avances en inteligencia artificial tienen un gran impacto no solo en el sector social, sino también en grandes sectores como el 26 SMITH, B., “Necesitamos una brújula ética ante la IA”, Ejecutive Excellence. La revista del liderazgo, la gestión y la innovación empresarial, núm. 165, 2020, pp. 8-12. 27 Ibid., p. 10.

72

Óscar Andrés Molina

económico, político y laboral; por ello es vital establecer unas bases que regulen dicha evolución y a su vez gobiernen a estos programas basados en Inteligencia artificial. A día de hoy el ser humano es el único ser capaz de crear y programar a las máquinas, independientemente que alguna de ellas a posteriori pueda aprender, predecir y generar efectos adversos a la sociedad, es por ello, que las primeras medidas y reglas de conducta que se deben establecer son aquellas que regulen el objetivo por el que han sido creadas las máquinas. Dicha programación nunca debería de permitir que fuese para generar desigualdades o daños a otras personas ni que se pudiese dañar la privacidad y la dignidad del ser humano. La ética de la Inteligencia artificial tiene que ser la piedra angular que sirva de guía a todas las compañías tecnológicas para definir unos principios fundamentales no solo para nuestra generación sino también para las futuras generaciones. Debemos de ser capaces de anteponer los intereses universales de todas y cada una de las personas frente a los intereses individuales de las empresas y las entidades más poderosas. Este proceso solo se puede llegar a cabo si remamos todos en la misma dirección, trabajando juntos y en equipo. La privacidad es fundamental en esta nueva etapa en la que los datos son traspasados a velocidades nunca vistas, solo reforzando las medidas de seguridad se podrá proteger la ética y los derechos fundamentales vinculados a la nueva tecnología. La industria tiene que encontrar la manera de proporcionar un soporte técnico global no solo a los estados y regiones más adineradas sino también a aquellas periféricas o que no dispongan de tantos medios, solo así se conseguirá no aislar a nadie de esta evolución. Actualmente la mitad de la población mundial no tiene conexión a internet, esto supone una gran dificultad para la evolución en sectores tan importantes como la educación o la medicina. A través de la tecnología se podría llegar a todos, pero esto solo es posible si todos ponemos de nuestra parte, un ejemplo de ello es la iniciativa Ocean Mind, creada por Nick WISE con el objetivo de reforzar la sostenibilidad de los océanos y reducir la sobrepesca. En poco más de un año se duplicó su tamaño y a través de compartir sus datos con los gobiernos que han querido participar de diferentes países han avanzado mucho en esta iniciativa; actualmente, se pretende instaurar el uso de satélites que puedan analizar y compartir con todos los gobiernos los datos en tiempo real. De la misma manera que el uso responsable de la tecnología por parte de todos supone poder solucionar grandes problemas a una mayor velocidad, también podría utilizarse para causar efectos adversos e incluso crear un arma; por ello conviene crear códigos y reglas preventivas que sean capaces de detectar el mal uso, y esto solo es posible si nos basamos en los principios de transparencia e igualdad. Teniendo esta premisa clara, debemos contar con normas que nos ayuden a preservar la transparencia, la dignidad y la igualdad de todos, pudiendo pedirle cuentas y responsabilidad a las personas que han diseñado y creado estos dispositivos y máquinas. Para poder tener un control de dichas actuaciones y respetar los códigos éticos será necesario autorizar a dichas personas a través de algún tipo de licencia como ya se hace en numerosos trabajos. La Unión Europea insiste que para que la sociedad deje de desconfiar de los beneficios que acarrea la inteligencia artificial, es necesario no solo respetar las leyes que se encuentren vigentes, puesto que en ocasiones la evolución y el desarrollo en este campo va más

REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL...

73

rápido que la propia regulación. Por este motivo, la Unión Europea propone generar mecanismos compensatorios para los diferentes efectos adversos que se puedan producir en la sociedad por causa de los sistemas y productos que tengan integrada inteligencia artificial. Subraya la necesidad de que dichos mecanismos puedan reparar el daño y a su vez puedan garantizar cierta seguridad a los ciudadanos en el caso de que haya algún imprevisto. La fiabilidad de la inteligencia artificial que la Unión Europea propone se basa en la obligación de respetar tres elementos que son: la legalidad, la ética y la robustez28. 7. CONCLUSIONES Como hemos podido comprobar, la inteligencia artificial ya forma parte del ámbito sanitario y puede proporcionar muchas ventajas, tanto para los profesionales del sector como para los pacientes y los gestores. Sin embargo, su rápido desarrollo y los avances han producido situaciones nuevas en las que las responsabilidades y los derechos de los pacientes entran en juego y, en ocasiones, se ponen en jaque, produciendo conflictos para los que la legislación actual no tiene, a veces, una solución clara y unívoca. Muchos países se han dado cuenta de todas estas situaciones y ya han comenzado a desarrollar medidas normativas para adoptar la robótica y la inteligencia artificial en todos los sectores. Por eso nosotros no deberíamos de quedarnos atrás, porque si no, cuando llegue el momento tendríamos que aplicar las medidas que hayan aplicado otros países en vez de implantar nuestras propias medidas acorde con nuestro paradigma social. Por ello, habría que tener en cuenta todas las recomendaciones jurídicas, no solo de nuestro Estado, sino de todos los Estados miembros de la Unión y fuera de ella. Hablamos del ser humano y aquí no deberíamos de tener fronteras, todos somos uno; por eso, de cara a desarrollar, diseñar, producir o modificar elementos de la robótica e inteligencia artificial convendría tener un criterio unificado puesto que podría afectar a todos sin excepción. Considerando todas estas circunstancias y todos estos hechos, hay un principio que tenemos que tener claro, que será de cara a crear las leyes que nos permitan regular todas estas medidas: deberán ir dirigidas para todos aquellas empresas, trabajadores y APPS que investigan y potencian el mundo de la robótica y la inteligencia artificial, que al fin y al cabo son ellos los que harán posibles dichos efectos, las máquinas carecen de sentido de la razón para discernir entre lo que está bien y lo que está mal, de tal manera que estas se ceñirán a los parámetros programados por el ser humano. Es vital que todos rememos hacia la misma dirección, para evitar que unos pocos puedan beneficiarse a costa de los demás, y para todas aquellas decisiones que tengan un fuerte impacto en la vida de una persona o de un sector concreto, conviene subrayar la importancia que tiene el principio de transparencia. Al mismo tiempo, para optimizar el gran potencial de la inteligencia artificial y de la robótica es fundamental el libre flujo de datos. Por ello se tiene que garantizar la protección de las redes de robots y los diferentes flujos de datos interconectados con los diferentes agentes artificiales. El respeto de la intimidad 28 SÁNCHEZ-CARO, J., y ABELLÁN-GARCÍA, F., “Aspectos bioético-legales relacionados con la IA en la asistencia sanitaria y su repercusión en materia de responsabilidad”, cit., pp. 105 y ss.

74

Óscar Andrés Molina

es esencial para la comunicación entre los seres humanos, los robots y la inteligencia artificial. Por eso conviene reforzar la seguridad desde el diseño para poder crear productos más seguros y fiables. La Medicina siempre ha tenido como objetivo mejorar la salud de las personas optimizando los recursos y conocimientos que están en nuestra mano. En vista de los grandes avances producidos en tecnología y sus grandes resultados, la Inteligencia Artificial y el desarrollo e innovación de la Medicina deben de ir de la mano. La mezcla de ambas permite tener una gran funcionalidad asistencial y hace posible combinar millones de datos tradicionales con diferentes y novedosas formas de interpretación y análisis de datos. Una vez demostrado el amplio potencial que tienen los robots asistenciales, se debe subrayar que aun así, el factor humano es fundamental a la hora de tratar a los pacientes, debido a que el trato personalizado y la empatía que presta un ser humano a día de hoy no podrían aportarla estos productos, conviene evitar a toda costa la deshumanización de determinadas asistencias a los pacientes, por otra parte, sí es cierto que, a la hora de realizar tareas automatizadas y mecánicas, dichos robots y productos brindan una gran oportunidad a todos los profesionales sanitarios debido a que si estas acciones quedan cubiertas, podrán dedicar mayor tiempo al diagnóstico y a planificar de forma más individualizada los tratamientos. La interacción social y personal no podrá ser sustituida por las máquinas, con lo que el factor humano en ningún caso podrá ser suplantado completamente. Es conveniente subrayar la importancia de crear un sistema jurídico homogéneo ya que podrían darse dentro de una misma acción y resultado diferentes variantes e interacciones entre los robots y los humanos. Para que las acciones conjuntas entre ambos sean lo más eficaces posibles, habría que establecer unas bases normativas conjuntas que determinasen el grado de dependencia del robot con respecto al humano y la posible previsibilidad del resultado final que debería conocer el programador o el ser humano que utiliza el robot29. Para finalizar, basándome en el enfoque de la Comisión Europea, la Inteligencia Artificial es una tecnología que en su conjunto ofrece numerosas ventajas a cada sector de la sociedad siempre y cuando se ajuste a unos principios legales y éticos, respetando los derechos fundamentales inherentes de las personas y adoptando la regulación de los retos tecnológicos a través del Modelo europeo denominado “antropocéntrico o humanista”. Dicho modelo persigue conseguir el cumplimiento de las normas emitidas por la Unión Europea, respeta ante todo la autonomía de las personas y promueve un sistema seguro y de confianza a través de la colaboración del sector público y privado. Los otros dos modelos son por un lado el chino, conocido como “Estado de Vigilancia” y el modelo estadounidense, al que se conoce como “Capitalismo de Vigilancia”; ninguno de esos modelos, pese a presentar algunos factores beneficiosos en la sociedad, no respetan completamente nuestro sistema jurídico, puesto que vulneran algunos de nuestros derechos fundamentales y códigos éticos.

29 Informe de la Comisión al Parlamento europeo, al consejo y al comité económico y social europeo sobre las repercusiones en materia de seguridad y responsabilidad civil de la inteligencia artificial, el internet de las cosas y la robótica. (COM/2020/64).

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN.. DE RIESGOS EN MATERIA PENAL. ESTÁNDARES MÍNIMOS PARA UN USO ACORDE A LAS EXIGENCIAS DEL DEBIDO PROCESO* Ximena Marcazzolo Awad Profesora Investigadora del Centro de Derecho Regulatorio y Empresa Universidad del Desarrollo XimenaMrczolAwdyNathalie Walker Silva Profesora de Derecho Civil Universidad Andrés Bello DOI: 10.14679/2057

1. INTRODUCCIÓN El gran interés que suscita la inteligencia artificial traspasa, desde hace algún tiempo, el umbral de la comunidad científica. El concepto se utiliza con propiedad en la prensa mundial y, casi a diario, es posible obtener información acerca de los múltiples y sorprendentes avances que experimenta en diversos ámbitos de la vida moderna. La inteligencia artificial está presente en nuestros hogares, se utiliza en la contratación de personas, en la medicina, en el ámbito bancario, en el transporte, en el denominado “criptoarte” y un largo etcétera. Una de las razones por las cuales la inteligencia artificial atrae poderosamente nuestra atención es la impredecibilidad de sus usos. Los seres humanos ignoramos los límites a su potencial expansión y, es eso mismo lo que mantiene con vida la eterna promesa de que algún día existirán máquinas con consciencia de sí mismas o, incluso, con una inteligencia superior a la nuestra. Predicciones aparte, las aplicaciones de la inteligencia artificial son cada vez más variadas, extendiéndose a ámbitos que hasta solo hace una década habríamos considerado imposibles de abarcar por la tecnología, como es el caso de la resolución de conflictos de índole jurídico. Este cambio ha sido paradigmático en el campo de los mecanismos alternativos de resolución de conflictos –también denominados con frecuencia por su sigla “MASC” o “ADR” (Alternative Dispute Resolution)–, los cuales han experimentado un alto * Investigación vinculada al proyecto Jorge Millas DI-03-JM/22, Universidad Andrés Bello, del cual Nathalie Walker es investigadora responsable.

76

Ximena Marcazzolo Awad y Nathalie Walker Silva

grado de desarrollo debido, en parte, a la creciente automatización de ese tipo de procedimientos. En particular, el auge de los sistemas de resolución de disputas en línea (RDL) se explica, en gran medida, por la implementación de tecnologías de inteligencia artificial. En este orden de cosas, es posible visualizar cómo los avances logrados –primero en el terreno de lo privado y, luego, en lo público– se han extendido de manera progresiva al proceso judicial, gracias a las ventajas de esos sistemas en términos de costos y de rapidez en la entrega de soluciones, lo que se ha traducido en una mayor posibilidad de acceso de los ciudadanos a la administración de justicia. Gracias a este panorama, muchos ven con esperanza la evolución de los RDL, en cuanto podría hacer realidad la idea de los “tribunales multipuertas” (Multidoor Court-Houses); vale decir, un sistema judicial en que las demandas puedan ser dirigidas a diferentes mecanismos de solución de conflictos, de modo que cada caso sea conducido y resuelto a través de la vía más idónea, teniendo en cuenta sus características particulares1. Los usos judiciales de la inteligencia artificial tuvieron un comienzo tímido, que se produjo con cierto retraso, manifestándose a través del uso de variables estadísticas. Más tarde, la tecnología se incorporó en los procesadores de texto, para optimizar sus resultados y, en forma más reciente, en los buscadores de jurisprudencia y en la práctica de algunas pruebas científicas2. Hoy, el avance de la ciencia nos permite contar con herramientas de inteligencia artificial más sofisticadas, como ocurre en materia de evaluación y predicción de riesgos, las cuales serán objeto de especial estudio en este trabajo. La primera parte de este estudio estará dedicada, en primer lugar, a la noción de sistemas algorítmicos de evaluación de riesgos y la función que éstos pueden cumplir en un proceso judicial de carácter penal. Luego, se efectuará una síntesis de los principales problemas que ha planteado el uso de sistemas algorítmicos de predicción de riesgos en aquellos ordenamientos en donde se han empleado. La segunda parte de este estudio se destinará a la búsqueda de criterios para hacer compatible el uso de sistemas algorítmicos de predicción de riesgos con las exigencias del debido proceso en materia penal. Así, en base a la experiencia existente, se hará el intento de determinar qué condiciones deberían darse para que esos sistemas funcionen sin faltas al debido proceso y sin atropello de las garantías de los justiciables. 2. LOS SISTEMAS ALGORÍTMICOS DE EVALUACIÓN DE RIESGOS EN LA TOMA DE DECISIONES JUDICIALES En la última década, el grado de avance en la automatización de tareas de índole jurídica ha sido sorprendente. En efecto, ha habido un notable desarrollo de programas y aplicaciones que optimizan la búsqueda y procesamiento de la información de rele1 WALKER SILVA, N., “Resolución alternativa de conflictos en línea. Perspectivas de futuro”, Revista Iberoamericana de Derecho Privado, núm. 13, 2021. Accesible en: https://latam.ijeditores.com/ pop.php?option=publicacion&idpublicacion=76&idedicion=4883 2 NIEVA FENOLL, J., Inteligencia artificial y proceso judicial, Madrid: Marcial Pons, 2018, pp. 23 y 24.

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

77

vancia jurídica. En esa línea, algunas de esas aplicaciones son también utilizadas en el ámbito del proceso judicial, como es el caso de los sistemas de análisis predictivo, que permiten seleccionar la mejor estrategia de defensa para los clientes a través de la identificación de patrones de comportamiento de jueces y tribunales. Lo mismo ocurre con las herramientas de codificación predictiva, usadas por las partes en varios países del common law en la fase pre-trial para escoger el material que será considerado relevante en el proceso3. Pero los avances no se circunscriben a lo antes señalado. También se emplea inteligencia artificial en el ejercicio mismo de la función jurisdiccional, esto es, más allá del uso de la tecnología como mero auxilio en la búsqueda de legislación y jurisprudencia. Esto ha ocurrido durante los últimos años en varios países que han introducido en sus sistemas de administración de justicia ciertos mecanismos de resolución de disputas en línea, basándose en casos exitosos en el ámbito del comercio electrónico, en los que la experiencia privada ha sido pionera en la solución automatizada de conflictos. Un ejemplo pionero lo encontramos en Canadá, en donde el British Columbia Civil Resolution Tribunal ha resuelto miles de disputas en línea desde el año 2016. O el caso del Reino Unido, en que, en el marco de una reforma a la justicia civil, incorpora la eventual creación de un tribunal en línea –la denominada On line Solutions Court– para reclamaciones de una cuantía de hasta 25.000 libras4. Iniciativas similares también se han proyectado en países como China, Francia y Estonia. En Latinoamérica, en el ámbito del análisis predictivo para la elaboración de propuestas de resolución judicial, encontramos el caso del software Prometea5, en Argentina; y, para auxiliar a los tribunales de justicia en la toma de decisiones, se ha implementado el programa Pretoria6, en Colombia7. 3 SOLAR CAYÓN, J. I., “Inteligencia artificial en la justicia penal: los sistemas algorítmicos de evaluación de riesgos”, en VVAA, Solar (Ed.), “Dimensiones éticas y jurídicas de la inteligencia artificial en el marco del Estado de Derecho”, Cuadernos Democracia y Derechos Humanos núm. 16, Madrid: Universidad de Alcalá/Defensor del Pueblo, 2020, pp. 125 y 126. 4 SOLAR CAYÓN, J. I., “Inteligencia artificial en la justicia penal: los sistemas algorítmicos de evaluación de riesgos”, cit., p. 126. 5 Prometea es un sistema de inteligencia artificial creado en Buenos Aires, en el ámbito del Ministerio Público Fiscal. Este sistema informático se utiliza para resolver casos en diversas materias, pero de fácil solución, tales como infracciones menores, accidentes de tráfico o políticas sociales. Prometea cuenta con habilidades que van desde la automatización hasta la predicción, aunque fue originalmente construida con la finalidad de optimizar la justicia. MUÑOZ RODRÍGUEZ, A. B., “El impacto de la inteligencia artificial en el proceso penal”, Anuario de la Facultad de Derecho, Universidad de Extremadura 36, 2020, p. 704. 6 El sistema Pretoria se basa en la experiencia argentina de Prometea. Fue puesto en marcha en julio de 2020 por la Corte Constitucional de Colombia y es “un sistema predictivo basado en aprendizaje automático supervisado que selecciona, lee y elabora resúmenes sobre miles de sentencias en apenas unos segundos, de manera que puede realizar automáticamente la búsqueda de información de interés para la selección de los casos, la categorización de los mismos atendiendo a criterios de relevancia establecidos por la Corte y la elaboración de estadísticas que permitan visualizar de manera íntegra las tutelas presentadas en ese ámbito”. SOLAR CAYÓN, J. I., “Inteligencia artificial en la justicia penal: los sistemas algorítmicos de evaluación de riesgos”, cit., p. 127. 7 Ibid., p. 127.

78

Ximena Marcazzolo Awad y Nathalie Walker Silva

Unido a lo anterior, gracias al empleo del big data y de la inteligencia artificial, han proliferado diversas iniciativas que contemplan el uso de algoritmos de apoyo a las decisiones judiciales, dentro de los cuales se encuentran los sistemas de evaluación de riesgos. En atención a que éstos constituyen la materia objeto de este trabajo, en la primera parte de este capítulo nos dedicaremos al estudio de su naturaleza y utilidad. 3. ¿QUÉ SON Y CUÁL ES LA FUNCIÓN DE LOS SISTEMAS ALGORÍTMICOS DE EVALUACIÓN DE RIESGOS? Los sistemas algorítmicos de evaluación de riesgos son herramientas especialmente diseñadas con la finalidad de predecir la probabilidad de reincidencia criminal de una persona que ha delinquido8. Se sustentan en el fenómeno de la automatización de las herramientas de valoración del riesgo, y son potencialmente aplicables a los procesos de toma de decisiones vinculadas con individuos que se ven envueltos en el proceso judicial, tanto en el desarrollo del mismo proceso –como, por ejemplo, en la aplicación de medidas cautelares– como tras la condena. Se trata de herramientas que auxilian en la toma de decisiones importantes, como la concreción del régimen penitenciario, la concesión de libertad provisional y la libertad condicional, entre varias otras9. A partir de los datos disponibles, se busca el establecimiento de patrones y de relaciones entre diversas variables, a fin de establecer una predicción respecto del comportamiento futuro de los individuos. Así, a través de formulaciones especialmente adaptadas a las complejidades existentes, se persigue la disminución de las barreras relacionadas con el almacenamiento y procesamiento de datos, para diseñar una estrategia procesal eficiente10. De este modo, frente a un caso determinado los algoritmos cuantifican la probabilidad de que un individuo vuelva a cometer un delito y establecen, en función de esa probabilidad, el nivel de riesgo del sujeto11 (que se cataloga de riesgo alto, medio o bajo). Estas herramientas actuariales automatizadas se apoyan en datos personales relacionados con factores individuales, sociales y ambientales, y en una configuración propia de valoración del riesgo de violencia y reincidencia basada en metodologías cualitativas y cuantitativas diversas12. Al respecto, la literatura científica ha concluido que las variables de predicción más fuertes de la reincidencia radican en las necesidades criminógenas, la historia criminal y de comportamientos antisociales, los logros sociales, la edad, el género, la raza y los factores de índole familiar. Otros predictores de menor fuerza son el desarro Ibid., p. 129. MIRÓ LLINARES, F., “Inteligencia artificial y justicia penal: más allá de resultados lesivos causados por robots”, Revista de Derecho Penal y Criminología, 3ª época, núm. 20, 2018, p. 108. 10 MUÑOZ RODRÍGUEZ, A. B., “El impacto de la inteligencia artificial en el proceso penal”, cit., p. 701. 11 SOLAR CAYÓN, J. I., “Inteligencia artificial en la justicia penal: los sistemas algorítmicos de evaluación de riesgos”, cit., p. 129. 12 MIRÓ LLINARES, F., “Inteligencia artificial y justicia penal: más allá de resultados lesivos causados por robots”, cit., p. 108. 8 9

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

79

llo intelectual, los factores de angustia personal y el nivel socioeconómico en la familia de origen13. Si bien todos estos programas han tenido éxito en términos de eficiencia –posibilitan el procesamiento y análisis de ingentes cantidades de información, evitando el uso de recursos humanos en labores rutinarias y destinándolos a otras tareas en donde presenten respecto de las máquinas– las decisiones que se toman producto de la recomendación de la inteligencia artificial pueden resultar injustas o poco equitativas para individuos o grupos particulares. Esto puede deberse no sólo a situaciones de sesgo algorítmico –tema que trataremos más adelante–, sino también a otras causas, como la cantidad, calidad y representatividad de los datos empleados. Y, si bien ello puede producirse sin una intención premeditada, es habitual que los desarrolladores, usuarios y otros involucrados no prevean los efectos discriminatorios o atentatorios contra los derechos de ciertos grupos o individuos14. Esto es especialmente delicado porque las decisiones que se toman a partir de recomendaciones dadas por algoritmos, en muchos casos, tienen consecuencias graves en la vida de las personas, como, por ejemplo, dejar de recibir un crédito que se necesita, no conseguir un trabajo, ir a la cárcel, o sufrir el atropello de derechos fundamentales. 4. PRINCIPALES PROBLEMAS QUE HA PLANTEADO EL USO DE SISTEMAS DE EVALUACIÓN DE RIESGOS EN EL PROCESO PENAL A continuación, se hará una síntesis de los principales problemas que ha planteado el uso de sistemas algorítmicos de predicción de riesgos en aquellos ordenamientos en donde se han empleado. En consecuencia, se examinarán las dificultades introducidas a los procesos judiciales de carácter penal por el sesgo algorítmico, la falta de transparencia y de comprensión de los algoritmos, el uso del secreto empresarial como escudo para no dar a conocer a las partes el proceso de toma de decisiones y, finalmente, los atropellos al debido proceso que se han producido por el uso indebido de herramientas tecnológicas predictivas de riesgo. 4.1. Sesgo algorítmico y falta de imparcialidad Un sistema algorítmico con aprendizaje profundo funciona por medio de redes neuronales que se pueden organizar por capas. Una primera capa de inicio al procesamiento, la segunda toma el resultado de la primera y lo elabora un poco más, y así, la información pasa sucesivamente, de capa en capa, hasta llegar a las últimas neuronas que aportan el resultado final15. Así, mientras más compleja es la red, más provista de capas estará y sus funciones podrán ser más complejas. Las redes neuronales son construidas por los programadores, quienes determinan la arquitectura del modelo. Con posterioridad, esas redes se entrenan con datos y con los pesos que se les asignan a las diferentes conexiones entre 15 13 14

Ibid., p. 107. COECKELBERGH, M., Ética de la inteligencia artificial, Madrid: Cátedra, 2021, p. 107. LATORRE, J. I., Ética para máquinas, Barcelona: Ariel, 1ª edición, 2019, p. 108.

80

Ximena Marcazzolo Awad y Nathalie Walker Silva

las capas16, varias o muchas de las cuales pueden estar ocultas. Por lo mismo, para entrenarse, las redes requieren de muchos datos. De modo que el algoritmo tendrá la calidad que tengan los datos con los cuales se ha entrenado. Y ocurre que, en muchos casos, un algoritmo cometerá los mismos errores implícitos en los datos empleados para entrenarlo –si los datos contienen sesgos, el modelo los reproducirá, e, incluso, los amplificará–17. En eso consiste el sesgo. En términos estadísticos, es una inclinación sistemática presente en el proceso de recopilación de datos y su efecto principal es crear discriminaciones en contra o a favor de individuos o grupos concretos, dando lugar a resultados desviados y engañosos18. Hay varios casos emblemáticos de sesgos. Por ejemplo, los programas de reconocimiento facial, como el de Facebook (el que adolece de un importante defecto: le cuesta reconocer caras de personas de color). O el caso del programa COMPAS19, empleado en varios Estados de EEUU para determinar la reincidencia criminal (y que, entre otros resultados reprochables, da más falsos positivos –acusados respecto de los cuales se predijo que volverían a delinquir y no lo hicieron– en personas de raza negra, y más falsos negativos –acusados que, se suponía, no volverían a delinquir, pero sí lo hicieron– en personas de raza blanca). También encontramos los algoritmos de policía predictiva que, basados en datos poco representativos, estigmatizan la pobreza y la criminalizan20. O el bullado caso de la selección de curriculum vitae por parte de un algoritmo implementado por la empresa Amazon, que discriminaba a las mujeres en el reclutamiento para puestos laborales21. En el ámbito específico del proceso judicial, la imparcialidad de los jueces es un principio y un derecho esencial. El núcleo de la imparcialidad radica en que el juez no esté más próximo a una parte que a la otra, tanto en lo personal como en el objeto por el cual se litiga. En tal sentido, se espera que el juez no aplique todo el rigor de las leyes, sino que sea En efecto, se puede asignar un valor al peso de una conexión. Mientras más grande es el peso, más intensa es la conexión. Al contrario, a menor peso, la conexión se torna irrelevante. De esta forma, se puede experimentar con los pesos entre las neuronas para representar las sinapsis y así poder resolver problemas complejos. Ibid., p. 108. 17 AMUNÁTEGUI PERELLÓ, C., Archana Technicae. El Derecho y la inteligencia artificial, Valencia: Tirant lo Blanch, 2020, pp. 45 y 46. 18 COECKELBERGH, M., Ética de la inteligencia artificial, cit., p. 167. 19 El programa COMPAS (la sigla abrevia su nombre completo: Correctional Offender Management Profiling for Alternative Sanctions) tiene por objeto reducir la población carcelaria mediante la utilización de una serie de algoritmos que, según los antecedentes penales del acusado, predicen el posible nivel de reincidencia penal. MUÑOZ RODRÍGUEZ, A. B., “El impacto de la inteligencia artificial en el proceso penal”, cit., p. 703. 20 Un ejemplo está dado por PredPol, herramienta de policía predictiva que se ha usado en Estados Unidos para predecir la probabilidad de comisión de delitos en zonas específicas de las cuidades y, así, recomendar la distribución de los policías. El principal problema que se ha diagnosticado en el funcionamiento de PredPol es que el sistema pareciera estar sesgado en contra de barrios pobres o personas pertenecientes a ciertas razas, y en que la vigilancia policial segmentada disminuiría la confianza de la gente en esas áreas, transformando esa predicción en una profecía autocumplida. COECKELBERGH, M., Ética de la inteligencia artificial, cit., p. 109. 21 Véase, al respecto, la noticia en el sitio web: https://www.bbc.com/mundo/noticias-45823470 16

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

81

capaz de adaptarlas a lo que sea más justo en el caso concreto y, por esa misma razón, se acepta que tenga un amplio margen de apreciación en la determinación de las distintas figuras delictivas o de las penas concretas que imponer a un delito22. En atención a que las decisiones judiciales varían, porque los criterios o nociones particulares de equidad, buena fe o prudencia de los jueces son cambiantes y dinámicos, con ayuda de la inteligencia artificial alguien podría intentar la incorporación en algoritmos de diversos “factores de corrección” a fin de aportar una visión más empática o “humana” de dichas nociones, para hacerlas aplicables de una forma más uniforme al caso concreto. Sin embargo, esa idea colisionaría con el hecho de que solo los humanos podemos actuar con empatía. Las máquinas actuarían con frialdad, de manera que serían incapaces a priori de considerar todos los factores que modulan esa empatía, los cuales se vinculan con los detalles concretos de la historia de cada pleito y que serían muy probablemente ignorados por la inteligencia artificial. Así, ocurriría que la máquina o el programa empleado multiplicaría los errores, en atención a que las circunstancias sociales y los acuerdos sobre ciertos valores son de suyo cambiantes. En consecuencia, no parece conveniente introducir en los algoritmos esas herramientas de imparcialidad, sino que deberían mantenerse en manos de los jueces; pese a que este camino –lo sabemos de sobra– tampoco está exento de dificultades23. 4.2. Falta de transparencia y explicabilidad de los algoritmos Uno de los aspectos más controversiales de los sistemas algorítmicos de evaluación de riesgos radica en su opacidad. Varios de los modelos más complejos de aprendizaje automático (machine learning), al funcionar a través de una estructura de aprendizaje profundo (deep learning), con muchas capas neuronales, operan como “cajas negras”. Esto quiere decir que no son totalmente inteligibles o escrutables, debido a que no presentan una correlación clara entre las características con las cuales funcionan y los resultados que obtienen24. Dicho en términos más simples, significa que se puede rastrear lo que el algoritmo hizo durante el proceso de aprendizaje, pero no por qué lo hizo. En este tipo de sistemas, la posibilidad de comprender por qué tomó cierta determinación, o que llevó a un resultado específico, es mínima. Como se ha señalado con anterioridad, varios Estados pertenecientes a los Estados Unidos de América utilizan algoritmos de deep learning para predecir el riesgo25, pero no hay evidencia de que todos ellos hayan realizado estudios que permitan evaluar la fiabilidad de los sistemas. Esto es especialmente problemático, por cuanto se deja en manos NIEVA FENOLL, J., Inteligencia artificial y proceso judicial, cit., p. 136. Ibid., pp. 138 y 139. 24 NARVÁEZ LÓPEZ, C., “La inteligencia artificial entre la culpa, la responsabilidad objetiva y la responsabilidad absoluta en los sistemas jurídicos del derecho continental y anglosajón”, en VVAA, El derecho de daños en la era digital, Bogotá: Ibáñez, 2021, p. 193. 25 Entre ellos se encuentra, a modo ejemplar, el Estado de Montana, que emplea el denominado “Montana Offender Reentry” y el “Risk Assessment Tool”; o Arkansas, que utiliza el “Parole Risk Assestment Tool”. 22 23

82

Ximena Marcazzolo Awad y Nathalie Walker Silva

de empresas privadas el diseño de programas que emplean algoritmos secretos, sin que conste que los poderes públicos los hayan sometido a procesos de evaluación o los hayan auditado. En consecuencia, la tensión entre intereses públicos y privados se torna evidente, primando estos últimos, en la medida en que los sistemas siguen operando sin mayores límites, pese a que existen estudios que demuestran que pueden resultar abiertamente discriminatorios y poco fiables26. En ese sentido, uno de los principales problemas que presentan este tipo de aplicaciones de inteligencia artificial es que gran parte de ellas mantienen su funcionamiento bajo un estricto secreto industrial. Mientras más sofisticadas son, mayor es el celo de las empresas para que mantener su funcionamiento en reserva, a fin de desincentivar el plagio por parte de sus competidores o de otros sujetos que puedan aprovechar de forma gratuita esa tecnología por la cual ellos han trabajado y desembolsado cuantiosas sumas de dinero. En este escenario, la dificultad radica en que las empresas no están dispuestas, bajo ninguna circunstancia, a revelar el todo o parte de su secreto empresarial; ni siquiera en el ámbito específico de los procesos judiciales. En tal sentido, suelen aminorar las consecuencias del conflicto provocado por el desconocimiento en cuanto a su forma de operar, haciendo énfasis en las bondades de eficiencia en el manejo de la información y en su contribución en el ámbito de la administración de justicia27. En el sistema judicial norteamericano, el programa COMPAS ha sido implementado en varios Estados como un instrumento de apoyo a los jueces. Este auxilio se traduce en que indica qué condena imponer a cada persona privada de libertad y valora la posibilidad de reincidencia de cada una de ellas28. Una de las causas judiciales más emblemáticas y controvertidas en las que se ha utilizado esta herramienta es el caso State v. Loomis, el cual, por su particular importancia será objeto de un análisis más detallado en el apartado II de este capítulo. Por ahora, baste decir que, en ese proceso, tras haberse sometido al cuestionario de COMPAS, un ciudadano estadounidense fue sentenciado a siete años de prisión, habida cuenta de que el programa arrojó un resultado de riesgo de reincidencia alto. El señor Eric LOOMIS recurrió la condena, basándose en que la empresa que fabricaba el algoritmo (Northpointe Inc.) impedía averiguar los detalles de su funcionamiento, lo que se transformaba en la “caja negra” del sistema29. Por supuesto que COMPAS no es el único programa utilizado en este ámbito30. Con propósitos similares, pero con un alcance geográficamente más acotado, el equivalente 26 HERNÁNDEZ GIMÉNEZ, M., “Inteligencia artificial y Derecho Penal”, Actualidad Jurídica Iberoamericana, núm. 10 bis, 2019, p. 826. 27 A modo ejemplar, en el caso State v. Loomis, la empresa desarrolladora de COMPAS argumentó que lo importante no era cómo funcionaba el programa, sino la ayuda que con él brindaban a la justicia de Estados Unidos. HERNÁNDEZ GIMÉNEZ, M., “Inteligencia artificial y Derecho Penal”, cit., p. 824. 28 Ibid., p. 824. 29 Ibid., p. 824. 30 Su especial cobertura es consecuencia del emblemático caso ya mencionado de State v. Loomis, por cuanto el imputado recurrió una sentencia judicial luego de que la empresa ProPublica hiciera conocido un reportaje que alertaba sobre las falencias del sistema. En efecto, pese a que el programa lleva varios años en funcionamiento, sólo en forma reciente se ha hecho más visible, debido a una resolución judicial y a un reportaje periodístico que se hizo sobre el mismo. El reportaje lo

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

83

europeo de COMPAS podría ser HART (Harm Assessment Risk Tool) programa utilizado en Durham para informar sobre el riesgo de reincidencia de personas que habían delinquido y, sobre la base de este pronóstico, decidir sobre la puesta en libertad o no de los sujetos 31. Un aspecto clave en la utilización de este tipo de algoritmos es que, al igual que acontece con los procesos de toma de decisiones por humanos, ninguno resulta ser infalible. Es cierto que, en los sistemas de aprendizaje profundo, el algoritmo, a medida que aprende, va minimizando los errores que comete. Pero esta minimización no llega al valor cero; al menos no en el estado actual de desarrollo de la inteligencia artificial. Por lo mismo, es imprescindible que el uso de los sistemas de predicción de riesgos esté supervigilado por humanos, desde el diseño de los mismos, hasta la aplicación de procesos de auditoría, que permitan evaluar su funcionamiento, no sólo en términos de eficiencia, sino también –y en esto radica el aspecto más relevante a considerar– en términos del respeto a los derechos fundamentales de las personas involucradas en los procesos judiciales. Sobre todo, en un ámbito de carácter tan garantista como el proceso penal. En consecuencia, es posible avanzar en la transparencia y explicabilidad de los algoritmos utilizados en los sistemas predictivos de riesgo. En la actualidad existen varios esfuerzos orientados a tratar de que tales sistemas resulten inteligibles y escrutables para las personas ajenas a su diseño y entrenamiento32. Uno de los factores que contribuyen a lograr ese objetivo es que las empresas que los desarrollan den a conocer –al menos en el ámbito del proceso judicial penal– los valores que han tenido en cuenta para ponderar el riesgo de reincidencia de cada sujeto. Asimismo, que dichos valores no estén vinculados a elementos potencialmente discriminatorios, como la raza, el nivel educacional, el sexo o factores socioeconómicos que redunden en una estigmatización de la pobreza, más que en la predicción para la toma de decisiones racionales y justas. Resulta, entonces, imperativo que los sistemas de inteligencia artificial estén orientados por los principios de transparencia y de explicabilidad, de modo que las personas puedan tener conciencia de que están interactuando con aquéllos y puedan, con conocimiento de causa, oponerse a los resultados de esa interacción. Por ello, no sólo es conveniente, sino publicó la web ProPublica, con el sugerente título: “El sesgo de la máquina: Existe un software que se está usando en todo el país para la predicción de futuros criminales. Y está sesgado contra los negros”. En dicho reportaje se analizaba el nivel de fiabilidad de la predicción realizada por COMPAS y se ponía en duda la equidad del sistema, que parecía discriminar en forma significa a ese grupo de la población estadounidense. MIRÓ LLINARES, F., “Inteligencia artificial y justicia penal: más allá de resultados lesivos causados por robots”, cit., p. 109. 31 Ibid., p. 110. 32 Ello se logra, por ejemplo, a través del mecanismo de la retropropagación (back-propagation). Debido a que un error en una capa oculta de una red neuronal no se conoce, porque los datos de entrenamiento del algoritmo no dicen cuál es el valor que han de tomar los nodos ocultos (los nodos son las unidades de una red neuronal), se puede “propagar hacia atrás” el error desde la capa de salida a las capas ocultas. Así, mediante ecuaciones matemáticas, es posible detectar dónde el error se produce (una suerte de rastreo hacia atrás) y corregirlo para que el algoritmo prosiga su entrenamiento disminuyendo el margen de error. RUSSELL, S. y NORVIG, P., Artificial Intelligence. A modern approach, New Jersey: Prentice Hall, third edition, 2010, p. 733.

84

Ximena Marcazzolo Awad y Nathalie Walker Silva

imprescindible, sobre todo en el especial contexto del proceso penal, que el funcionamiento de la inteligencia artificial sea explicable en un lenguaje accesible para todas las personas y que sea posible analizar los resultados intermedios del sistema –no sólo los resultados finales–, para poder validarlos33 en forma adecuada, con pleno respeto de las garantías procesales que asisten a los imputados. 4.3. Vulneraciones al debido proceso en las resoluciones judiciales Uno de los principales temores que surgen de la aplicación de la inteligencia artificial en un proceso judicial es que una máquina acabe sustituyendo la función del juez, de modo que los seres humanos terminen siendo juzgados por agentes artificiales, los cuales carecen de conciencia, de criterio jurídico y son ajenos a la noción de justicia. Una aplicación de inteligencia artificial no está capacitada para valorar los hechos como puede hacerlo una persona humana. Por lo mismo, al decidir, lo hará siempre de la misma forma, sin adaptarse a los cambios o situaciones particulares, con la consecuente tendencia a “fosilizar” las decisiones que adopte34. En el caso particular –pero emblemático– de COMPAS, los tribunales de Wisconsin declararon la validez de la sentencia dictada en contra del señor LOOMIS, en atención a que se habían valorado más pruebas que la aportada por dicho programa. La Corte Suprema del Estado de Wisconsin ratificó la sentencia, desestimando las pretensiones de la defensa, argumentando –en idéntico sentido– que COMPAS era solo uno de los muchos factores que se habían considerado y ponderado en la sentencia. Con todo, ello no ha logrado despejar la interrogante en torno a si los jueces realmente fueron, en ese caso específico y lo serán en procesos futuros, capaces de apartarse de las conclusiones arrojadas por los algoritmos35. Al respecto, no se debe olvidar que este programa aprende a partir de sentencias que ya han sido ejecutadas, razón por la cual, si estas sentencias contienen un sesgo relacionado con un colectivo determinado, aplicará este sesgo a sus propias recomendaciones36. En vista de casos como el anterior, parte de la doctrina ha podido concluir que la inclusión en un proceso de las técnicas de predicción judicial debe realizarse, en toda circunstancia, con el debido respeto a los derechos fundamentales de las partes o intervinientes, así como de sus garantías procesales. En tal sentido, se torna absolutamente necesaria y pertinente la adopción de una normativa en el ámbito procesal “que, asentada bajo los principios de la transparencia algorítmica y la imparcialidad del validador, CORVALÁN, J. G., “Inteligencia artificial: retos, desafíos y oportunidades. Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia”, Revista de Investigações Constitucionais, vol. 5, núm. 1, 2018, p. 311; SAN MIGUEL CASO, C., “Las técnicas de predicción judicial y su repercusión en el proceso”, en VVAA, Conde y Serrano (Eds.), La justicia digital en España y la Unión Europea: situación actual y perspectivas de futuro, Barcelona: Atelier, 2019, p. 46. 34 MUÑOZ RODRÍGUEZ, A. B., “El impacto de la inteligencia artificial en el proceso penal”, cit., p. 708. 35 HERNÁNDEZ GIMÉNEZ, M., “Inteligencia artificial y Derecho Penal”, Actualidad Jurídica Iberoamericana, núm. 10 bis, 2019, pp. 824 y 826. 36 Ibid., p. 825. 33

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

85

conjugue todos los elementos descritos anteriormente, con la finalidad de avalar, con las máximas garantías, la utilización de la inteligencia artificial en el proceso, evitando, de este modo, la vulneración sistemática del derecho de defensa. Del mismo modo, es necesario diseñar un sistema de corresponsabilidad frente a los daños que se pudieran derivar del uso de estas técnicas de predicción judicial de manera que, tanto los desarrolladores del algoritmo como la propia Administración de Justicia, respondan por los errores técnicos y jurídicos que pudieran resultar del empleo de las mismas37”. 5. ¿CÓMO COMPATIBILIZAR EL USO DE ESTOS SISTEMAS ALGORÍTMICOS Y LAS EXIGENCIAS DEL DEBIDO PROCESO EN MATERIA PENAL? En el apartado anterior se identificaron los principales problemas detectados por la doctrina y jurisprudencia en relación con el uso de sistemas algorítmicos de predicción y de evaluación de riesgos por parte de los tribunales de justicia. En el presente, se explicitarán cuáles son las condiciones que dichos sistemas deben cumplir para cautelar de manera adecuada los derechos fundamentales que integran el debido proceso de los justiciables. Que los sistemas algorítmicos de predicción y evaluación de riesgos utilizados para auxiliar a los jueces no afecten de los derechos de las personas sometidas a un proceso penal es, a todas luces, esencial a la hora de evaluar su aplicación y viabilidad en el sistema de justicia criminal. Bajo la premisa anterior resulta evidente la importancia de dar respuesta a la siguiente pregunta de investigación: ¿cómo compatibilizar el uso de estos programas algorítmicos con las exigencias del debido proceso en materia penal? Para dar respuesta a esta interrogante, esta sección se dividirá en dos subapartados. En el primero, se abordarán las respuestas que ha dado la doctrina y la jurisprudencia para superar las dificultades detectadas en el uso de estos sistemas. En concreto, se analizarán los problemas sobre sesgo algorítmico o discriminación, secreto empresarial, explicabilidad y transparencia. La segunda parte se destinará a la identificación de algunos lineamientos para hacer compatible el uso de sistemas algorítmicos de predicción de riesgos con las exigencias del debido proceso en materia penal. De esta manera, en base a la experiencia existente, se procurará identificar qué condiciones deberían darse para que esos programas funcionen sin vulnerar el debido proceso o atropellar las garantías de los justiciables. 5.1. ¿Qué ha señalado la jurisprudencia y la doctrina en relación con el uso de sistemas algorítmicos de predicción de evaluación de riesgos? Las soluciones proporcionadas por la doctrina y jurisprudencia respecto de los problemas derivados del uso de sistemas de algorítmicos de predicción y evaluación de riesgos, en su gran mayoría, se han originado en pronunciamientos derivados de algunos casos que pueden calificarse de fundamentales. Estados Unidos de América es uno de los paí37

p. 49.



SAN MIGUEL CASO, C., “Las técnicas de predicción judicial y su repercusión en el proceso”,

86

Ximena Marcazzolo Awad y Nathalie Walker Silva

ses38 en los que se aplican extendidamente estos modelos predictivos, por lo que no es de extrañar que los casos destacados hubiesen tenido lugar en dicho país. En términos cuantitativos, más de veinte Estados39 emplean regularmente dichos sistemas de inteligencia artificial para auxiliar a los jueces al momento de determinar la pena aplicable; uno de ellos es COMPAS40. El primer caso que abrió el debate anglosajón fue Malenchik vs. State of Indiana, de 9 de junio de 2010. El pronunciamiento judicial corresponde a la Suprema Corte del Estado de Indiana. El imputado MALENCHIK fue condenado por un delito contra la propiedad. La sentencia fue de seis años, dos de los cuales se otorgaron con suspensión. La defensa presentó un recurso de apelación sobre la base de dos impugnaciones: 1) El tribunal de primera instancia, de manera equivocada, habría considerado como circunstancia agravante de responsabilidad penal el puntaje entregado por un sistema de predicción de riesgos (LSI-R, SASSI) empleado por el departamento de libertad condicional del condado de Tippecanoe y 2) esto se habría traducido en una sentencia errónea. El tribunal de la segunda instancia rechazó las dos reclamaciones. La decisión de fondo del tribunal aludió a que los modelos predictivos y de evaluación de riesgos, si bien no pueden reemplazar la decisión judicial, sí pueden ser utilizados para apoyarla y, por ende, ser legítimamente tomados en consideración por las autoridades encargadas de la decisión. El laudo agrega que el uso de la inteligencia artificial sirvió para complementar otras pruebas con que contaba el tribunal y, en modo alguno, fue la única que sirvió al órgano jurisdiccional para que sustentara su decisión41. Un segundo caso es State vs. Loomis, el cual es mencionado de manera prácticamente unánime por la doctrina especializada. Esta sentencia fue pronunciada por el Tribunal Supremo de Wisconsin el día 13 de julio de 2016. Eric LOOMIS fue imputado por la Fiscalía por haber participado en cinco delitos, uno de los cuales consistía en haber intervenido en un incidente donde se usaron armas de fuego. El imputado alcanzó un acuerdo con la Fiscalía, aceptando dos de los cinco cargos que originalmente le habían imputado. El tribunal, al momento de dictar sentencia, tuvo en consideración un presentence investigation report. Este reporte recogió los resultados de COMPAS que, como sistema de predicción y evaluación de riesgo, valora la reincidencia y el perfil criminal de los imputados42. El medio 38 Mucho más radical que estos sistemas, puesto que derechamente importa resolución de conflictos a través de sistemas automatizados, es el caso canadiense con el British Columbia Civil Resolution Tribunal que proporciona soluciones on line para diversos conflictos jurídicos. También en el reino Unido se puede observar un sistema on line denominado Online Solution Court, que resuelve reclamaciones que no sobrepasen cierto monto de libras. Véase, al respecto, la nota número 4. 39 Arkansas (Parole Risk Assessment Tool), Louisiana (LARNA); Montana (Montana Offender Reentry y Risk Assessment Tool); Alabama (VPRAI/Jefferson County) Kentucky (PSA/Statewide). En Algorithms in the Criminal Justice System. AI and Human Rights: Criminal Justice System EPIC.ORG. Accesible en: https://epic.org/ai/criminal-justice/index.html. 40 CASTELLANOS CALARMUNT, J. y MONTERO CLARO, D., “Perspectiva constitucional de las garantías de aplicación de la inteligencia artificial: la ineludible protección de los derechos fundamentales”, Revista Ius et Ciencia, vol. 6, núm. 2, 2020, p. 73. 41 Malenchik vs. State of Indiana, 9 de junio de 2010. 42 El sistema COMPAS emplea más de 100 factores como sexo, edad, etc. Con estos elementos clasifica a las personas según grupos de riesgos, la máxima puntuación es 10 y se estima que de

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

87

tecnológico reportó que el condenado tenía un alto riesgo de reincidencia, la que además fue catalogada como violenta. En la condena, el tribunal rechazó someter al condenado a un sistema de libertad a prueba porque existía un riesgo importante de reincidencia. La sanción impuesta consistió en seis años de privación de libertad y cinco de supervisión después que diera cumplimiento a dicha pena. La defensa recurrió por diversas razones. Una de estas consistió en haber considerado dentro del cálculo de la pena los delitos que quedaron fuera del acuerdo. Para la presente investigación, lo más relevante es la alegación relativa a que la fundamentación de la sentencia se había basado en el sistema COMPAS, cuya utilización habría afectado el debido proceso durante el juicio seguido contra el mencionado imputado. La defensa recurrió para ante el Tribunal Supremo de Wisconsin. El recurso se fundamentó en lo siguiente: 1) Trasgresión del derecho a ser condenado en base a información fiable y precisa. Esta alegación se justificó en la circunstancia de que el secreto empresarial impide conocer el algoritmo que realiza la evaluación del riesgo, lo que redunda en la imposibilidad de cuestionar la valoración del peligro realizada por el modelo predictivo, porque no se conoce cómo opera; 2) Vulneración de su derecho a contar con una sentencia individual y 3) La decisión del juez se basó en su género43. La Corte de Wisconsin rechazó el recurso planteado por la defensa de LOOMIS. La argumentación en la que basó su decisión consistió en que, si bien existe un secreto de fábrica, en virtud del cual la empresa no está obligada a develar cómo funciona el algoritmo de COMPAS, esto no obsta a que entregue información general sobre el programa. En la especie, el condenado habría tenido acceso a la información que utilizó el tribunal para condenarlo, cuestión que se evidencia en que pudo revisar el nivel de riesgo asignado por el sistema y también conocía su propio historial criminal que fue considerado en el cálculo. Así las cosas, se consideró que no se vulneró su derecho a ser condenado sobre la base de información fiable y precisa. De hecho, fue sometido a un cuestionario, de manera tal que pudo refutar la información. En relación con la segunda alegación planteada por la defensa, relativa a la afectación de la individualización de la sentencia, tampoco se habría verificado esta infracción. El motivo que esgrimió el tribunal se basó en que la información general que propone COMPAS se contrasta con la que se encuentra en su poder respecto de la persona que está siendo juzgada, de forma tal que el juez pondera y realiza un juicio sobre la base de toda la información con que cuenta. Respecto del tercer cuestionamiento esgrimido, la Corte también descartó dicha alegación, indicando que en el juicio las partes aceptaron que uno de los elementos para valorar el riesgo es el género de los imputados y que los indicadores disponibles dan cuenta que los hombres arrojan mayores resultados en relación con el riesgo. De ello se deriva que éste es un elemento que contribuye a dar 1 a 4 puntos las personas se consideran de bajo riesgo; de 5 a 10 de riesgo medio o alto, tal como lo mencionan CASTELLANOS CALARMUNT y MONTERO CLARO. CASTELLANOS CALARMUNT, J. y MONTERO CLARO, D., “Perspectiva constitucional de las garantías de aplicación de la inteligencia artificial: la ineludible protección de los derechos fundamentales”, cit., p.77. 43 MARTÍNEZ GARAY, L., “Peligrosidad, algoritmos y due process: el caso State vs. Loomis”, Revista de Derecho Penal y Criminología, 3.ª Época, núm. 20, 2018, pp. 490-491.

88

Ximena Marcazzolo Awad y Nathalie Walker Silva

resultados más precisos, por lo que no podría sostenerse que esto perjudique, sino que, al contrario, beneficia a la administración de justicia. A la par que la jurisprudencia, la doctrina también ha sido crítica con COMPAS y, en general, con los modelos predictivos y de evaluación de riesgos. Uno de los cuestionamientos efectuados se relaciona con las discriminaciones que se producen en el trato que se despliega respecto de las personas blancas y de las de color, o más específicamente, la disparidad de puntajes otorgados a unos y otros. Las personas de color obtienen puntajes más altos al momento de cuantificar los riesgos y además aumenta la probabilidad de incurrir en delitos violentos. Todavía más decisivo que estos criterios es el porcentaje de error al momento de determinar los resultados en materia de reincidencia, toda vez que, en relación con la población blanca, se incurre en muchas más equivocaciones que respecto de la población de color44. También los autores se han pronunciado sobre el complejo escenario que genera para el debido proceso el uso de este tipo de herramientas. Por ejemplo, en relación con el hecho de que las condenas se basen en información que sea fiable, precisa y que la defensa tenga la posibilidad de poder revisarla. Sobre el punto, la doctrina norteamericana ha manifestado la importancia de permitir que el algoritmo que se emplea en los sistemas de evaluación de riesgo sea abierto, para que pueda ser conocido por las defensas. Esto supone hacer primar el debido proceso por sobre la protección de los derechos empresariales. Otra opción es permitir que empresas auditoras externas hagan el proceso de validación para garantizar su precisión y que su uso pueda ser legitimado45. En suma, si pudiera lograrse que los códigos de los sistemas sean abiertos y los defensores puedan conocerlos, comprendiendo la forma en que generan sus reportes, estos podrían ser revisados por expertos convocados por esta parte del proceso penal. Esto, por ejemplo, ha ocurrido con la tecnología que se emplea para determinar los ADN, toda vez que el conocimiento de los procesos permite que, durante el contra examen de los peritos, se formulen preguntas que manifiesten posibles errores o defectos de dichos sistemas. También la existencia de códigos abiertos permite que estos sean objeto de investigación, lo que, a la postre, facilita evaluar externamente sus resultados. En todo caso, los sesgos en relación con la población de color no se superan con la existencia de códigos abiertos46. En el mismo orden de ideas, un estudio realizado en Estados Unidos explica las fortalezas y debilidades del sistema COMPAS. Al respecto señala que lo destacable y positivo de esta herramienta es que resulta sencilla de usar para jueces y otras autoridades que puedan servirse de sus reportes. También, que permite que respecto de todas las personas se evalúen los mismos criterios o categorías, lo que proporciona generalidad e igualdad. Además, tendría la virtud de que permite comparar cuán elevada es la puntuación de un imputado respecto de otro en relación con dichos parámetros. Sobre la base de estos criterios se determina lo que “parece ser” un riesgo de reincidencia o la existencia de ciertos factores criminógenos. El 44 FREEMAN, K., “Algorithmic Injustice: How the Wisconsin Supreme Court Failed to Protect Due Process Rights in State vs. Loomis”, North Carolina Journal of Law & Technology, vol. 18, Issue 5, 2016, p. 84. 45 FREEMAN, K., “Algorithmic Injustice: How the Wisconsin Supreme Court Failed to Protect Due Process Rights in State vs. Loomis”, cit., p. 101. 46 Ibid., pp. 102-104.

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

89

problema es que realmente existe muy poca evidencia de que esto sea lo que realmente dicho sistema evalúa. En este sentido, por ejemplo, cuando COMPAS señala que valora problemas de drogas y alcohol para predecir reincidencia, lo que no se sabe es si realmente “evalúa” dichos problemas de drogas y alcohol, lo que naturalmente conlleva incertidumbre. Esto, porque no se conoce si COMPAS utiliza parámetros validados para determinar un consumo problemático de drogas y alcohol, lo que conlleva que sus resultados sean inciertos. Lo explicitado trasunta que los programas de rehabilitación que se elaboran puedan no resultar útiles para sus destinatarios y lo mismo puede decirse de los informes o reportes entregados a los jueces al momento de valorar una sanción u otra. Adicionalmente, en el estudio se indica que no existe mucha evidencia acerca de que el sistema COMPAS realmente prediga la reincidencia. Tampoco se ha demostrado que la escala de esta herramienta prediga actuaciones violentas. La tercera conclusión de este trabajo es que no existe evidencia de que las escalas o baremos que utiliza el sistema se modifiquen durante el transcurso del tiempo y que, por lo tanto, se adapten a los factores criminógenos, de suyo cambiantes47. Lo mencionado anteriormente revela por qué es necesario que el sistema sea auditado y valorado externamente y no solo por el propio fabricante. No ha resultado suficiente que las defensas conozcan los cuestionarios y los elementos con los que se alimentan los mencionados programas. En suma, sistematizando los principales problemas que los programas algorítmicos de predicción y evaluación de riesgos pueden conllevar para las garantías del debido proceso, es posible mencionar los siguientes: •

Afectación del derecho a defensa y a prepararla adecuadamente. Si bien las empresas que elaboran los algoritmos explican y entregan información respecto de éstos, no es posible conocer cómo funcionan cabalmente. Lo expresado obedece a que darlo a conocer sería sinónimo de develar un secreto empresarial, lo que perjudica el negocio. Con motivo de la existencia de un secreto de fábrica las instituciones no entregan información, impidiendo a las defensas conocer el funcionamiento preciso de la herramienta y, por ende, de los resultados que arroja.

El derecho a defensa comprende el conocimiento cabal de los antecedentes que serán presentados, especialmente la de cargo. Ello se explica en que el derecho a la defensa material requiere que el defensor conozca cómo se obtuvieron, de qué manera, dónde y cuál es su contenido, ello con la finalidad de poder controvertirlos; de otro modo la garantía se puede ver seriamente afectada. De esta forma, si los reportes que fijan puntajes de riesgos para los imputados pueden ser empleados por los tribunales como antecedentes para determinar la procedencia de una pena sustitutiva o para conceder un beneficio intrapenitenciario, naturalmente, esta información debe ser sometida al mismo estándar de contradicción que afecta a todo aquello que pueda fundar una decisión en su contra. •

Tutela Judicial efectiva. Esta alegación se basaría en que la condena no se fundamentaría –al menos exclusivamente– en el razonamiento judicial, sino más bien

47 SKEEM J. y ENO LOUDEN, J., “Assessment of Evidence on the Quality of the Correctional Offender Management Profiling for Alternative Sanctions (COMPAS)”, Center for Public Policy Research, University of California, 2007, p. 29.

90

Ximena Marcazzolo Awad y Nathalie Walker Silva en el resultado emanado de una herramienta de inteligencia artificial. Esta situación conllevaría indefensión, toda vez que la decisión se radicaría en un sistema informático. Lo expresado se explica en que no es posible conocer todos los antecedentes que llevaron al juez a resolver o razonar de una determinada manera. Tampoco sería claro cuál es la incidencia que el sistema algorítmico tuvo en la decisión del juez48. Esto resulta de la mayor relevancia para el debido proceso, que queda integrado por la garantía de fundamentación judicial, cuya finalidad es reproducir el razonamiento del órgano decisor justificando racionalmente cómo y por qué arribó a un determinado pronunciamiento.

La ausencia de explicabilidad de la decisión jurisdiccional se agrava si consideramos lo reseñado en el punto anterior respecto del secreto de fábrica y la falta de transparencia en relación con el programa de predicción del riesgo. La cuestión se torna circular: no existe un cabal conocimiento acerca de cuál es el algoritmo, ni cómo funciona al momento de evacuar sus reportes, por lo que los puntajes contenidos en éstos tampoco resultan explicables, tornando la decisión judicial, al menos, en parcialmente ciega desde la perspectiva del justiciable. •

Se afecta la imparcialidad del juzgador. Tal como se explicó en la primera parte de este trabajo, uno de los problemas de los sistemas predictores y de evaluación de riesgos es que pueden afectar la imparcialidad de los jueces que los utilizan. Lo anterior obedece a la posibilidad de que los sesgos de los modelos informáticos se traspasen al tribunal, influyendo en la imparcialidad que debe primar en la resolución del caso sometido a su conocimiento. Lo afirmado es consecuencia de que estos programas se alimentan, en una primera etapa, de la información que incorporan sus programadores, la que responde a sus creencias respecto de la edad, sexo, etnia, etc. Esto, a su vez, influye en la información que se agrega, generando una cierta concepción de estos parámetros, la que, a la postre, afectará los reportes que el sistema evacúe. Adicionalmente, cuando el sistema se encuentre en funcionamiento, recopilará los datos que emanan de casos anteriores, los que, pese a corresponder a una determinada localidad y un contexto acotado, provocará que este sesgo quede incorporado en la base del sistema de inteligencia artificial, lo que finalmente se traducirá en traspasos de sesgos que pueden influir en la decisión que adopte el tribunal49. El problema de los sesgos y la consecuente discriminación de los justiciables durante el proceso penal fue tratado anteriormente en este trabajo, por lo que nos remitimos a ello50.

De acuerdo con la posición que se asume en este trabajo, la utilización de instrumentos de inteligencia artificial al servicio del proceso penal necesariamente debe respetar los de48 CASTELLANOS CALARMUNT, J. y MONTERO CLARO, D., “Perspectiva constitucional de las garantías de aplicación de la inteligencia artificial: la ineludible protección de los derechos fundamentales”, cit., pp. 76-80. 49 HERNÁNDEZ GIMÉNEZ, M., “Inteligencia artificial y Derecho Penal”, cit., pp. 824-825. 50 Parte I, Sección 2.1.

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

91

rechos esenciales de los justiciables. La versión contraria no puede tener cabida, toda vez que el respeto de los derechos fundamentales de los intervinientes es esencial para un Estado democrático de derecho. El carácter utilitario que pueda tener el uso de la inteligencia artificial debe ser bienvenido, pero no a costa del sacrificio de aquello que configura el estatuto de garantías de los justiciables frente al Estado. Por lo tanto, a la hora de analizar su uso, es relevante que logre superar el examen de garantías. Por este motivo, los programas de predicción y evaluación de riesgos, desde el debido proceso de los imputados, debería precaver y dar solución a estos aspectos críticos. En el acápite siguiente se consignarán algunos estándares que deberían considerarse en el evento de que se opte por usar estos modelos predictivos en el sistema chileno. 5.2. ¿En qué aspectos debemos poner especial atención al momento de pensar en la posibilidad de aplicar estos sistemas y en el ordenamiento interno? La doctrina clasifica los instrumentos de inteligencia artificial en materia penal distinguiendo su uso al servicio del policing y su empleo para el sentencing. El primer caso se orienta a la prevención de los delitos y al análisis de información policial51. El segundo, a prestar auxilio al juez en la toma de algunas decisiones52. Ejemplos del primer grupo son: la georreferenciación o mapas de los delitos, programas de análisis o cruce de información, empleo de drones, entre otros. Dentro del segundo grupo se encuentran los programas de predicción y evaluación de riesgos que se emplean para determinar la peligrosidad y la posibilidad de reincidencia de los imputados. Este trabajo se ha centrado en el uso de la inteligencia artificial para el apoyo de decisiones que se toman durante el proceso penal, en particular, en relación con el debido proceso de los justiciables. En ese contexto, se ha relatado cómo el uso de esa inteligencia artificial para apoyar la toma de decisiones de los jueces es utilizado en sistemas procesales penales de diversos países, aunque con una especial ascendencia en los de origen anglosajones, como el caso norteamericano, británico y el canadiense. Respecto de Europa, su implementación ha sido más tímida, no existiendo a la fecha un uso generalizado, en parte, debido a las reservas existentes en materia de derechos fundamentales. Pese a ello, queda claro que existe una cierta tendencia a incorporar la inteligencia artificial, lo que se manifiesta en un cúmulo de instrumentos europeos que dan cuenta de aquello53.

Sobre el uso de inteligencia artificial por parte de las policías y, concretamente, por el Departamento de Policía de Chicago, se puede revisar el trabajo de BELTRÁN ROMÁN, V. y PREMINGER SAMET, D., “Inteligencia artificial en el sistema de justicia criminal: algunas reflexiones sobre su aplicación en el derecho chileno”, Revista de Derecho Aplicado LLM UC 5, 2020, pp. 6-8. 52 MIRÓ LLINARES, F., “Inteligencia artificial y justicia penal: más allá de resultados lesivos causados por robots”, cit., p. 97. 53 Entre otros, la Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo, de 26 de abril de 2016, relativa al tratamiento de datos personales y también la Carta Ética Europea sobre el Uso de la Inteligencia Artificial en los Sistemas Judiciales y en su Entorno, de diciembre de 2018. También es posible mencionar el Libro Blanco de la Inteligencia Artificial. 51

92

Ximena Marcazzolo Awad y Nathalie Walker Silva

El ordenamiento jurídico chileno54 paulatinamente ha ido siguiendo la misma tendencia de ampliar el recurso a instrumentos de inteligencia artificial. Si bien todavía el poder judicial local no aplica modelos predictivos y de evaluación de riesgos para apoyar las decisiones de los jueces penales, se emplea, en la actualidad –en el contexto del sistema de justicia criminal interno– el sistema IGI, cuya implementación corresponde a Gendarmería de Chile55. Este mecanismo no puede ser calificado como una herramienta de inteligencia artificial, toda vez que se trata de un instrumento actuarial56 que se organiza a través de un conjunto de elementos o factores usados para la valoración, puntuación y registro de información en las diversas secciones que lo configuran, lo que sumado a cierta discrecionalidad que se le otorga al evaluador, permite determinar el riesgo de reincidencia de una persona en específico y elaborar un plan de intervención, según sea el caso57. Después de haber pasado revista a los problemas que conlleva para el debido proceso el uso de sistemas predictivos y de valoración de riesgos en apoyo de las decisiones judiciales, en adelante, se propondrán algunos estándares mínimos que deberían tenerse en consideración al momento de implementar este tipo de programas en los sistemas de justicia criminal, a fin de evitar que se afecten los derechos procesales esenciales de los justiciables. La propuesta que se formula a continuación no pretende agotar el tema, sino En este trabajo se deja fuera el uso de herramientas de inteligencia artificial por parte del Poder Judicial chileno en materia de gestión de casos, videoconferencias, etc. Dichas herramientas son tratadas por otros autores e, incluso, han sido recomendadas como una manera de facilitar el acceso a la justicia y la tutela judicial efectiva, especialmente respecto de ciertos miembros de la sociedad que pueden ver limitados sus derechos debido a su situación económica, la distancia, la ausencia de información, entre otros factores. En LILLO, R., et al., “El sistema judicial en crisis: la inteligencia artificial como solución al acceso a la justicia”, Facultad de Derecho de la Universidad Diego Portales, Semillero de Derecho Procesal, 2020, p. 7. Accesible en: https://semilleroderechoprocesal.udp.cl/wp-content/uploads/2021/01/2020-elsistema-judicial-en-crisis-la-inteligencia-artificial-como-solucion-al-acceso-a-la-justicia.pdf 55 Gendarmería de Chile es un Servicio Público que depende del Ministerio de Justicia, cuya finalidad es atender, vigilar y contribuir a la reinserción social de las personas detenidas o privadas de libertad (artículo 1º de la Ley Orgánica Constitucional de Gendarmería núm. 2.859 de 12 de septiembre de 1979). 56 Son instrumentos que se basan en la estadística. Son estructurados y desarrollados para estimar el riesgo de reincidencia, detectar las necesidades de intervención y, sobre la base de estos resultados, construir un plan de intervención para una persona determinada. Al utilizarse estos instrumentos actuariales, se logra construir el perfil de cada individuo. El evaluador logra identificar un determinado peligro de reincidencia, conjugando los factores generales de riesgo, que corresponden a aquellos que tendrían una mayor incidencia el comportamiento ilícito. En LETELIER G.; CERDA PEREIRA, A. y DÍAZ BÓRQUEZ, D. Informe final avaluación programas gubernamentales (EPG), Programas de Rehabilitación y reinserción social, 2018-2019. Accesible en: https://www.dipres.gob.cl/597/articles-189326_informe_final.pdf 57 Este instrumento es utilizado por Gendarmería de Chile desde el año 2013. En la actualidad, se emplea al momento de sugerir a los tribunales la aplicación de alguna de las penas sustitutivas de libertad vigilada o libertad vigilada intensiva. También en los informes sobre libertad condicional debe incluirse una mención al nivel de riesgo y elaborar el plan de intervención. Asimismo, se utiliza el instrumento IGI respecto de algunos privados de libertad que se encuentran próximos terminar su condena (un año aproximadamente para salir) con el objetivo de determinar si merecen o no un plan de intervención para prepararlos al momento de reincorporarse a la sociedad. En Gendarmería de Chile. Informe de avances en reinserción social. Informe de gestión, 2014/2017, pp. 68 y ss. Accesible en: https://html.gendarmeria.gob. cl/doc/ARS_informe_de_gestion.pdf. 54

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN...

93

tan solo proponer unas orientaciones iniciales para evitar, o al menos minimizar, el riesgo de afectación de los mencionados derechos procesales. Estos lineamientos básicos son los siguientes: •

Someter a los sistemas de predicción y evaluación de riesgos a auditoría y certificaciones. Sobre este punto, se debe tener en consideración que la propia Comisión Europea para la Eficacia de la Justicia58 ha aludido a la necesidad que estos programas sean certificados y sometidos a pruebas que acrediten su calidad y seguridad. En este sentido, la Carta ética aprobada el año 2018 reconoce expresamente el principio de calidad y seguridad, lo que deriva en la necesidad de que para el procesamiento de decisiones judiciales y de datos se usen “fuentes certificadas y datos intangibles con modelos concebidos en un sistema multidisciplinario, en un entorno tecnológico seguro59. Precisando este tema, la Carta consigna que “Los datos basados en decisiones judiciales que se ingresan en un software que implementa un algoritmo de aprendizaje automático deben provenir de fuentes certificadas y no deben modificarse hasta que realmente hayan sido utilizados por el mecanismo de aprendizaje. Por lo tanto, todo el proceso debe ser rastreable para garantizar que no se haya producido ninguna modificación para alterar el contenido o el significado de la decisión que se está procesando60”.

Una manera de disminuir los problemas que produce la falta de fiabilidad de los datos, derivados del desconocimiento de su origen y la manera como son procesados, consiste en realizar auditorías y certificaciones que permitan conocer cómo se ha ejecutado el poblamiento de la información y su trazabilidad. Estas actuaciones permiten determinar que los antecedentes con los que se alimenta el modelo puedan ser confiables. Lo explicitado soluciona, al menos parcialmente, el problema que se produce en relación con la fiabilidad de los datos que sirven de base a un reporte, el que, a su vez, consigna una puntuación en relación con la posibilidad de reincidencia de una persona. Uno de los aspectos centrales de la auditoría y certificación debería centrarse en evitar o minimizar la existencia de sesgos vinculados a la información que se incorpora al sistema, lo que puede evitar la discriminación que contienen algunos reportes. En cualquier caso, la auditoría y certificación interna es la primera parte y debería existir para efectos de garantizar la validez del programa de predicción y evaluación de riesgo que se fiscaliza. Adicionalmente, la información sobre auditorías y certificaciones debería ser puesta a disposición de los operadores del sistema de justicia criminal, como jueces y ministerio público; también ser entregada a los intervinientes. De esta forma no solo podrán estar informados de la validación de las herramientas, sino que de aquellos aspectos críticos que arroja el examen de estos. 58 Esta Comisión fue creada el 18 de septiembre de 2002, a través de Resolución (2002)12 del Comité de Ministros del Consejo de Europa. Su rol es incrementar los niveles de eficacia en torno a los sistemas de justicia de los Estados miembros. 59 Carta Ética Europea sobre el Uso de la Inteligencia Artificial en los Sistemas Judiciales y en su Entorno, de diciembre de 2018, pp. 8 y ss. 60 Ibid.

94

Ximena Marcazzolo Awad y Nathalie Walker Silva •

Los reportes emanados por los sistemas de predicción de riesgos no deberían ser elementos o medios de prueba que determinen la decisión del juicio penal. Ni siquiera deberían ser conocidos durante la etapa de juicio, esto es, antes que el órgano jurisdiccional arribe a alguna conclusión de absolución o de condena sobre el caso que conoce. Esto, porque el tribunal dicta la sentencia dando por acreditados ciertos hechos en relación con el delito y la participación de los acusados, de acuerdo con la prueba rendida durante el procedimiento y el reporte no debería ser considerado como uno de dichos medios.

En el mismo orden de ideas, los reportes de peligrosidad de reincidencia no deberían ser conocidos por el tribunal antes del veredicto condenatorio ni absolutorio porque, de otro modo, inducen al órgano jurisdiccional a inclinar sus decisiones en un sentido determinado, afectando su imparcialidad. Lo explicitado obedece a que, si llega información al juez sobre el comportamiento anterior del justiciable –por ejemplo, que señale que es peligroso porque ha cometido delitos anteriormente– dicho conocimiento puede influir en la decisión de la controversia jurídico penal. La sentencia no debería estar supeditada o influida por la forma de ser de un individuo, ni menos aún debido a la predicción de un comportamiento futuro posible, que pueda emanar de una herramienta de inteligencia artificial. Lo contrario equivale a la instauración de un sistema criminal que juzga a las personas por su forma de ser y no por sus actos, cuestión que es rechazada por el sistema de derecho penal liberal, donde el juicio de culpabilidad se vincula con un comportamiento típico y antijurídico, mas no por las características o juicios respecto de las personas sometidas a un sistema procesal penal. Esto, además, estaría acorde con lo dispuesto en el artículo 343 inciso final61 del Código Procesal Penal, que alude a la audiencia de determinación de pena. Al respecto, la disposición señala que solo una vez que el tribunal pronuncie el veredicto de condena, se discute y toma conocimiento de los antecedentes que son ajenos al hecho punible y que sirven para determinar la pena y su cumplimiento. Este sería el momento, no antes, en que el juez podría tener acceso a los reportes, ya que, de esta manera, se evita afectar su imparcialidad respecto del juicio de condena o de absolución. Con posterioridad al juicio de culpabilidad, la utilización de estos reportes podría ser útil desde la perspectiva de la definición de los planes concretos de intervención que pueden elaborarse respecto de uno u otro imputado, en consideración a los fines de prevención especial y, en menor medida, de prevención general. Al respecto, el tribunal debería evidenciar qué otros elementos han tenido en consideración, además de este reporte, para evaluar el riesgo de reincidencia de cada justiciable, fundamentando su decisión. Resulta esencial que la resolución jurisdiccional se justifique más allá de lo recomendado por el programa de inteligencia artificial. Este punto será desarrollado en el siguiente lineamiento. Artículo 343 inciso final del Código Procesal Penal chileno: “En el caso de condena, el tribunal deberá resolver sobre las circunstancias modificatorias de responsabilidad penal en la misma oportunidad prevista en el inciso primero. No obstante, tratándose de circunstancias ajenas al hecho punible, y los demás factores relevantes para la determinación y cumplimiento de la pena, el tribunal abrirá debate sobre tales circunstancias y factores, inmediatamente después de pronunciada la decisión a que se refiere el inciso primero y en la misma audiencia. Para dichos efectos, el tribunal recibirá los antecedentes que hagan valer los intervinientes para fundamentar sus peticiones, dejando su resolución para la audiencia de lectura de sentencia”. 61

EMPLEO DE SISTEMAS ALGORÍTMICOS DE EVALUACIÓN... •

95

Los intervinientes en el proceso penal y, particularmente, el imputado y su defensor, deberían tener la posibilidad de conocer, comprender y revisar los fundamentos de las decisiones jurisdiccionales, para lo cual resulta, también, fundamental que se encuentre en condiciones de entender el funcionamiento del sistema algorítmico y los datos que utiliza para dar lugar al reporte que podría sustentar dichas resoluciones judiciales.

Lo afirmado conlleva dos implicancias: en primer lugar, respecto de la fundamentación de la resolución judicial que se basa en la información contenida en el reporte. Debe explicitarse por qué y en qué sentido este antecedente puede ser relevante para la decisión que está adoptando dicho magistrado. Además, esta información no debería ser la única que justifique la decisión jurisdiccional sino, por el contrario, debería ir acompañada por otros antecedentes que la sostengan, a fin de evitar la mecanización en torno a este tipo resoluciones. En segundo lugar, es relevante que pueda transparentarse la forma de funcionamiento del sistema algorítmico y el proceso para arribar a sus reportes. En el mismo sentido, la Carta Blanca Ética consagra el principio de transparencia, imparcialidad y equidad, cuyo postulado es que el mecanismo sea accesible y comprensible. Junto con ello, también se sugiere otorgar la posibilidad de que los programas sean revisados a través de auditorías externas62. La auditoría externa permite conocer en detalle el funcionamiento de la herramienta informática. Esto, a su turno, permite a los intervinientes controvertir los reportes emanados de los sistemas de predicción y, con ello, ejercer adecuadamente el derecho a defenderse en relación con el contenido de dicho antecedente. El ejercicio del nombrado derecho a defensa supone que el acceso al antecedente sea completo, en el sentido que, al examinarse, pueda reproducirse el procedimiento o la manera en que se arribó a un determinado resultado. 6. CONCLUSIONES En la primera parte de este trabajo se revisa el concepto de sistema algorítmico de predicción de riesgos y evaluación. Junto con ello, se hace referencia a algunas funciones que estos pueden cumplir en los procesos judiciales, con especial énfasis en materia penal. En este orden de ideas, se pasa revista de los principales problemas que conlleva el empleo de estas herramientas cuando se utilizan para apoyar la toma de decisiones judiciales. En tal sentido, se constata que las mayores críticas se centran en el sesgo algorítmico, falta de transparencia y de explicabilidad. Posteriormente, se alude a las consecuencias que puede conllevar, esto es, afectaciones al debido proceso de los justiciables. En la segunda parte, se desarrollan latamente los mencionados cuestionamientos, particularmente los efectuados por algunas defensas de imputados. En este contexto, se manifiestan los principales argumentos proporcionados por la doctrina y la jurisprudencia, a la luz de ciertos casos calificados de emblemáticos durante este estudio. A continuación, 62 Carta Ética Europea sobre el Uso de la Inteligencia Artificial en los Sistemas Judiciales y en su entorno, de diciembre de 2018. p. 9.

96

Ximena Marcazzolo Awad y Nathalie Walker Silva

se sistematizan las principales afectaciones que los problemas consignados pueden producir al debido proceso, mencionándose los siguientes: 1) afectación del derecho a defensa y a prepararla adecuadamente; 2) tutela judicial efectiva y 3) imparcialidad de juzgador. Finalmente, se mencionan algunos lineamientos generales para colaborar en la superación de las consecuencias negativas que puede conllevar para los justiciables el uso de estos programas de inteligencia artificial durante el procedimiento penal. Al respecto, se alude a la necesidad de someter a los sistemas de predicción y evaluación de riesgos a auditorías y certificaciones, toda vez que la revisión y control de estos redunda en una mayor fiabilidad de los datos que les sirven de soporte, con lo que también es factible reducir los riesgos derivados de la discriminación algorítmica. En segundo lugar, se plantea que los reportes o informes que emanan de estos sistemas no puedan ser usados como medios de prueba para ser presentados durante el juicio contradictorio. Ello, porque su conocimiento por parte del órgano encargado de decidir la controversia jurídico penal puede afectar su imparcialidad, al proporcionársele información sobre la historia delictiva del imputado y una prognosis de comportamiento futuro, lo que, claramente, excede los hechos y la participación del individuo en el delito que es objeto del procedimiento. Lo contrario podría favorecer un derecho penal de autor, por sobre uno de acto. En tercer lugar, se enfatiza en la necesidad de permitir a los intervinientes tener acceso al sistema de inteligencia artificial para conocer cómo funciona y cuáles son sus mecanismos y, junto con ello, permitir las auditorías externas para controvertir el funcionamiento del mismo.

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD: UNA VISIÓN DESDE EL DERECHO CIVIL Esther Alba Ferré Profesora Doctora Acreditada en Derecho Civil Eserp-Universidad Rey Juan Carlos DOI: 10.14679/2058

1. INTRODUCCIÓN La Inteligencia Artificial (en adelante, IA) se ha convertido en una realidad en la vida diaria ya que realiza tareas o resuelve problemas con resultados similares a los obtenidos por una persona. La Comisión Europea en 2018 en su Comunicación “Inteligencia Artificial para Europa” englobaba bajo esta denominación a “los sistemas que manifiestan comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción –con cierto grado de autonomía– con el fin de alcanzar objetivos específicos1”, pudiendo consistir en meros software o integrarse en dispositivos físicos. Como dice BODEN, la IA “tiene por objeto que los ordenadores hagan la misma clase de cosas que puede hacer la mente”2 y tiene dos objetivos principales, uno tecnológico consistente en “usar los ordenadores para hacer cosas útiles (a veces empleando métodos muy distintos a los de la mente). El otro científico: usar conceptos y modelos de IA que ayuden a resolver cuestiones sobre los seres humanos y demás seres vivos3”. En muchos hogares ya se han incorporado altavoces inteligentes o aparatos que ayudan en las tareas del hogar, y así lo demuestra el hecho de que entre 2010 y 2014, las ventas de robots aumentaron un 17% de media cada año4. Debemos aprovechar la intromisión de Comisión Europea, Comunicación “Inteligencia artificial para Europa”, Bruselas, 25 de abril de 2018, COM (2018 a) 237 final. 2 BODEN, M. A., Inteligencia artificial, Madrid: Editorial Turner, 2017, p. 29. 3 Ibid., p. 43. 4 El Considerando D de la Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)) P8_TA(2017)0051 establece que “Considerando que, entre 2010 y 2014, las ventas de robots aumentaron un 17 % de media cada año, que en 2014 las ventas registraron el mayor incremento anual observado hasta ahora –a saber, un 29 %–, y que los principales motores de este crecimiento son los proveedores de componentes de automoción y la industria electrónica y eléctrica; que a lo largo del último decenio se han 1

98

Esther Alba Ferré

los robots y de los sistemas de IA en la sociedad para ayudar a las personas más vulnerables, como son las personas con discapacidad, ya sean niños o personas adultas. Junto a la robótica, la domótica y la teleasistencia también están favoreciendo que estas personas puedan lograr la tan deseada integración social1. Serán los robots inteligentes los que además les permitan desarrollar a estas personas su autonomía personal2. BODEN considera que los robots son la quintaesencia de la IA y lo justifica porque “tienen una gran repercusión, son tremendamente ingeniosos y representan un gran negocio3”. Es conveniente conocer no sólo los beneficios, sino también las incertidumbres o retos jurídicos que genera utilizar la IA en protección de las personas con discapacidad. Hay que tener presentes las recomendaciones dadas por el Parlamento Europeo, en su Resolución, de 16 de febrero de 2017 (2015/2013 (INL)), destinadas a la Comisión, planteando la necesidad de entrar a regular las normas de Derecho Civil sobre robótica4. De todas las recomendaciones dadas, haremos especial referencia a las que se destinen a los grupos más vulnerables y en concreto, a las personas con discapacidad. España se ha adaptado a las exigencias internacionales, teniendo en cuenta la autonomía de las personas con discapacidad. Estudiaremos los avances legislativos más recientes en esta materia a nivel nacional, analizando la nueva Ley 8/2021, de 2 de junio, por la que se reforma la legislación civil y procesal para el apoyo a las personas con discapacidad en el ejercicio de su capacidad jurídica (en adelante, Ley 8/2021) y la importancia que se da a la voluntad, a los deseos y a las preferencias de estas personas, así como las distintas medidas de apoyo y la posibilidad o necesidad de que en un futuro éstas se combinen de manera adecuada con la IA5. De esta forma se planteará convertir la robótica interactiva en una verdadera robótica inclusiva. 2. LAS PERSONAS CON DISCAPACIDAD Y LA INTELIGENCIA ARTIFICIAL: BENEFICIOS E INCERTIDUMBRES Como nos recuerda CASALS, las primeras aplicaciones de la robótica en el campo de la discapacidad “… datan ya de los años 70, con la construcción de elementos prostéticos triplicado las solicitudes anuales de patentes en el sector de la tecnología robótica”. Accesible en: https:// www.europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html#title1 1 En cuanto a la diferencia entre robótica, la domótica y la teleasistencia. VALERA COUCEIRO, E. “Domótica, robótica y teleasistencia. ¿tecnologías capaces?, La sociedad cooperativa, núm. 35, 2007, pp. 6-8. 2 Se pide a la Comisión en la Resolución del Parlamento Europeo, de 16 de febrero de 2017 y en concreto en el Principio núm. 1 que se proponga una definición europea común de robot inteligente que contenga las siguientes características: capacidad de adquirir autonomía mediante sensores y/o mediante el intercambio de datos con su entorno (interconectividad) y el intercambio y análisis de dichos datos, un soporte físico mínimo, capacidad de adaptar su comportamiento y acciones al entorno e inexistencia de vida en sentido biológico. Además, se considera que se debe crear un sistema global de registro de robots avanzados dentro del mercado interior de la Unión Europea. 3 BODEM, M. A., Inteligencia artificial, cit., p. 1614. 4 Esta resolución está disponible en https://www.europarl.europa.eu/doceo/document/TA-82017-0051_ES.html#title1. 5 La Ley 8/2021, de 2 de junio, por la que se reforma la legislación civil y procesal para el apoyo a las personas con discapacidad en el ejercicio de su capacidad jurídica, publicada en el BOE del 3 de junio de 2021, núm. 132, Sec. I, p. 67789.

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD

99

y ortéticos (brazos, piernas y manos). En estos dispositivos el control está basado en las propias señales microeléctricas del usuario, o en elementos auxiliares adaptados a las capacidades remanentes de interacción del mismo usuario con el sistema6”. El siguiente avance fueron los llamados robots asistenciales que sustituían totalmente la mayoría de las limitaciones físicas de los usuarios, diferenciándose los distintos tipos de sistemas robotizados diseñados según su finalidad concreta. Así existían robots orientados a una aplicación concreta, los montados sobre sillas de ruedas, los fijos instalados junto al usuario o los de base móvil7. Hoy en día el uso de los sistemas de IA se convierte en una verdadera herramienta que protege a las personas con discapacidad pero que debe garantizar su plena participación o toma decisiones por sí o por medio de las instituciones jurídicas o medidas de apoyo necesarias. Estos sistemas también favorecerán su accesibilidad y los ajustes razonables, la toma de decisiones, la asistencia personal, la automoción, la atención sanitaria, así como los servicios de habilitación y de rehabilitación que necesiten. De esta forma no sólo las herramientas de IA ayudarán en la detección y diagnóstico de patologías, sino que también servirán para abordar la valoración de una discapacidad en marcha. Se observan actualmente grandes avances relacionados con la robótica y las personas con discapacidad. Podemos poner ejemplos como robots cuadrúpedos que con una correa flexible puedan ayudar a las personas invidentes, asumiendo la función y el papel de un perro guía, facilitándoles caminar de manera segura sin chocar con objetos o paredes8. Así mismo, el avance de la tecnología ha logrado crear un exoesqueleto que favorece la movilidad de una persona e incluso, éste se ha aplicado al ámbito de la pediatría, pudiendo así ayudar a andar a más de doce mil niños con parálisis en España9. También las personas con sordomudez pueden verse ayudados por un robot que habla con lengua de signos, combinando la IA, las redes neuronales o la visión artificial, además de unas manos robóticas sub-actuadas10. Incluso la IA podrá asistir a los niños con necesidades especiales a 6 CASALS, A., “Robótica y personas con discapacidad”, Zerbitzuan: Gizarte zerbitzuetarako aldizkaria (Revista de servicios sociales), núm. 37, 1999, p. 60. 7 Ibid., p. 60 en relación con el estudio de los distintos tipos de robos según su finalidad concreta. 8 En relación con el robot guía, hay que destacar a los investigadores del Grupo de Robótica Híbrida de la Universidad de California en Berkeley, información disponible en https://www. muyinteresante.es/tecnologia/articulo/desarrollan-un-perro-guia-robotico-para-ayudar-a-las-personasciegas-221619822066 9 GARCIA, T., “Un exoesqueleto para reforzar la autonomía”, UMH Sapiens: divulgación científica, núm. 22, 2019, pp. 18 y 19 donde se presenta un exoesqueleto robótico diseñado por un grupo de investigadores de Neuroingeniería Biomédica de la Universidad Miguel Hernández de Elche, financiado por el programa Horizonte 2020 de la Unión Europea y se desarrolla por el consorcio “Interfaces multimodales para asistir a personas discapacitadas en actividades de la vida diaria (en adelante, AIDE). En este mismo sentido, la ingeniera Elena GARCÍA ARMADA y su empresa, Marsi Bionics, ha creado el primer exoesqueleto pediátrico, Atlas 2030, y la Agencia Europea del Medicamento y el Producto Sanitario les acaba de conocer el marcador CE lo que les permitirá comercializar y ayudar a millones de niños que por distintas enfermedades no pueden andar. Información disponible en https:// www.elmundo.es/yodona/mujeres-influyentes/2021/05/25/60ab6e6dfc6c837f1a8b4592.html 10 Los científicos de la Universidad Carlos III de Madrid han publicado un estudio con los resultados de una investigación sobre la interacción entre robots y personas sordas en las que han

100

Esther Alba Ferré

nivel educativo y así suplir las deficiencias físicas o sensoriales, o hacer la vida más fácil a las personas adultas dependientes, acompañando a los que estén solos o recordándoles tareas fundamentales, como la toma de medicamentos diaria11. La ONU destaca que el acceso a la tecnología es fundamental para hacer realidad la participación plena e igualitaria del sector donde se estima que mil millones de personas en todo el mundo viven con una discapacidad, y el 80% se encuentra en los países en desarrollo. En palabras de BAN KI-MOON, secretario general de la ONU, pronunciadas en 2014, la tecnología “… ha cambiado el mundo, llevando el conocimiento al alcance de todos y ampliando las oportunidades, por lo que las personas con discapacidad podrían beneficiarse enormemente de esos avances. No obstante, muchos no tienen acceso a esas herramientas12”. ¿Cómo podríamos garantizar el acceso de todos a las soluciones basadas en IA? Será necesaria una estrategia conjunta que permita invertir en los sistemas más apropiados, definir las mejores prácticas y preparar a las personas con discapacidad y a sus cuidadores para el futuro. Sin embargo, no todo serán beneficios entre IA y discapacidad. Es cierto que existen muchas incertidumbres generadas por ejemplo en el mundo laboral por la posible sustitución de puestos de trabajo por las máquinas. En este sentido, destaca CORVALÁN que “la naturaleza de los trabajos se enfrenta a transformaciones radicales. Sistemas inteligentes y robots compartirán oficinas, fábricas y todo espacio de trabajo que cuente con actividades potencialmente automatizables –rutinarias, mecánicas, repetitivas–. En tanto la fuerza laboral se encuentre lo suficientemente preparada con las aptitudes necesarias para este cambiante mercado laboral, no tendría que temer de ser reemplazada por máquinas inteligentes. El problema radica cuando los trabajadores no cuentan con las habilidades demandadas, quedando en una posición de vulnerabilidad frente a estos nuevos escenarios13”. Esto podría afectar a las personas con discapacidad ya que en muchas ocasiones son ellos los que asumen estos trabajos más mecánicos, favoreciendo así su inserción laboral. La propia Resolución conseguido que un humanoide, llamado TEO, se puede comunicar en lengua de signos. Información disponible en https://www.larazon.es/tecnologia/innovacion/un-robot-se-comunica-con-lenguaje-designos-FH24107839/ 11 En relación con los beneficios de la robótica en niños con necesidades especiales, AA. “Los robots como promotores de la comunicación en los trastornos del Espectro Autista (TEA)” Letras de Hoje: Estudos e debates de asuntos de lingüística, literatura e língua portugués, vol. 53, núm. 1, 2018. Y si nos preocupamos de las personas mayores, CASTAÑO, A. R., “Pedro Núñez, ayudando a las personas mayores a través de robots”, Viceversa: UEx & empresa, núm. 115, 2020, pp. 28-33. Así mismo, en relación con la ayuda de la robótica a las personas mayores, podemos presentar a Misty que es un pequeño robot creado por el Grupo Salto que sirve de ayuda y compañía a personas mayores en un programa piloto del Mobile World con el Ayuntamiento de Barcelona donde más de 90.000 personas mayores viven solas. Vid, la información en el artículo “Un nuevo robot para combatir la soledad de las personas mayores”. Accesible en: https://www.lavanguardia.com/vida/20210224/6259074/nuevo-robotcombatir-soledad-mayores.html 12 Palabras dadas el 1 de diciembre de 2014 disponibles en https://www.un.org/development/ desa/disabilities-es/2014/12/01/onu-hace-enfasis-en-el-acceso-a-las-tecnologias-para-las-personas-condiscapacidad/ 13 CORVALÁN, J. G., “El impacto de la Inteligencia Artificial en el trabajo”, Revista de Direito Económico e Socioambiental, núm. 1, vol. 10, 2019, p. 37.

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD

101

del Parlamento Europeo de 14 de marzo de 2017 ante los errores en el diseño de la IA y los sesgos en los datos recopilados considera que pueden provocar discriminación por múltiples factores, tasados o no específicamente en la normativa laboral, entre los que incluye la discapacidad, junto con la raza, el color, entre otros14. En este sentido, FERNÁNDEZ GARCIA pone un ejemplo clarificador al decir que “si el creador incorpora en el sistema de IA un sesgo discriminatorio (consciente o inconscientemente) durante la fase de diseño (“las personas con discapacidad quedan excluidas de X empleos”) que luego el algoritmo aplica”15. Desde las perspectivas éticas y jurídicas, la IA también plantea retos relacionados con la atribución de personalidad jurídica a los robots. En este sentido, el Parlamento Europeo en el punto 59 de su Resolución (2015/2013 (INL), pedía a la Comisión que explorara y analizara las implicaciones de las soluciones jurídicas propuestas, entre las que se encontraba atribuir personalidad jurídica específica a los robots a largo plazo16. En concreto, su Principio General 59 sugería crear a largo plazo esta personalidad para los robots, “… de forma que como mínimo los robots autónomos más complejos puedan ser considerados personas electrónicas responsables de reparar los daños que puedan causar, y posiblemente aplicar la personalidad electrónica a aquellos supuestos en los que los robots tomen decisiones autónomas inteligentes o interactúen con terceros de forma independiente”. De esta forma, los robots autónomos más complejos puedan ser considerados personas electrónicas responsables de reparar los daños que puedan causar. Como indica ERCILLA GARCÍA, “el panorama jurídico futuro se conformaría, por tanto, con el reconocimiento de tres personalidades jurídicas, la del ser humano individual dotado de voluntad propia, la de las colectividades humanas dotadas de una voluntad común fruto de voluntades aisladas y la de los sistemas ciber-físicos dotados de una voluntad surgida de procesos algorítmicos17”. Si nos preguntamos por el contenido de una personalidad jurídica específica para los robots, esto es, derechos y obligaciones jurídicas que la persona ciber-física haya de portar, tendríamos que tener en cuenta el derecho subjetivo a su integridad material, sin embargo en el ejercicio del mismo, “la pretensión de resarcimiento por la vulneración de aquél quedaría al albur del ejercicio de su dueño18” y lo que nos llevará a la diferenciación entre 14 Resolución del Parlamento Europeo, de 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: privacidad, protección de datos, no discriminación, seguridad y aplicación de la ley (2016/2225 (INI)). 15 FERNÁNDEZ GARCÍA, A., “La inteligencia artificial, su uso en la gestión de recursos humanos y los riesgos para los trabajadores”, en Cerrillo I Martínez, A. y Peguera Poch M. (coords.), Retos jurídicos de la inteligencia artificial, Navarra: Editorial Thomson Reuters Aranzadi, 2020, p. 187. 16 En relación con la personalidad de los robots, ERCILLA GARCÍA, J., Normas de Derecho Civil y Robótica. Robots Inteligentes, Personalidad Jurídica, Responsabilidad Civil y Regulación, Navarra: Editorial Thomson Reuters Aranzadi, 2018, pp. 13-63, donde se estudia la razón de ser de crear una personalidad jurídica específica para los robots, la necesidad, la configuración que hubiera de tener, la denominación y la evolución tecnológica que tendría que alcanzar el robot para adquirir dicha personalidad y el contenido de la misma. 17 ERCILLA GARCÍA, J., Normas de Derecho Civil y Robótica. Robots Inteligentes, Personalidad Jurídica, Responsabilidad Civil y Regulación, cit., p. 16. 18 Ibid., p. 37.

102

Esther Alba Ferré

la culpa del fabricante, como responsable de los sistemas de ingeniería, y a la culpa del formador y programador del núcleo. Nos puede preocupar que las personas con discapacidad, que interactúen en extremo con los robots que adquieran personalidad electrónica, no sepan diferenciar su ayuda y lleguen incluso a adquirir afecto, dependencia o un verdadero vínculo emocional lo que, en vez de generar asistencia, se traducirá en mayores limitaciones a su desarrollo personal. No toda la doctrina está de acuerdo con esta propuesta consistente en atribuir personalidad a los robots, y en este sentido más de 250 expertos firmaron una carta abierta en 2018 en el que señalaban la falta de sentido práctico e insensatez de esta medida19. CERRILLO I MARTÍNEZ y PEGUERA POCH considera que atribuir “… la responsabilidad directamente al robot o a la tecnología en cuestión, para cumplir con las funciones compensatoria y preventiva del derecho de daños, requiere que alguien le dote de recursos y que este pueda responder a incentivos. En el fondo, pues, resultaría necesario buscar algún sujeto tradicional que internalice los costes de los accidentes que se causen. En otros términos, no parece necesario complicar el sistema con la personalidad jurídica electrónica para cumplir con lo que el derecho de daños ya hace adecuadamente, mediante la imputación objetiva y una correcta delimitación del círculo de responsables20”. En este mismo sentido, el Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías sostiene que “el principio de la dignidad humana, el reconocimiento de la condición inherente del ser humano que lo hace digno de respeto, no debe ser violado por las tecnologías autónomas21”. La propia Comisión Europea ha descartado esta opción legislativa de atribuir personalidad jurídica electrónica a los robots expresamente el 21 de noviembre de 2019 en el Report on Liability for Artificial Intelligence and other emerging technologies22. WAGNER, G., “Robot Liability” en Lohsse, S. Schulze, R. y Staudenmeyer, D. (eds.), Liability for Artificial Intelligence and the Internet of Things, Baden-Baden: Nomos, 2019, pp. 27-62. 20 RUBÍ PUIG, A., “Retos de la inteligencia artificial y adaptabilidad del derecho de daños”, en Cerrillo I Martínez, A. y Peguera Poch M. (coord.), Retos jurídicos de la inteligencia artificial, cit., p. 69. En materia de responsabilidad civil, NÚÑEZ ZORRILLA, M.C., Cuestiones actuales sobre el régimen jurídico de responsabilidad civil por los daños causados por la Inteligencia Artificial, Madrid: Editorial Reus, 2019 y FERNÁNDEZ, R., “Robótica, inteligencia artificial y seguridad: ¿Cómo encajar la responsabilidad civil?, Diario la Ley (Online), núm. 9365, 2019. 21 Grupo Europeo sobre Ética de la Ciencia y las nuevas tecnologías, Declaración sobre Inteligencia, robótica y sistemas autónomos, Luxemburgo, 2018, p. 14. Siguiendo las consideraciones de este grupo, ROJO GALLEGO-BURÍN, M., “Los fundamentos históricos del sistema jurídico versus la personalidad electrónica de los robots”, Revista Jurídica de Castilla y León, núm. 52, 2020, p. 25, concluye considerando que no podemos “… utilizar la personalidad mutatis mutandis de las personas jurídicas, pues tras ellas hay seres humanos que se asocian para alcanzar una finalidad común, algo que nunca se produce en los robots” y que “los robots son objeto a los que el ordenamiento jurídico ni les puede ni les debe reconocer ninguna capacidad jurídica”. 22 En este mismo sentido, rechazando la atribución de un estatus jurídico específico a las tecnologías, podemos destacar la Comunicación Artificial Intelligence for Europe (COM (2018) 237 final) publicados el 25 de abril de 2018 o la Comunicación del Comité Económico y Social Europeo, The consequences of Artificial Intelligence on the (digital) single market, production, consumtion, employment and society (DO C 288/1) de 31 de agosto de 2017. 19

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD

103

Atribuir o no personalidad jurídica electrónica a tecnologías basadas en IA no es la única incertidumbre. Hay que tener presente las posibles responsabilidades que puedan acarrear ante los daños ocasionados debidos a un diseño defectuoso, la posibilidad de que superen la capacidad intelectual humana, que amenacen los espacios privados protegidos o transmitan información y datos personales. Existiendo también peligros derivados del uso malicioso que se pueda dar a la IA o de la dificultad de prever o controlar los resultados prácticos obtenidos. Es cierto, como indica ERCILLA GARCÍA, que la creación “… de una personalidad jurídica específica y la atribución de responsabilidad por determinados eventos dañosos implicará por ende la creación de un “derecho dedicado” a los robots23”, conocido como “Corpus iuris robótico” o “neoderecho” que tendría como sujeto activo, sometido a sus dictados, a un ente no natural dotado de autonomía y en el que sus normas “… por una parte constituirían dictados éticos máximos, y por otra parte se erigirían como normas susceptibles de codificación informática24”. De todos los riesgos que la IA pueda generar, nos preocupa sobre todo los que manifiestan discriminación en perjuicio de los grupos sociales más expuestos a ser vulnerados sus derechos, como son las personas con discapacidad. Se llega a considerar que los dispositivos tecnológicos pueden producir una brecha robótica que genere desigualdades de acceso y de uso, generando la desigualdad de oportunidades para los más desfavorecidos. Como indica PEGUERA POCH, “… se han suscitado cuestiones referidas a los sesgos discriminatorios que pueden incorporar los algoritmos, las posibles vulneraciones de la privacidad, en particular a través de la creación de perfiles basados en comportamientos, los riesgos derivados de las asimetrías de información y de los procesos opacos de toma de decisiones, o los daños causados por el funcionamiento de sistemas de IA sin intervención humana25”. En este sentido, el Comité Español de Representantes de Personas con Discapacidad (en adelante, CERMI) exige garantizar el principio de igualdad en la IA para evitar el mayor riesgo de discriminación de las personas con discapacidad. Insiste en que “los avances en inteligencia artificial se realicen desde un enfoque de igualdad y no discriminación, incluyendo la accesibilidad universal y el diseño para todas las personas, para evitar el mayor riesgo de vulneración de los derechos y libertades que tienen las personas con discapacidad26”. Es cierto que la Convención Internacional sobre los Derechos de las Personas con Discapacidad, aprobado por la Asamblea General de las Naciones Unida el 13 de diciembre de 2006, hecho en Nueva York (en adelante, CDPD) en su art. 4.1 dispone que “Los Estados Par23 ERCILLA GARCÍA, J., Normas de Derecho Civil y Robótica. Robots Inteligentes, Personalidad Jurídica, Responsabilidad Civil y Regulación, cit., p. 132. 24 Ibid., p. 136. 25 PEGUERA POCH, M., “En búsqueda de un marco normativo para la Inteligencia Artificial” en Cerrillo I Martínez, A. y Peguera Poch M. (coord.), Retos jurídicos de la inteligencia artificial, cit., p. 69. 26 CERMI aprobó esta declaración el 14 de mayo de 2020. Accesible en: http://www. convenciondiscapacidad.es/2020/05/14/el-cermi-exige-garantizar-el-principio-de-igualdaden-la-inteligencia-artificial-para-evitar-el-mayor-riesgo-de-discriminacion-de-las-personas-con-discapacidad/

104

Esther Alba Ferré

te se comprometen a asegurar y promover el pleno ejercicio de todos los derechos humanos y las libertades fundamentales de las personas con discapacidad sin discriminación alguna por motivos de discapacidad. A tal fin, los Estados Parte se comprometen a: … g) Emprender o promover la investigación y el desarrollo, y promover la disponibilidad y el uso de nuevas tecnologías, incluidas las tecnologías de la información y las comunicaciones, ayudas para la movilidad, dispositivos técnicos y tecnologías de apoyo adecuadas para las personas con discapacidad, dando prioridad a las de precio asequible; …”. Esta Convención está basada en un modelo social de la discapacidad que pretende sustituir al modelo tradicional médico rehabilitador que circunscribía la discapacidad a una patología individual27. De ahí que, como indican TOBOSO MARTÍN y APARICIO PAYÁ, “… propugne la emancipación de tales personas a través de la eliminación de todas las barreras: físicas, normativas, políticas, económicas, sociales y culturales o actitudinales que les afecten28”. Si los Objetivos de Desarrollo del Milenio fijados en el año 2000 no hacían referencia a las personas con discapacidad29, sin embargo, serán los Objetivos de Desarrollo Sostenible/Agenda 2030 de Naciones Unidades, establecidos en 2015, los que deben ser el marco de referencia de la IA en relación con las personas con discapacidad. La discapacidad además de ser una cuestión de derechos humanos es un tema que debe integrarse dentro de la estrategia global para la consecución de los Objetivos de Desarrollo Sostenible30. Bajo el principio de “no dejar a nadie atrás” se extiende el modelo de desarrollo sostenible que tiene en cuenta la diversidad de capacidades y las diferentes situaciones que una persona se puede encontrar. Se pone el foco en evitar la exclusión social de las personas con discapacidad y en asegurarles una vida digna y un empleo seguro. En octubre de 2017 la Comisión Mundial de Ética del Conocimiento Científico y la Tecnología de la UNESCO (en adelante, COMEST) en su informe destinado a crear conciencia y promover la consideración pública y el diálogo inclusivo sobre cuestiones éticas relacionadas con el uso diferente de las tecnologías robóticas contemporáneas en la sociedad, además de poner de manifiesto que los desarrollos actuales de la robótica asistencial y la mayor parte de las reflexiones robóticas no han hecho referencia a 27 LÓPEZ BARBA, E., Capacidad jurídica: art. 12 de la Convención sobre Derechos de las personas con Discapacidad y las medidas no discriminatorias de defensa de su patrimonio, Madrid: Editorial Dykinson, 2020. 28 Instrumento de Ratificación de la Convención sobre los derechos de las personas con discapacidad, hecho en Nueva York el 13 de diciembre de 2006, publicado en el BOE núm. 96, de 21 de abril de 2008. 29 Los objetivos de desarrollo del milenio están disponibles en https://www1.undp.org/content/ undp/es/home/sdgoverview/mdg_goals.html 30 Los objetivos de la Agenda 2030 están disponibles en https://www.agenda2030.gob.es/ objetivos/. En concreto entre los objetivos que hacen referencia a la discapacidad podemos destacar, el número 4 dedicado a la educación de calidad (en su apartado 4.5 habla del acceso igualitario a todos los niveles de la enseñanza y la formación y el 4.a es el relativo a las instalaciones educativas que tengan en cuenta las necesidades de las personas con discapacidad), el objetivo 8, relativo al trabajo decente y al crecimiento económico, en su apartado 5 establece el trabajo decente para todas las personas y entre otros, el objetivo 10, dedicado a la reducción de las desigualdades, en su apartado 2 se dedica a la inclusión social, económica y política de todas las personas.

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD

105

la Convención, propone un marco ético basado en la tecnología para considerar recomendaciones sobre ética robótica basadas en la distinción entre robots deterministas y cognitivos. COMEST identifica además los valores y principios éticos que pueden ser útiles para establecer regulaciones en todos los niveles y de manera coherente, desde los códigos de conducta de los ingenieros hasta las leyes nacionales y las convenciones internacionales. Estos principios y valores éticos relevantes incluyen: “(i) dignidad humana; (ii) valor de la autonomía; (iii) valor de la privacidad; (iv) principio de “no dañar”; (v) principio de responsabilidad; (vi) valor de beneficencia; y (vii) valor de la justicia. El principio de responsabilidad humana es el hilo conductor que une los diferentes valores que se enuncian en el informe”31. Nunca se debería permitir que el uso de la IA pueda identificar o discriminar a personas con discapacidad, al excluir la diversidad de éstas. El CERMI en el manifiesto con motivo del 3 de mayo de 2020 (Día Nacional de España de la Convención Internacional sobre los derechos de las Personas con Discapacidad), y desde un enfoque específico de derechos humanos de estas personas, aborda los principales riesgos de los sistemas de IA en el apartado 9 y entre ellos señala los siguientes “ a) El uso de sistemas de IA para justificar la selección genética de personas sin discapacidad; b) El uso de sistemas de IA para identificar y eventualmente discriminar a personas con discapacidad; c) La creación de sistemas de IA basados en modelos de normalización que excluyan o no tengan en cuenta la diversidad de las personas con discapacidad; d) El diseño de sistemas de IA que se basen o nutran de datos que incluyan estereotipos, sesgos y prejuicios respecto de la discapacidad; e) El uso de sistemas de IA que no permitan la participación o toma de decisiones de personas con discapacidad, por sí mismas o a través de sus organizaciones representativas32”. Es el momento de preguntarnos qué está haciendo Europa ante esta combinación entre la IA y discapacidad, para a continuación ver si España está ajustando su normativa en defensa de los derechos de estos grupos más vulnerables. 3. EUROPA Y LAS NORMAS CIVILES SOBRE LA ROBÓTICA: ESPECIAL REFERENCIA A LA PROTECCIÓN DE LAS PERSONAS CON DISCAPACIDAD ¿Cómo el Derecho Civil puede combinar la robótica u otros sistemas de IA y la protección de la discapacidad? Como indica PEGUERA POCH, la intervención legislativa “… puede resultar necesaria para llevar a cabo los cambios imprescindibles en la normativa vigente a los efectos de dotar de seguridad jurídica el desarrollo de los sistemas de IA y garantizar el respeto de los derechos fundamentales, así como fijar los incentivos adecuados que impulsen UNESCO. Report of COMEST on robotics ethics. 2017. Disponible en: http://www.unesco.org/ new/en/media-services/single-view/news/robotics_ethics_a_technology_based_ethical_framework_ for_to/ 32 Las aportaciones sobre la Inteligencia Artificial y Personas con Discapacidad desde una visión exigente de derechos humanos están disponibles en cermi.es semanal núm. 382 y en http://www. convenciondiscapacidad.es/2020/05/14/inteligencia-artificial-y-personas-con-discapacidad-desde-unavision-exigente-de-derechos-humanos/ 31

106

Esther Alba Ferré

y favorezcan precisamente la vía de autorregulación33”. Esta intervención legislativa no es el único mecanismo existente para que la tecnología ajuste su actividad y así logre que las personas con discapacidad se ven protegidas y beneficiadas al mismo tiempo. Es obvio que no sólo depende de modular las pautas de la sociedad, sino también de crear políticas de generación de incentivos empresariales, garantizar el presupuesto necesario, establecer códigos de conducta sectoriales o mecanismos de certificación y evaluación. La Directiva 85/374/CEE del Consejo de 25 de julio de 1985 relativa a la aproximación de las disposiciones legales, reglamentarias y administrativas de los estados miembro en materia de responsabilidad por los daños causados por productos defectuosos establecía que tan solo se cubrían los daños ocasionados por robots en cuanto a los defectos de fabricación se refiere, pero no hacía ninguna referencia a la discapacidad34. Sin embargo, esta normativa no es suficiente para cubrir los daños de los robots de nueva generación. Podríamos empezar con la incorporación de nuevos términos de carácter inclusivo que pueden ser la base de una buena regulación de la IA y la protección de las personas con discapacidad. El Instituto Europeo de Diseño y Discapacidad (en adelante, EIDD) en la Declaración de Estocolmo de 2004 utilizaba el término de “Diseño para Todos” considerando que el objetivo principal es permitir que “todas las personas tengan las mismas oportunidades de participar en todos los aspectos de la sociedad” e insiste que para lograrlo, “… el entorno construido, los objetivos cotidianos, los servicios, la cultura y la información, en resumen, todo lo que las personas diseñan y realizan para ser utilizado por las personas, debe ser accesible, conveniente para que todos los miembros de la sociedad lo usen y que respondan a una diversidad humana en evolución”. Por lo tanto, para lograr una sociedad inclusiva, “… la accesibilidad debe establecerse como un valor fundamental para el conjunto de tecnologías en las que se basa. Esta es la única manera de impedir que tanto las tecnologías actuales como los desarrollos inminentes y futuros produzcan barreras de acceso que provoquen la exclusión y la discriminación de las personas (no sólo de las personas con discapacidad) en sus oportunidades de participar en sociedad35”. El Parlamento Europeo, en su Resolución, de 16 de febrero de 2017 (2015/2013 (INL)), contiene una serie de recomendaciones destinadas a la Comisión, planteando la necesidad de entrar a regular las normas de Derecho Civil sobre robótica36. Nos centraremos en el estudio de esta Resolución en todo lo referente a las personas con discapacidad. 33 PEGUERA POCH, M., “En búsqueda de un marco normativo para la Inteligencia Artificial”, cit., p. 51. 34 Accesible en: https://eur-lex.europa.eu/legal-content/ES/ALL/?uri=CELEX:31985L0374 35 TOBOSO MARTÍN, M. y APARICIO PAYÁ, M., “Entornos de funcionamientos robotizados. …”, cit., p. 176. 36 Se considera que esta serie de normas siguen la pauta de las conocidas como tres leyes de la Robótica del profesor de bioquímica de mediados del siglo XX que son: 1. Un robot no hará daño a un ser humano, o por inacción, permitirá que un ser humano sufra daño. 2. Un robot debe cumplir las órdenes dadas por los seres humanos, a excepción de aquellas que entrasen en conflicto con la primera ley. 3. Un robot debe proteger a su propia existencia en la medida en que esta protección no entre en conflicto con la primera o segunda ley. BEJERANO, P.G., “Qué dicen las tres leyes de la robótica de Isacc Asimov” en BLogthinkbig.com de 22 de febrero de 2017, disponible en https://blogthinkbig.com/que-dicen-las-tresleyes-de-la-robotica-de-isaac-asimov

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD

107

En su considerando F reconoce que el envejecimiento de la población se debe al aumento de la esperanza de vida propiciado por los avances en las condiciones de vida y en la medicina moderna, estimando que en 2025 más del 20% de los europeos habrán cumplido sesenta y cinco años, con un aumento rápido de las personas mayores de ochenta años, lo que dará lugar “… a un equilibrio radicalmente diferente entre las generaciones dentro de nuestra sociedad, y que redunda en beneficio de la sociedad y de las familias que las personas de edad avanzada se mantengan saludables y activas el mayor tiempo posible”. Parece que la Resolución se acuerda de las personas mayores y se olvida de que muchas de ellas son personas con discapacidad o dependientes y que los avances de la IA también les ayudarán a desarrollar su autonomía personal, aunque en el considerando O hace clara referencia a la importancia de dicha autonomía al decir “… la evolución en la robótica y en la inteligencia artificial puede y debe considerarse de modo que preserve la dignidad, la autonomía y la autodeterminación del individuo, especialmente en el ámbito de la atención y la compañía a las personas, y en el contexto de los dispositivos médicos que “reparen” o mejoren a los seres humanos”. No parece apropiada la expresión relacionada con la reparación de los seres humanos y ello hace a la propia Resolución entrecomillar el término e igualarlo a la mejora. Será en los principios generales de esa Resolución, en concreto en el número 3, cuando se hace referencia expresa al caso de grupos vulnerables, incluyendo a niños, personas mayores y personas con discapacidad, al recordar que “… el desarrollo de la tecnología debe orientarse a complementar las capacidades humanas y no a sustituirlas, considera fundamental garantizar que, en el desarrollo de la robótica y los sistemas de inteligencia artificial, los seres humanos tengan en todo el momento el control sobre las máquinas inteligentes, estima que debe prestarse especial atención al posible desarrollo de un vínculo emocional entre seres humanos y robots”, lo que podría plantear problemas y graves consecuencias físicas y emocionales. Esta Resolución reconoce la labor de los llamados “robots asistenciales”, diferenciándolos de los robots médicos en los principios núm. 31, 32 y 33. Los primeros son los destinados a la asistencia geriátrica ya que ejercen funciones de prevención, seguimiento, estimulación y compañía de personas de edad avanzada o que padecen demencia, trastornos cognitivos y pérdida de memoria. Aunque a primera vista pueda parecer que los robots deshumanizarían la prestación de cuidados, lo que hacen es realizar tareas automatizadas de las personas que prestan los cuidados sin sustituir el factor humano, sino haciendo que éste pueda aumentar su atención y destinar más tiempo al diagnóstico y a las opciones de tratamiento más planificadas. Sin embargo, los robots médicos y en relación con las personas con discapacidad, podrán rehabilitar los órganos dañados e incluso restablecer funciones corporales reducidas. Hay que ser conscientes de las complejas cuestiones que suscita las posibilidades de intervención en el cuerpo humano, lo que hace destacar la importancia y urgencia de establecer comités de ética sobre robótica en los hospitales y otras instituciones sanitarias. Sin perjuicio de que las personas que tengas prótesis robóticas deberán tener acceso continuo y sostenible al mantenimiento, mejora y actualización de los softwares.

108

Esther Alba Ferré

Así mismo, esta Resolución pide a la Comisión y a los Estados miembros que promuevan el desarrollo de tecnologías de apoyo, con el fin de promover el desarrollo y la adopción de estas tecnologías por parte de los individuos que lo necesiten, como ya lo hacía el art. 4 de la Convención de las Naciones Unidas sobre los derechos de las personas con discapacidad, hecha en Nueva York el 13 de diciembre de 2006. La Convención en su art. 12 proclama que las personas con discapacidad tienen capacidad jurídica en igualdad de condiciones con los demás en todos los aspectos de la vida, y obliga a los Estados Parte a adoptar las medidas pertinentes para proporcionar a las personas con discapacidad acceso al apoyo que puedan necesitar en el ejercicio de su capacidad jurídica37. La Observación General del Comité de Expertos de las Naciones Unidas elaborada en 2014 deja claro que el sistema de apoyo a las personas que lo precisen es un término amplio que engloba todo tipo de actuaciones desde el acompañamiento amistoso, la ayuda técnica en la comunicación de declaraciones de voluntad, la ruptura de barreras arquitectónicas y de todo tipo, el consejo, o incluso la toma de decisiones delegadas por la persona con discapacidad y solo la representación en la toma de decisiones ante una situación de discapacidad. Aquí detectamos que la robótica y los sistemas de IA podrían también estar incluidos ya que pueden ayudar a las personas con discapacidad a eliminar barreras y garantizar el apoyo técnico necesario, preservando su voluntad al desarrollar su autonomía personal. La estrategia europea expresada en diversas Comunicaciones (Comisión Europea 2018, a; 2018b; 2019) y en el Libro Blanco sobre la Inteligencia Artificial (Comisión Europea 2020b) es crear un marco regulador, al que denomina “ecosistema de confianza”, el cual debe ser la base si estamos preocupándonos por la protección de las personas con discapacidad. Este ecosistema de confianza es considerado por PEGUERA POCH como ambicioso porque “… se plantea en términos teñidos de cierto voluntarismo al manifestar, por ejemplo, que el nuevo marco legal debe nada menos que “garantizar resultados óptimos desde el punto de vista social, medioambiental y económico, así como su conformidad con la legislación, los principios y los valores de la UE” (id.12)38”. Si España, aunque con retraso ya se está adaptando a la normativa internacional en materia de discapacidad, nos planteamos ahora qué es lo que debería hacer para combinar adecuadamente la discapacidad y la IA. Como indica DE ASÍS ROIG, la tecnología “… no avanza sola y puede regularse su uso. Y esa regulación debe hacerse tomando como referencia el modelo de sociedad que queremos39”, esto es, una sociedad que garantice la igualdad Instrumento de Ratificación de la Convención sobre los derechos de las personas con discapacidad, hecho en Nueva York el 13 de diciembre de 2006, publicado en el BOE núm. 96, de 21 de abril de 2008. LÓPEZ BARBA, E., Capacidad jurídica: art. 12 de la Convención sobre Derechos de las personas con Discapacidad y las medidas no discriminatorias de defensa de su patrimonio, Madrid: Editorial Dykinson, 2020. 38 PEGUERA POCH, M., “En búsqueda de un marco normativo para la Inteligencia Artificial”, cit., p. 54. 39 MORA-SIFUENTES, F. M., “Derechos, discapacidad e inteligencia artificial. Entrevista a Rafael de Asís Roig”, Ciencia Jurídica. Departamento de Derecho, División de Derecho, Política y Gobierno, Universidad de Guanajuato, año 9, núm. 17, 2020, p. 147. 37

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD

109

de oportunidades para todos, y para ello será necesario formar a juristas que “… posean un espíritu crítico: sean conscientes del modelo jurídico en el que se basan, se diferencien del razonamiento mecánico o, dicho de otra forma, sean capaces de añadir algo al razonamiento mecánico; y se cuestionen desde un punto de vista ético40”. 4. LA VOLUNTAD, LAS PREFERENCIAS Y LOS DESEOS DE LAS PERSONAS CON DISCAPACIDAD EN LA SOCIEDAD TECNOLOGIZADA: LA ROBÓTICA INCLUSIVA En 2003 el legislador español proclamó una serie de leyes, como la Ley 41/2003, de 18 de noviembre de protección patrimonial de las personas con discapacidad y la Ley 51/2003, de 2 de diciembre de igualdad de oportunidades, no discriminación y accesibilidad universal de personas con discapacidad donde claramente intentaba establecer un sistema de protección de la persona con discapacidad, siempre que ella no fuese capaz de proteger sus intereses41. Realmente el esfuerzo de nuestro ordenamiento por adaptarse a los mandatos de la Convención, se produce con la Ley 39/2006, de 14 de diciembre, de Promoción de la Autonomía Personal y Atención a las personas en situación de dependencia42, con la Ley 26/2011, de 1 de agosto, de adaptación normativa a la Convención Internacional sobre los Derechos de las Personas con Discapacidad43 y con el Real Decreto Legislativo 1/2013, de 29 de noviembre, por el que se aprueba el Texto Refundido de la Ley General de derechos de las personas con discapacidad y de su inclusión social44; pero la realidad demuestra que las personas con discapacidad siguen viendo conculcado su derecho a la autonomía personal. En la actualidad y gracias a la Ley 8/2021, de 2 de junio por la que se reforma la legislación civil y procesal para el apoyo a las personas con discapacidad en el ejercicio de su capacidad jurídica, recientemente aprobada y que ha entrado en vigor el 3 de septiembre de 2021, nuestro Derecho Civil por fin se está adaptando a las exigencias de la Convención45. Ya observamos un cambio sustancial en materia de la discapacidad eliminando un modelo médico y paternalista, que sólo se preocupaba por los aspectos patrimoniales, y sustituyéndolo por un modelo de integración social preocupado también por los aspectos personales, como pueden ser los relativos a decisiones sobre las vicisitudes de su vida ordinaria (domicilio, salud, comunicaciones, etc). Esto ya lo reconoce la Exposición de Motivos al decir “Se impone así el cambio de un sistema como el hasta ahora vigente en nuestro ordenamiento jurídico, en el que predomina la sustitución en la toma de decisiones que afectan a las personas con 40 Ibid., p. 148, en relación con un post dentro del Blog “Paso Cero” donde se reflexionaba sobre la necesidad de replantearse la formación jurídica. 41 Publicadas respectivamente en BOE núm. 277, de 19 de noviembre de 2003 y en BOE núm. 289, de 3 de diciembre de 2003. 42 Publicada en BOE núm. 299, de 15 de diciembre de 2006. 43 Publicada en BOE núm. 184 de 2 de agosto de 2011. 44 Publicada en BOE núm. 289, de 3 de diciembre de 2013. 45 Publicada en BOE núm. 132, de 3 de junio de 2021.

110

Esther Alba Ferré

discapacidad, por otro basado en el respeto a la voluntad y preferencias de la persona quien, como regla general, será la encargada de tomar sus decisiones”. La gran reforma que potencia un sistema de promoción de la autonomía de las personas adultas con discapacidad conlleva la eliminación de la tutela, de la patria potestad prorrogada y de la patria potestad rehabilitada por ser figuras demasiado rígidas y poco adaptadas a las nuevas concepciones sobre la autonomía de las personas con discapacidad. Según el art. 250 CC “Las medidas de apoyo para el ejercicio de la capacidad jurídica de las personas que lo precisen son, además de las de naturaleza voluntaria, la guarda de hecho, la curatela y el defensor judicial”. Siendo reflejo de la importancia de la voluntad de las personas con discapacidad, la novedad de regular la autocuratela en el nuevo art. 271 CC. Si lo que pretendemos es visibilizar la discapacidad e incluirla en las reglas uniformes y principios éticos sobre el uso de los sistemas de IA, como verdaderas medidas de apoyo técnico, para que contribuyan a la protección y al respeto de sus derechos, será muy importante que los beneficios o riesgos derivados del uso de estos sistemas sean abordados prioritariamente por las personas con discapacidad y sus familias. Un claro ejemplo de ello se ve reflejado en la incorporación, como vocal de la Comisión Permanente de Digitalización de la Economía, la Administración y la Ciudadanía, de una persona en representación del CERMI siguiendo la Resolución de 22 de noviembre de 2020, de la Secretaría de Estado de Digitalización e Inteligencia Artificial, por la que se determina la composición de la Comisión Permanente, creada en el seno del Consejo Consultivo para la Transformación Digital. El respeto a la libertad y autonomía de las personas con discapacidad implica, siguiendo a PEGUERA POCH que “los sistemas de IA no deben mermar la capacidad de actuación de quienes interactúan con ellos, ni ir en detrimento de su participación en el sistema democrático y deben reservar una amplia capacidad de decisión a las personas46”. Se quiere potenciar la voluntad, los deseos y las preferencias de las personas con discapacidad en la sociedad tecnologizada y para ello será importante aprovecharnos de los beneficios de la IA, superando todos sus riesgos, para así ver garantizada su mayor autonomía personal. De esta forma avalaríamos el respeto a su dignidad, la tutela de sus derechos fundamentales y de su libre voluntad ya que, ayudados por los robots asistenciales, podrían ver superadas ciertas barreras y así, acceder a la sociedad en condiciones de igualdad. Daríamos por cumplidos los deseos de la Confederación Española de Personas con Discapacidad Física y Orgánica (en adelante, COCEMFE), que impulsa el manifiesto “La Autonomía Personal, una cuestión de justicia e igualdad”, pidiendo a los poderes públicos y al conjunto de la sociedad que adopten las medidas necesarias para que todas las personas puedan ejercer su derecho a la autonomía personal, es decir, a vivir libremente conforme a su voluntad, condición esencial de todo ciudadano plenamente activo e incluido en la comunidad47. Así, lograremos como indica TOBOSO MARTÍN y APARICIO PAYÁ que “la sensibilización sobre los derechos de las personas con discapacidad (aplicable también a los derechos de las personas mayores) puedan favorecer la reorientación de la robótica interactiva hacia 46 PEGUERA POCH, M., “En búsqueda de un marco normativo para la Inteligencia Artificial”, cit., p. 48. 47 El manifiesto está disponible en https://www.autonomiapersonal.org/

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD

111

una robótica inclusiva, con objetivos que no se centren únicamente en la rehabilitación, promoviendo entornos sociales más inclusivos48” y los valores de esta robótica inclusiva se deben basar no sólo en el respeto a toda forma de diversidad funcional humana, sin discriminación a la amplia diversidad presente en los funcionamientos humanos, sino en la inclusión, la cual requiere de accesibilidad universal y el diseño para todas las personas, y en la participación social de las personas con discapacidad, que exige que dichas personas también puedan tener voz en todas las fases del desarrollo de las tecnologías robóticas, creando así soluciones tecnológicas más viables e inspirando nuevas líneas de investigación49. Por lo tanto, la obligación más importante que tenemos en esta materia es la de contribuir a que no exista discriminación por razón de discapacidad, ello implica en otras cosas, siguiendo a MORA-SIFUENTES “… el reconocimiento de una igualdad, de un derecho a los apoyos en la toma de decisiones, a la asistencia en las actividades básicas de la vida diaria y en definitiva, al disfrute de todos los derechos en igualdad de condiciones que los demás”. En este punto, la accesibilidad se convierte en el eje fundamental e implica: “(i) la obligación de que todo producto, entorno, bien, servicio o derecho se diseñe de manera que pueda ser utilizado, disfrutado o ejercido por cualquier persona (diseño para todos/as); (ii) y la obligación de corregir incumplimientos justificados de la obligación anterior, bien mediante acciones de carácter general (medidas de accesibilidad), bien mediante actuaciones de carácter individual (ajustes razonables)50”. Es cierto que la configuración de una robótica inclusiva, “… en el marco de una sociedad robotizada, constituye una exigencia ético-política que abre oportunidades a las personas más vulnerables. …. En último término, al reto tecnológico se une la complejidad social que conlleva el reto de la inclusión, en todo caso, el objetivo, no puede olvidarse, es construir sociedades más justas51”. Por lo tanto, se aboga por una robótica inclusiva frente a la robótica exclusiva ya que, si los avances de la tecnología ayudan sobremanera a las personas con discapacidad, también esa misma tecnología puede terminar excluyéndola si no se las tiene en cuenta o no se les facilita su acceso. Por ello se considera fundamental que siga existiendo una colaboración plena entre personas y máquinas. Además, será esencial el control humano sobre los sistemas de IA desde la primera fase del diseño para conseguir así que resulten sólidos y seguros, evitando daños. Y para lograr una IA responsable y que beneficie a todos en igualdad de oportunidades, ésta deberá estar guiada por principios básicos que ayuden a conseguir los resultados deseados de ayuda y apoyo técnico a las personas con discapacidad. TOBOSO MARTÍN, M. y APARICIO PAYÁ, M., “Entornos de funcionamientos robotizados. ¿Es posible una robótica inclusiva?, cit., p. 175. 49 Ibid., p. 178. 50 MORA-SIFUENTES, F. M., “Derechos, discapacidad e inteligencia artificial. Entrevista a Rafael de Asís Roig”, cit., p. 146. La definición de ajustes nos la da la Convención de Personas en su art. 2 donde se contienen varias definiciones y así, se entiende que los ajustes razonables son “las modificaciones y adaptaciones necesarias y adecuadas que no impongan una carga desproporcionada o indebida, cuando se requieran en un caso particular, para garantizar a las personas con discapacidad el goce y el ejercicio, en igualdad de condiciones con los demás, de todos los derechos humanos y libertades fundamentales”. 51 TOBOSO MARTÍN, M. y APARACIO PAYÁ, M., “Entornos de funcionamientos robotizados. ¿Es posible una robótica inclusiva?, cit., p 183. 48

112

Esther Alba Ferré

La existencia de beneficios y riesgos asociados a la implantación de sistemas de IA ante la discapacidad nos suscita una reflexión ética y jurídica en búsqueda de fórmulas que, favoreciendo la efectiva adopción de las tecnologías de IA, permitan controlar las consecuencias adversas pero siempre abogando por una IA ética, siguiendo a PEGUERA POCH, donde se invocan “categorías normativas como la transparencia, equidad y justicia, no maleficencia, responsabilidad, privacidad, libertad y autonomía, confianza, dignidad, sostenibilidad y solidaridad52”, junto con principios consagrados en la Carta de Derechos Fundamentales de la Unión Europea (2010/C 83/03), como la dignidad, la igualdad, la justicia y la equidad, la no discriminación, el consentimiento informado, entre otros53. Así la IA no sólo será ética, sino lícita y robusta lo que hará que las personas con discapacidad puedan confiar en ella. Por lo tanto, la confianza “… entre máquina-humano es esencial para la evolución y desarrollo de la sociedad en todas su formas y clases, debiendo ser responsables con la inteligencia artificial, pero sintiéndonos seguros ante y con ellos en nuestras vidas54” y añadiríamos, en las vidas de los más necesitados. 5. CONCLUSIONES Los beneficios de aunar la IA a la discapacidad pueden convertir la robótica interactiva en una verdadera robótica inclusiva, favoreciendo la toma de las decisiones, la accesibilidad y la asistencia personal de los más necesitados. Los avances tecnológicos han logrado que ya sean una realidad robots guía de personas invidentes, exoesqueletos para favorecer la movilidad de adultos o niños con parálisis, robots que hablan lengua de signos, que ayudan a niños con necesidades especiales o hacen la vida más fácil a personas adultas dependientes. La presencia cada vez mayor en nuestras vidas y en las de las personas con discapacidad de los sistemas de IA nos demanda buscar la solución a distintos retos jurídicos a los que nos debemos enfrentar para que la ayuda que la tecnología basada en la IA aporta no se vuelva en nuestra contra, y menos generen perjuicios a los más vulnerables. En el mundo laboral las personas con discapacidad asumen tareas automatizadas o mecánicas, lo que les permite su inserción laboral. Si ahora son los robots los que adopten estas funciones e incluso utilizan sesgos en los datos recopilados, como la discapacidad, la Resolución del Parlamento Europeo de 14 de marzo de 2017 teme que se estará volviendo a una sociedad discriminatoria con los más necesitados. Puede que la solución sea atribuir personalidad jurídica electrónica específica a todos los robots, lo que conllevaría una presunción y un nuevo paradigma que sería parecido a la atribución de personalidad a las personas jurídicas como entes abstractos. Sin embargo, 52 PEGUERA POCH, M., “En búsqueda de un marco normativo para la Inteligencia Artificial”, cit., p. 44. 53 La Carta de Derechos Fundamentales de la Unión Europea está publicada en DOU C 83/384 de 30 de marzo de 2010. 54 CARRASCAL SANTANO, A. “De la persona biológica, criótica, a la persona robótica cibernética”, R.E.D.S, núm. 16, 2020, p. 236.

LA INTELIGENCIA ARTIFICIAL Y LA DISCAPACIDAD

113

no toda la doctrina está de acuerdo con esta propuesta, llegando a considerar más sensato abandonar esta idea al considerar que el Derecho de daños de base europea cuenta con instrumentos suficientes para dar respuesta a los problemas de responsabilidad civil por los daños que causen las tecnologías basadas en la IA. Si la interacción entre robots ya con personalidad jurídica electrónica y personas con discapacidad se lleva a su extremo, se crearán relaciones afectivas emocionales y por lo tanto, en vez de apoyo, esta interacción generará dependencia y confusión. Se deberá combinar el apoyo técnico del robot con la asistencia personal, que no podrá ser sustituida en todos los casos, ya que habrá que estar al grado de dependencia o de discapacidad de cada persona. Hay que tener en cuenta las recomendaciones dadas en esa Resolución desde Europa sobre la necesidad de normas civiles sobre la robótica y preocuparnos porque las personas con discapacidad no se vean discriminadas. La protección de este sector de la población se verá garantizado si combinamos estas recomendaciones con las dadas por el CERMI, que como Comité de Representación de Personas con Discapacidad, nos recuerda que el despliegue y gestión de la IA ha de ser sometida a procedimientos democráticos y de gobernanza, donde se debe ver garantizada la participación de todos los grupos de interés en la toma de decisiones y en la validación, entre los que encontramos al grupo de las personas con discapacidad. Si queremos visibilizar la discapacidad ante la IA, y siempre teniendo en cuenta reglas uniformes y principios éticos sobre el uso de sistemas de IA, contribuiremos a un marco de protección de los derechos ante la diversidad humana. Sin olvidar que siempre se deberá exigir el respeto a la dignidad de la persona, a la libre voluntad de la persona y a la tutela de sus derechos fundamentales. El respeto a la discapacidad se debe afrontar atendiendo a los principios de necesidad y proporcionalidad de las medidas de apoyo y salvaguardias, que ahora podríamos trasladar a los sistemas de IA, entre las que incluiríamos a los robots inclusivos como apoyos técnicos. La Convención Internacional de Derechos de las Personas con Discapacidad de 2006 además de basarse en un modelo social de la discapacidad, recordó a los Estados Parte su compromiso relacionado con emprender o promover la investigación y el desarrollo de nuevas tecnologías adecuadas para las personas con discapacidad. La nueva Ley 8/2021, de 2 de junio, por la que se reforma la legislación civil para el apoyo a las personas con discapacidad en el ejercicio de su capacidad jurídica potencia la primacía de la voluntad, los deseos y preferencias de las personas con discapacidad y por ello, ellas serán no sólo las que deben participar en el desarrollo de estas nuevos apoyos técnicos, sino ajustar los mismos a sus necesidades, controlando la tecnología que bien aplicada borrará todo tipo de brecha o discriminación. La accesibilidad universal será el valor fundamental para lograr una sociedad inclusiva y para el conjunto de tecnologías en las que se basa, y así impedir que los avances futuros produzcan barreras que provoquen exclusión o discriminación sin que se vea garantizado la igualdad de oportunidad de todos. El conocido “Diseño para Todos” conlleva que al implementarse nuevas tecnologías se respete la diversidad funcional y tenga incluso en cuenta la participación de los usuarios con discapacidad en el propio proceso de diseño, ya que ellos mismos generarán propuestas tecnológicas más viables.

114

Esther Alba Ferré

Por lo tanto, los valores de la robótica inclusiva no sólo conllevan combinar el respeto de éstos por todo tipo de diversidad funcional humana, la accesibilidad universal y el diseño para todos, sino también tener presenta la necesidad de que exista una participación social de las personas con discapacidad en todas las fases del desarrollo de las tecnologías robóticas. Así la integración social de las personas con discapacidad se verá favorecida por los robots inteligentes, pero siempre que se vea preservada su autonomía personal o la de sus familias. Será la accesibilidad la que hará que la tecnología actual y los desarrollos futuros impidan barreras de acceso que provoquen la exclusión y discriminación de las personas con discapacidad. El enfoque de la IA desde la igualdad y no discriminación es esencial en materia de discapacidad. Demandamos que las normas civiles den un paso más ante la discapacidad y reorienten la robótica interactiva hacia una robótica inclusiva, que no sólo logre la tan desea sensibilización sobre los derechos de las personas con discapacidad, sino que combine adecuadamente los apoyos técnicos con la voluntad de estas personas. La robótica debe ser inclusiva y no exclusiva. Así con el respeto a la diferencia y la aceptación de las personas con discapacidad, como valores esenciales, se logrará una sociedad inclusiva que cuente con la mediación tecnológica, caracterizada hacer primar la seguridad, la gradualidad de cada discapacidad o amplio abanico de necesidades de las personas con discapacidad y el desarrollo de su personalidad. Una estrategia inteligente para poner en acción a la IA y lograr los mayores beneficios será que los humanos y las máquinas colaboren para aportar lo mejor de cada uno, complementándose. Debemos conseguir una sociedad más justa o una sociedad mejor que combine adecuadamente el reto tecnológico con la complejidad del reto de la inclusión. Ello nos llevará a reconocer la existencia de una IA ética, basada en una serie de categorías normativas claves para proteger a las personas con discapacidad como son la equidad y justicia, no maleficencia, responsabilidad, privacidad, libertad y autonomía, entre otras. Siendo la confianza entre máquinas y humanos de carácter esencial para que las personas con discapacidad se sientan seguros ante la IA.

BLOCKCHAIN Y SMART CONTRACTS.. EN EL TRÁFICO JURÍDICO EXTERNO Lidia Moreno Blesa Profesora Ayudante Doctora de Derecho Internacional Privado Universidad Complutense de Madrid DOI: 10.14679/2059

1. INTRODUCCIÓN La cadena de bloques es una base de datos que puede ser compartida por una gran cantidad de usuarios en forma peer-to-peer y que permite almacenar información de forma inmutable y ordenada. El carácter compartido de la red y el cifrado de la información almacenada facilitan la ejecución automática de compromisos contractuales cuando se cumplan las condiciones previstas en la información digitalizada que se incorpora a la base de datos. Es su carácter descentralizado y ajeno al control de terceros, lo que va a permitir una reducción de los costes y del tiempo que supone la ausencia de intermediarios en la autenticación de las transacciones. La colaboración entre iguales imprime la transparencia y la confianza necesarias en todo el funcionamiento del sistema, lo que reduce también los riesgos inherentes a la fiabilidad de los agentes tradicionales. Además, la solidez del sistema descansa en procesos matemáticos de cifrado. De este modo, el cifrado garantiza que los datos no sean alterados en el tiempo, ni en su forma, así como tampoco en las identidades de los remitentes o destinatarios. En este contexto, el término smart contract o contrato inteligente hace referencia a un programa informático que opera sobre la base de tecnología blockchain y permite la automatización en relación con el cumplimiento de obligaciones del contrato. Hasta tal punto ello es así que el smart contract no se considera un contrato en sentido estricto. Más bien, se caracteriza por ser un instrumento para el cumplimiento automatizado de ciertos compromisos vinculados a una relación subyacente, documentada en lenguaje programación para hacer posible su incorporación a la base de datos compartida. El procesamiento tecnológico de toda la relación contractual, sin necesidad de recurrir a mecanismos de ejecución externos ha llevado a plantear la falta de necesidad de un sistema legal para su operatividad. De facto, vendrían a representar una alternativa tecnológica desregulada a los demás

116

Lidia Moreno Blesa

modelos contractuales sujetos a regulación. Pero esta quimera está lejos de poder ser cierta ya que, muy al contrario, los smart contracts plantean retos legales importantes para los operadores jurídicos que se enfrentan a ellos. En el tráfico jurídico externo será necesario precisar el tribunal competente y la ley aplicable, cuando de un incumplimiento se trate. Pueden surgir desavenencias referidas a eventuales errores en la configuración del programa informático que repercuten en la plasmación en lenguaje de programación de los compromisos relevantes. También pueden surgir controversias acerca de la eventual ilicitud de los términos de ciertos compromisos realizados en el programa. Incluso sería posible que emergieran reclamaciones relativas a la ejecución de la transacción, cuando terminado el contrato, el automatismo del smart contract no pudiera impedir que se materializara la orden de cumplimiento. Para resolver los conflictos de leyes y de jurisdicciones que la propagación de estos instrumentos automatizados pueda llegar a tener en un entorno internacional, habrá que estar al contrato o relación subyacente en el que se enmarca la obligación automatizada. El recurso a normas nacionales, como la regulación elaborada en el seno de la UNCITRAL, puede servir para cubrir los déficits que se observen en las normas tradicionales que se apliquen a los contratos más clásicos1. Un ámbito donde también se plantean dificultades de convivencia entre esta nueva realidad tecnológica y la regulación existente es en la protección de datos. Sobre todo, en el ámbito de la Unión Europea, donde la presencia de objetivos normativos de carácter supranacional podría complicar el entendimiento entre la protección de los Derechos fundamentales, por un lado, y la promoción de la innovación, por otro. Así, el Reglamento General sobre Protección de Datos (en adelante, RGPD) podría resultar inaplicable en algunos casos como, por ejemplo, en el de los sujetos responsables de la efectiva protección de los datos, ya que en la cadena de bloques es inexistente la figura del responsable del fichero o tratamiento. Por su parte, la posibilidad de ejercitar los derechos de acceso, rectificación, cancelación y oposición (ARCO) no existe o se difumina en la blockchain, porque los datos introducidos en una transacción están adheridos a un bloque irreversiblemente y difundidos en la cadena de manera automática. En consecuencia, no se traba ligamen entre ejerciente y responsable, por lo que decae el telos del habeas data. En definitiva, se constatan riesgos jurídicos e incertidumbres ante una realidad tecnológica que se implanta en los negocios internacionales con una regulación pensada para otro tipo de transacciones. Las operaciones analógicas han dado paso a las tecnológicas, sin que en muchos casos esa transformación haya ido acompañada de la respuesta jurídica adecuada a los cambios producidos. Una posible solución para este gap entre la legislación y los contratos digitales podría encontrarse en la codificación de la ley. De tal forma que la codificación de la ley debería ser entendida como su transformación a un formato legible por la máquina con el objeto de facilitar la transposición de las obligaciones contractuales 1 ANGUIANO, J.M., “Smart contracts: introducción al contractware”, Diario La Ley Ciberderecho, núm. 24, enero 2019. En concreto, se indica por el autor que muchos de los conceptos y definiciones legales de la normativa sobre comercio electrónico se inspiran en las directrices marcadas por la Comisión de las Naciones Unidas para el Derecho Mercantil Internacional (CNUDMI o UNCITRAL por sus siglas en inglés).

BLOCKCHAIN Y SMART CONTRACTS...

117

a códigos contractuales digitales. En consecuencia, las leyes se presentarían en un formato de programación para que pudieran ser analizadas por una máquina. Aunque la dificultad de transponer la flexibilidad de las reglas jurídicas a un lenguaje formalizado que pueda ser interpretado y utilizado por máquinas también podría traducirse en una aplicación más rígida de esas reglas. Por lo tanto, será necesario encontrar un equilibrio adecuado entre la mayor eficiencia asociada a la legibilidad por la máquina y la flexibilidad, lo que sin duda representa un reto insoslayable para todos los operadores implicados en esta nueva dimensión. 2. ALGUNAS CONSIDERACIONES SOBRE LA TECNOLOGÍA BLOCKCHAIN La tecnología blockchain o también llamada cadena de bloques puede ser aprehendida desde tres perspectivas distintas. Una primera, que se centraría en su dimensión técnica y que la entendería como una base de datos. Otra, que podría hacer referencia al enfoque empresarial, donde la tecnología blockchain se consideraría una red de intercambio para mover transacciones, valores y activos entre iguales, sin la presencia de intermediarios. Finalmente, una tercera, que se referiría a ella en términos legales, como un mecanismo que valida las transacciones, sustituyendo a las antiguas entidades de confianza2. Con independencia de la aproximación que se utilice para comprender el funcionamiento de la tecnología blockchain, se puede ofrecer un concepto que aglutine todo lo anterior. Así, la cadena de bloques podría ser entendida como un protocolo informático, que funciona como un registro de transacciones único pero gestionado de manera descentralizada o distribuida entre varios nodos cualificados3. El registro de las transacciones se organiza en bloques y cada bloque se valida por diferentes computadoras de nodo en la red, al mismo tiempo que la validación se produce resolviendo problemas matemáticos criptográficos, también llamados hashes. A continuación, cada bloque siguiente se marca con un nuevo hash criptográfico y es visible para todos. Ahora bien, los datos registrados en el nuevo bloque son inmutables y realmente no pueden modificarse a menos que todos los bloques anteriores se modifiquen por acuerdo de la mayoría de la red4. Para conocer mejor el funcionamiento de la blockchain, se podría decir que es como una inmensa base de datos que se distribuye entre varios participantes. Ahora bien, la configuración del sistema o de la plataforma puede ser abierta o pública, donde el acceso se permite sin ningún tipo de restricciones. Así como también puede haberlas semipúblicas o autorizadas, cuando se condicionan la participación, el derecho de veto sobre los nuevos miembros o la posibilidad de decidir el protocolo de consenso al inicio de la cadena. 2 MOUGAYAR, W., La Tecnología Blockchain en los negocios. Perspectivas, práctica y aplicación en Internet, Madrid: Editorial Anaya, 2016, p. 37. 3 ORTEGO RUIZ, M., “La responsabilidad participativa y los sistemas de blockchain”, en Jimeno Muñoz, J. (coord.), Insurtech y nuevas tendencias de la responsabilidad civil, Madrid: Editorial Jurídica Sepín, 2019. Se indica, además, por el autor que se podría entender como un libro mayor de contabilidad en cuya llevanza todos los nodos cualificados de la cadena participan. 4 BROWN, G. y WHITTLE, R., Algorithms, Blockchain & Cryptocurrency. Implications for the Future of the Workplace, Emerald Publishing, United Kingdom, 2020, p. 13.

118

Lidia Moreno Blesa

Además, existen las privadas, donde un actor establece las reglas, que deben ser cumplidas por todos aquellos que deseen participar en la cadena de bloques5. Su forma de operar se asemeja a un libro de registro inmutable, que recoge la historia completa de todas las transacciones que se han ejecutado en la red. Además, a cada participante se le denomina nodo, que de facto equivale a una potente computadora6. A través de un ejemplo se podría aportar más claridad sobre lo que supone la blockchain frente a las transacciones que se validan con la presencia de un tercero7. Pensemos por un momento en una cuenta bancaria, en la que realmente se cede la autoridad sobre la misma al banco. En realidad, lo que la entidad bancaria ha creado es una ilusión de que puedes acceder a la cuenta y manipularla. Cada operación financiera que se realiza, como mover dinero o pagar a alguien, se encuentra intermediada por el banco que da el acceso porque antes se le hizo entrega del montante económico correspondiente en depósito. Pero el acceso que se nos brinda es también una ficción, ya que realmente se da entrada a un registro de la base de datos en la que se indica que se tiene tal cantidad de dinero. Por lo tanto, se produce una apariencia de que se posee dicho dinero, pero es el banco el que tiene la autoridad superior sobre las correspondientes cantidades porque es el propietario de la base de datos. Es más, la banca apunta el movimiento que informa de que se dispone del dinero necesario y en consecuencia se asume que los fondos que nos pertenecen siguen estando donde se depositaron. Pues bien, en la blockchain todo lo anterior ocurre, pero sin las complejidades que se acaban de describir. Explicado de manera muy simple, un usuario puede enviar dinero a otro, a través de un monedero digital y la cadena de bloques realiza la autenticación, validación y transferencia en un corto espacio de tiempo. De entre sus peculiaridades más destacadas podemos aludir a que el funcionamiento de la red se basa en el binomio P2P, esto es, un tipo de conexión peer to peer basado en una arquitectura que permite la comunicación entre aplicaciones sin intermediarios. Lo anterior se vincula con una gestión descentralizada, donde cualquiera puede ser usuario de la red. Al mismo tiempo, las transacciones son validadas por toda la red para evitar los fraudes. También son agrupadas en bloques concatenados y segurizados por mecanismos criptográficos, lo que hace que las transacciones sean inmutables. Para finalmente convertirlas en irreversibles8. Ahora bien, no todo son bondades en esta nueva tecnología, sino que también se 5 LECUIT, J. A., “La seguridad y privacidad del blockchain, más allá de la tecnología y las criptomonedas”, Real Instituto Elcano, 12/11/2019, http://www.realinstitutoelcano.org/wps/portal/ rielcano_es/contenido?WCM_GLOBAL_CONTEXT=/elcano/elcano_es/zonas_es/ciberseguridad/ ari106-2019-alonsolecuit-seguridad-y-privacidad-del-blockchain-mas-alla-de-tecnologia-ycriptomoneda. 6 ORTEGA GIMÉNEZ, A., Smart Contracts y Derecho Internacional Privado, Thomson Reuters Aranzadi, 2019, p. 24. Incluso, se señala que la red de ordenadores o nodos se comportan como iguales entre sí y la información que se aloja en la red viaja encriptada, por lo que puede ser distribuida sin que se revele su contenido, lo que se realiza a través de un mensaje llamado token. 7 MOUGAYAR, W., La Tecnología Blockchain en los negocios. Perspectivas, práctica y aplicación en Internet, cit., nota 3, pp. 47 y 48. 8 MOLINA PÉREZ-TOMÉ, S., “Los smart contracts no son contratos ni son inteligentes”, Actualidad Jurídica Aranzadi, núm. 949, 2019.

BLOCKCHAIN Y SMART CONTRACTS...

119

pueden identificar algunas vulnerabilidades. Las debilidades más habituales surgen como resultado de la implementación de las plataformas y aplicaciones, es decir, se vinculan al desarrollo del código informático, de los protocolos de comunicación o de la simplificación de los mecanismos de validación y consenso de bloques9. En definitiva, que podrían surgir déficits de seguridad como consecuencia de fallos de programación, siendo complicado corregirlos debido a la arquitectura distribuida y la inmutabilidad de la cadena de bloques. Será necesario que los riesgos de ciberseguridad se minimicen, para lo que debe apostarse por el incremento de la eficiencia de la tecnología blockchain. En este sentido, debe reducirse o eliminarse la fragmentación existente en el diseño de las plataformas, donde se aprecian multiplicidad de lenguajes de programación y protocolos entre unas y otras, con la consabida ausencia de estándares tecnológicos uniformes o convergentes. 3. REFLEXIONES JURÍDICAS EN TORNO A LOS SMART CONTRACTS Los smart contracts, también llamados contratos inteligentes o autoejecutables, utilizan la tecnología blockchain para llevar a cabo acuerdos y transacciones de forma segura sin revelar información confidencial entre las dos partes contratantes10. Se trata de programas informáticos que ejecutan acuerdos establecidos entre dos o más partes cuando se cumple una determinada condición programada con antelación11. Por lo tanto, son contratos que se gestionan de manera automática y autónoma, porque son ellos mismos los que se ejecutan y se hacen cumplir en función de lo acordado previamente. Con este sistema de negocios se consigue universalizar la actividad comercial, sin que las diferencias de índole idiomática o de divisas entre las partes supongan ningún impedimento12. Aunque no puede decirse que se trate de un contrato propiamente dicho, sino de un mecanismo para el cumplimiento automatizado de ciertos acuerdos vinculados a una relación subyacente. El acuerdo alcanzado por las partes se configura en lenguaje de programación para incorporarlo a la cadena de bloques y posibilitar que se materialicen los correspondientes resultados en función de que se cumplan las reglas preestablecidas. Al respecto, sería posible programar el acceso a una obra y su uso con ciertas restricciones cuando se haya obtenido la retribución correspondiente. Del mismo modo que se podría decidir el reparto automático de concretas retribuciones entre determinados sujetos, cuando se cumplan las condiciones previstas en atención a unas reglas establecidas de antemano por los intervinientes13. Los usuarios de estos contratos inteligentes interactúan con un ordenador, que almacena una serie de datos para emitir una orden y que se produzca un determinado resultado. 9 LECUIT, J. A., “La seguridad y privacidad del blockchain, más allá de la tecnología y las criptomonedas”, cit., nota 5. 10 ORTEGA GIMÉNEZ, A., Smart Contracts y Derecho Internacional Privado, cit., nota 6, p. 27. 11 Ibid., p. 29. 12 MARTÍN PARRA, A., “Smart contracts-Fintech: reflexiones para el debate jurídico”, Revista Aranzadi de Derecho y Nuevas Tecnologías, núm. 52, 2020. 13 DE MIGUEL ASENSIO, P.A., “Contratación comercial Internacional”, en Fernández Rozas, J. C.; Arenas García, R. y Alberto de Miguel Asensio, P., Derecho de los Negocios Internacionales, Sexta Edición, Iustel, 2020, p. 306.

120

Lidia Moreno Blesa

Aunque pueden desplegar sus efectos en innumerables sectores, se consideran especialmente útiles en el sistema financiero. Tanto es así, que resulta posible programarlos en el ámbito de los seguros, de la banca o para ser aplicados en el mercado de valores14. En el primer caso, por ejemplo, se podría ordenar el pago de una indemnización, sin tenerla que requerir por anticipado, cuando se compruebe que el siniestro acaecido está amparado por la cobertura contratada. El automatismo propio de esta novedosa figura sería su principal característica, sin que parezca que nos encontramos ante una realidad completamente diferente a la del contrato tradicional. Incluso se llega a decir que ni serían programas inteligentes, sino más bien solo obedientes15. De tal forma que, una vez perfeccionado el acuerdo de las partes, el cumplimiento del contrato se realiza de manera mecánica, en función de las instrucciones que se apliquen al software que los soporta y con la tecnología blockchain. Podría parecer que el contrato tradicional ha llegado a una etapa de madurez vital y su próxima existencia ya no será solo física, sino fundamentalmente virtual. Sería algo parecido a lo que estaría sucediendo con los robots y la inteligencia artificial, que ya no solo concibe al ser humano como sujeto del derecho, sino que también podría llegar a incluir a los androides. En definitiva, que la tecnología informática se impone en todos los aspectos de la vida de las personas y los contratos no iban a permanecer al margen. Llegados hasta este punto, parece descartarse que los smart contracts sean una nueva categoría jurídica. Se trata más bien de un mecanismo de vehicular un negocio que lleva entre nosotros desde tiempos remotos, pero ahora con una sofisticación electrónica no vista anteriormente. Tendríamos, por un lado, la voluntad de las partes y, por otro, la tecnología, que debidamente combinadas van a garantizar dos cosas, esto es, la invariabilidad de lo acordado y el cumplimiento efectivo. Por lo que la verdadera novedad es más bien el componente informático y no tanto el contractual. Algún autor incluso critica que los equipos jurídicos de las empresas no han sido capaces de adaptarse a la innovación tecnológica que se está implantando, mientras que los equipos de negocios justo han apostado por respaldar la digitalización de manera categórica. Esta contradicción resulta hasta irónica, cuando los primeros deben coadyuvar en la gestión jurídica del crecimiento de los segundos y no han sido capaces de empoderarse con los conocimientos necesarios para liderar la correspondiente transformación digital16. Asegurar un trasvase adecuado entre los unos y los otros debe ser un elemento de primer orden para todas las organizaciones empresariales que hayan apostado por la tecnología blockchain. Lo que parece indiscutible en el contrato inteligente o smart contract es la relevancia del código informático y del algoritmo computacional para dar soporte al negocio jurídico sinalagmático. La importancia del software para regir la mayor parte de nuestras interac BIURRUN ABAD, F. J.; “¿Deben prepararse los despachos de abogados para afrontar los smart contracts?”, Actualidad Jurídica, núm. 949, 2019. 15 PAÑOS PÉREZ, A., “Smart Contracts: transcendencia jurídica en el desarrollo del comercio electrónico”, en El mercado digital en la Unión Europea (dir. Paula Castaños Castro y José Antonio Castillo Parrilla), Madrid: Editorial Reus, 2019, p. 638. 16 DATOO, A., “FinTech solutions in complex contracts optimization”, en The FinTech Book, (Chishti & Barberis), Crornwall: TJ International Ltd, Padstow, 2016, p. 106. 14

BLOCKCHAIN Y SMART CONTRACTS...

121

ciones en internet se traduce en una dependencia cada vez más evidente de la tecnología. El lenguaje de programación será el que determine lo que las partes pueden hacer o lo contrario, de manera frecuentemente más eficaz que una norma jurídica17. La hegemonía del procesamiento por ordenador podría llegar a plantear la hipótesis de que el programador potencialmente legislara, convirtiendo al código informático en la letra de la ley y al algoritmo en la estructura que define el proceso18. Aunque esta realidad descrita podría parecer que se asemeja a un espacio antijurídico, donde se pueden anotar o registrar datos contra legem, lo cierto es que no es del todo así. Se trata, más bien, de un espacio supranacional o, de otro modo dicho, al margen de cualquier locus contractus, donde se opera praeter legem, es decir, por fuera o al margen de la regulación, aunque no por encima19. Lo anterior parece solo predicable realmente de la autoejecución propia de estos contratos inteligentes, cuando se procesan en la blockchain. Mientras un contrato tradicional se puede incumplir voluntariamente por las partes, lo que llevaría aparejado la posibilidad de heterocomposión del litigio. Por su parte, el denominado inteligente es un paquete mecanizado de términos y condiciones contractuales que se caracteriza por la autotutela ejecutiva automatizada20, es decir, por su inmutabilidad y funcionamiento autónomo, que parecería poder prescindir de la regulación correspondiente. Pero nada más lejos de la realidad, ya que como se podrá comprobar, a continuación, no son ajenos a la regulación, sino que en su diseño previo es donde se tendrá que poner toda la atención para articular adecuadamente la normativa aplicable. Además, no tanto en el caso de que se produzca un incumplimiento, lo que sería una contradictio in terminis con el carácter autoejecutable de los smart contracts, pero sí cuando puedan darse errores en la programación anticipada o en el supuesto de que se den problemas de identidad porque quien participó era distinto del que controlaba el ordenador contratante, se activará inexorablemente la necesidad de satisfacción ex post para el que haya resultado perjudicado. De tal forma que se pondrá en marcha el mecanismo de la responsabilidad contractual, con las dificultades propias que le son inherentes a su articulación en el plano tecnológico, por lo disruptivo y novedoso de un contrato inteligente versus el instrumento tradicional. 3.1. La validez y eficacia de los smart contracts Por el momento, ya bien sean inteligentes los contratos o lo contrario, lo que el ordenamiento jurídico exige es que reúnan los requisitos esenciales que les son propios. Al respecto, habrá que estar al artículo 23 de la Ley de Servicios de la Sociedad de la Infor FERNÁNDEZ HERNÁNDEZ, C., “¿Podría convertirse un software en norma jurídica?”, Diario La Ley Ciberderecho, núm. 3, febrero 2017. 18 BLANCO PÉREZ, M.A.; LÓPEZ-ROMÁN, E.; MONTALVÁN CALDERON, E.; SUÁREZ OTERO, E.; FARRÁN CASTELLÁ, P. y ESPINOZA VALENCIA, F.F., “Contratos inteligentes: los smart contract”, Abogacía Española. Accesible en: https://www.abogacia.es/publicaciones/blogs/blog-nuevastecnologias/contratos-inteligentes-los-smart-contract/ 19 IBÁNEZ JIMÉNEZ, J., Blockchain. Primeras Cuestiones en el ordenamiento español, Madrid: Dykinson, 2018, p. 40. 20 IBÁNEZ JIMÉNEZ, J., “Smart contract y notariado español: algunas claves orientadoras”, La Ley Mercantil, núm. 48, junio 2018. 17

122

Lidia Moreno Blesa

mación y de Comercio Electrónico (en adelante, LSSICE) porque es la que determina los requisitos de validez y eficacia de los contratos celebrados por vía electrónica21. En dicho precepto se señala que los contratos celebrados por vía electrónica producirán todos los efectos previstos por el ordenamiento jurídico, cuando concurran el consentimiento y los demás requisitos necesarios para su validez. Además, para saber a qué norma hay que acudir para determinar dichos requisitos, el mismo precepto sigue diciendo que los contratos electrónicos se regirán por lo dispuesto en la LSSICE, por los Códigos Civil y de Comercio y por las restantes normas civiles o mercantiles sobre contratos, en especial, las normas de protección de los consumidores y usuarios y de ordenación de la actividad comercial. Por lo tanto, para que haya un contracto, aunque sea inteligente, el Código Civil, en su artículo 1261, exige que concurran los siguientes requisitos: 1º Consentimiento de los contratantes; 2º Objeto cierto que sea materia del contrato y 3º Causa de la obligación que se establezca. Por lo que respecta al consentimiento de las partes, se define como el acuerdo de voluntades, es decir, como la decisión de dos o más personas sobre la realización de un determinado negocio, una vez que están conformes en las circunstancias del mismo. Se requiere, por tanto, la voluntad coincidente de las partes contratantes, que debe haberse formado libre y conscientemente y además por persona que tenga capacidad de obrar22. Ahora bien, podría suceder que el consentimiento no fuera prestado de manera libre y consciente. Esta situación sería posible, por ejemplo, si el contrato hubiera sido fruto del error, lo que permitiría la anulación de la transacción por el contratante afectado23. De tal forma que en el caso de la contratación automatizada de ambas partes negociales, esto es, cuando el acuerdo se produce entre agentes inteligentes, se presentarán más dificultades en relación con los criterios para la distribución de los riesgos ante la presencia de un error en la contratación. Sería el caso, entre otras, de las situaciones que se podrían ir produciendo con la implantación de la denominada , cuando nuestro frigorífico contrate con la tienda para comprar lo que falta, pero se generen dudas sobre la voluntad de las partes24. Para arrojar luz sobre la solución que podría recibir una situación como la que se acaba de describir, sería posible acudir a la Convención de las Naciones Unidas sobre la utilización de las Comunicaciones Electrónicas en los Contratos Internacionales de 2005, donde en su TUR FAÚNDEZ, C., Smart contracts. Análisis jurídico, Madrid: Reus Editorial, 2018, p. 71. LASARTE, C., Curso de Derecho Civil Patrimonial. Introducción al Derecho, Vigésima Primera Edición, Madrid: Tecnos, 2015, p. 328. Además, se especifica que, junto a los elementos esenciales del contrato, previstos en el artículo 1261 del Código Civil, también puede haber elementos accidentales, que pueden estar presentes por voluntad de las partes en un determinado contrato, aunque su presencia no es imprescindible para que pueda hablarse de contrato válido. Se trataría, fundamentalmente, de la condición y el término, que una vez incorporados a un contrato asumen una relevancia capital en el desarrollo de la vida de la relación contractual. 23 Al respecto, el artículo 1265 del Código Civil señala que será nulo el consentimiento prestado por error, violencia, intimidación o dolo. 24 RODRÍGUEZ GARCÍA, J.A. y MORENO REBATO, M., “¡El futuro ya está aquí! Derecho e Inteligencia artificial”, Revista Aranzadi de Derecho y Nuevas Tecnologías, Número 48, septiembrediciembre, 2018. 21 22

BLOCKCHAIN Y SMART CONTRACTS...

123

artículo 14, apartado 1, se alude al error en las comunicaciones electrónicas25. En concreto, el Convenio se refiere a una persona física que cometa un error al introducir los datos de una comunicación electrónica intercambiada con el sistema automatizado de mensajes de otra parte y dicho sistema no le brinde la oportunidad de corregir el error. En estos casos, la persona en cuestión, o la parte en cuyo nombre ésta haya actuado, tendrá derecho a retirar la parte de la comunicación electrónica en que se produjo dicho error, si se dan las dos condiciones siguientes: a) La persona, o la parte en cuyo nombre haya actuado esa persona, notifica a la otra parte el error tan pronto como sea posible después de haberse percatado de éste y le indica que lo ha cometido; y si b) La persona, o la parte en cuyo nombre haya actuado esa persona, no ha utilizado los bienes o servicios ni ha obtenido ningún beneficio material o valor de los bienes o servicios, si los hubiere, que haya recibido de la otra parte. En relación con el objeto de los smart contracts, habría que tener en cuenta el artículo 1271 del Código Civil, según el cual pueden ser objeto de contrato todas las cosas que no están fuera del comercio de los hombres, aun las futuras. Del mismo modo que pueden ser objeto de contrato todos los servicios que no sean contrarios a las leyes o a las buenas costumbres. Además, el artículo 1272 señala que no podrán ser objeto de contrato las cosas o servicios imposibles. Ahora bien, parece que los dos preceptos mencionados solo se refieren a las cosas o servicios, por lo que podría suceder que el objeto del contrato inteligente no recayera explícitamente sobre lo uno o lo otro, con el consiguiente déficit de regulación al respecto. Pero para cubrir esta laguna más aparente que real, la doctrina ha señalado que el objeto sería cualquier aspecto negocial susceptible de valoración económica y vinculado al interés de los contratantes26. Por último, cualquier contrato, incluido el inteligente, debe de tener una causa. Así lo manda el artículo 1275 del Código Civil, cuando establece que los contratos sin causa, o con causa ilícita, no producen efecto alguno. Se define, este tercer elemento esencial del contrato, como el fin objetivo e inmediato del contrato o la función económica y social que el Derecho reconoce como relevante27. Aunque su importancia puede pasar desapercibida, ya que el artículo 1277 del Código Civil permite que la causa no se exprese en el contrato. A pesar de que pueda estar implícita en la relación negocial, se presume que existe y que es lícita mientras el deudor no pruebe lo contrario. 3.2. La perfección de los contratos inteligentes y sus consecuencias jurídicas Para que el contrato exista y sea válido, ya se trate de uno inteligente o tradicional, será necesario acreditar el cumplimiento de los requisitos esenciales exigidos en el or La Convención de las Naciones Unidas sobre la utilización de las Comunicaciones Electrónicas en los Contratos Internacionales de 2005 no está en vigor para España, pero puede servirnos de guía sobre las posibles soluciones que se adopten en relación con las cuestiones que regula en los países donde se encuentra operativa. Ahora bien, de conformidad con el artículo 2.1.a), la Convención no será aplicable a las comunicaciones electrónicas relacionadas con los contratos concluidos con fines personales, familiares o domésticos, lo que significa que las relaciones de consumo estarían excluidas de su ámbito de aplicación. 26 DÍEZ-PICAZO, L. y GULLÓN, A., Sistema de Derecho Civil, volumen II, Tomo I, undécima edición, 2016, p. 33. 27 O’CALLAGHAN MUÑOZ, X., Código Civil comentado y con jurisprudencia, 4ª edición, Madrid: La Ley, 2004, p. 1243. 25

124

Lidia Moreno Blesa

denamiento español. Una vez verificada la presencia de los elementos indispensables, la formalización y perfección de los smart contracts requerirá, además, del cumplimiento de las condiciones que se apliquen a los contratos electrónicos. No en vano, los contratos inteligentes se desarrollan a través de máquinas informáticas que automatizan el proceso negocial, por lo que debe ser tenida en cuenta la regulación especial que sobre la electronificación de los contratos pueda existir. En este sentido, el consentimiento se erige en el aspecto más relevante para que pueda nacer el contrato en cuestión. Tal y como señala el artículo 1258 del Código Civil, los contratos se perfeccionan por el mero consentimiento, y desde entonces obligan, no sólo al cumplimiento de lo expresamente pactado, sino también a todas las consecuencias que, según su naturaleza, sean conformes a la buena fe, al uso y a la ley. Además, en el caso de que el contrato se haya celebrado mediante dispositivos automáticos, como ocurriría con el smart contract, el artículo 1262 del Código Civil indica que hay consentimiento desde que se manifiesta la aceptación. De tal forma que se adelanta el momento perfectivo del contrato, a diferencia de lo que ocurre con un contrato celebrado a distancia, pero sin recurrir a dispositivos automáticos, donde el consentimiento existe desde que el oferente conoce la aceptación o desde que, habiéndosela remitido el aceptante, no pueda ignorarla sin faltar a la buena fe. Una de las principales consecuencias jurídicas que se derivan de los contratos inteligentes, una vez perfeccionados y dirigidos a desplegar sus efectos correspondientes, se vincula con la inmutabilidad e integridad de lo convenido. Por lo tanto, no pueden ser adaptados a un cambio de las circunstancias o, de otra manera dicho, la cláusula rebus sic stantibus resulta de imposible aplicación a diferencia de lo que ocurre con los contratos tradicionales. Aunque podrían contemplarse soluciones diferentes, en el caso de que las partes concluyeran un contrato dinámico desde el principio. En consecuencia, los contratantes planificarían el ajuste o la adaptación ante una modificación de la realidad mediante la incorporación de oráculos. Estos últimos podrían actualizar las obligaciones contractuales, en función de la coyuntura acontecida. Además, la tipología existente sería variada, yendo desde los basados en humanos28 hasta los verificables digitalmente, como la cotización de las acciones, o los que se sujetan a un algoritmo de inteligencia artificial29. 4. CUESTIONES LEGALES QUE SE PLANTEAN EN LA CADENA DE BLOQUES La tecnología blockchain presenta innumerables ventajas y beneficios, en términos de rapidez, agilidad de las transacciones, reducción de costes y, sobre todo, eliminación de los terceros intermediarios. Ahora bien, esto último se convierte al mismo tiempo en una 28 Se trataría de terceros imparciales y ajenos al contrato que reintroducen en la codificación los correspondientes elementos externos, tales como los eventos acontecidos en fase de ejecución que modifican las prestaciones. ARGELICH COMELLES, C., “Smart contracts, blockchain e Internet of Things o la automatización contractual inteligente”, en Roldán Martínez, A. (dir.), La persona en el siglo XXI. Una visión desde el Derecho, Navarra: Thomson Reuters Aranzadi, 2019, p. 131. 29 WOEBBEKING, M.K., “The impact of smart contracts on traditional concepts of contract law”, Journal of Intellectual Property, Information Technology and Electronic Commerce Law, vol. 10, núm. 1, 2019, p. 110.

BLOCKCHAIN Y SMART CONTRACTS...

125

dificultad desde la perspectiva de la protección de datos. Un aspecto que requiere de la atención del ordenamiento jurídico es el relativo a la identidad digital de las personas físicas. Sobre todo, tutelar desde la perspectiva del RGPD al individuo seudonimizado, cuyos datos circulan por la cadena de bloques. Pero también en una blockchain se proyecta la noción legal de tratamiento de datos, desde el momento en el que en ella se registran los que circulan en las transacciones. Su recogida, elaboración y bloqueo debe ser supervisada por la normativa correspondiente, aunque no su cancelación o rectificación, en la medida en que los datos incorporados lo son con carácter inmutable al encriptarse en un bloque30. Por lo que respecta a la protección del individuo desde la perspectiva del RGPD, cuando este último resulte aplicable ratione loci al asunto que corresponda31, hay que tener en cuenta el artículo 4.1) de la norma en cuestión, que considera dato personal a cualquier información sobre una persona física identificada o identificable. En este sentido, cuando una persona física pueda ser identificada o identificable como consecuencia de la información que se transfiere de ella por la cadena de bloques, el cumplimiento del RGPD resultará indispensable. El mismo precepto que se acaba de indicar, señala que resultará identificable una persona cuando su identidad pueda determinarse, directa o indirectamente. Además, ofrece una lista no cerrada de posibles identificadores que pueden utilizarse para dicho fin, como por ejemplo un nombre, un número de identificación, datos de localización, un identificador en línea o uno o varios elementos propios de la identidad física, fisiológica, genética, psíquica, económica, cultural o social de dicha persona. Una posible solución para proteger adecuadamente la identidad digital de los sujetos en la blockchain sería acudir a la seudonimización. El artículo 4.5) del RGPD se refiere a esta técnica y la define como el tratamiento de datos personales de manera tal que ya no puedan atribuirse a un interesado sin utilizar información adicional, siempre que dicha información adicional figure por separado y esté sujeta a medidas técnicas y organizativas destinadas a garantizar que los datos personales no se atribuyan a una persona física identificada o identificable. Además, el considerando número 26 del RGPD se refiere a la seudonimización, considerándola una medida que puede reducir los riesgos para los interesados afectados y ayudar a los responsables y a los encargados del tratamiento a cumplir sus obligaciones de protección de los datos. Otra cosa bien distinta es la anonimización, es decir, la información que no guarda relación con una persona física identificada o identificable, así como los datos 30 IBÁNEZ JIMÉNEZ, J., Blockchain. Primeras Cuestiones en el ordenamiento español, cit., nota 19, pp. 90 y 91. 31 Para determinar el ámbito de aplicación del RGPD, se considera relevante el espacio o territorio en el que la norma debe ser observada y que viene explicitado en el artículo 3, según el cual: 1. El presente Reglamento se aplica al tratamiento de datos personales en el contexto de las actividades de un establecimiento del responsable o del encargado en la Unión, independientemente de que el tratamiento tenga lugar en la Unión o no. 2. El presente Reglamento se aplica al tratamiento de datos personales de interesados que residan en la Unión por parte de un responsable o encargado no establecido en la Unión, cuando las actividades de tratamiento estén relacionadas con: a) la oferta de bienes o servicios a dichos interesados en la Unión, independientemente de si a estos se les requiere su pago, o b) el control de su comportamiento, en la medida en que este tenga lugar en la Unión. 3. El presente Reglamento se aplica al tratamiento de datos personales por parte de un responsable que no esté establecido en la Unión sino en un lugar en que el Derecho de los Estados miembros sea de aplicación en virtud del Derecho internacional público.

126

Lidia Moreno Blesa

convertidos en anónimos de forma que el interesado no sea identificable, o deje de serlo. En esta situación, tal y como indica el considerando número 26 del RGPD, el tratamiento de la información anónima queda fuera de la protección dispensada por el Reglamento en cuestión. Con todo, resultaría posible que el estado de la tecnología llegara a dejar inermes a los datos seudonimizados, con el consiguiente incumplimiento del RGPD por parte de los responsables de su tratamiento. Para resolverlo se podría recurrir a la encriptación de los datos, de tal forma que la seudonimización ya no permitiría identificar al interesado sin una clave de descifrado32. Ahora bien, podría suceder que los sujetos sin autorización para utilizar la clave de descifrado llegaran a identificar a los interesados. Por lo que dependerá de la catalogación que reciba este mecanismo, ya bien sea considerado dato personal o no, para que resulte regulado por el RGPD y los responsables de su tratamiento se vean compelidos a cumplir con las obligaciones resultantes o lo contrario. En cualquier caso, lo que debe quedar claro es que la ausencia total de riesgo sobre la identificación resulta más bien utópica y dependerá del momento en el que se encuentre el avance de la tecnología. Esta filosofía se tiene en cuenta por el propio RGPD, cuando en su considerando número 26 establece que para determinar si existe una probabilidad razonable de que se utilicen medios para identificar a una persona física, deben tenerse en cuenta todos los factores objetivos, como los costes y el tiempo necesarios para la identificación, teniendo en cuenta tanto la tecnología disponible en el momento del tratamiento como los avances tecnológicos. Por su parte, también en una blockchain la recogida, elaboración y bloqueo de los datos debe ser conforme con el RGPD, aunque su cancelación o rectificación puede ser más discutible, desde el momento en que los datos incorporados lo son con carácter inmutable al encriptarse en un bloque. Al respecto, el Parlamento Europeo se muestra categórico, en su resolución de 13 de diciembre de 2018 sobre la cadena de bloques: una política comercial orientada al futuro33. En concreto, en el apartado 22 se indica que, para evitar la violación del derecho fundamental a la protección de datos de carácter personal, la tecnología de cadenas de bloques no debería utilizarse para el tratamiento datos de carácter personal mientras el organismo que la utilice para ello no pueda garantizar el cumplimiento del RGPD, y más concretamente, la protección del derecho a la rectificación y del derecho a la supresión de datos. Pero en relación con la cancelación o derecho de supresión, podría considerarse que existe una excepción para su cumplimiento en el caso de la cadena de bloques, de conformidad con el artículo 17, apartado 2 del RGPD. Se infiere, del precepto en cuestión, que el responsable del tratamiento, cuando esté obligado a suprimir los datos, tendrá en cuenta la tecnología disponible y el coste de su aplicación. Aunque los avances tecnológicos en este sentido ya permitan contemplar la existencia de blockchain editables, que permitirían cumplir con lo requerido, basándose en la potencia informática de un agente o de un grupo de ellos que actúen colaborativamente34. 32 JIMÉNE-GÓMEZ, B. S., “Risks of Blockchain for data protection: a European approach”, Santa Clara High Tech. L.J., vol. 36, 2020, p. 309. 33 DOUE C 388/141, de 13.11.2020. 34 CONTE DE LEON, D.; JILLEPALLI, A. A. y SHELDON, F.T., “Blockchain: properties and misconceptions”, Asia Pacific Journal of Innovation and Entrepreneurship, December 2017, p. 290.

BLOCKCHAIN Y SMART CONTRACTS...

127

5. LOS CONTRATOS INTELIGENTES EN EL TRÁFICO JURÍDICO EXTERNO La realización de un smart contract a través de internet se vincula con el carácter ubicuo de carácter planetario que presenta el contrato en cuestión. Resulta innecesario que las partes estén presentes en el mismo lugar físico para la celebración de un contrato inteligente. El traspaso de fronteras es habitual en este tipo de relaciones jurídicas, por lo que la presencia de internacionalidad será consustancial con la idiosincrasia de esta figura. Al mismo tiempo, la existencia de un mundo dividido en Estados, cada uno con su propio ordenamiento y diferente al de los demás, genera una fragmentación jurídica innegable. De tal forma que la determinación de la competencia judicial internacional y de la ley aplicable tendrá que ser resuelta por el Derecho internacional privado. Ahora bien, no podrá perderse de vista que la propia configuración de los smart contracts hará difícil dicha tarea, por cuanto se trata de una realidad que opera a través de diferentes computadoras establecidas en diferentes países. Por lo que identificar la jurisdicción competente y el derecho regulador del fondo del asunto no resultarán operaciones sencillas. Siempre que el tribunal desde el que se vaya a examinar el contrato inteligente esté situado en la Unión Europea, será obligatorio tener en cuenta las normas que en este espacio disciplinan los conflictos de leyes y de jurisdicciones. Por lo que respecta a los conflictos de jurisdicciones, si la cuestión fuera examinada desde la perspectiva española, habría que tener en cuenta las normas de origen internacional y las de origen interno que regulan el asunto35. En el caso de las primeras, la norma más importante en el sector del Derecho patrimonial sería el Reglamento 1215/2012, también llamado Bruselas I bis (en adelante, RBIbis)36, aunque también habría que tener en cuenta el Convenio de Lugano de 2007, que vincula a los Estados de la Unión Europea y a Noruega, Islandia y Suiza37. La decisión de cuándo se aplica uno o el otro viene regulada en el artículo 64 del Convenio. La regla básica es aplicar Lugano cuando el demandado esté domiciliado en un Estado parte del Convenio que no sea Estado miembro de la Unión Europea. Las diferencias entre ambos instrumentos internacionales no son muchas. Todo lo contrario, son más las similitudes que comparten los dos, hasta tal punto que al de Lugano se le conoce tradicionalmente como Convenio paralelo38. Pero cuando no pueda ser aplicado el régimen internacional, por no cumplirse alguno de los requisitos que se establecen 35 CAMPUZANO DÍAZ, B., “La competencia judicial internacional”, en Andrés Rodríguez Benot (dir.), Manual de Derecho Internacional Privado, séptima edición, Madrid: Tecnos, 2020, pp. 46-8. 36 Reglamento (UE) núm. 1215/2012 del Parlamento Europeo y del Consejo de 12 de diciembre de 2012, relativo a la competencia judicial, el reconocimiento y la ejecución de resoluciones judiciales en materia civil y mercantil, DOUE L 351/1 de 20.12.2012. 37 Convenio relativo a la competencia judicial y la ejecución de resoluciones judiciales en materia civil y mercantil, hecho en Lugano el 30 de octubre de 2007, DOUE L 339/3 de 21.12.2007. 38 Las diferencias fundamentales se encuentran en la sumisión expresa, que Lugano exige para que sea válida que al menos una de las partes esté domiciliada en un Estado miembro y el Reglamento no. También en el contrato de consumo y en el de trabajo hay divergencias, pues el Reglamento se aplica sin que sea necesario que el domicilio del demandado se encuentre en un Estado miembro cuando el demandante sea la parte débil. Sin embargo, el Convenio de Lugano sería inaplicable si el domicilio del demandado estuviera situado en un Estado tercero.

128

Lidia Moreno Blesa

para ello39, habrá que acudir al régimen interno. Para España es la Ley Orgánica del Poder Judicial (en adelante, LOPJ) la que debe ser tenida en cuenta. En concreto, los artículos 22 a 22 nonies son los que regulan la competencia judicial internacional en el orden civil. En el caso de los conflictos de leyes, esto es, cuando hay que resolver el derecho aplicable al fondo del asunto si hay varios ordenamientos conectados con la relación jurídica, se tendría que atender fundamentalmente al Reglamento 593/2008, también conocido con el nombre de Reglamento Roma I40. El régimen interno41 quedaría sustituido por el Reglamento en las materias que le son propias, al operar este último con carácter erga omnes y regular, por ende, todos los asuntos que caen dentro de su órbita de actuación. 5.1. Los conflictos de jurisdicciones Para la determinación de la competencia judicial internacional, en los contratos inteligentes y cuando la relación jurídica afecte solo a empresas, habría que tener en cuenta con carácter general el RBIbis. En cualquier caso, si tuviera que recurrirse al de Lugano, lo que se diga del primero se aplicará mutatis mutandis al segundo, salvo las pequeñas diferencias existentes entre ambos que ya fueron expuestas. El punto de partida, en ambos instrumentos, para la atribución de competencia judicial internacional es la sumisión, ya bien sea expresa del artículo 25 del RBIbis o tácita del artículo 26 del RBIbis. Se trata de acudir al principio de la autonomía de la voluntad, para que las partes decidan de común acuerdo el tribunal competente. Mientras que la segunda se produce en sede judicial, la primera se materializa ex ante, coincidiendo con algún momento del desarrollo del contrato. La sumisión expresa podría tener, por un lado, una finalidad preventiva, de tal forma que los sujetos implicados resuelven el conflicto de jurisdicciones ante la hipotética posibilidad de que se acabe planteando un litigio. Aunque una vez surgida la controversia, también sería posible que las partes se pusieran de acuerdo en el tribunal que habría de juzgarla a través de la correspondiente sumisión expresa, con una finalidad ya más bien estratégica. Así mismo, el acuerdo de elección de tribunal podría ser modificado en cualquier momento por otro diferente y también por la sumisión tácita. Aunque para la validez de esta última no es necesario que exista la sumisión expresa previamente celebrada, ya que son independientes al mismo tiempo que interactúan entre ellas. Para que la sumisión expresa sea válida y permita atribuir la competencia al tribunal elegido por las partes, será necesario el cumplimiento de unos requisitos formales. La razón de ser de estas exigencias podría encontrarse en la idea de neutralizar los efectos de las cláusulas que podrían pasar desapercibidas en los contratos42. De tal forma que se prevén 39 Por ejemplo, que el domicilio del demandado esté situado en un tercer Estado, tal y como señala el artículo 4.2 del Reglamento Bruselas I bis. 40 Reglamento (CE) núm. 593/2008 del Parlamento Europeo y del Consejo de 17 de junio de 2008, sobre la ley aplicable a las obligaciones contractuales (Roma I), DOUE L 177/6 de 4.7.2008. 41 El régimen interno para resolver los conflictos de leyes en materia de obligaciones contractuales estaría recogido en el artículo 10.5 del Código Civil. 42 JENARD, P., “Informe sobre el Convenio relativo a la competencia judicial y a la ejecución de resoluciones judiciales en materia civil y mercantil”, DOUE C 189/122 de 28.7.90, p. 155.

BLOCKCHAIN Y SMART CONTRACTS...

129

tres posibilidades con carácter alternativo para dar cumplimiento a la validez de la forma de un acuerdo atributivo de competencia judicial. En primer lugar, para la eficacia de un convenio de sumisión expresa será necesario que conste por escrito o verbalmente con confirmación escrita. Aunque el mismo RBIbis, en su artículo 25.2, se preocupa de adaptar la exigencia de forma escrita a la contratación electrónica, como podría ser la llevada a cabo a través de la tecnología blockchain. De manera que considera hecha por escrito toda transmisión efectuada por medios electrónicos que proporcione un registro duradero del acuerdo. Las otras dos opciones de forma que regula el RBIbis para el acuerdo atributivo de competencia judicial son, por un lado, la que se ajuste a los hábitos que las partes tengan establecido entre ellas. Por otro, la que, en el comercio internacional, sea conforme a los usos que las partes conozcan o deban conocer y que, en dicho comercio, sean ampliamente conocidos y regularmente observados por las partes en los contratos del mismo tipo en el sector comercial considerado. Pues bien, en el caso de estas dos últimas posibilidades, se observa que su utilidad podría ser reducida en los contratos inteligentes celebrados a través de la blockchain cuando se trata de una plataforma abierta. El motivo de su falta de operatividad se encuentra en que los contratantes no suelen estar vinculados por acuerdos que fijan el marco de intercambio de la información electrónica que corresponda y donde suele ser frecuente el establecimiento de relaciones entre sujetos que no pertenecen a un mismo sector comercial43. En definitiva, que lo más probable sería que la sumisión expresa quedara registrada en el sistema, como una transacción más de la cadena de bloques, donde ambos contratantes convienen el tribunal competente mediante una transmisión efectuada por medios electrónicos que proporcione un registro duradero del acuerdo. La sumisión tácita también permite resolver el conflicto de jurisdicciones, cuando el demandante interponga su demanda ante un tribunal de un Estado miembro y el demandado comparezca aceptando la competencia. La comparecencia en cuestión para que sea válida no podrá suponer la impugnación de la competencia, ni ir en contra de los foros exclusivos. Pero la ausencia de acuerdo entre las partes atributivo de competencia expreso o tácito no impide que entren en escena otros criterios facultativos o concurrentes, como el del domicilio del demandado y el especial por razón de la materia para los contratos, incluidos, claro está, los inteligentes. Según el primero y previsto en el artículo 4 del RBIbis serán competentes los tribunales de un Estado miembro correspondientes al domicilio del demandado. Para saber cuándo una persona está domiciliada en un determinado Estado, habría que diferenciar entre si es persona física o jurídica. En el caso de las físicas, el artículo 62 del RBIbis establece que para determinar si una parte está domiciliada en el Estado miembro cuyos órganos jurisdiccionales conozcan del asunto, el tribunal aplicará su ley interna. Por su parte, el artículo 63 se refiere al domicilio de una sociedad o persona jurídica, entendiendo que lo tendrá donde se encuentre su sede estatutaria, su administración central o su centro de actividad principal. Pero además de poder acudir al tribunal del domicilio del demandado, el actor tiene un segundo foro facultativo o concurrente en 43 DE MIGUEL ASENSIO, P.A., Derecho Privado de Internet, quinta edición, Navarra: Editorial Aranzadi, 2015, p. 1013.

130

Lidia Moreno Blesa

materia contractual y recogido en el artículo 7 del RBIbis. Se trata de poder acudir al órgano jurisdiccional del lugar en el que se haya cumplido o deba cumplirse la obligación que sirva de base a la demanda44. En las relaciones jurídicas B2C habrá que estar a los preceptos que establecen una protección especial para la parte débil del contrato inteligente. Para que dicha normativa tuitiva se active, será necesario estar en presencia de un consumidor. Se podrían dar situaciones en las que identificar a la parte vulnerable del contrato no siempre resulte inequívoco. Así, en el caso de que el consumidor se haya comportado de tal manera que diera la impresión a la otra parte contratante de que estaba actuando con fines profesionales, no podrá beneficiare de la especial protección que le reconocen los artículos 17 a 19 del RBIbis45. Por su parte, en el marco de operaciones contractuales complejas, carecen de pertinencia, por sí solos, para retirar la condición de consumidor a una persona física, aspectos tales como el valor de las operaciones efectuadas, la importancia de los riesgos de pérdidas económicas que implica suscribir tales contratos, así como los eventuales conocimientos o experiencia de dicha persona en el sector o su comportamiento activo en la realización de las referidas operaciones46. Con todo, las normas sobre competencia en materia de contratos celebrados por los consumidores del RBIbis van a permitir a la parte débil de la relación jurídica considerada beneficiarse de los órganos jurisdiccionales europeos, aun en presencia de nexos de conexión estrechos con países terceros47. En efecto, cuando el demandante sea el consumidor podrá demandar ante el tribunal del Estado miembro del domicilio del demandado o, con independencia del domicilio de la otra parte, ante el tribunal del lugar en que esté domiciliado el consumidor. Sin embargo, si el demandante es el empresario, solo podrá acudir al tribunal del domicilio del consumidor. Para que los foros anteriores se activen, será necesario que el contrato no se haya pagado al contado y que el consumidor sea pasivo, es decir, que haya sido incitado a celebrar el contrato por la presencia de la contraparte en el país del domicilio del consumidor o por haber dirigido el profesional sus actividades a dicho Estado48. Por su parte, la sumisión expresa en materia 44 Además, el RBIbis proporciona dos presunciones iuris tantum para precisar el lugar en el que la obligación se haya cumplido o deba cumplirse, distinguiendo según se trate de un compraventa de mercaderías o de una prestación de servicios. Para el primer caso, dicho lugar será en el que, según el contrato, hayan sido o deban ser entregadas las mercaderías. Para el segundo supuesto, el lugar será en el que, según el contrato, hayan sido o deban ser prestados los servicios. 45 Sentencia del Tribunal de Justicia de la Unión Europea (Sala Segunda), de 20 de enero de 2005, en el asunto C-464/01, Gruber, ECLI:EU:C:2005:32, apartado 54. 46 Sentencia del Tribunal de Justicia de la Unión Europea (Sala Primera), de 3 de octubre de 2019, en el asunto C-208/18, Petruchová, ECLI:EU:C:2019:825. 47 ARROYO APARICIO, A., “Competencia en materia de contratos celebrados por los consumidores”, en Blanco-Morales Limones, P.; Garau Sobrino, F.; Lorenzo Guillén, M. L. y Montero Muriell, F. J. (coord.), Comentario al Reglamento (UE) núm. 1215/2012 relativo a la competencia judicial, el reconocimiento y la ejecución de resoluciones judiciales en materia civil y mercantil. Reglamento Bruselas I refundido, Navarra: Editorial Aranzadi, 2016, p. 438. 48 En concreto, el artículo 17.1 del RBIbis dice exactamente que la protección al consumidor se activa: a) cuando se trate de una venta a plazos de mercaderías; b) cuando se trate de un préstamo a plazos o de otra operación de crédito vinculada a la financiación de la venta de tales bienes, o c) en todos los demás casos, cuando la otra parte contratante ejerza actividades comerciales o profesionales en el Estado

BLOCKCHAIN Y SMART CONTRACTS...

131

de consumo está muy limitada y solo podrá utilizarse en casos muy tasados, tal y como señala el artículo 19 del RBIbis49. Cuando los conflictos de jurisdicciones no puedan resolverse con la normativa internacional habrá que acudir a la LOPJ. Su operatividad es reducida, ya que en las materias incluidas en el ámbito de aplicación del RBIbis solo será posible acudir a los foros especiales por razón de la materia facultativos o concurrentes. Ni la sumisión, ni el foro general del domicilio del demandado estarían operativos, por presentar una regulación coincidente con la de los instrumentos internacionales y como consecuencia, además, de la superioridad jerárquica del Reglamento y el Convenio. Por su parte, los foros especiales por razón de la materia del artículo 22 quinquies sí que podrían tener aplicación, cuando el domicilio del demandado se encuentre en un tercer Estado. Aunque en el caso del contrato de consumo ni eso, salvo que el contrato no se haya pagado a plazos, ni con un préstamo, así como en el caso del consumidor activo50. 5.2. Los conflictos de leyes La conexión de un contrato inteligente, celebrado entre empresas, con varios ordenamientos no siempre requerirá de la técnica conflictual para resolver la ley aplicable al fondo del asunto. Así, cuando puedan ser aplicables tanto el Reglamento Roma I como el Convenio de Viena sobre compraventa internacional de mercaderías, la decisión del instrumento que se utilizará primero será resuelta en favor del Convenio51. La razón de esta respuesta la encontramos en el artículo 25.1 del Reglamento Roma I, que en sus relaciones con otros instrumentos supranacionales otorga preferencia a los convenios previos con terceros Estados52. Esta prioridad se concede no solo para los casos de instrumentos que contengan normas de conflicto en el ámbito contractual, sino también para los que contemplen un régimen de Derecho material uniforme. Sin que importe si son multilaterales o bilaterales, generales o especiales. Con todo, cuando los conflictos de leyes de un smart contract deban resolverse miembro del domicilio del consumidor o, por cualquier me­dio, dirija tales actividades a dicho Estado miembro o a varios Estados miembros, incluido este último, y el contrato esté comprendido en el marco de dichas actividades. 49 Según el artículo 19 del RBIbis solo serán válidos los acuerdos: 1) posteriores al nacimiento del litigio; 2) que permitan al consumidor formular demandas ante órganos jurisdiccionales distintos de los que ya tiene a su disposición, o 3) que, habiéndose celebrado entre un consumidor y su cocontratante, ambos domiciliados o con residencia habitual en el mismo Estado miembro en el momento de la celebración del contrato, atribuyan competencia a los órganos jurisdiccionales de dicho Estado miembro, a no ser que la ley de este prohíba tales acuerdos. 50 El consumidor activo será aquel que celebre un contrato con la contraparte, cuando este último no ejerce actividades comerciales o profesionales en el Estado miembro del domicilio del consumidor, ni dirige tales actividades a dicho Estado miembro. 51 GARCIMARTÍN ALFÉREZ, F.J., Derecho Internacional Privado, 5ª edición, Navarra: Aranzadi, 2019, p. 24. 52 Ahora bien, aunque la aplicación del Convenio de Viena sobre compraventa internacional de mercaderías pueda anteponerse al Reglamento Roma I, cuando ambos instrumentos se encuentren operativos en la jurisdicción de que se trate, podría suceder que las partes excluyeran su uso para el caso concreto o establecieran excepciones a cualquiera de sus disposiciones o modificaran sus efectos, de conformidad con el artículo 6 del Convenio.

132

Lidia Moreno Blesa

acudiendo a la norma indirecta, será en ese caso aplicable el Reglamento Roma I. No se regulan de la misma manera los contratos inteligentes entre empresas, que los celebrados con los consumidores. En este último supuesto, la presencia de una parte débil en la relación jurídica considerada llevará aparejada la concesión de una protección jurídica extra por parte de la norma de Derecho internacional privado aplicable. De tal forma que será necesario distinguir dos regulaciones distintas, una para los contratos B2B y otra para los que se basen en el esquema B2C. La regla general para determinar la ley aplicable a los smart contracts en el Reglamento Roma I, se basa en el principio de la autonomía de la voluntad de las partes. Según el artículo 3, el contrato se regirá por la ley elegida por las partes, sin que se requiera de vinculación territorial o de algún otro tipo con el ordenamiento correspondiente53. Esta solución aporta la previsibilidad suficiente a los sujetos para regir sus derechos y obligaciones contractuales y, lo más importante, les permite seleccionar la norma que mejor se adapte a un contrato de esta naturaleza tecnológica. En defecto de elección, habrá que estar al artículo 4 del Reglamento Roma I, que contiene, en primer lugar, ocho reglas específicas en función del tipo de contrato de que se trate. En segundo lugar, se contemplan dos opciones más residuales si lo anterior no resulta operativo y, finalmente, se establece una cláusula de escape para el caso de que lo primero y lo segundo no permitan resolver la situación54. Por lo que respecta a la lista de los ocho contratos, sería posible determinar la ley aplicable al smart contract cuando el celebrado en el caso concreto fuera alguno de los que se regulan desde la letra a) hasta la h), del apartado 1, del artículo 4. Entre otros, cabría determinar la ley aplicable al contrato de compraventa de mercaderías, atendiendo a la ley del país donde el vendedor tuviera su residencia habitual, según el artículo 4.1.a). Por su parte, en el contrato de prestación de servicios, la ley aplicable se resolverá en virtud de la ley del país donde el prestador del servicio tuviera su residencia habitual, de conformidad con el artículo 4.1.b). Ahora bien, si el contrato inteligente no pudiera ser incluido en ninguno de los ocho previstos, habría que acudir a una de las soluciones residuales del Reglamento Roma I recogida en el artículo 4.2, que resuelve la cuestión acudiendo a la ley del país donde tenga su residencia habitual la parte que deba realizar la prestación más característica. Con todo, tanto si el smart contract es alguno de los ocho, como si se conoce la residencia habitual de la parte que deba realizar la prestación más característica, sería posible activar la cláusula de escape del artículo 4.3 del Reglamento Roma I. De acuerdo con ella, se aplicaría la ley con la que el contrato presenta los vínculos manifiestamente más estrechos. Además, cuando el contrato no sea uno de los ocho ni haya prestación característica, se vuelve a activar la otra solución residual del Reglamento Roma I, recogida en este caso en el artículo 4.4 y que resuelve con la ley del país con el que presente los vínculos más estrechos. 53 Incluso el Reglamento Roma I proclama su aplicación universal en el artículo 2, cuando señala que la ley designada de conformidad con sus disposiciones se aplicará, aunque no sea la de un Estado miembro. 54 CALVO CARAVACA, A.L. y CARRASCOSA GONZÁLEZ, J., Derecho Internacional Privado, vol. II, decimoséptima edición, Granada: Comares, 2017, p. 993.

BLOCKCHAIN Y SMART CONTRACTS...

133

No podemos perder de vista que la determinación de la ley con la que el contrato presente los vínculos más estrechos, a falta de indicación en el Reglamento Roma I sobre cómo hacerlo, resulta complicado. El Tribunal de Justicia de la Unión Europea ha tratado de aportar claridad a esta determinación, en su sentencia de 23 de octubre de 201455, donde ha identificado dos fases. En una primera, el órgano jurisdiccional remitente debe llevar a cabo una apreciación global de la totalidad de los elementos objetivos que caracterizan la relación contractual. En la segunda, el Tribunal debe apreciar el elemento o elementos que, a su juicio, son más significativos y de entre ellos debe tener en cuenta la existencia de lazos estrechos entre el contrato de que se trate y otro u otros contratos que, en su caso, formen parte de la misma cadena de contratos, así como el lugar de entrega de las mercancías. Pero no acaban ahí los elementos que podrían resultar significativos, sino que también podría acudirse al idioma del contrato o a la moneda en la que el precio del contrato debe ser pagado. Incluso para las transacciones a través de la blockchain podrían resultar significativas la situación de la mayoría de los nodos56. Por su parte, cuando en la relación jurídica aparece un consumidor, el Reglamento Roma I obliga a tener en cuenta el artículo 657. Según este precepto, se permite a los contratantes elegir la ley aplicable, pero sin que se prive a la parte débil de la protección que le proporcionen las disposiciones correspondientes a la ley del país en que el consumidor tenga su residencia habitual. En defecto de elección, la ley aplicable será ya solo la correspondiente con la residencia habitual del consumidor. 6. CONCLUSIONES No cabe duda de que el estado actual de la tecnología aplicada a los negocios, entre otras posibilidades, está suponiendo avances innegables hasta ahora nunca vistos. El internet de las cosas, la inteligencia artificial, el big data o la blockchain son algunos ejemplos que demuestran la existencia de un mundo paralelo al analógico, pero en este caso digitalizado, virtual o intangible. En concreto, la tecnología de la cadena de bloques se perfila como una vía facilitadora de transferencias electrónicas de activos cuando se aplica en entornos económicos. Sus principales virtudes son la inmutabilidad de las transacciones y la descentralización operativa. Por lo que respecta a la inalterabilildad de las operaciones, se consigue a través del cifrado de los datos. Con la encriptación se garantiza que la información almacenada no sea alterada en el tiempo, lo que permite conservar una prueba exacta de todo lo acontecido desde el principio. El carácter descentralizado del sistema se logra con la ausencia de intermediarios en la autenticación de las operaciones. Los mismos participantes en la cadena de bloques se encargan de verificar las comunicaciones que lo requieran, con el ahorro de costes y de tiempo que el prescindir de terceros supone. Sentencia del Tribunal de Justicia de la Unión Europea (Sala Tercera), de 23 de octubre de 2014, en el asunto C-305/13, Haeger & Schmidt, ECLI:EU:C:2014:2320, apartado 49. 56 RÜHL, G., “Smart (Legal) Contracts, or: Which (Contract) Law for Smart Contracts?”, en Cappiello B., Carullo G. (eds.): Blockchain, Law and Governance, Springer, Cham. 2021. Accesible en: https://doi.org/10.1007/978-3-030-52722-8_11 57 ESPLUGUES MOTA, C.; IGLESIAS BUHIGUES, J.L. y PALAO MORENO, G., Derecho Internacional Privado, 9ª edición, Valencia: Tirant Lo Blanch, 2015, pp. 608-610. 55

134

Lidia Moreno Blesa

El término smart contract o contrato inteligente hace referencia a un programa informático que opera sobre la base de tecnología blockchain y que permite la consumación telemática, sin necesidad de intervención humana. Se trata de una herramienta jurídica que da soporte a las transacciones que se materializan electrónicamente. Su cualidad más esencial es ser autoejecutable, es decir que, una vez incorporados los pactos y condiciones alcanzados por las partes al lenguaje de los ordenadores, el cumplimiento de lo convenido se realiza de manera automática. Otra característica innegable de esta novedosa figura es la inmutabilidad de lo acordado por los contratantes, lo que permite mantener inalterable cualquier compromiso alcanzado. La mecanización de todo el negocio jurídico sinalagmático parecería sugerir su existencia más allá de las leyes, pero nada más lejos de la realidad. En efecto, las normas reguladoras de la validez y eficacia de los contratos tradicionales también son aplicables a los smart contracts, por lo que será necesario que se acredite la presencia de consentimiento, objeto y causa. Pero no todo son aspectos positivos, también se observan algunas disfunciones. Así, entre otras, en relación con el consentimiento en los contratos inteligentes, podría acontecer una situación en la que no se hubiera prestado libremente por la presencia de un error en alguno de los contratantes. Al no poder evitarse la ejecución del contrato por su carácter mecanizado, se plantean más dificultades para su anulación que en los contratos que no son inteligentes. Aunque recursos, herramientas y guías jurídicas no nos faltan para aportar luz a una situación como la que se acaba de describir. En efecto, la Convención de las Naciones Unidas sobre la utilización de las Comunicaciones Electrónicas en los Contratos Internacionales de 2005, arroja soluciones sobre este caso particular en su artículo 14, apartado 1, donde alude al error en las comunicaciones electrónicas. En concreto, se permite al perjudicado que la retire si lo notifica con la antelación debida y no ha utilizado el objeto del contrato ni ha obtenido beneficio o valor del mismo. También la perfección del contrato presenta diferencias según se trate del inteligente o del tradicional e incluso aunque este último se haya realizado a distancia. Para el smart contract se adelanta el momento perfectivo, ya que hay consentimiento desde que se manifiesta la aceptación. Sin embargo, en el contrato a distancia, pero sin dispositivos automáticos, la perfección se produce cuando el oferente conoce la aceptación. Además, una vez perfeccionado el inteligente y con el despliegue de sus efectos ya en marcha por la automaticidad e inmutabilidad de lo convenido, se podrían producir efectos indeseados ante un cambio en las circunstancias que impidieran la aplicación de la cláusula rebus sic stantibus. Para lo que se propone como solución la elaboración de smart contracts dinámicos, que permitan el ajuste o la adaptación mediante la incorporación de los denominados oráculos. La cadena de bloques donde opera el smart contract es susceptible igualmente de generar alguna disfunción. Pensemos por un momento en la protección de la identidad digital de los individuos desde la perspectiva del RGPD. Aspectos tales como la seudonimización permitirían salvaguardar la protección de los datos por parte de los responsables de su tratamiento, cuando circulen por la blockchain. Pero dependiendo del avance de la tecnología podría suceder que ni mecanismos de este tipo fueran suficientes, por lo que sería necesaria la adaptación de la norma a los cambios informáticos que se pudieran ir produciendo.

BLOCKCHAIN Y SMART CONTRACTS...

135

Algo semejante sucede con el derecho a la supresión de los datos, que su cumplimiento parece estar excepcionado cuando la tecnología disponible y el coste de su aplicación así lo evidencien. Aunque la evolución acontecida en estos momentos ya permita contemplar la existencia de blockchain editables para cumplir con lo requerido. En definitiva, será necesario que esta nueva dimensión, basada en una tecnología disruptiva como la cadena de bloques reciba la atención que se merece por parte de los operadores jurídicos y de las normas que lo regulan. Lo mismo tendrá que ocurrir para el caso de los smart contracts que, por su singularidad computacional, inmutabilidad y ejecución automática precisan de respuestas adaptadas a las especificidades que comportan. Sin que pueda perderse de vista el carácter ubicuo de carácter planetario que presenta el contrato inteligente y las consecuencias que de ello se derivan desde la perspectiva del Derecho internacional privado. Tanto los conflictos de jurisdicciones como de leyes que se puedan producir en el espacio europeo serán regulados por las normas de origen internacional o internas que correspondan. Para lo que debe tenerse en cuenta, en todo momento, si la relación jurídica es entre iguales o hay una parte débil que merezca de una especial protección. Además de resultar compleja la distinción en una blockchain de las relaciones B2B o B2C, con lo que la solución de las controversias de tráfico jurídico externo correrá pareja suerte.

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS.. DE REGISTRO DISTRIBUIDO.. Y BLOCKCHAIN PARA LA DEFENSA DE LA COMPETENCIA Jesús Alfonso Soto Pineda Decano Académico Schiller International University Madrid JesúAlfonStPidayAntonio Joaquín Villanueva Tobalina Investigador Schiller International University (Campus de Madrid) DOI: 10.14679/2060

1. INTRODUCCIÓN Evaluar las implicaciones en materia de protección de la libre competencia que se pueden derivar del uso extensivo de las Tecnologías de Registro Distribuido (TRDs) es una tarea compleja, en atención a las múltiples interacciones que la economía digital plantea, en un contexto de ecosistemas digitales con evolución al ritmo de innovaciones incrementales. El conjunto de experiencias acumuladas hasta el momento permite inferir que el interés por estas tecnologías terminará siendo determinante en el nuevo ciclo de innovación y en la materialización de la “profecía” de la modificación radical de la forma en la que se contraen y se ejecutan contratos en el mundo digital. Como resultado de una inacción regulatoria y de la evidente conveniencia empresarial, la economía de las plataformas ha permitido que se desdibuje el espíritu de una red libre y neutral, dando lugar a la implantación paulatina de walled gardens en los que los empresarios y consumidores han terminado por claudicar derechos de gran entidad como la privacidad y la libertad de empresa, a cambio de una participación en los mercados. Visto desde esta perspectiva, una innovación tecnológica tan disruptiva como las TRDs puede ayudar a corregir parte de tales externalidades negativas, convirtiéndose en una verdadera válvula de escape que permita liberar a los usuarios de plataformas digitales del ejercicio abusivo del poder de mercado ejercido por un puñado de gigantes tecnológicos.

138

Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina

En el mencionado contexto, los autores del presente documento continúan con la investigación que actualmente llevan a cabo acerca de las conexiones que existen entre la defensa de la competencia y la tecnología de registro distribuido conocida como blockchain. En el primer artículo nacido de la referida investigación, titulado “Redes, Tecnología de Registro distribuido, Blockchain y Defensa de la competencia1”, los autores aludieron a una cuestión técnica, más de naturaleza económica que de naturaleza jurídica, esencial para comprender las potenciales implicaciones de las cadenas de bloques en el ecosistema competitivo y en el derecho de la libre competencia que intenta salvaguardarle: la relativa a la taxonomía de las redes, los tipos de registros y las clases cadenas de bloques. Por esa razón, en el presente documento se adentran, dando continuidad a ese enfoque principalmente técnico, en el establecimiento de los puntos de contacto entre el derecho de la competencia y el despliegue de las TRDs, para a partir de allí generar discusiones acerca de la forma en la cual la regulación antitrust, desarrollada a través de los años en entornos analógicos, puede desplegarse para resolver los desequilibrios que estos paradigmas tecnológicos puedan generar en los mercados digitales. Así, en el documento se identifican las oportunidades que surgen para el antitrust gracias a la eclosión de las TDRs, así como los obstáculos que configura para la correcta defensa de los mercados. Mediante la disposición de tres tipologías concretas –dogmática, sustantiva y de aplicación–, se exponen los razonamientos positivos y negativos que deben ser tomados en consideración por parte de las empresas y por parte de las Autoridades de defensa de la competencia para lograr que las TRDs actúen en beneficio del bienestar de los consumidores y del buen funcionamiento de los mercados. 2. RETOS PROPIOS DE LA RELACIÓN DE LAS TRD CON LA DEFENSA DE LA COMPETENCIA El estudio de la relación que existe entre las Tecnologías de Registro Distribuido y el derecho antitrust demanda, de forma imperativa, de la valoración de los beneficios y las pérdidas que comporta la mencionada tecnología para el derecho de la libre competencia, en atención a los fundamentos que sustentan ambas figuras, así como a su funcionamiento y actualidad. En lo sucesivo, se hará especial mención a blockchain como ejemplo paradigmático de TRD, idóneo para ilustrar algunas de las reflexiones que se expondrán en adelante. Aunque en las ideas subsecuentes nos referiremos a ambos conceptos de forma en ocasiones indistinta, no son términos que deban confundirse, pues no son equivalentes, sino que existe entre ambos una relación de género a especie. No obstante, muchas de las características y conclusiones que se extraigan de las cadenas de bloques son igualmente aplicables a otras TRDs, consecuencia natural de lo que podríamos considerar una “relación genealógica”. 1 SOTO PINEDA, J. y VILLANUEVA TOBALINA, A., “Redes, Tecnologías de Registro Distribuido, Blockchain y Defensa de la Competencia”, Actualidad Civil, núm. 7, 2021.

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS...

139

Si bien las TRDs suman usos y aplicaciones a diversos sectores e industrias, configuran una opción tecnológica relativamente novedosa2, circunstancia que provoca que, además de que se encuentre en continuo desarrollo y expansión, genere dudas jurídicas3 y concurrenciales de gran alcance, que desafortunadamente ni el antitrust ni ninguna de las diversas divisiones del derecho está en capacidad de responder en tiempo real, en virtud de que, además de que herramientas como blockchain configuran una tecnología de connotada dificultad técnica y práctica, se desarrollan en un entorno en el cual los usos y las costumbres que les involucran, evolucionan a una velocidad vertiginosa4. Es posible en todo caso, a pesar de aquella dificultad y velocidad, identificar tres criterios a través de los cuales emergen las oportunidades y los obstáculos que configuran TRDs como blockchain para el derecho antitrust. Así, (i) un criterio dogmático que alude a las sincronías y a las discrepancias que poseen los cimientos en los cuales descansan tanto la mencionada tecnología como el derecho de la libre competencia. De forma complementaria, (ii) un criterio sustantivo, relativo al “mercado”; no solo al de las cadenas de bloques –que está en expansión y por lo tanto siendo aún novel apenas ha suscitado las centralizaciones de poder o las tentativas de consolidación de aquellas que son connaturales a los mercados de mayor recorrido–, sino a todo aquel en el cual se hayan implementado –o se vayan a implementar– TRDs como blockchain. Por último, el tercer criterio alude a la (iii) aplicación y al enforcement de las normas de libre competencia y los efectos que TRDs, y concretamente las cadenas de bloques, pueden tener en ese ejercicio por parte de la Autoridad de competencia. Veámoslo. 2.1. Los retos dogmáticos Es menester iniciar este apartado aludiendo a la capacidad del derecho antitrust, pues no cabe duda de que está preparado para dar alcance, “capturar” y examinar las particularidades que se presentan y se presentarán en el marco de supuestos de mercados digitales y de soluciones blockchain. La aparición de los nuevos modelos de negocio no debe conllevar, per se, la modificación del catálogo de conductas relevantes para la protección de la libre competencia. Si bien aquello ha rondado de forma constante en todos los sistemas de defensa de la libre competencia constituidos alrededor del globo, donde se han iniciado debates acerca de si era o no necesario modificar las conductas relevantes para el derecho antitrust o amoldarlas a los “nuevos” negocios y actores digitales, la conclusión en la mayor parte de ellos ha sido homogénea: continuar protegiendo los mercados, sea cual sea su naturaleza, gracias a las bases que otorga la colusión, el abuso de posición de dominio, las concentraciones empresariales y sus especificidades (que no son pocas).

2 KIM, K. y JUSTL, J., “Potential Antitrust Risks in the Development and Use of Blockchain”, Journal of Taxation & Regulation of Financial Institutions, vol. 31, núm. 3, 2018, p. 5. 3 SWAN, M., Blockchain: Blueprint for a New Economy, Sebastopol (California): O’Reilly, 2015, p. 28. 4 NAZZINI, R., The blockchain (R)evolution and the Role of Antitrust, Working Paper, 2018, p. 4.

140

Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina

La disciplina de los “negocios digitales” no requiere, en términos concurrenciales, de la aparición de más conductas y más normas especiales que remuevan las bases de esta importante parte del derecho de la competencia. No es necesario cambiar las bifurcaciones del derecho al mismo ritmo que la tecnología, pues aquello tiene méritos para impedir concentrarse en el entendimiento de los hechos y los aspectos técnicos –en sentido amplio– que rodean un negocio, una conducta y una realidad del mercado. Las normas civiles y mercantiles, por ejemplo, con su recorrido centenario, nos siguen demostrando que aquello es posible, pues siguen dando respuestas idóneas a cuestiones que no estaban presentes cuando surgieron y continúan gozando de la profundidad que requieren las realidades modernas. En ese sentido, la defensa de la competencia está lista para ocuparse de las Tecnologías de Registro Distribuido y las cuestiones que de ellas se deriven, tanto en lo positivo como en lo negativo. Las insuficiencias del antitrust no surgen de la hipotética necesidad de remoción de sus bases, como si de la aplicación de una aproximación distinta a la investigación que emprenden las Autoridades de competencia, que además de valorar las peculiaridades de herramientas como las cadenas de bloques se enfoque, principalmente, en evaluar los efectos de las actividades que se desarrollan gracias a ellas. Aquel rumbo, más allá de las posibilidades que surgen de la capacidad dogmática del antitrust para responder a tecnologías como blockchain, requiere del entendimiento de esta última. Y es ahí donde la oportunidad se torna en reto e incluso en obstáculo, dado que blockchain, por tomarla como ejemplo, es tan disruptiva y compleja que además de dificultar el entendimiento pleno de sus premisas, en sí misma remueve las bases de los negocios tradicionales y de las políticas consolidadas. Como la de competencia. Así, si bien la disrupción que le es connatural a las cadenas de bloques y las TRDs puede ser positiva para la competencia y para la satisfacción de las necesidades de los consumidores –por ser fuente inherente de eficiencias–, puede también amenazar otras vías de negocio analógicas y digitales, e incluso impedir que los fundamentos jurídicos del antitrust le sean aplicados. Las TRDs pueden ser, en sí mismas –y esto configura un claro reto concurrencial–, la chispa que provoque la (in) necesidad del antitrust. ¿Por qué razón? Porque el antitrust tiene una serie de objetivos y premisas que rigen su funcionamiento, y una muy importante –sino la esencial– es la de evitar las centralizaciones de poder; esto es, la creación y consolidación de posiciones de poder, que a su vez puedan pervertir la capacidad de elección del consumidor. Así, si la base del antitrust es evitar la centralización del poder y todos sus procedimientos están enfocados en evitarla, ¿a través de qué vías y premisas debe regirse para adaptarse a una tecnología descentralizada como lo son las TRDs, que con seguridad dificultará –y algunas veces impedirá– que sea posible investigar –y mucho menos sancionar– a responsables directos o indirectos de consolidaciones de poder de mercado? Aquello configura claramente un obstáculo dogmático estrechamente relacionado con los efectos que las TRDs también pueden generar en los mercados, por lo que será objeto de mayor desarrollo en los subsiguientes apartados.

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS...

141

2.2. Los retos ‘sustantivos’ vinculados con el mercado Es posible interpretar, en atención al funcionamiento de las TRDs, que éstas tienen capacidad para impedir –en virtud de su fundamento principal y con una aplicación purista de dicha concepción– que se consoliden posiciones de poder5. Ello no se fundamenta en exclusiva en que las tecnologías como blockchain compiten, en sí mismas, con “la intermediación”6 y generan que los intermediarios reinventen su negocio y que a los consumidores, de forma concatenada –en un marco de competencia real–, se les repercutan precios más bajos y se les den mayores opciones para satisfacer sus necesidades en virtud de que la implementación de TRDs suele comportar menores costos, sino también porque es usual, una vez se consolidan dinámicas de poder de mercado, que los agentes que lo ostenten puedan –y algunas veces quieran– usar su influencia para darle forma autónoma –no aleatoria–, al mercado en favor de sus intereses. Las aplicaciones propias de las TRDs están en posición de impedir esa situación. De hecho, reducen el alcance de los efectos de red7, tanto de los directos (más usuarios para el agente de poder) como los indirectos (más aplicaciones asociadas a los instrumentos a través de los cuales ejerce su actividad dicho agente de poder), dado que la naturaleza descentralizada que atesoran a día de hoy –y que continuará cultivando en el futuro por ser uno de sus elementos fundamentales– basa su funcionamiento en la articulación de ecosistemas digitales no centrados en la satisfacción de un solo agente que ha logrado acopiar poder –y que por lo tanto decide en el seno de su negocio de forma independiente– sino en la satisfacción de diversos agentes, con intereses heterogéneos, involucrados con el desempeño de la tecnología en cuestión. Lo anteriormente referido es positivo, puesto que tradicionalmente los efectos de red provocan concentraciones de poder y unidad de decisión en los mercados, lo que conlleva –usualmente– que los empresarios logren “fidelizar” a sus consumidores, incluso a través de las dificultades para migrar. A la larga, aquello conlleva que a través de los efectos de red se impida a los usuarios trasladarse con facilidad entre empresas proveedoras de bienes y servicios, generando a su vez desincentivos empresariales en materia de creación de eficiencias, así como consecuentes deficiencias en la vocación de servicio del empresario. Las TRDs han venido a reducir una parte importante del alcance potencial de aquel riesgo asociado a los efectos de red, pues los costos de traslado entre, por ejemplo, “implementaciones blockchain” es muy bajo, o nulo, e incluso en ellas se alienta al usuario a que migre su información a otras “implementaciones” y genere interconexiones mediante escisiones de la red denominadas bifurcaciones8. 5 CATALINI, C. y TUCKER, C., “Antitrust and Costless Verification: An Optimistic and a Pessimistic View of the implications of Blockchain Technology”, Antitrust Law Journal, vol. 82, núm. 3, 2019. 6 KIM, K. y JUSTL, J., “Potential Antitrust Risks in the Development and Use of Blockchain”, cit., p. 7. 7 CATALINI, C. y GANS, J., Some Simple Economics of the Blockchain, Working paper, Cambridge: National Bureau of Economic Research, 2019, pp. 4 y ss. 8 CATALINI, C. y TUCKER, C., “Antitrust and Costless Verification: An Optimistic and a Pessimistic View of the implications of Blockchain Technology”, cit., p. 7.

142

Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina

Estas bifurcaciones son frecuentes en el ecosistema de cadenas de bloques; suelen generarse en supuestos en los que un grupo de desarrolladores no se encuentra satisfecho con el modo de gestionar y “mantener” el código, o con las reglas mediante las cuales el protocolo genera consenso y determina las recompensas de los participantes. Esto conlleva que los sujetos en esta situación puedan tomar el código base –con todo el historial de transacciones– e iniciar una blockchain retrocompatible. La referida realidad actúa claramente en beneficio de la competencia, pues tiene méritos para impedir las centralizaciones de poder y para incrementar las posibilidades de elección de los agentes que contribuyen y participan en las cadenas de bloques. Como se observa, las TRDs modifican las fuentes tradicionales del poder de mercado, principalmente –por su cercanía– las de los mercados involucrados con la tecnología. Este aspecto, en sí mismo, configura una oportunidad concurrencial surgida de la naturaleza y el funcionamiento de las TRDs, aunque no es ni mucho menos la única, dado que otro catálogo de oportunidades análogas –también relacionadas con el mercado– se manifiestan como resultado de la naturaleza y funcionamiento propiamente dicho de estas tecnologías. 2.2.1. Retos relacionados con el funcionamiento de las TRDs, con especial énfasis en las cadenas de bloques Merece la pena recordar en este punto que, en blockchain, la “minería” conlleva, principalmente, la validación de bloques para la incorporación de transacciones a la cadena. La división de transacciones en la blockchain, una vez los mineros las han validado tras resolver ejercicios y problemas criptográficos complejos, se realiza de forma aleatoria. Dicho funcionamiento limita, por sí mismo, los riegos de colusión, y configura una clara oportunidad concurrencial en atención a que la validación de las transacciones recae, gracias a ello, en sujetos no determinados que forman parte de una red. Aquello configura un procedimiento estándar en las blockchain públicas que no se aplica en las blockchain privadas, donde sí se puede dirigir la validación de transacciones a sujetos concretos que participan en ellas9, eliminando así el beneficio concurrencial delimitado en los dos párrafos precedentes. Ese no es, ni mucho menos, el único riesgo para la competencia, pues la división aleatoria de las transacciones –y su validación– en la blockchain se encuentra influenciada por la llamada “Prueba de participación”, denominada Proof of Stake en inglés10, la cual otorga al propietario de más tokens en una blockchain mayores posibilidades de validar bloques de información. La referida situación provoca que el control de una cadena de bloques pueda recaer sobre aquellos con mayores tokens en propiedad11, quienes a su vez acceden con 9 SCHREPEL, T., “Is Blockchain the death of Antitrust Law? The Blockchain Antitrust Paradox”, Georgetown Law Technology Review, vol. 281, núm. 3, 2019a, p. 290. 10 KIAYIAS, A; RUSELL, A.; DAVID, B. y OLIYNYKOV, R., “Ouroboros: A Probably Secure Proof-of-Stake Blockchain Protocol”, Annual International Cryptology Conference, Crypto 2017, 2017, p. 1. 11 SCHREPEL, T., “Is Blockchain the death of Antitrust Law? The Blockchain Antitrust Paradox”, cit., p. 298.

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS...

143

mayor facilidad a la información para validarla y para, si aquello coincide con sus objetivos, utilizarla para tomar decisiones de mercado y de competencia. El anterior es un buen ejemplo de una oportunidad vinculada a blockchain que se torna, per se, en obstáculo, ya que en cadenas de bloques privadas incluso se eligen quienes son los sujetos que acceden a qué parte de la información12, provocando que con aquella decisión se promueva la consolidación de poder de mercado13. Tecnologías de Registro Distribuido como blockchain otorgan tantas posibilidades de implementación en cadenas productivas que tienen capacidad para ser aplicadas con fines competitivos o anticompetitivos. Así, por ejemplo, a través de una implementación adecuada permite aplicar soluciones tecnológicas para prevenir, ex ante, riesgos anticompetitivos, permitiendo, sin ir más lejos, segregar los datos, implementar defensas a los derechos de propiedad intelectual y/o precauciones en materia de confidencialidad14. También resulta posible configurar una blockchain para que los datos confidenciales se almacenen fuera de la cadena y de dicho modo solo aquellos involucrados en una transacción tengan acceso a ella, evitando uno de los gérmenes de la colusión. Así, mediante la anonimización pueden evitarse el acceso y la explotación de la información acerca de transacciones sensibles por parte de competidores, lo que configura una clara ventaja de esta tecnología. Es posible, en dicho sentido, que se realicen diferenciaciones de acceso a la información, definiendo de antemano qué información dentro y fuera de la cadena será accesible, y para quién. Debe valorarse que este aspecto, al recaer en los desarrolladores principales del Código y en quienes “administran” la blockchain –con la participación, también, de los mineros–, tiene capacidad para ser, en la misma medida, un oportunidad y un obstáculo en lo que al antitrust se refiere, pues si no se aplicase esta solución con el objetivo de disgregar la información, o de garantizar que el acceso a los datos no estuviese centralizado sino, por el contrario, con el objetivo de que solo unos pocos –mejor posicionados o poseedores de un mayor número de tokens– sean quienes accedan a la información y a la validación, claramente se estaría facilitando la concertación y la centralización de poder. Este aspecto, en todo caso, puede ser uno de los criterios que, apropiadamente evaluado por parte de la Autoridad, puede permitir determinar –en términos probatorios– la intención de coludir por parte de los agentes, dado que pudiendo bifurcar y participar en blockchains que implementen políticas y soluciones “procompetitivas”, adoptan posturas con méritos anticompetitivos que se traducen en que la tecnología no se utiliza por parte de los agentes del mercado para abordar y evitar el riesgo de distorsionar la competencia en los mercados, sino para todo lo contrario15. 12 DE FILIPPI, P. y WRIGHT, A., Blockchain and the Law: The Rule of Code, Harvard University Press, 2018, p. 31. 13 SCHÖNING, F. y TAGARA, M., “Can your blockchain attract the attention of competition authorities to open an investigation?”, Competition Law & Policy Debate, vol. 5, núm. 3, 2019, p. 60. 14 ACERBI, P., “Is blockchain technology a challenge for antitrust law?”, Competition Law & Policy Debate, vol. 5, núm. 3, 2019, p. 65. 15 SCHREPEL, T., “Collusion by Blockchain and Smart Contracts”, Harvard Journal of Law & Technology, vol. 33, núm. 1, 2019b, p. 292.

144

Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina

Las TRDs, si bien tienen unos fundamentos difícilmente compatibles con ello, poco a poco se pueden construir en torno a unos pocos que influencian en mayor medida su funcionamiento. Esta posibilidad configura en cierto modo un contrasentido que va en dirección opuesta a la competencia en los mercados y a la lógica descentralizada sobre la cual se erigen las cadenas de bloques y los registros distribuidos. Un ejemplo de esta incompatibilidad concurrencial son los cambios en las políticas y el funcionamiento de una cadena de bloques, pues estos suelen recaer sobre los desarrolladores principales del Código, quienes deben comunicarse con los mineros y determinar las precauciones y aspectos a tomar en consideración en dichas modificaciones. Ese procedimiento está suficientemente tasado en las blockchains públicas y permite incluso que, ante desacuerdos en las variaciones, se produzca una bifurcación de la cadena de bloques. Esto es una ventaja concurrencial en las blockchain públicas y una desventaja en las privadas porque, en estas últimas, ciertos participantes –y/o los gobernantes de las mismas– son quienes resuelven las diferencias que puedan surgir entre quienes forman parte de ellas acerca del funcionamiento, las políticas o el código empleado. Esas soluciones no son siempre articuladas en aplicación del consenso objetivo16 y, si bien nada impide la bifurcación, la dinámica actual a este respecto, de las blockchains privadas, configura una intervención unilateral que a su vez favorece la eclosión y mantenimiento de prácticas colusorias17. De hecho, no puede perderse de vista que la tarea de los mineros, a día de hoy, ya está fuertemente coludida y concentrada. Como bien se ha manifestado previamente, la minería en las blockchain implica, principalmente, la validación e incorporación de bloques de información y transacciones a la cadena de bloques existente. Los mineros se agrupan en “pools” que comparten ganancias por la actividad minera masiva. Esto desvirtúa nuevamente la idea descentralizada del blockchain, pues más del 70% de las transacciones surgen de los mismos “pools” (tal y como se ha comprobado en los años precedentes en lo alusivo a las transacciones blockchain de bitcoin, que en cotas hasta del 85% se han dividido en siete pools). Lo que ya en sí mismo configura la centralización de poder de mercado. No siendo aquel el único riesgo anticoncurrencial, pues las blockchain, indudablemente, pueden ser idóneos instrumentos para coludir y abusar. A través de la tecnología en cuestión se puede facilitar, por ejemplo, la puesta en práctica de conductas abusivas o exclusorias18. Es claro que las empresas, más allá de las restricciones normativas que instituye la normativa concurrencial para que colaboren entre si, en ocasiones pueden cooperar mediante instrumentos jurídicos suficientemente consolida SCHREPEL, T., “Is Blockchain the death of Antitrust Law? The Blockchain Antitrust Paradox”, Georgetown Law Technology Review, vol. 281, núm. 3, 2019a, p. 292. 17 THOMAS, R. C.; RASMUSSEN, M. W. y BERGIN, L. C., “Blockchains and Antitrust: New Technology, Same Old Risks?”, Jones Day publications, 2018, pp. 1-2. 18 Negativas a negociar, ventas atadas, innovación predatoria, precios predatorios, comprensión de márgenes y exclusividad. SCHREPEL, T., “Is Blockchain the death of Antitrust Law? The Blockchain Antitrust Paradox”, cit., pp. 309-318. 16

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS...

145

dos, tales como la joint venture19 o figuras análogas como la Unión temporal de empresas, la agrupación de interés económico o las estructuras societarias complejas. A través de esos instrumentos no es poco habitual que, mediante dinámicas de cooperación, se excluya a los no participantes de la “unión”, circunstancia que también puede presentarse en el caso de las cadenas de bloques. La simple aprobación de la participación de un operador en una blockchain privada, y no de otros –sin que exista un criterio objetivo, competitivo y mercantil que lo sustente– puede configurar, per se, una discriminación20. Discriminación que, de hecho, de considerarse un mecanismo “procompetitivo” que permite garantizar que los operadores del mercado ofrecerán a los consumidores productos y servicios de mayor calidad –o en un entorno de mayor eficiencia– puede, a su vez, considerarse una conducta anticompetitiva. Por ejemplo, (i) cuando el acceso sea esencial para garantizar la efectiva competencia (y siempre y cuando no se pueda duplicar con cierta sencillez o plausibilidad por parte de los competidores excluidos); (ii) cuando el marco de acceso a una blockchain determinada requiere de un permiso y aprobación, o (iii) cuando se dé una combinación de aquellos criterios, en los casos en que acceder a una blockchain privada sea indispensable21. En ese sentido, resulta en todo caso fundamental que se garantice que la cadena de bloques no impide la entrada de nuevos miembros –cuando esa entrada sea procompetitiva–. La blockchain privada debe tener políticas internas establecidas por sus miembros y que impidan que a través de esta tecnología se configuren exclusiones o discriminaciones a empresas –principalmente aquellas que ya formen parte de la blockchain– que menoscaben la competencia en el mercado. De forma específica, es fundamental que las condiciones de acceso a una blockchain privada no comporten abusos que ya se encuentran en el marco de relevancia y prohibición del antitrust22. Verbigracia, discriminaciones, cargas financieras elevadas y sin lógica de negocio asociadas a la participación en ellas, con las dificultades intrínsecas que surgen de la determinación de aquello en virtud de que es muy complejo hallar un punto de referencia comparable para determinar con certeza tal exceso. En adición a lo anterior, puede configurar una discriminación en el entorno blockchain el hecho de que un agente tenga acceso a una cadena de bloques, pero por política de la misma, no pueda acceder a una parte concreta de ella. Esta situación no es poco usual en las blockchains privadas y, de hecho, es uno de los aspectos que ya a día de hoy deberían generar serias dudas acerca del control que ameritan. Los temores que provoca la tecnología blockchain en materia de defensa de la libre competencia están justificados, sin duda, pues al margen de lo antedicho, la interacción y mecanismos de consenso que se aplican en el interior de una blockchain configuran, per se, FINNEY, B., “Blockchain and antitrust: New tech meets old regs”, Transactions: The Tennessee Journal of Business Law, vol. 19, núm. 2, 2018, p. 719. 20 Ibid., p. 720. 21 SCHÖNING, F. y TAGARA, M., “Can your blockchain attract the attention of competition authorities to open an investigation?”, cit., p. 59. 22 PALYCHATA, J., “Blockchain: Time for an upgrade? Where to look in the next 6 months”, Linkedin, 2018, p. 133. 19

146

Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina

acuerdos verticales. Lo anterior, unido a que los supernodos son fácilmente identificables en la red blockchain y son públicos –permitiendo proporcionar información a cualquier otro nodo que quiera conectarse con ellos–, hace posible que los contactos entre participantes sean sencillos y se puedan llevar a cabo concertaciones tácitas sin mayor inconveniente. En un sentido análogo, mediante el uso de Tecnologías de Registro Distribuido como blockchain se puede facilitar el acceso de competidores a una misma matriz de información, en la cual (i) pueden intercambiar información acerca de estrategias, precios, producción, innovación, logística23 y por tanto consolidar señalizaciones y concertaciones24, así como (ii) permitir monitorizar la estabilidad de los cárteles25. Así, en lo alusivo al hipotético intercambio de información, la realidad es que su alcance lesivo es incierto, lo que provoca que una idea asequible –que también podría denominarse preconcebida en contacto con la superficie de la blockchain–pueda incluso tornarse en un aspecto positivo en términos concurrenciales. Aquella afirmación se sustenta en que la realidad nos demuestra que las blockchains no suelen contener información competitivamente sensible. La información de la blockchain suele ser histórica y no “prospectiva”. Dicha información, de facto –lo que puede ser incluso más determinante–, suele estar encriptada y no ser objeto de divulgación, por lo que el propósito y significado de la transacción puede resultar secreto para aquellos que participan en la blockchain. En ese sentido, la simple visualización de la transacción por parte de algunos participantes, en un momento concreto, no debería configurar, per se, una preocupación para el antitrust, tomando en consideración lo antedicho. Por otro lado, y en lo alusivo a que al parecer la tecnología blockchain “puede permitir monitorizar la estabilidad de los cárteles”, la realidad ineludible es que mediante las cadenas de bloques efectivamente se configura un riesgo de supervisión de la disciplina del cártel, en atención a que la transparencia propia de la blockchain permite controlar “desviaciones” en la conducta de los cartelistas. ¿Cómo? Por ejemplo, mediante la utilización de smart contracts que pueden contener información anticoncurrencial codificada26 que les permite a los miembros del cartel aplicar un acuerdo anticompetitivo27. Así, puede suceder que a través de la inclusión de un algoritmo en dichos contratos puedan determinarse o monitorizarse los precios, gracias a la información que se posee acerca de otros participantes del mercado. La referida situación configura una de las tantas posibilidades de la blockchain. No obstante, tal y como se ha visto, no es exclusiva, pues adecuadamente implementadas, las ACERBI, P., “Is blockchain technology a challenge for antitrust law?”, cit., p. 65. SCHREPEL, T., “Collusion by Blockchain and Smart Contracts”, Harvard Journal of Law & Technology, vol. 33, núm. 1, 2019b, p. 292. 25 KIM, K. y JUSTL, J., “Potential Antitrust Risks in the Development and Use of Blockchain”, cit., p. 10. 26 CONG, L.W. y HE, Z., “Blockchain Disruption and Smart Contracts”, The Review of Financial Studies, vol. 32, núm. 5, 2019, pp. 1770-1782. 27 WERBACH, K. y CORNELL, N., “Contracts Ex Machina”, Duke Law Journal, vol. 67, 2017, pp. 330 y ss. 23 24

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS...

147

cadenas de bloques también permiten generar excedentes procompetitivos. Dicho esto, en términos de protección de la libre competencia, es una realidad el hecho de que las cadenas de bloques tienen méritos para favorecer la disciplina del cartel si este último lo emplea para generar confianza entre los participantes y para hacer un seguimiento efectivo del cumplimiento de las condiciones pactadas, por parte de todos sus integrantes, dado que todos están en posición de observar la información certificada de una forma conexa no atribuible en exclusiva a los integrantes de la conducta anticompetitiva (en las blockchain públicas, dado que en las privadas esta excusa no aplica), haciendo aún más compleja la labor de investigación y rastreo de las Autoridades de competencia. Tal y como se observa, blockchain –como ejemplo paradigmático de Tecnología de Registro Distribuido– tiene un grupo de implicaciones positivas y negativas en lo relativo a la protección de los mercados que ejerce la defensa de la libre competencia. No es posible identificar exclusivamente luces o sombras28, mucho menos en esta fase aún temprana en la que se encuentra. Es destacable, a ese respecto, que en atención a la incertidumbre regulatoria que rodea a esta tecnología, la misma configura –a pesar de erigirse como una fuerza disruptiva con potencial para cambiar la forma de hacer negocios y de concebir las transacciones– un riesgo jurídico para las empresas, que compele a muchas a evitarla y a otras, en cambio, a implementarla en sus modelos de negocio. Si bien es cierto que los Estados están dando protagonismo regulatorio a las cadenas de bloques, al entender las bondades legales de los smart contracts y la tecnología blockchain, múltiples aspectos de ambas figuras están en continua construcción y hacen difícil la actualización de los legisladores y el entendimiento pleno de sus bondades por parte de los empresarios29. Lo anterior configura por sí mismo un riesgo concurrencial, habida cuenta de los precedentes que demuestran que, en situaciones análogas, han sido los agentes con mayores recursos los que se encontraban en mejor posición para comprenderla y aplicarla en sus sectores y negocios, conllevando centralizaciones de poder y determinaciones unilaterales de los estándares del mercado30. 2.3. Retos de aplicación y de enforcement de la normativa de defensa de la competencia En lo alusivo a la aplicación de la normativa antitrust que llevan a cabo en sede pública las Autoridades de competencia, las TRDs como blockchain tienen capacidad para significar, claramente, un cambio rotundo en los paradigmas ya instituidos en el ámbito sustantivo y procesal de la materia, toda vez que los fundamentos concurrenciales, los procedimientos, el alcance e incluso los ámbitos de actuación hasta ahora imperantes pueden verse removidos. 28

p. 5.

29 30



KIM, K. y JUSTL, J., “Potential Antitrust Risks in the Development and Use of Blockchain”, cit.,



DE FILIPPI, P. y WRIGHT, A., Blockchain and the Law: The Rule of Code, cit., p. 57. FINNEY, B., “Blockchain and antitrust: New tech meets old regs”, cit., p. 726. y ss.

148

Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina

Indudablemente, las Autoridades de competencia deberán enfrentarse, cada vez con mayor ahínco –directamente proporcional a la extensión de la implementación de las TRDs en los mercados– a la reconstrucción y a la justificación de sus competencias y sus actividades dado que, a mayor influencia de las TRDs, mayor la atomización de agentes y de operaciones en los mercados y, por lo tanto, mayor descentralización. No debe pasarse por alto que tal aspecto, si bien es en principio positivo, también tiene capacidad para tornarse negativo en el marco de la defensa de la competencia. Merece la pena recordar que en apartados anteriores se avanzaba que la naturaleza descentralizada de la blockchain configura una muy buena noticia para el antitrust y para la defensa de los mercados, pues les aporta una función ordenadora que, a su vez, les confiere a éstos cierta autonomía. A pesar de que aquello se mantiene en este punto, no puede ignorarse que un fundamento principal del antitrust es la lucha (emprendida principalmente por las Autoridades de competencia), ex ante y ex post, contra las centralizaciones de poder, y que esa lucha tiene méritos no solo para reducirse, sino también para complicarse con la extensión de las TRDs. En otras palabras, resulta claro que la tecnología en cuestión reduce las necesidades de aplicación de la normativa antitrust, dado que mediante una implementación adecuada de aquella pueden impedirse o reducirse las centralizaciones de poder. No obstante, ello no implica que los desequilibrios competitivos tiendan a desaparecer completamente, pues continuarán suscitándose tanto en el mercado –aún emergente– de las TRDs como en los mercados en los cuales se implementen soluciones blockchain. Consecuentemente, la aludida circunstancia implica que la Autoridad tendrá que atesorar conocimientos técnicos profundos para enfrentarse al descubrimiento de conductas que hace diez años tenían aspecto de ciencia ficción y que, por lo tanto, configurarán un importante reto, a pesar de que mediante el conocimiento superficial de TRDs como blockchain se pueda interpretar que será esa misma tecnología la que facilite el descubrimiento de ilícitos antitrust. Así, si bien la transparencia connatural de la tecnología blockchain puede ser asociada efectivamente con aquella idea de que la trazabilidad inherente a las cadenas de bloques permitirá que el acceso y entendimiento de las operaciones contrarias a las normas de libre competencia sea más sencilla, la realidad es que el acceso a la información de una cadena de bloques por parte de la Autoridad comporta ciertas dificultades y cautelas a tomar en consideración. Es cierto que TRDs como blockchain permiten tener instrumentos transparentes de rastreo de las operaciones empresariales que sirven de comprobación de la atención cuidadosa a las normas antitrust –o de lo contrario– y a su vez facilitan la prueba de dicha atención –o desatención–.No obstante, acceder a la información no es del todo suficiente, pues los datos en la blockchain se encuentran encriptados y fusionados con otros bloques de información que generan que el uso y análisis de dichos datos sea complejo y gravoso, en atención a los múltiples costos de transición involucrados31.

31



DE FILIPPI, P. y WRIGHT, A., Blockchain and the Law: The Rule of Code, cit., p. 39.

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS...

149

A ello se une que la información que se incorpora a la blockchain no es siempre inmutable32. Participantes principales de la cadena o estrechamente vinculados al código pueden reescribir registros de las transacciones con antelación a que las Autoridades de competencia tengan noticia de ellas, generando que lo que en principio configura una oportunidad para la aplicación de las normas antitrust devenga en reto, toda vez que el diseño previo por parte del agente de mercado de la información que se incluye en la plataforma puede incluso inducir a error sobre una conducta a la Autoridad de competencia. No siendo aquel el único reto y dificultad que configuran las cadenas de bloques o las TRDs para el antitrust en lo que a enforcement se refiere, pues si adherimos a la ecuación la atomización inherente de agentes y operaciones de la que gozan estas tecnologías, podemos afirmar que la determinación del responsable de una infracción a las normas antitrust, de ahora en adelante, será mucho más compleja33. Y es que no es un riesgo afirmar que, a día de hoy, ya es complejo –y lo será más aún conforme las TRDs estén más integradas en el tejido industrial– identificar a quién procesar, investigar y sancionar en el marco de la defensa de la competencia. La descentralización de las TRDs impide determinar aquello con claridad, dado que implementa precauciones intrínsecas de anonimidad en la validación de datos o medios tecnológicos intermedios –extremadamente avanzados– para garantizarla. A la mencionada situación se suma que, incluso en el supuesto de que la dificultad “congénita” de identificación de los responsables no fuese compleja, la aplicación de las normas antitrust a los participantes de estas redes requiere y requerirá de un esfuerzo extensivo, pues el funcionamiento de las TRDs demuestra que los sujetos involucrados –nuevamente en atención a la atomización que le es connatural– no tienen una capacidad inequívoca para influenciar y/o alterar individualmente la evolución de dicha implementación, no cumpliendo por tanto con un presupuesto esencial del procesamiento en el antitrust, que se activa como respuesta a las centralizaciones de poder consolidadas o en construcción. A este inconveniente relacionado con el sujeto infractor se une otro que puede ser de mayor envergadura incluso, relacionado con los criterios objetivos fundamentales del proceso, involucrados con el mercado relevante, tanto en su faceta geográfica34 como en la de producto; criterios que en el marco de las TRDs no se antojan de sencilla “locación” y que en todo caso requieren y requerirán de la utilización de métodos alternativos de definición del mismo y de valoración del poder de los investigados en él35. Así, en relación con las TRDs y utilizando blockchain a modo ilustrativo, la Autoridad de competencia tendrá que (i) determinar la industria en la cual la blockchain opera; (ii) el tipo de blockchain (pública, privada o hibrida) presente en el caso –en caso de ser privada las posibilidades de definición de mercado se restringen de forma importante–; (iii) las restricciones equivalentes que tienen las restricciones de la blockchain, en otro tipo de “soportes” online u offline; (iv) la capacidad de los usuarios 32 CATALINI, C. y TUCKER, C., “Antitrust and Costless Verification: An Optimistic and a Pessimistic View of the implications of Blockchain Technology”, cit., p. 10. 33 Ibid., p. 2. 34 ACERBI, P., “Is blockchain technology a challenge for antitrust law?”, cit., p. 64. 35 SCHREPEL, T., “Is Blockchain the death of Antitrust Law? The Blockchain Antitrust Paradox”, Georgetown Law Technology Review, vol. 281, núm. 3, 2019a, p. 302 y ss.

150

Jesús Alfonso Soto Pineda y Antonio Joaquín Villanueva Tobalina

para migrar en el cumplimiento de las funcionalidades propias de la tecnología blockchain a esas otras “soluciones” enunciadas en el numeral previo; así como (v) el elemento geográfico involucrado36, que de por sí se antoja de extrema dificultad, toda vez que con la ausencia de límites territoriales en la tecnología blockchain no existe un nexo claro con una o algunas jurisdicciones37, lo que es un inconveniente, dado que en la actualidad es cada vez más usual que la capacidad de procesamiento en materia de antitrust se base en los efectos sustanciales e inmediatos de la conducta en el territorio en el cual es competente la Autoridad. Lo resulta evidente llegados a este punto es que las TRDs demandan de una modificación de los procesos de investigación en materia de defensa de la libre competencia, pues comportan mayores retos y riesgos para el antitrust que oportunidades y ventajas. La complejidad de la tecnología blockchain, así como su construcción continua provocan, por ejemplo, que los análisis concurrenciales que demanda sean aquellos sustentados en la regla de la razón, toda vez que la aplicación de la regla per se en un ámbito tecnológico tan complejo, perjudicaría un pilar esencial de la competencia como lo es la evolución tecnológica y del “arte” que favorezca, por ser aquello procompetitivo, la obtención del mejor producto y servicio –al mejor precio– por parte de los consumidores. En lo alusivo al enforcement de las normas antitrust, tal y como se observa, las TRDs generan más dudas y precauciones que oportunidades y ventajas. La propia naturaleza de la tecnología puede permitir el encubrimiento, pero también que la Autoridad monitorice el cumplimiento de los compromisos adquiridos por parte de las empresas, haga seguimiento a los remedios impuestos a una o varias compañías o, incluso, controle las fases de la cooperación interinstitucional en materia de libre competencia. Bajo todos los prismas, solo a través de la especialización y el entendimiento de los instrumentos tecnológicos en cuestión será posible articular respuestas a los retos que comportan las Tecnologías de Registro Distribuido, así como soluciones concurrenciales gracias a sus bondades38. 3. CONCLUSIONES La tecnología blockchain responde a un compendio de implicaciones positivas y de implicaciones negativas en lo que a la Defensa de la competencia se refiere, tanto en términos dogmáticos como en términos sustantivos y en términos de aplicación normativa por parte de las Autoridades de competencia. Aquello provoca que, a día de hoy, a pesar de la escalonada “popularidad” que ostenta, TRDs como blockchain configuren un riesgo técnico y jurídico de importancia que aleja a variados operadores de incorporarlas en sus cadenas de valor. 36 SCHÖNING, F. y TAGARA, M., “Can your blockchain attract the attention of competition authorities to open an investigation?”, cit., p. 58. 37 MILLER, A. y TUCKER, C., “Electronic Discovery and the Adoption of Information Technology”, The Journal of Law, Economics, and Organization, vol. 30, núm. 2, 2014, p. 233. 38 TULPULE, A., “Enforcement and Compliance in a Blockchin(ed) World”, CPI Antitrust Chronicle, vol. 1, 2017, p. 45.

A PROPÓSITO DE CIERTOS RETOS DE LAS TECNOLOGÍAS...

151

Los agentes con mayor poder de mercado, a través del entendimiento del alcance de las TRDs, son los que se encuentran en mejor posición para aplicarlas en el ejercicio de sus negocios, razón por la cual estas tecnologías, a pesar de gozar de una naturaleza descentralizada, no son ajenas a los procesos que han favorecido, en mercados tradicionales, las centralizaciones de poder. Es precisamente en dicho punto donde se hace menester la aplicación de las normas de libre competencia a las TRDs y, por ende, el entendimiento técnico, por parte de la Autoridad, acerca de las características de los registros distribuido como blockchain. Las TRDs requieren de una remoción de muchos de los procesos de investigación en materia antitrust, más no de las bases mismas de la materia y de las conductas en las cuales se soporta. Si bien estas tecnologías comportan mayores riesgos y retos para la libre competencia que ventajas y oportunidades, los fundamentos del antitrust aluden a criterios objetivos y sustantivos que permiten su transposición al ecosistema digital. La complejidad que es connatural a esta solución informática, así como su continua evolución, demandan en todo caso de una actualización continua de las Autoridades de competencia y de un fortalecimiento de los recursos que tiene a su disposición la Autoridad para descubrir y remediar centralizaciones de poder en los mercados en los cuales se aplican, dado que configura un reto de seguimiento y comprensión que no puede ser ignorado. De la evaluación de las concomitancias entre el derecho antitrust y las TRDs se desprende que, como muchos otros instrumentos analógicos y digitales, su utilización y desempeño puede inclinarse a la generación de excedentes colectivos o al fortalecimiento de posiciones de poder y, por tanto, a su aplicación positiva o negativa para la sociedad, los mercados, los consumidores y los variados operadores que se ven impactados con su puesta en marcha. Las Tecnologías de Registro Distribuido no configuran la solución máxima a las necesidades sociales o una respuesta a todas y cada una de las inquietudes futuras o actuales. Incorpora bondades, por supuesto, pero también retos; especialmente en lo relativo al derecho antitrust, pues los obstáculos que configura en materia de protección de los mercados sobresalen frente a las oportunidades que granjea, tanto en términos dogmáticos, como en los relativos al mercado y a la aplicación de las normas antitrust por parte de las Autoridades de competencia.

LOS RETOS DE LA UNIVERSIDAD Y LA INTELIGENCIA ARTIFICIAL: NUEVAS APLICACIONES EN EL ÁREA DE COMUNICACIÓN, LAS CIENCIAS SOCIALES Y JURÍDICAS Marta Abanades Sánchez

Profesora Adjunta de Ciencias Jurídicas y Políticas Universidad Europea (Madrid) DOI: 10.14679/2061

1. INTRODUCCIÓN Y PLANTEAMIENTO DE LA CUESTIÓN Si tuviéramos que revisar el plano de la educación hasta el día de hoy, podemos certificar que son muy vertiginosos los cambios producidos en el escenario de la educación superior. En este capítulo vamos a revisar no solo el papel de la universidad como institución conservadora con fuerte necesidad de cambio, sino también tanto la heterogeneidad del perfil de los estudiantes, así como la necesidad del profesorado para formarse en competencias digitales. Asumiendo los grandes cambios dentro de la educación superior, vino para quedarse el conectivismo, como sistema de aprendizaje en el mundo de la educación y la tecnología, fomentando así grandes ventajas en los nuevos paradigmas del marco educativo, como también algunas desventajas. Con estas grandes transformaciones en el escenario universitario en pleno siglo XXI en la era de la globalización y transformación, debemos de tener en consideración otra de las grandes vertientes que acechan como es la inteligencia artificial en adelante (IA). Convertido en un reto en todas las disciplinas, ciencias sociales, comunicación, derecho, según TÚÑEZ-LÓPEZ y TOURAL-BRAN1, la IA, está empezando a ocupar un terreno tradicionalmente dominado por el factor humano en el manejo de relaciones informativas entre las organizaciones, los medios y la sociedad. TÚNEZ-LÓPEZ, J. M., y TOURAL-BRAN, C., “Inteligencia artificial en la gestión de la comunicación: impacto de la robotización en la elaboración de contenidos informativos”, en Herrero, J. y Trenta, M. (coords.), Comunicación y música: mensajes, manifestaciones y negocios, La Laguna: Universidad de La Laguna, 2018, pp. 1884 y ss. 1

154

Marta Abanades Sánchez

En este capítulo se quiere abordar no solo el nuevo reto de la IA en el escenario de la educación superior sino también indagar sobre las nuevas formas y aplicaciones de innovar mediante las tecnologías en el área de las ciencias sociales y comunicación. Tras la revisión de la literatura se da visibilidad a los cambios acontecidos en el escenario de educación superior. Desde las clases magistrales y presenciales ya prácticamente obsoletas en los contextos universitarios hasta las sesiones, comunidades, foros de aprendizaje, aplicaciones todo ello de manera virtual fomentando no solo el aprendizaje sino también las competencias. El docente tendrá que transformar su manera de poder interactuar y enseñar, aprovechando las competencias digitales para no solo innovar dentro del aula sino también conseguir los resultados de aprendizaje propuestos en la materia. 2. ENSEÑANZA UNIVERSITARIA DE AYER DE HOY: CAMBIOS ACONTECIDOS EN EL PERFIL DE ESTUDIANTES Y NUEVAS DIRECTRICES EN LOS DOCENTES Hace años los profesionales de la docencia no solo estaban preocupados por el aprendizaje de sus alumnos, durante años afrontaron en la educación superior una serie de cambios inminentes debido a ciertas transformaciones que estaban aconteciendo en la sociedad. La universidad, según BERAZA, en el 2007, afrontó toda una serie de alteraciones que tuvo los siguientes efectos2: •

•

•

Llegada de grupos de estudiantes cada vez más heterogéneos en cuanto a la capacidad intelectual, preparación académica, motivación, expectativas, recursos económicos… También la transformación del alumnado universitario ha sido llamativa: incremento del número de mujeres (hasta llegar a superar netamente el de los hombres), diversificación de las edades (con mayor presencia de adultos que retoman su formación), aparición de sujetos que ya están trabajando y simultanean su profesión con el estudio (lo que condiciona su disponibilidad y los convierte en estudiantes a tiempo parcial). Además, esto ha obligado a replantear la estrategia formativa en las universidades. Necesidad de contratar, de forma masiva, nuevo profesorado para atender la avalancha de estudiantes. Este tipo de contratación tiene efectos notables sobre la capacitación del nuevo profesorado, sus condiciones laborales, la adscripción de las funciones a desarrollar por los mismos y la posibilidad de arbitrar sistemas de formación para el mejor ejercicio de la docencia y la investigación. Aparición de sutiles diferencias en cuanto al estatus de los diversos estudios y de los centros universitarios que los imparten. El proceso de masificación no se ha producido por igual en todas las carreras y facultades. Algunas (como Medicina, Ingeniería, etc.) han conservado su marchamo elitista y han mantenido con ello un cierto estatus de estudios privilegiados. El peso de la masificación se ha dejado

2 BERAZA, M., La enseñanza universitaria: el escenario y sus protagonistas (Vol. 1), Madrid: Narcea Ediciones, 2002, pp. 13 y ss.

LOS RETOS DE LA UNIVERSIDAD Y LA INTELIGENCIA ARTIFICIAL

155

sentir especialmente en las carreras de humanidades y estudios sociales, ámbitos en los que se han multiplicado las especialidades, se ha mantenido la docencia a grandes grupos y se han incorporado amplias levas de nuevo profesorado, a veces en condiciones laborales precarias3. Los docentes tuvieron que permutar su saber hacer para poder afrontar los diferentes perfiles y casuísticas de sus estudiantes. Además, ahora los docentes se enfrentan de nuevo a un gran reto en la docencia, porque las herramientas tecnológicas cada día avanzan, lo que hoy se aprende mañana ya es historia, se vive en un mundo donde todo es dinámico, cambiante no estático. Según MICHAVILA4 tras los cambios que se produjeron en la Universidad y en su organización, hubo que hacer frente a algunas cuestiones5: •

• •

•

•

•

Adaptarse a las actuales demandas del mundo del empleo, ofreciendo una formación que, sin renunciar a los contenidos básicos, capacite a sus estudiantes a un fácil acceso a la oferta laboral. Situarse en un nuevo contexto de competitividad social donde va a primar la calidad y la capacidad para establecer planes e introducir ajustes. Mejorar la gestión, en un contexto de reducción de recursos públicos que exige la incorporación de nuevas fuentes de financiación y una mayor transparencia en la distribución de estos. Incorporar las nuevas tecnologías, tanto en la gestión como en la docencia, y aprovechar su potencial para generar nuevas formas de relación interinstitucional y nuevos sistemas de formación (redes virtuales, enseñanza a distancia, etc.). Constituirse como motor del desarrollo local, tanto en lo cultural como en lo social y económico, a través del establecimiento de redes de colaboración con empresas e instituciones. Reubicarse en un nuevo escenario globalizado de formación y empleo y adaptar a él sus propias estrategias formativas: potenciando la interdisciplinaridad, el dominio de las lenguas extranjeras, la movilidad de estudiantes y profesores, la investigación en asociación, los programas y sistemas de acreditación compartidos, etc.

Si bien es conocido que cada vez son más los docentes que deciden formarse en competencias digitales, aprovechándolas e incorporándolas en sus materias. Cada vez se potencia más las redes virtuales y el aprendizaje a distancia, pero también es cierto que podemos encontrar a muchos profesionales de la educación resistentes al cambio. Según autores Ibid., p. 14. MICHAVILA, F., La universidad española hacia Europa, Madrid: Fundación Alfonso Martín Escudero, 2000. 5 AGUILERA JIMÉNEZ, A., y GARCÍA GÓMEZ, I., Una Universidad para el siglo XXI: algunas pistas para la reflexión, II Jornadas Andaluzas de Calidad en la Enseñanza Universitaria. Desarrollo de Planes de Calidad para la Universidad. Materiales para la Calidad, 2000, pp. 259-269. 3 4

156

Marta Abanades Sánchez

como NIVELA-CORNEJO, ECHEVARRÍA-DESIDERIO y OTERO-AGREDA6 (2020) la mayoría de los docentes que son responsables de las actividades académicas como la investigación y extensión son (inmigrantes digitales) por lo tanto, el miedo, las dudas y muchas preguntas invaden sus mentes, y es muy frecuente encontrar comentarios en los compañeros de incapacidad e inquietud para asumir la tecnología en el proceso de aprendizaje del alumno. Los resultados educativos a nivel mundial no son tan alentadores, parece que el desarrollo de la tecnología va en subida mientras que el educativo va en descenso. El desarrollo alcanzando por las TIC a nivel mundial en diferentes áreas, en particular en la educación, plantea la necesidad de investigar y profundizar en un conjunto de problemas inmersos dentro de un fenómeno globalizante en todas las áreas del conocimiento humano especialmente en el tecnológico. 3. CAMBIO EN EL PARADIGMA DE LA UNIVERSIDAD: INSTITUCIÓN Y CLAUSTRO Si hay alguna institución merecedora de un cambio, es la universidad. Tras todos los cambios acontecidos no solo en el perfil de los estudiantes, así como en la formación necesaria en los docentes, la universidad debería de dar el salto para poder llegar a la enseñanza en todas las vertientes posibles. Pero según autores como OCAÑA, VALENZUELA y GARRO7, la nueva universidad es clásica al entender que la universidad de manera estratégica se ha dedicado a la conservación e integración de la denominada herencia cultural de saberes, ideas y valores generados por el desarrollo de la humanidad en los diversos campos del quehacer científico, técnico y humanístico. Durante el tiempo se ha mantenido estratégicamente conservadora, ya que en esencia no podría ser cuestionada por ello, porque la universidad entendida mediáticamente como una institución representativa en todo el orbe, dispone del régimen de autonomía, lo cual la faculta para mantener dicho apostolado. En verdad existe autores que siguen apostando por una universidad conservadora, aunque con perfiles contrapuestos, según MORÍN8, existen dos tipos de conservaciones, la vital y la estéril. La conservación vital, la cual está orientada a preservar y salvaguardar, en función del proceso del desarrollo que sustenta el futuro, asentado sobre las bases de un pasado conservador y transmitido bajo los cánones propios de los claustros académicos; ya que a su entender el futuro, entendido como tal, no puede materializarse si no está umbilicalmente ligado a un pasado salvaguardado. 6 CORNEJO, M.; DESIDERIO, S. y AGREDA, O., “Estilos de aprendizajes e inteligencia artificial”, Polo del Conocimiento: Revista científico-profesional, 5 (9), 2020, pp. 222 y ss. 7 OCAÑA-FERNÁNDEZ, Y.; VALENZUELA-FERNÁNDEZ, L. A., y GARRO-ABURTO, L., “Inteligencia artificial y sus implicaciones en la educación superior”, Propósitos y Representaciones, 7 (2), 2019, pp. 536 y ss. 8 MORIN, E., “La cabeza bien puesta”, Buenos Aires: Nueva Visión, vol. 2, 1999.

LOS RETOS DE LA UNIVERSIDAD Y LA INTELIGENCIA ARTIFICIAL

157

La conservación estéril, aspecto que no sería tan negativo si es que, históricamente referenciado, la universidad durante mucho tiempo y debido a sus orígenes, se ha mantenido bajo un dogma anquilosado y muy conservador ya que en sus claustros la rigidez y el ostracismo han sido los parámetros rectores de mucho del tiempo de su existencia, como lo acaecido en las universidades más antiguas que se conocen; y aquello aun sin tomar en cuenta las férreas adopciones clericales que han cimentado las bases de muchas de ellas en el viejo continente. Pero los cambios tecnológicos y sociales son inminentes y han conllevado a esa transformación no solamente en el mundo empresarial sino también en las universidades. Por otro lado, la formación del docente tendrá que ser continua y su misión enfocada directamente en el alumno como protagonista de su propio aprendizaje. No todos los docentes han dado el paso a esta conversión. Si recordamos a MARAÑÓN9 en su ensayo Tiempo Viejo y tiempo Nuevo, ya nos dio una reflexión sobre la clase docentes y escribió sobre los cuatro tipos de grupos de docentes: •

•

• •

Un grupo minoritario, que lo forman personas con una gran capacidad humana, además de una formación intelectual. A este grupo de docentes los denomina “heroicos”. Realizan su trabajo con amor, ilusión y entusiasmo. Un segundo grupo de docentes inicia su camino en la docencia con gran entusiasmo y alegría, pero, poco a poco, va perdiendo esa energía inicial. Las diferentes problemáticas que se van encontrando día tras día y la poca solvencia o capacidad para resolverlos van apagando ese entusiasmo y “tiran la toalla”. En este grupo, según términos utilizados por MARAÑÓN, estarían los docentes “agriados y resentidos por su propio fracaso social”. Y, por último, el grupo formado por los docentes “agriados y resentidos por su propio fracaso interior”.

Solo los profesores que más trabajen y colaboren por encontrarse en los primeros grupos, podrán realizar su transformación para adecuarse a las nuevas tendencias tecnológicas y virtuales. A continuación, en la siguiente tabla, se reflejan los cambios sobrevenidos de la educación, exponiendo como era la educación y algunas de sus directrices (evaluación, docentes, espacios, metodologías etc.) y como debería estar en vanguardia en pleno siglo XXI.

9 MARAÑON, G., Tiempo Viejo y Tiempo Nuevo, Madrid: Espasa Calpe, Col. Austral, (1940/1956).

158

Marta Abanades Sánchez Tabla 1. La educación de ayer y de hoy

Educación ayer

Educación Hoy

Clase magistral

Clase con medios digitales

Evaluación mediante exámenes indivi- Evaluación mediante trabajos en grupos en línea y preduales sencial Aprendizaje en el aula

Aprendizaje en cualquier entorno y espacio

El profesor para enseñar contenido de El profesor como guía para fomentar habilidades y materias competencias Actividades y tareas en función del Aprendizaje experiencial (contenido llevado a la práccontenido (pregunta-respuesta) tica) Método de enseñanza profesor-materia Método transversal y multidisplicinar (varias materias de la titulación y/o alumnos de varios cursos) Docente centrado en terminar el tema- Docente centrado en los resultados de aprendizaje rio Profesionales de la educación

Diferentes agentes educativos

Aprendizaje al inicio de la vida

Aprendizaje en diferentes etapas de la vida

Para tener alumnos sobresalientes

Para tener alumnos competentes

Evaluación final

Heteroevaluación y Coevaluación

Entornos personales de aprendizaje Entrenadores de entornos de aprendizaje Learning En(PLE) viroment Coach (LEC) Fuente: Elaboración propia

Según ABANADES se ha constituido un cambio donde el aprendizaje se desarrollaba al principio de la vida y en estos momentos, está latente en cualquier etapa de la vida10. De esta manera también se converge por un aprendizaje personificado. El individuo no solo aprende en los centros formales, sino en cualquier espacio y lugar. Estas experiencias de aprendizaje en otros contextos, le aportara competencias prácticas necesarias para el desarrollo de las etapas de su vida. Resumiendo, se puede constatar que el aprendizaje y los modelos educativos han cambiado. El aula formal ya no es el único espacio donde el alumno puede adquirir conocimientos, sino que todo espacio virtual (comunidades y redes) son una vía de aprendizaje y, por ende, son entornos donde pueden crear experiencias e interaccionarlas con más personas. 4. CONECTIVIDAD EN EL AULA Repasados los cambios acontecidos en la educación, no podemos saltar a la inteligencia artificial sin antes nombrar el relevante paso que dio el conectivismo en las aulas. El conectivismo es definido como una teoría de aprendizaje para la era digital. Estas palabras 10 ABANADES SÁNCHEZ, M., “Las ecologías del aprendizaje en el escenario de la educación superior”, Contenidos de Vanguardia en el EEES, Madrid: Ediciones Pirámide, 2019.

LOS RETOS DE LA UNIVERSIDAD Y LA INTELIGENCIA ARTIFICIAL

159

fueron descritas por uno de los autores más revolucionarios en el conectivismo: George SIEMENS. No cabe duda, que podemos encontrar muchos autores que han escrito y siguen investigando sobre las implicaciones del conectivismo en las diferentes áreas, pero Siemens fue el precursor de la tecnología en el campo de la educación. Este autor actualmente es investigador del Instituto de investigación en Tecnología y Conocimiento mejorado de la Universidad de Athabasca en Canadá y muy reconocido a nivel internacional como un pensador contemporáneo que ha sido capaz de ejercer una gran influencia en los temas de educación y tecnología. Para SIEMENS el aprendizaje es un proceso que ocurre en el interior de un ambiente nebuloso de elementos cambiantes, los cuales no están enteramente bajo el control del individuo. También indica que el aprendizaje se caracteriza por ser caótico, continuo, complejo, de conexión especializada y certeza continua11. El conectivismo podría definirse como el aprendizaje de un proceso continuo que puede ocurrir en diferentes escenarios, incluyendo comunidades de prácticas, redes personales y en el desempeño de tareas en el lugar de trabajo. 4.1. Ventajas y desventajas del conectivismo SIEMENS, además de ser pionero introduciendo el conectivismo como un aprendizaje aplicándolo a la educación, describió una serie de principios: • • • • • • • •

El aprendizaje y el conocimiento se encuentran en la diversidad de opiniones. El aprendizaje puede residir en los artefactos no humanos. El aprendizaje es un proceso de conexión especializada de nodos o fuentes de información. La capacidad para conocer más es más importante que lo actualmente conocido. Alimentar y mantener las conexiones es necesario para facilitar el aprendizaje continuo. La habilidad para identificar conexiones entre áreas, ideas y conceptos es esencial. La toma de decisiones es un proceso de aprendizaje en sí mismo. Seleccionar que aprender y el significado de la información entrante, es visto a través de las lentes de una realidad cambiante.

En verdad, esta teoría sigue en pleno auge en la sociedad y actúa como metodología innovadora en los sistemas educativos. Después de valorar varias de las aportaciones de SIEMENS12 y CARREÑO13, podemos valorar las ventajas y también desventajas del conectivismo. SIEMENS, G., “Conectivismo: Una teoría de aprendizaje para la era digital”, en Aparici Marino, R. (coord.), Conectados en el ciberespacio, 2010, pp. 77-9. 12 SIEMENS, G., “Conectivismo: Una teoría de aprendizaje para la era digital”, en Aparici Marino, R. (coord.), Conectados en el ciberespacio, 2010, pp. 77-9. 13 CARREÑO, I., “Teoría de la conectividad como solución emergente a las estrategias de aprendizaje innovadoras”, Revista electrónica de humanidades, educación y comunicación social, 4(6), 2009, pp. 1 y ss. 11

160

Marta Abanades Sánchez Tabla 2. Ventajas del Conectivismo

VENTAJAS DEL CONECTIVISMO Se ajusta a la realidad donde los alumnos son considerados nativos digitales que están totalmente bombardeados de herramientas que surgen continuamente. Se relaciona con las competencias del aprendizaje colaborativo, ya que permite compartir, colaborar, discutir y reflexionar con otros. Al tratar del flujo y de la actualización de la información, así como el aprovechamiento que podemos llevarnos de otros, se confirma que la teoría vale de muchas herramientas para facilitar el flujo de información. En este tipo de aprendizaje no es necesario saber todo. El aprendizaje deja de ser individualista (el docente diseña el control en la estructura de interacciones y de los resultados que se han de obtener), para pasar a ser cooperativo y colaborativo (los alumnos diseñan como se llevara a cabo la estructura de interacciones y mantienen el control sobre las diferentes decisiones que repercutirán en el aprendizaje). Fomenta espacios en los cuales se da el desarrollo de habilidades individuales y grupales a partir de la discusión entre los alumnos al momento de explorar nuevos conceptos. También desarrolla las habilidades mixtas (aprendizaje y desarrollo personal y social) donde cada miembro del grupo es responsable tanto de su aprendizaje como de los restantes del grupo. La interdependencia positiva, la interacción, la contribución individual y las habilidades personales del grupo. Fuente: CARREÑO, “Teoría de la conectividad como solución emergente a las estrategias de aprendizaje innovadoras”, Revista electrónica de humanidades, educación y comunicación social, 4(6), 2009, pp.1-25.

Si bien, algunas de estas ventajas ya las hemos podido considerar en la educación del siglo XXI donde se apuesta por el desarrollo de habilidades individuales y grupales, alumnos con necesidad de explorar y aprender de nuevos entornos, docentes menos dictadores y más cooperativos, entornos que abogan por la reflexión fomentando competencias como el aprendizaje dialógico y el pensamiento crítico. Pero autores como SIEMENS y CARREÑO también puede concretar algunas desventajas detrás de esta técnica de aprendizaje. Tabla 3. Desventajas del conectivismo DESVENTAJAS DEL CONECTIVISMO Información y Contenido: en ocasiones por la multitud de nodos y conocimientos se hace difícil poder garantizar la disponibilidad, la calidad, correctitud de la información totalmente necesario para formar las conexiones que garanticen el aprendizaje.

LOS RETOS DE LA UNIVERSIDAD Y LA INTELIGENCIA ARTIFICIAL

161

Enseñanza y Aprendizaje: al ser nueva teoría del aprendizaje se requiere una nueva metodología de enseñanza aprendizaje, en el que en vez de diseñar cursos se diseñen ambiente de aprendizaje, (ecologías de aprendizaje), para que los alumnos busquen y puedan crear su red de nodos de conocimiento basado en sus intereses y necesidades. Falta de capacitación de los profesores: lamentablemente los profesores aún no están todavía preparados para estos cambios, y para esto tienen que ser entrenados y formados en las tecnologías. Fuente: CARREÑO, “Teoría de la conectividad como solución emergente a las estrategias de aprendizaje innovadoras”, Revista electrónica de humanidades, educación y comunicación social, 4(6), 2009, pp.1-25.

5. PRINCIPIOS DE LA INTELIGENCIA ARTIFICIAL Si bien es cierto que la IA está tomando auge en todas las áreas, aún falta mucho por ver la aplicabilidad en cada una de ellas. Aunque parece un término novedoso, propiamente el concepto de IA nació en 1956, en el Dartmouth Summer Research Projet on Artificial Intelligence14. Tanto su significado como el conjunto de métodos y tecnologías varias que lo componen ha ido evolucionando de manera significativa encontrándolo en otros campos como la estadística, lingüística y la computación. La IA está referida al modo de simular las capacidades de inteligencia del cerebro humano15. También se asume que la IA es parte de las Ciencias de la Computación que se ocupa del diseño de sistemas inteligentes, es decir sistemas que exhiben características que asociamos con la inteligencia en las conductas humanas. Autores como MARIÑO y PRIMORAC ahondan un poco más en la cuestión al manifestar que la IA es concebida como parte de las Ciencia de la Computación que permiten proporcionar “una diversidad de métodos, técnicas y herramientas para modelizar y resolver problemas simulando el proceder de los sujetos cognoscentes16”. Desde otros puntos de vista, la IA también puede ser entendida según en los términos expuestos por HERRERA y MUÑOZ, que lo conciben como una ciencia que se orienta a la búsqueda de la comprensión profunda sobre la inteligencia, teniendo en cuenta la delimitación de esta, sus posibilidades y caracterizándola como un desafío de enorme complejidad17. Según RAMOS, si queremos remontarnos atrás en el tiempo, podemos hacer referencia a Alan Turing, como uno de los pioneros en este aspecto al diseñar la famosa “máquina de Turing” que bajo un esquema de procesamiento de datos en un sistema bina14 MOOR, J., “The Dartmouth College artificial intelligence conference: The next fifty years”, Ai Magazine, 27 (4), 2006, pp. 87 y ss. 15 BADARÓ, S., IBAÑEZ, L., y AGÜERO, M., “Sistemas expertos: fundamentos, metodologías y aplicaciones”, Ciencia y tecnología, 13, 2013, pp. 349 y ss. 16 MARIÑO, S. I., y PRIMORAC, C. R., “Propuesta metodológica para desarrollo de modelos de redes neuronales artificiales supervisadas”, International Journal of Educational Research and Innovation, (6), 2016, p. 232. 17 HERRERA, L., y MUÑOZ, D., “Inteligencia artificial y lenguaje natural”, Lenguas Modernas, 19, 2017, pp.157 y ss. Accesible en: https://lenguasmodernas.uchile.cl/index.php/LM/article/view/45790

162

Marta Abanades Sánchez

rio era capaz de procesar cualquier tipo de cálculo posible, y en las postrimerías de su vida se planteó el trabajo de desarrollar el desafío que se denominó “la prueba de la máquina de Turing18”. Para este autor, la mayor parte de los esfuerzos y aplicaciones de la IA están basados en el campo de aprendizaje automático, normalmente nos referimos a él como ML, por sus siglas en inglés (machine learning). Podríamos decir que ML es un conjunto de técnicas y métodos (en su mayoría matemáticas y estadística) que nos permite utilizar datos observados para poder calibrar modelos. Estos modelos pueden ser predictivos o descriptivos. Se sabe que muchas de estas técnicas de ML son conocidas desde hace varias décadas (1940) por las redes neuronales y las técnicas de regresión, aunque también se han desarrollado muchas otras en los últimos años. Algunos de los aspectos que verdaderamente han determinado el propio éxito de ML en su aplicación en distintas áreas son: • • •

La disponibilidad y la variedad de datos de manera generalizada en muchas de las áreas de actividad humana. El entendimiento más profundo de las matemáticas que gobiernan la algorítmica subyacente. Una disponibilidad y capacidad de hardware y de cómputo que permite una experimentación amplia y profusa de los datos.

Es evidente que, con el paso del tiempo, la IA está inundando nuestros entornos, si bien es una técnica que nos puede permitir facilidades en nuestro día a día, aun no se han determinado las grandes utilidades de las que nos podemos beneficiar, pero sí algunas aplicaciones en algunos campos y áreas que están tomando gran importancia. 6. APLICACIONES EN EL ÁREA DE COMUNICACIÓN Y CIENCIAS SOCIALES Para autores como VÁZQUEZ, JARA, RIOFRIO, y TERUEL, el criterio de empleabilidad de la IA es muy diverso y en la actualidad es utilizada prioritariamente por ramas como informática y robótica19. Pero aquí no acaba esta ciencia porque se está extendiendo a múltiples áreas como las ciencias sociales y sus potencialidades como apoyo en las ciencias empresariales donde el auge de estimación a tiempo real de los valores y la enorme cantidad de data a procesar requiere del implemento de sistemas basados en IA20. Otro de los campos que se encuentra en pleno desarrollo y no podemos dejar de mencionar es el de las redes neuronales artificiales y los sistemas de procesamiento basados en algoritmos 18 RAMOS POLLÁN, R., “Perspectivas y retos de las técnicas de inteligencia artificial en el ámbito de las ciencias sociales y de la comunicación”, Anuario Electrónico de Estudios en Comunicación Social, 13 (1), 2020, pp. 21 y ss. 19 VÁZQUEZ, M., JARA, R., RIODRIO, C., y TERUEL, K., “Facebook como herramienta para el aprendizaje colaborativo de la inteligencia artificial”, Revista Didasc@lia: Didáctica y Educación, 9 (1), 2018, pp. 27 y ss. Accesible en: http://runachayecuador.com/refcale/index.php/didascalia/article/ view/2565 20 MIAILHE, N., y LANNQUIST, Y., “Un desafío de gobernanza mundial”, Integración y comercio, (44), 2018, pp. 218 y ss. Accesible en: https://intal-lab.iadb.org/algoritmolandia/10.php

LOS RETOS DE LA UNIVERSIDAD Y LA INTELIGENCIA ARTIFICIAL

163

genéticos son cada vez más tecnologías con una mayor difusión y se emplean de rigor en el campo de la investigación y la dinámica de mercados bursátiles21. Actualmente existen multitud de aplicaciones relacionadas con diferentes temáticas y áreas como veremos más adelante. Las aplicaciones consisten en retos o competiciones virtuales donde las personas participan creando interacciones y conversaciones además de indagando como poder ganar y llevarte el trofeo. Podríamos confirmar que es también un aprendizaje para la persona que participa además de fomentar el pensamiento creativo y aprendizaje dialógico, competencias que comparte el conectivismo, así como las nuevas metodologías digitales dentro de la educación. Brevemente podemos destacar cómo funcionan estás competiciones, según RAMOS, cada reto establece22: • El objetivo de la tarea o modelo predictivo a desarrollar. • También se accede al conjunto de datos etiquetado para calibrar nuestros propios modelos. • Los participantes envían predicciones sobre datos de los cuales tan solo los propietarios de cada competición conocen las salidas esperadas. • Las métricas de desempeño con las cuales se evalúan las predicciones enviadas por los participantes. Dentro del escenario superior no podemos quedarnos atrás y como profesionales de la docencia tenemos que seguir innovando y buscando nuevas formas de aprendizaje mediante las competencias digitales. Aunque se piensa que la IA aún no se está explotando en el área de educación y aprendizaje a continuación se recaba una búsqueda de competiciones de datos que pueden ser muy valorados en función de nuestra área de aprendizaje. Tabla 4. Ejemplos de competiciones de datos. Nombre

Observaciones

Imagnet Large Scale Visual Recognition Se utiliza para tareas de analítica de imágenes en Challenge (Russakovsky O. et al., 2015) general (localización, segmentación, detección) CHiME Speedch Recogniticion and Separa- Se utiliza para tareas de reconocimiento e interpretion Challenge tación del habla. IMageCLEF, The Cross Language Evaluation Contiene varios desafíos para el soporte del avance Forum Image Retrieval Track del avance del análisis de medios visuales, indexado, clasificación y recuperación. Challenges in Medlical Image Analysis

Detección de varios tipos de cáncer, pasando por la histopatología hasta la neurología.

BADARÓ, S., IBAÑEZ, L., y AGÜERO, M., “Sistemas expertos: fundamentos, metodologías y aplicaciones”, cit., pp. 349 y ss. 22 RAMOS POLLÁN, R., “Perspectivas y retos de las técnicas de inteligencia artificial en el ámbito de las ciencias sociales y de la comunicación”, cit., pp. 21 y ss. 21

164

Marta Abanades Sánchez

Kaggle

Consiste en un repositorio de competiciones ML que aúna una gran variedad de campos, como las finanzas, imagen satelital, mercadeo, medicina, física etc.

Two Sigma: Using News to Predict Stock Esta competición plantea la utilización de técnicas Movements de procesamiento del lenguaje natural para poder analizar streams textuales de noticias y así poder generar señales de predictividad en instrumentos financieros. Quora Insincere Questions Classfiication

Este reto plantea la generación de modelos que detectan preguntas no sinceras en foros de discusión. El objetivo es identificar contenido tóxico y divisivo, para generar confianza entre los usuarios, así para compartir dudas y conocimiento.

Costa Rical Household Poverty Level Pre- Este reto está planteado por el Banco Interamediction ricano de Desarrollo (BID) para la generación de modelos que tengan la capacidad de predecir el nivel de pobreza de cada hogar. DonorsChoose.org Application Screening

Este reto sirve para apoyar a profesores de primaria y secundaria con materiales y financiación para proyectos de clase.

Sppoky Author Identification

Este reto propone la creación de modelos predictivos que, dado un extracto textual, identifiquen a que autor de terror corresponde.

Instacart Market Basket Analysis

Este reto consiste en predecir qué productos compra un consumidor en el supermercado basándose en consumos recientes.

Outbrain Click Prediction

Este reto propone predecir en que contenido pinchara un usuario basándose en la observación de su historial reciente de navegación por internet.

StateFarm Distracted Driver Detection

Este reto propone la detección de conductores distraídos a través de imágenes de los propios conductores cuando manejan sus vehículos. El objetivo es detectar a dichos conductores a través de técnicas de visión por computadora para poder emitir las alertas necesarias.

Fuente: ideas extraídas de RAMOS POLLÁN, R., “Perspectivas y retos de las técnicas de inteligencia artificial en el ámbito de las ciencias sociales y de la comunicación”, Anuario Electrónico de Estudios en Comunicación Social, 13 (1), 2020, pp. 21 y ss.

Estas aplicaciones son solo algunos ejemplos de la importancia de la IA no solo es nuestro día a día, sino también como metodología de aprendizaje. Ya existe algunos autores que confirman la posibilidad de que estas aplicaciones puedan ayudar en las tareas más arduas

LOS RETOS DE LA UNIVERSIDAD Y LA INTELIGENCIA ARTIFICIAL

165

en el campo docente23. También podemos pensar en aplicaciones orientadas en las ciencias de la educación y el derecho para poder apoyar las argumentaciones del docente en las diferentes materias. 7. CONCLUSIONES Para finalizar determinar, que todos los avances en la educación a nivel digital siguen avanzando y esto significa que todos los agentes e instituciones colaborativas deberían unirse y transformarse entre sí para que no existiera tanta disparidad entre los mismos. Por un lado, la universidad debe de dejar de ser conservadora para apostar por la innovación y la digitalización en las aulas. El claustro que lo conforma debe de ser formado y que así puedan utilizar metodologías activas con sus alumnos, dejando atrás la figura tradicional del profesor en su clase magistral. Los propios alumnos, necesitan que todo su entorno fluya en esta línea, ellos son nativos digitales que se habituaran al cambio con facilidad y se mostraran más receptivos en su aprendizaje. Si todos los agentes implicados abogan por la implicación de la IA nos aproximaremos a que nuestros alumnos se encuentren más preparados no solo digitalmente sino también competencialmente y de esta manera podrán cubrir los puestos de trabajos que surgirán en las empresas más competitivas.

23 Cómo la inteligencia artificial ayudará a los profesores. Kai-Fu Lee, experto en IA. https://www. youtube.com/watch?v=9N1iYDHRZ14

EL RESPETO A LOS DERECHOS FUNDAMENTALES.. DESDE LA PERSPECTIVA ÉTICA.. DE LA INTELIGENCIA ARTIFICIAL* Elena García-Antón Palacios Profesora Doctora Acreditada en Derecho Eclesiástico del Estado Universidad Europea (Madrid) DOI: 10.14679/2062

1. INTRODUCCIÓN El desarrollo de las nuevas tecnologías y la Inteligencia Artificial (IA) genera cuantiosos beneficios para el bienestar de los ciudadanos según se van integrando en la vida cotidiana de cada uno de ellos. Para llevar a cabo una inclusión efectiva y equitativa de la tecnología, la innovación debe ir acompañada de la contemplación, por un lado, de ciertos parámetros sociales y éticos que garanticen el respeto a la dignidad de la persona y sus derechos fundamentales y libertades públicas y, por otro, de la asunción de las respectivas responsabilidades en la toma de decisiones, tanto por parte de los poderes públicos, las entidades privadas y los ciudadanos como usuarios o consumidores. Adentrándonos en una novedosa materia, dadas las implicaciones éticas y morales que el avance de la tecnología y los sistemas de IA llevan implícitas, analizaremos el documento “Rome Call for AI Ethics”, firmado en Roma el 28 de febrero de 20201, por la Pontificia Academia para la Vida, Microsoft, IBM, la FAO y el Ministerio de Innovación italiano para promover un enfoque ético de la IA. La preferencia por este documento resulta del valor que adquiere con base en los Firmantes del mismo, ya que quedan representados tanto instituciones internacionales como la ONU, representantes gubernamentales, empresas privadas y organismos encargados de velar por la dignidad y los derechos humanos, todos ellos agentes principales de la corresponsabilidad ética que implica la implementación de la IA. * Esta investigación se realiza dentro del marco del Proyecto Resolución Analógica y Digital de Controversias ante los Objetivos de Desarrollo, de la Facultad de Ciencias Sociales y de la Comunicación de la Universidad Europea de Madrid. 1 Texto artificiale.html

disponible

en

http://www.academyforlife.va/content/pav/en/events/intelligenza-

168

Elena García-Antón Palacios

El análisis del “Rome Call for AI Ethics” se realizará, por una parte, a la luz de la normativa europea que sería de aplicación con relación a la protección de los derechos fundamentales y, por otra, siguiendo algunas directrices de instituciones europeas, en concreto, la Comisión Europea y la Agencia de los Derechos Fundamentales de la UE, que buscan enfocar el desarrollo de la IA desde un prisma ético y garantista de los derechos y libertades protegidos en la legislación europea. De esta manera, en este capítulo se abordarán cuestiones jurídicas esenciales como la garantía del principio de igualdad y no discriminación, el derecho a la educación −destacando el papel de la UNESCO en este punto−, la inclusión de las personas con discapacidad y la protección de los datos personales, incluyendo en este último punto, una reseña a los “pasaportes COVID”. Asimismo, se aludirá a los Objetivos de Desarrollo Sostenible de la Agenda 2030 que pueden conectarse con el objeto de estudio. Por último, se realizan unas consideraciones finales que podrían tenerse en cuenta para que el respeto de la dignidad personal y los derechos que le son inherentes sean considerados como presupuesto y fin en todas las etapas de creación, desarrollo y explotación de los sistemas de IA. 2. INSTRUMENTOS LEGALES DE PROTECCIÓN DE LOS DERECHOS FUNDAMENTALES EN MATERIA DE INTELIGENCIA ARTIFICIAL En los últimos años, los sistemas basados en IA han jugado un papel esencial en la transformación de las sociedades contemporáneas, donde los asistentes virtuales, los sistemas de reconocimiento de voz y de imagen, los motores de búsqueda, o la IA integrada como los drones o los robots, ya forman parte de nuestra vida cotidiana y de nuestro trabajo. No obstante, si bien todo ello puede facilitar nuestro día a día, también puede generar diversos conflictos éticos y jurídicos, dadas las consecuencias que el uso de estos sistemas puede tener sobre el libre ejercicio de los derechos humanos que desde 1948 quedan dispuestos en la Declaración Universal de Derechos Humanos (DUDH). Para procurar el respecto a los derechos y libertades públicas resulta esencial mantener un enfoque ético de la IA y conocer el marco legislativo actual que los Estados, empresas y ciudadanos deben respetar. De esta manera, en este apartado se repasa la legislación europea sobre derechos fundamentales que servirá de punto de referencia para todos los actores que participan en el diseño, el desarrollo y la ejecución de las tecnologías relacionadas con la IA. En primer lugar, en el año 1950 se aprobó en Roma el Convenio Europeo de Derechos Humanos y de las Libertades Fundamentales (CEDH), al que se le añadieron diversos Protocolos Adicionales, constituyéndose en el documento principal de garantía de los derechos humanos en el ámbito del Consejo de Europa. El Convenio, tal y como el Tribunal Europeo de Derechos Humanos rubrica, debe constituirse en un instrumento vivo interpretado a la luz de las condiciones actuales2, lo que significa que, a lo que a nuestro análisis se refiere, sus disposiciones son de aplicación y deberán interpretarse en el sentido menos 2



SSTEDH, Tyrer c. el Reino Unido, de 25 abril 1978, § 31; Loizidou c. Turquía, § 71.

EL RESPETO A LOS DERECHOS FUNDAMENTALES...

169

restrictivo de los derechos fundamentales para minimizar los posibles efectos negativos que sobre estos pudieran tener los sistemas de IA. A continuación, dentro de la Unión Europea (UE), el instrumento principal para la defensa y protección de los derechos fundamentales es la Carta de los derechos fundamentales de la Unión Europea3 (en adelante, la Carta), en cuyo preámbulo se establece la necesidad de reforzar la protección de estos derechos “a tenor de la evolución de la sociedad, del progreso social y de los avances científicos y tecnológicos”, por lo que todas las instituciones y órganos de la UE están sujetos a la Carta y han de respetar su contenido en todas las esferas donde entren en juego los derechos recogidos en ella4. De conformidad con el artículo 52.1 de la Carta, cualquier limitación del ejercicio de los derechos y libertades debe quedar establecida por la ley y respetar su contenido esencial, de tal modo, que sólo se podrán introducir limitaciones, respetando el principio de proporcionalidad, cuando sean necesarias y respondan efectivamente a objetivos de interés general reconocidos por la Unión o a la necesidad de protección de los derechos y libertades de los demás. En paralelo al CEDH y la Carta, existen diversas Directivas de la UE contra la discriminación que son también de aplicación, destacando la Directiva 2000/78/CE, relativa al establecimiento de un marco general para la igualdad de trato en el empleo y la ocupación5; la Directiva 2000/43/CE, relativa a la aplicación del principio de igualdad de trato de las personas independientemente de su origen racial o étnico6; y la Directiva 2006/54/ CE, relativa a la aplicación del principio de igualdad de oportunidades e igualdad de trato entre hombres y mujeres en asuntos de empleo y ocupación7. Adicionalmente, los Estados miembros de la UE también son parte en otros Tratados internacionales de derechos humanos, por lo que cada uno de ellos queda vinculado por los compromisos adquiridos en cada uno de ellos, por ejemplo, como veremos más adelante, la Convención sobre los derechos del niño8 y la Convención sobre los derechos de las personas con discapacidad9. Asimismo, por el objeto de estudio de este trabajo, cabe resaltar el Convenio para la protección de las personas con respecto al tratamiento automatizado de datos de carácter

DOCE, núm. 364, de 18 de diciembre de 2000. Cfr. art. 51 de la Carta de los Derechos Fundamentales de la Unión Europea. 5 Directiva 2000/78/CE del Consejo, de 27 de noviembre de 2000, relativa al establecimiento de un marco general para la igualdad de trato en el empleo y la ocupación. DOCE núm. 303, de 2 de diciembre de 2000. 6 Directiva 2000/43/CE del Consejo, de 29 de junio de 2000, relativa a la aplicación del principio de igualdad de trato de las personas independientemente de su origen racial o étnico. DOCE, núm. 180, de 19 de julio de 2000. 7 Directiva 2006/54/CE del Parlamento Europeo y del Consejo, de 5 de julio de 2006, relativa a la aplicación del principio de igualdad de oportunidades e igualdad de trato entre hombres y mujeres en asuntos de empleo y ocupación. DOUE núm. 204, de 26 de julio de 2006. 8 BOE, núm. 313, de 31 de diciembre de 1990. 9 BOE, núm. 97, de 22 de abril de 2008. 3 4

170

Elena García-Antón Palacios

personal10. Este Convenio fue el primer instrumento internacional jurídicamente vinculante que sirve de garantía al respeto del derecho a la vida privada de los ciudadanos, con relación al tratamiento automatizado de los datos de carácter personal de una persona. Con el Protocolo que ha modificado este Convenio11, se pretende ampliar su ámbito de aplicación, para que sirva como herramienta eficaz en todos los sectores de la sociedad, incluyendo aquellos en los que interviene la IA (empleo, salud, seguridad, etc.). Junto a este, se distingue el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, es decir, el Reglamento General de Protección de Datos (RGPD)12, que reconoce la necesidad de crear un marco sólido y coherente para la protección de datos en la Unión Europea, debido a los nuevos retos que se han planteado para su protección. Dejando a un lado la normativa europea jurídicamente vinculante, destacamos dos instituciones europeas, cuyas declaraciones en materia de IA nos servirán para buscar una aplicación práctica a las proposiciones contenidas en el “Rome Call for AI Ethics”. La primera de estas es la Agencia de los Derechos Fundamentales de la UE, creada en 2007, cuya misión es asesorar a las instituciones de la UE y los gobiernos nacionales en materia de derechos fundamentales, entre otros, la discriminación, la protección de datos y los derechos de los menores. Dentro de su estructura, junto al Consejo de Administración y el Consejo Ejecutivo, destaca el Comité Científico, compuesto por 11 miembros que garantizan que la labor de la Agencia responda a criterios propiamente científicos. En nuestro trabajo, nos vamos a centrar en el Informe titulado “Getting the future right – Artificial intelligence and fundamental rights”, en el que se describen una serie de peticiones a los países de la UE en torno a la IA que permitan garantizar el respeto a los derechos fundamentales en todos los procesos en los que intervenga la IA, la posibilidad de reclamar por las decisiones tomadas mediante IA, la evaluación de la IA antes y durante su uso para reducir el posible impacto negativo sobre los derechos fundamentales, la puesta a disposición de información sobre las normas de protección de datos que se aplican a la IA y la evaluación sobre la potencial discriminación que pudiera sobrevenir a causa de los sistemas de IA. La segunda de las instituciones es la Comisión Europea que, en febrero de 2020, aprobó el “Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza”, en el que busca crear un ecosistema de excelencia que pueda respaldar el desarrollo y la adopción de la IA en el conjunto de la economía y la Administración Pública de la UE. A tal fin, reconoce que “para aprovechar las oportunidades que ofrece la inteligencia artificial y abordar los retos que presenta, la UE debe actuar conjuntamen Convenio para la protección de las personas con respecto al tratamiento automatizado de datos de carácter personal, hecho en Estrasburgo el 28 de enero de 1981. BOE, núm. 274, de 15 de noviembre de 1985. 11 Decisión (UE) 2019/682 del Consejo de 9 de abril de 2019 por la que se autoriza a los Estados miembros a firmar, en interés de la Unión Europea, el Protocolo que modifica el Convenio del Consejo de Europa para la protección de las personas con respecto al tratamiento automatizado de datos de carácter personal, DOUE de 2 de mayo de 2019. 12 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos). DOUE, núm. 119, de 4 de mayo de 2016. 10

EL RESPETO A LOS DERECHOS FUNDAMENTALES...

171

te y determinar de qué manera, a partir de los valores europeos, promoverá su desarrollo y adopción”, para concluir que “la inteligencia artificial es una tecnología estratégica que ofrece numerosas ventajas a los ciudadanos, las empresas y la sociedad en su conjunto, siempre y cuando sea antropocéntrica, ética y sostenible y respete los derechos y valores fundamentales13”. 3. EL RESPETO A LOS DERECHOS FUNDAMENTALES A LA LUZ DE LA “ROME CALL FOR AI ETHICS”

3.1. “Rome Call for AI Ethics” y sus precedentes Para dar muestra de la importancia del compromiso de todos los sujetos implicados en el avance de la ciencia relativa a la IA, como precedentes a la “Rome Call for AI Ethics”, podemos citar fuera del ámbito europeo, otras dos declaraciones de principios éticos promovidas por distintas instituciones no gubernamentales14. La primera de ellas la encontramos en Estados Unidos y son los “Asilomar AI Principles” que se aprobaron en la Asilomar Conference on Beneficial AI, en 2017, en California. Esta conferencia fue organizada por el Future of Life Institute, una organización sin ánimo de lucro, cuya misión es apoyar y promover la investigación para proteger la vida y el desarrollo de visiones optimistas del futuro, teniendo en cuenta los desafíos que comportan las nuevas tecnologías. Esta Declaración se divide en tres categorías, “Investigación”, “Ética y Valores” y “Cuestiones a Largo Plazo”, y muestra 23 principios básicos que deberían respetarse durante las etapas de investigación y desarrollo de la IA15. Trasladándonos de Norteamérica a Canadá, nos encontramos con “The Montreal Declaration for the Responsible Development of Artificial Intelligence Launched”, en la que la Universidad de Montreal en colaboración con el Fonds de Recherche du Québec, dio a conocer esta serie de pautas éticas para el desarrollo de la IA, tras haber realizado un trabajo previo de consulta e investigación con diversos grupos de interés. El objetivo de esta declaración es identificar los principios y valores éticos aplicables a los campos de la tecnología digital y la IA, para que estén al servicio de los intereses fundamentales de la sociedad, para lo cual, sugieren 10 principios y realizan 8 recomendaciones16.

COMISIÓN EUROPEA, Libro Blanco sobre la inteligencia artificial: un enfoque orientado a la excelencia y la confianza, 2020, p. 25. 14 Sobre la recepción y proclamación internacional de la necesidad de una ética de la IA y en Europa, vid., COTINO HUESO, L., “Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables y su utilidad desde el Derecho”, Revista Catalana de Dret Públic, 58, 2019, pp. 31-48. 15 Información disponible sobre esta Declaración en https://futureoflife.org/ai-principles/ 16 Toda la información sobre “The Montreal Declaration for the Responsible Development of Artificial Intelligence Launched”, disponible en https://www.canasean.com/the-montreal-declaration-forthe-responsible-development-of-artificial-intelligence-launched/ 13

172

Elena García-Antón Palacios

De vuelta a Europa, la Pontificia Academia para la Vida, Microsoft, IBM, Food and Agriculture Organization de Naciones Unidas (FAO), y el Ministerio de Innovación de Italia, han sido los primeros en firmar el documento “Rome Call for AI Ethics”, que busca la adopción de un enfoque ético de la IA y la promoción de un sentido de responsabilidad entre las organizaciones, los gobiernos, las instituciones y el sector privado para crear un futuro en el que la innovación digital y el progreso tecnológico sirvan al ingenio y la creatividad humanos y no a su reemplazo gradual. En palabras del presidente de Microsoft, Brad SMITH, la importancia de este documento radica en que, a medida que nos vamos recuperando de la pandemia generada por la COVID-19, es todavía más importante reflexionar sobre la ética en el futuro de la tecnología, sirviendo esta Declaración como guía para promover una conversación reflexiva, respetuosa e inclusiva sobre la interrelación entre la tecnología de la IA y la sociedad17. Finalmente, el documento está abierto para que cualquiera de los operadores implicados pueda adherirse a él18 y se divide en 4 partes temáticas, introducción, ética, educación y derechos, cuyo contenido a continuación pasamos a analizar. 3.2. La ética como instrumento de protección de la dignidad y los derechos fundamentales La primera de las reflexiones del documento gira en clave positiva y humanista en torno a los cambios que la IA ha generado en nuestra vida y los que en el futuro realizará, teniendo en cuenta su gran potencial para mejorar la convivencia social y el bienestar personal, aumentar las capacidades humanas y facilitar muchas tareas que pueden llevarse a cabo de manera más eficiente y eficaz. Sin embargo, −continúa− estos resultados no están garantizados de ninguna manera, ya que, actualmente, las transformaciones en curso no son solo cuantitativas, sino, sobre todo, cualitativas, al incidir en la forma en que estas tareas se realizan y en la forma en que percibimos la realidad y la propia naturaleza humana, hasta el punto de que la IA puede influir en nuestros hábitos mentales e interpersonales. Por ello, la investigación y el desarrollo de nuevas tecnologías debe producirse de acuerdo con criterios que aseguren que realmente están al servicio de toda la “familia humana” (Preámbulo, DUDH), respetando la dignidad inherente de cada uno de sus miembros y el medio ambiente natural, y teniendo en cuenta las necesidades de las personas más vulnerables. El objetivo no es solo asegurar que nadie quede excluido, sino también ampliar aquellas áreas de libertad que podrían verse amenazadas por el condicionamiento algorítmico. En consecuencia, la innovación digital debe servir de apoyo a las personas, en lugar de ser reemplazadas gradualmente por tecnologías que se comportan como actores racionales, pero de ninguna manera humanos, por lo que, además, cada persona debe ser consciente de cuándo está interactuando con una máquina19. Sobre las reflexiones de los Firmantes de la Declaración un año después de la firma, vid. http:// www.academyforlife.va/content/pav/en/news/2021/rome-call-for-ai-ethics-one-year-later.html 18 A través de esta página web es posible la adhesión https://www.romecall.org/joinus/ 19 Introduction, Rome Call for AI Ethics, February 28th, 2020. 17

EL RESPETO A LOS DERECHOS FUNDAMENTALES...

173

Apelando al trabajo conjunto y con base en la naturaleza innovadora y compleja de las cuestiones que plantea la transformación digital, los Firmantes consideran que es fundamental que todos los actores implicados cooperen y que todas las necesidades afectadas por la IA estén representadas, de tal manera, que el presente documento es un llamamiento a la búsqueda de un entendimiento común y el reconocimiento y aceptación de responsabilidades que tengan en cuenta todo el proceso de innovación tecnológica, desde el diseño hasta la distribución y el uso, fomentando un compromiso real en una variedad de escenarios prácticos. A largo plazo, los valores y principios que se inculquen en la IA20 ayudarán a establecer un marco que regule y actúe como punto de referencia de la ética digital, orientando las acciones y promoviendo el uso de la tecnología en beneficio de la humanidad y el medio ambiente21. 3.3. El principio de igualdad y no discriminación frente a los sesgos de la IA Uno de los retos actuales a los que se enfrenta la IA es la posibilidad de que los algoritmos de los sistemas de aprendizaje automático (machine learning) sean entrenados con valores que reflejen ciertos sesgos discriminatorios como el sexo, la raza, la edad, la religión, o cualquier otro22. Para hacer frente a las posibles situaciones de discriminación y vulneración de los derechos fundamentales, la “Rome Call for AI Ethics” indica que la libertad y la dignidad humanas descritas en los artículos 1 y 2 de la DUDH deben protegerse y garantizarse al producir y utilizar estos sistemas, por lo que los mismos deben concebirse, diseñarse e implementarse para servir y proteger a los seres humanos y el entorno en el que viven. Esta perspectiva debe traducirse en un compromiso para crear condiciones de vida, tanto sociales como personales, que permitan que las personas, ya sea como sujetos individuales o como grupos, se esfuercen por expresarse plenamente cuando sea posible. Además, la tecnología basada en IA nunca debe usarse para abusar o aprovecharse de las personas, especialmente de las más vulnerables. En cambio, debe usarse para ayudar a las personas a desarrollar sus habilidades, conocer y aprovechar el entorno en el que viven y para cuidar el planeta23. A juicio de la Agencia Europea para los Derechos Fundamentales, en consonancia con el reconocimiento del derecho a la igualdad y la prohibición de discriminación de los artículos 20 y 21 de la Carta, la discriminación es un tema crucial cuando se trata del uso de IA, porque el propósito principal de los algoritmos de aprendizaje automático es categorizar, clasificar y separar. No obstante, aun considerando la eficiencia como el objetivo principal de la IA, esto no puede justificar un trato diferenciado e injusto. En determinadas circunstancias y en algunas áreas, el uso de algoritmos podría contribuir positivamente reduciendo los prejuicios y los estereotipos24, si bien ha de velarse para que los datos personales de una persona se correspondan verdaderamente con su identidad, por cuanto es posible que la creación de ciertos perfiles terminen creando nuevos datos diferentes a los

22 23 24 20 21

COECKELBERGH, M., Ética de la inteligencia artificial, Madrid: Cátedra, 2021, pp. 95-106. Ibid. Ibid., pp. 75-84 y 107-122. Ibid. Education, Rome Call for AI Ethics.

174

Elena García-Antón Palacios

que el interesado había suministrado, provocando un posible trato discriminatorio en el acceso a bienes, servicios o recursos25. El análisis de datos algorítmicos, a través de la “minería de datos26”, puede producir resultados que podrían disipar actitudes discriminatorias. Por ejemplo, en el ámbito de la seguridad, la vigilancia policial predictiva podría conducir, en algunos contextos, a una vigilancia policial objetiva y no discriminatoria al reducir la dependencia de los juicios subjetivos que cada persona pudiera hacer27. Precisamente, los sistemas de información y vigilancia, capaces de crear ciertos perfiles de riesgo basados en la información personal, deberían servir para buscar un justo equilibrio entre seguridad y libertad públicas, donde se tengan en cuenta posibles factores de discriminación que pueden dar lugar a la exclusión o la estigmatización de las personas o grupos y se mantenga el respeto al derecho a la intimidad personal y familiar de los ciudadanos (art. 8 CEDH)28. Como medio para afrontar la conformación de sesgos algorítmicos, los Firmantes de la “Rome Call for IA Ethics” apuestan por el cumplimiento de tres requisitos que permitan un alineamiento entre el avance tecnológico, el verdadero progreso del ser humano y el respeto por el planeta. El primero de ellos sería la inclusión de todos los seres humanos, sin que se produzca ningún tipo de discriminación. El segundo sería el mantenimiento en el centro de las acciones del bien de la humanidad y de cada ser humano. Y, por último, debe estar presente la compleja realidad de nuestro ecosistema y la forma en que se cuida y protege el planeta, con un enfoque altamente sostenible, que incluye el uso de la IA para garantizar sistemas alimentarios sostenibles en el futuro29. En este último punto, cabe sugerir que, siguiendo estos criterios, la IA serviría como medio para conseguir algunos de los Objetivos de Desarrollo Sostenible (ODS) descritos en la Agenda 203030, como poner fin al hambre, lograr la seguridad alimentaria y la mejora de la nutrición y promover la agricultura sostenible (ODS 2), construir infraestructuras resilientes, promover la industrialización inclusiva y sostenible y fomentar la innovación (ODS 9), adoptar medidas urgentes para combatir el cambio climático y sus efectos (ODS 13) y promover el crecimiento económico sostenido, inclusivo y sostenible, el empleo pleno y productivo y el trabajo decente para todos (ODS 8).

GARRIGA DOMÍNGUEZ, A., “La elaboración de perfiles y su impacto en los derechos fundamentales. Una primera aproximación a su regulación en el reglamento general de protección de datos de la Unión Europea”, Derechos y libertades, 38, 2018, p. 130. 26 Ibid., p. 112. 27 AGENCIA DE LOS DERECHOS FUNDAMENTALES DE LA UNIÓN EUROPEA, “Getting the future right – Artificial intelligence and fundamental rights”, 2020, pp. 68-69. 28 GARRIGA DOMÍNGUEZ, A., “La elaboración de perfiles y su impacto en los derechos fundamentales. una primera aproximación a su regulación en el reglamento general de protección de datos de la Unión Europea”, cit., pp. 122-129; LLÁCER MATACÁS, M. R., La autodeterminación informativa en la sociedad de la vigilancia, Madrid: La Ley, 2011. 29 Ethics, Rome Call for AI Ethics. 30 Sobre los retos planteados por la Agenda 2030, FLORIT FERNÁNDEZ, C., DEL BARRIO, N., y SOTO PINEDA, J. A., Estudio interdisciplinar de los desafíos planteados por la Agenda 2030, Navarra: Thomson Reuters Aranzadi, Cizur Menor, 2020. 25

EL RESPETO A LOS DERECHOS FUNDAMENTALES...

175

3.4. La implementación de la IA en el derecho a la educación y al servicio de las personas con discapacidad A día de hoy, más allá del manejo de los programas de ordenador, los videojuegos y las redes sociales, la preparación de los niños y los jóvenes de cara al futuro pasa de forma incuestionable por el uso de las nuevas tecnologías, por lo que resulta necesario plantear de qué manera la educación puede servir para acercar a las nuevas generaciones la IA, a través de la formación no sólo en robótica y programación, sino también sobre el impacto que supone la digitalización en los derechos fundamentales, desde la perspectiva ética. Conscientes de ello y de conformidad con el artículo 28.2.d) de la Convención sobre los derechos del niño, que dispone el deber de los Estados Partes de “hacer que todos los niños dispongan de información y orientación en cuestiones educacionales y profesionales y tengan acceso a ellas”, la “Rome Call for AI Ethics” fija como objetivo principal de la educación relacionada con la IA, concienciar sobre las oportunidades y los posibles problemas que esta plantea desde la perspectiva de la inclusión social y el respeto individual. En consecuencia, entiende que el impacto social y ético de la IA debe estar en el centro de las actividades educativas de la IA, por lo que todos los actores implicados en el sector de la enseñanza deben asumir la responsabilidad de educar a las generaciones más jóvenes, desarrollando planes de estudio específicos de calidad que abarquen diferentes disciplinas de las humanidades, la ciencia y la tecnología, a través de métodos que sean accesibles para todos, que no generen discriminación y que puedan ofrecer igualdad de oportunidades y de trato, basándose en los principios de solidaridad y equidad. Y es que, el impacto de las transformaciones provocadas por la IA en la sociedad, el trabajo y la educación31 han hecho que sea fundamental reformar los planes de estudio para que “nadie se quede atrás”. Para ello, deben establecerse estándares altos y objetivos que puedan mejorar los resultados individuales, sin que ello signifique que únicamente deban enseñarse o ejercitarse habilidades digitales, sino que deben centrarse en asegurar que cada persona pueda desenvolver sus capacidades plenamente y trabajar por el bien de la comunidad, incluso cuando no se obtenga ningún beneficio personal de ello32. Tales disposiciones son compartidas por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), en el “Documento final de la Conferencia Internacional sobre la Inteligencia Artificial y la Educación «Planificación de la educación en la era de la inteligencia artificial: dirigir los avances»”, en el que se afirma, por un lado, que “la interacción humana y la colaboración entre los docentes y los educandos deben seguir ocupando un lugar esencial en la educación. Tener presente que los docentes no pueden ser desplazados por las máquinas, y velar por que sus derechos y condiciones de trabajo estén protegidos33” y, por otro, la necesidad de “actualizar y elaborar mecanismos GOÑI SEIN, J. L., Defendiendo los derechos fundamentales frente a la inteligencia artificial, Lección inaugural del curso académico 2019-2020, Universidad Pública de Navarra, 2019; FLORIT FERNÁNDEZ, C., “Kidfluencers: menores de edad emancipados autónomos en internet”, Actualidad Civil, 2, 2021. 32 Education, Rome Call for AI Ethics. 33 UNESCO, Consenso de Beijing sobre la inteligencia artificial y la educación. Documento final de la Conferencia Internacional sobre la Inteligencia Artificial y la Educación «Planificación de la educación en la era de la inteligencia artificial: dirigir los avances», 16-18 mayo de 2019, § 12. 31

176

Elena García-Antón Palacios

y herramientas para prever y determinar las competencias necesarias actualmente y en el futuro en relación con el desarrollo de la inteligencia artificial, a fin de velar por la pertinencia de los planes de estudios respecto a los cambios que afectan a las economías, los mercados laborales y las sociedades34”. Por otra parte, la evolución de las nuevas tecnologías incide también en la vida de las personas mayores, por lo que es necesario orientarlas para que puedan adquirir las destrezas y habilidades necesarias para manejar los dispositivos y sistemas de IA. Sobre esta cuestión, los Firmantes consideran que también a las personas mayores se les debe ofrecer la oportunidad de acceder a servicios offline durante la transición digital y tecnológica35. A su vez, estas tecnologías pueden resultar muy útiles para ayudar a aprender a las personas con discapacidad y a ser más independientes, de tal modo, que la educación inclusiva36 debe utilizar la IA para apoyar e integrar a todas y cada una de las personas, ofreciendo ayuda y oportunidades para la participación social (por ejemplo, trabajo remoto para aquellas personas con movilidad limitada, apoyo tecnológico para personas con discapacidad cognitiva, etc.)37. En este punto, cabe destacar el alto valor de la IA para cumplir con los compromisos de los Estados que han ratificado la Convención sobre los derechos de las personas con discapacidad, entre los que cabe destacar, por un lado, el “diseño universal”, es decir, procurar en todos los ámbitos el diseño y desarrollo de productos, entornos, programas y servicios que puedan utilizar todas las personas, en la mayor medida posible, sin necesidad de adaptación ni diseño especializado y, por otro, procurar los “ajustes razonables” cuando se requieran en un caso particular, para garantizar a las personas con discapacidad el goce o ejercicio, en igualdad de condiciones con las demás, de todos los derechos humanos y libertades fundamentales (art. 2). Por su parte, desde la perspectiva ética de la IA, el “Informe Derechos humanos y discapacidad. España 2020”, resalta las importantes cuestiones éticas que la IA suscita en relación con la naturaleza, la inocuidad y la idoneidad de esas tecnologías y las repercusiones en la vida de las personas con discapacidad, por lo que advierte, como a continuación se describe, de los riesgos de estos sistemas pueden suponer para estas personas: • • •

El uso de sistemas de IA para justificar la selección genética de personas sin discapacidad. El uso de sistemas de IA para identificar y eventualmente discriminar a personas con discapacidad. La creación de sistemas de IA basados en modelos de normalización que excluyan o no tengan en cuenta las necesidades, la opinión y diversidad de las personas con discapacidad.

Ibid., § 17. Education, Rome Call for AI Ethics. 36 DE ASÍS ROIG, R. F., “Derechos, discapacidad e inteligencia artificial”, en Mora Sifuentes, F. M., (Coord.), En sus propias palabras. Conversaciones sobre la filosofía del Derecho contemporánea, Zela, 2020, pp. 79-92; ALBA FERRÉ, E., “La educación especial a debate. La aplicación del interés superior del menor”, La Ley Derecho de Familia: Revista jurídica sobre familia y menores, 29, 2021, pp. 51-60. 37 Education, Rome Call for AI Ethics. 34 35

EL RESPETO A LOS DERECHOS FUNDAMENTALES... • •

•

177

El diseño de sistemas de IA que se basen o nutran de datos que incluyan estereotipos, sesgos y prejuicios respecto de la discapacidad. El uso de sistemas de IA que no permitan la participación o toma de decisiones de personas con discapacidad, por sí mismas o a través de sus organizaciones representativas. La creación de sistemas IA dirigidos a las personas con discapacidad que no sean probados y validados para su uso por las propias personas con discapacidad38.

Por último, en este apartado cabe indicar que tales consideraciones deben estar presentes en la consecución de los ODS 4, 8, 10, y 11 que, respectivamente, establecen de forma explícita el compromiso de los Estados de llevar a cabo acciones concretas que favorezcan el ejercicio de los derechos de las personas con discapacidad con relación a la educación inclusiva y la igualdad de oportunidades, el empleo, la inclusión social y el acceso a sistemas de transporte. 3.5. La protección de los datos personales ante los sistemas de IA y la posible colisión con otros derechos fundamentales Tal y como sugiere, la “Rome Call for AI Ethics”, el desarrollo de la IA al servicio de la humanidad y del medio ambiente debe reflejarse en normas y principios que protejan a las personas, en particular, a los más vulnerables, por lo que el compromiso ético de todas las partes implicadas es un punto de partida fundamental. En consecuencia, para hacer realidad este futuro, valores, principios y, en algunos casos, normativas legales, son absolutamente indispensables para sustentar, estructurar y orientar este proceso. De igual modo, el desarrollo de la IA debe ir de la mano de sólidas medidas de seguridad digital que servirán para desarrollar e implementar sistemas de IA que beneficien a todos los ciudadanos, a la vez que actúen como herramientas para construir y mantener la paz internacional39. En consonancia con ello, tal y como dispone la Agencia Europea para los Derechos Fundamentales en el Documento “Getting the Future Right. Artificial Intelligence and Fundamental Rights”, normas como el Reglamento General de Protección de Datos40 y su Directiva de aplicación en Europa, servirán como mecanismo eficaz para la garantía del derecho de toda persona a la protección de sus datos personales, tal y como se incluye en las recientes normas legales, como el artículo 8.1 de la Carta. Ambos instrumentos de la UE incluyen numerosas disposiciones sobre protección de datos personales41, determi38 CAYO PÉREZ BUENO, L., y MARTÍN BLANCO, J., Derechos humanos y discapacidad. Informe España 2020, Madrid: Ediciones Cinca, 2021, pp. 36 y 548. 39 Rights, Rome Call for AI Ethics. 40 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos). 41 PIÑAR MAÑAS, L., “Consideraciones introductorias sobre el derecho fundamental a la protección de datos de carácter personal, Revista Jurídica General, boletín del ICAM, 35 febrero, 2007;

178

Elena García-Antón Palacios

nando criterios clave para el procesamiento de datos, como la aplicación de los principios de legalidad, equidad y transparencia. En cuanto a esta protección, ante la situación excepcional vivida a nivel global por la pandemia generada por la COVID-19, teniendo en cuenta las diferentes estrategias de vacunación que se han realizado en cada uno de los países del mundo y las posibilidades de movilidad internacional que se abren a los ciudadanos que hayan recibido la vacuna frente a los que no, es posible que las normas de aplicación en estas materias puedan afectar a derechos fundamentales al tratarse de datos sobre la salud de los ciudadanos42. Ante estas circunstancias que pueden dar lugar a situaciones discriminatorias, cabe recordar en el ámbito europeo, que el artículo 9 del RGPD considera los datos relativos a la salud como categoría especial (“datos confidenciales”), por lo que requieren una protección específica, lo que implica, que su tratamiento debe respetar las circunstancias recogidas en el apartado 2 de dicho precepto43 y, dado el caso, la excepcionalidad contemplada en el artículo REBOLLO DELGADO, L., y SERRANO PÉREZ, M. M., Manual de protección de datos, Madrid: Dykinson, 2019; JIMENA QUESADA, L., “La protección de datos y las personas vulnerables en el Consejo de Europa”, en García Mahamut, R. y Tomás Mallén, B. (Eds.), El Reglamento General de Protección de Datos: un enfoque nacional y comparado. Especial referencia a la LO 3/2018 de Protección de Datos y garantía de los derechos digitales, Valencia: Tirant lo Blanch, 2019, pp. 585-608; KESA, A.; TANEL, K. y RAMIRO, D., “Inteligencia artificial y protección de datos en Europa ¿Conflicto por defecto?”, en Kerikmae, T.; Solarte Vasquez, M. C.; Rudanko, M. y Ramiro Troitiño, D. (Coords.), Inteligencia artificial: de la discrepancia regional a las reglas universales. Integración de percepciones políticas, económicas y legales, Pamplona: Marcial Pons, 2020, pp. 407- 430. 42 NICOLÁS JIMÉNEZ, P., La protección jurídica de los datos genéticos de carácter personal, Granada: Comares, 2006. 43 Art. 9.2 RGPD: El apartado 1 no será de aplicación cuando concurra una de las circunstancias siguientes: a) el interesado dio su consentimiento explícito para el tratamiento de dichos datos personales con uno o más de los fines especificados, excepto cuando el Derecho de la Unión o de los Estados miembros establezca que la prohibición mencionada en el apartado 1 no puede ser levantada por el interesado; b) el tratamiento es necesario para el cumplimiento de obligaciones y el ejercicio de derechos específicos del responsable del tratamiento o del interesado en el ámbito del Derecho laboral y de la seguridad y protección social, en la medida en que así lo autorice el Derecho de la Unión de los Estados miembros o un convenio colectivo con arreglo al Derecho de los Estados miembros que establezca garantías adecuadas del respeto de los derechos fundamentales y de los intereses del interesado; c) el tratamiento es necesario para proteger intereses vitales del interesado o de otra persona física, en el supuesto de que el interesado no esté capacitado, física o jurídicamente, para dar su consentimiento; d) el tratamiento es efectuado, en el ámbito de sus actividades legítimas y con las debidas garantías, por una fundación, una asociación o cualquier otro organismo sin ánimo de lucro, cuya finalidad sea política, filosófica, religiosa o sindical, siempre que el tratamiento se refiera exclusivamente a los miembros actuales o antiguos de tales organismos o a personas que mantengan contactos regulares con ellos en relación con sus fines y siempre que los datos personales no se comuniquen fuera de ellos sin el consentimiento de los interesados; e) el tratamiento se refiere a datos personales que el interesado ha hecho manifiestamente públicos; f) el tratamiento es necesario para la formulación, el ejercicio o la defensa de reclamaciones o cuando los tribunales actúen en ejercicio de su función judicial; g) el tratamiento es necesario por razones de un interés público esencial, sobre la base del Derecho de la Unión o de los Estados miembros, que debe ser proporcional al objetivo perseguido, respetar en lo esencial el derecho a la protección de datos y establecer medidas adecuadas y específicas para proteger los intereses y derechos fundamentales del interesado; h) el tratamiento es

EL RESPETO A LOS DERECHOS FUNDAMENTALES...

179

89.144. Por consiguiente, tales garantías de protección deben estar presentes en los sistemas de control de los llamados “pasaportes COVID”, es decir, en los certificados digitales que informan sobre si la persona ha sido vacunada, si tiene una prueba PCR negativa o si tiene anticuerpos frente a la enfermedad por haberla pasado. Para regular esta materia ha sido aprobado un Reglamento específico45, cuyo objetivo es facilitar el ejercicio del derecho a la libre circulación durante la pandemia y facilitar, de manera coordinada, la supresión gradual de las restricciones a la libre circulación establecidas por los Estados miembros, de conformidad con el Derecho de la Unión, a fin de limitar la propagación del SARS-CoV-2. En él se establece un límite temporal a estos controles de movilidad y al uso de estos datos dentro de la Unión durante la pandemia, sin que se permita ningún tratamiento ulterior una vez finalizado el período de aplicación del Reglamento46. Retornando al “Rome Call for IA Ethics” y continuando con la protección de datos personales, para que la IA actúe como una herramienta para el bien de la comunidad y del planeta, debemos situar en el centro del debate público la protección de los derechos fundamentales en la era digital. El documento explica que ha llegado el momento de cuestionar si las nuevas formas de automatización y actividad algorítmica requieren el desarrollo de responsabilidades más firmes. En particular, hay que procurar que tanto los criterios de toma de decisiones de los agentes algorítmicos basados ​​en IA, como su finalidad y sus objetivos sean comprensibles. Estos dispositivos deben ofrecer información sobre la lógica que hay detrás de los algoritmos utilizados para tomar decisiones, lo que necesario para fines de medicina preventiva o laboral, evaluación de la capacidad laboral del trabajador, diagnóstico médico, prestación de asistencia o tratamiento de tipo sanitario o social, o gestión de los sistemas y servicios de asistencia sanitaria y social, sobre la base del Derecho de la Unión o de los Estados miembros o en virtud de un contrato con un profesional sanitario y sin perjuicio de las condiciones y garantías contempladas en el apartado 3; i) el tratamiento es necesario por razones de interés público en el ámbito de la salud pública, como la protección frente a amenazas transfronterizas graves para la salud, o para garantizar elevados niveles de calidad y de seguridad de la asistencia sanitaria y de los medicamentos o productos sanitarios, sobre la base del Derecho de la Unión o de los Estados miembros que establezca medidas adecuadas y específicas para proteger los derechos y libertades del interesado, en particular el secreto profesional, j) el tratamiento es necesario con fines de archivo en interés público, fines de investigación científica o histórica o fines estadísticos, de conformidad con el artículo 89, apartado 1, sobre la base del Derecho de la Unión o de los Estados miembros, que debe ser proporcional al objetivo perseguido, respetar en lo esencial el derecho a la protección de datos y establecer medidas adecuadas y específicas para proteger los intereses y derechos fundamentales del interesado”. 44 Art. 89.1 RGPD: “1. El tratamiento con fines de archivo en interés público, fines de investigación científica o histórica o fines estadísticos estará sujeto a las garantías adecuadas, con arreglo al presente Reglamento, para los derechos y las libertades de los interesados. Dichas garantías harán que se disponga de medidas técnicas y organizativas, en particular para garantizar el respeto del principio de minimización de los datos personales. Tales medidas podrán incluir la pseudo minimización, siempre que de esa forma puedan alcanzarse dichos fines. Siempre que esos fines pueden alcanzarse mediante un tratamiento ulterior que no permita o ya no permita la identificación de los interesados, esos fines se alcanzarán de ese modo”. 45 Reglamento (UE) 2021/953 del Parlamento Europeo y del Consejo de 14 de junio de 2021 relativo a un marco para la expedición, verificación y aceptación de certificados COVID-19 interoperables de vacunación, de prueba diagnóstica y de recuperación (certificado COVID digital de la UE) a fin de facilitar la libre circulación durante la pandemia de COVID-19. 46 Ibid., arts. 1 y 6.

180

Elena García-Antón Palacios

permitirá aumentar la transparencia, la trazabilidad y la responsabilidad, haciendo más válido el proceso de toma de decisiones asistido por ordenador47. Por esta razón, se deben fomentar nuevas formas de regulación para promover la transparencia y el cumplimiento de los principios éticos que mantengan y respeten la identidad y la personalidad libremente determinada por cada persona48, especialmente en las tecnologías avanzadas, como el reconocimiento facial, que tienen un mayor riesgo de afectar a los derechos fundamentales49. Con relación a este punto, este tipo de identificación biométrica, que permite la identificación de una persona a partir de sus rasgos físicos o su comportamiento, puede afectar al derecho a la intimidad y a la libertad religiosa o ideológica (arts. 8 y 9 CEDH), entre otros, ya que estos sistemas son capaces de realizar clasificaciones de los individuos en diversas categorías, pudiendo dar lugar a diferentes formas de segregación y discriminación social, cultural, religiosa, legal o económica. De acuerdo con el artículo 4.14 del RGDP, se consideran “datos biométricos” a los “datos personales obtenidos a partir de un tratamiento técnico específico, relativos a las características físicas, fisiológicas o conductuales de una persona física que permitan o confirmen la identificación única de dicha persona, como imágenes faciales o datos dactiloscópicos”. Si estos datos los relacionamos con el artículo 22.1 del RGPD, que ampara el “derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”, tenemos que tener en cuenta que, dada la posibilidad de que los datos biométricos puedan recogerse sin el consentimiento del titular, existe la probabilidad de que sean vulnerados ciertos derechos fundamentales que afectan a la intimidad y la libertad personal a la hora, por ejemplo, de usar el reconocimiento facial para crear perfiles sobre las preferencias de consumo, las creencias religiosas, la filiación política, etc.50 o para el acceso a determinados productos o servicios. Como salvaguarda de estos derechos51, la Comisión Europea a través del citado “Libro Blanco sobre la inteligencia artificial”, advierte que la recopilación y el uso datos biométricos para la identificación remota entraña riesgos específicos para la dignidad y los derechos fundamentales que pueden variar considerablemente en función del objetivo, el contexto y el alcance de dicho uso, por lo que se remite al cumplimiento de las normas de protección de datos de la UE y afirma que, “de conformidad con las normas Rights, Rome Call for AI Ethics. IPPOLITA, En el acuario de Facebook. El resistible ascenso del anarco-capitalismo, Madrid: Enclave de Libros, 2012, pp. 48-49. 49 Ibid. 50 Sobre la identificación de los individuos por las Administraciones Públicas y el uso de los datos, PEDRAZ PENALVA, E., “La utilización en el proceso penal de datos personales, recopilados sin indicios de comisión delictiva”, Protección de datos y proceso penal, Madrid: La Ley, 2010; DOMAICA MAROTO, J. M., Datos personales biométricos dactiloscópicos y derechos fundamentales: nuevos retos para el legislador, Tesis doctoral presentada en la Escuela Internacional de Doctorado de la UNED, 2019, pp. 287-319. 51 COSTELLO, R. A., “The Impacts of AdTech on Privacy Rights and the Rule of Law”, Technology and Regulation, 2020, pp. 11-23. 47 48

EL RESPETO A LOS DERECHOS FUNDAMENTALES...

181

vigentes en materia de protección de datos y con la Carta de Derechos Fundamentales de la UE, la IA solo puede utilizarse con fines de identificación biométrica remota cuando dicho uso esté debidamente justificado, sea proporcionado y esté sujeto a garantías adecuadas52”. Asimismo, para respetar tales derechos, los Firmantes del “Rome Call for AI Ethics”, consideran que para el desarrollo de cada algoritmo se debe partir de una visión “algor-ethical”, es decir, mantener un enfoque ético desde su diseño. Apuestan porque el diseño y la planificación de sistemas de IA se realice partiendo de un consenso sobre los principios éticos que deben integrarse en estas tecnologías, entre los responsables políticos, de Naciones Unidas y otras organizaciones intergubernamentales, los investigadores, el mundo académico y los representantes de las ONGs. Por esta razón, expresan su deseo de trabajar juntos en este contexto a nivel nacional e internacional, para promover la “algor-ethics”, tal y como se define en los siguientes principios: • •

• • • •

Transparencia: en principio, los sistemas de IA deben ser compresibles. Inclusión: se deben tener en cuenta las necesidades de todas las personas para que todos puedan beneficiarse de la IA y se ofrezcan las mejores condiciones posibles para expresarse y desarrollarse. Responsabilidad: quienes diseñan y despliegan el uso de la IA deben proceder con responsabilidad y transparencia. Imparcialidad: ha de evitarse la creación y la actuación con base en los prejuicios para salvaguardar la equidad y la dignidad humana. Fiabilidad: los sistemas de IA deben operar de manera fiable. Seguridad y privacidad: los sistemas de IA deben funcionar de forma segura y respetar la privacidad de los usuarios53.

4. CONSIDERACIONES FINALES Como remarca la Rome Call for AI Ethics, es hora de comenzar a prepararse para un futuro más tecnológico en el que las máquinas tendrán un papel más importante en la vida de los seres humanos, pero también un futuro en el que el progreso tecnológico es la demostración de la grandeza del ser humano que sigue dependiendo de su integridad ética54. Por ello, los estándares éticos basados en el respeto de los derechos fundamentales y la protección de las personas más vulnerables, tal y como se desprende del documento analizado, pueden servir de base a las distintas instituciones europeas encargadas de establecer el marco regulatorio para el control de la IA. Tal es así, que en el “Libro Blanco sobre la inteligencia artificial”, aprobado por la Comisión Europea, se plantea “un enfoque europeo COMISIÓN EUROPEA, Libro Blanco sobre la inteligencia artificial: un enfoque orientado a la excelencia y la confianza, pp. 26-27. 53 Rights, Rome Call for AI Ethics. 54 Introduction, Rome Call for AI Ethics. 52

182

Elena García-Antón Palacios

coordinado en torno a las implicaciones éticas y humanas de la inteligencia artificial y un análisis sobre cómo mejorar la utilización de los macrodatos en la innovación55”. A partir de aquí, resulta vital que todos los operadores intervinientes en el ámbito de la IA acojan dicho enfoque y lo pongan en práctica según el papel que cada uno deba jugar. Precisamente, los Firmantes del “Rome Call for AI Ethics” sirven de muestra de la tarea y el compromiso conjunto que desde todas las esferas, tanto públicas como privadas, debe llevarse a cabo para que los avances tecnológicos basados en IA sirvan en beneficio de todos los ciudadanos y no se vea afectado el ejercicio de los derechos fundamentales. En el documento analizado, suscrito por la Pontificia Academia para la Vida, Microsoft, IBM, la FAO y el Ministerio de Innovación italiano, se pone de manifiesto la preocupación por la posible creación de sesgos discriminatorios a través de los sistemas algorítmicos que pueden dar lugar a la exclusión o estigmatización de algunas personas o grupos, ya que tales sistemas no resultan siempre objetivos y neutrales, debido a que, o bien los datos son inadecuados y no se ajustan a la realidad, o bien porque el procesamiento de los mismos resulta inconveniente. De este modo, tanto en la obtención como en el procesamiento de los datos deben estar presentes las normas europeas de protección de datos, con el fin de no conculcar el principio de igualdad y no discriminación, y no invadir la esfera de privacidad, personal y familiar. Además, han de tenerse en cuenta los riesgos y la especial protección que en materia de protección de datos merecen aquellos que sean entregados por menores de edad y aquellos que hacen referencia a la intimidad personal, como los datos biométricos, con especial consideración a su forma de obtención, ya que es posible que, por ejemplo, mediante sistemas de reconocimiento facial, ni siquiera la persona sea consciente de su toma de datos. En consecuencia, habrá de procurarse que tales programas inteligentes sean susceptibles de cierto control o supervisión que evite sesgos discriminatorios, teniendo en cuenta la perspectiva ética para que no resulten lesionados derechos fundamentales como el derecho al respeto a la vida privada y familiar, y la libertad de pensamiento, de conciencia y de religión. Como medio de concienciación sobre la necesidad de enfocar los avances en IA desde la ética, el “Rome Call for AI Ethics” apuesta porque tal enseñanza forme parte de los planes de estudio en ciencia, junto a la programación y la robótica. De igual modo, en materia de educación y empleo futuros, dicha perspectiva resulta esencial para que, junto a los principios de diseño y accesibilidad universal contemplados en la Convención sobre los derechos de las personas con discapacidad, estas personas no encuentren barreras en el acceso a la educación, el trabajo o cualquier otro, a causa de los sistemas de IA, que pudieran darse a causa de máquinas o sistemas de reconocimiento de voz, aplicaciones móviles o el acceso a páginas webs. Para ello, contar con estas personas en los procedimientos de creación y desarrollo de estos sistemas serviría para que el ejercicio de todos los derechos y libertades fundamentales por parte de las personas con discapacidad no se viera afectado o limitado por sus condiciones personales. 55 COMISIÓN EUROPEA, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, 19 de febrero de 2020, p. 1.

EL RESPETO A LOS DERECHOS FUNDAMENTALES...

183

Por último, hemos comprobado la conexión entre algunos de los ODS de la Agenda 2030 y la posibilidad de que la IA sirva a su consecución, en la medida en que se mantenga en el horizonte una mirada ética que mantenga al margen posibles prejuicios o criterios discriminatorios. Por tanto, la ética de la IA debe estar presente en la actividad de cada uno de los agentes intervinientes en su creación e implementación para que, efectivamente, la transición hacia el futuro sea un verdadero avance al servicio de la dignidad humana, la igualdad, los derechos fundamentales y el Estado democrático de Derecho.

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO.. DE DERECHOS HUMANOS: LA UTILIZACIÓN DE ALGORITMOS DISCRIMINATORIOS EN EL ÁMBITO DE LA INTELIGENCIA ARTIFICIAL* Jacqueline Hellman Profesora Ayudante Doctora de Relaciones Internacionales Universidad Complutense de Madrid DOI: 10.14679/2063

1. INTRODUCCIÓN Los comienzos de la “Inteligencia Artificial” (de ahora en adelante IA) se remontan a los años cincuenta del siglo pasado. Concretamente, en 1950, Alan TURING se planteó si una máquina podía pensar1. Seis años después, John McCARTHY acuñó el término IA2. En las décadas siguientes, los trabajos de investigación realizados en este relativamente nuevo e incipiente campo científico se multiplicaron. Sin embargo, no es posible extraer * Esta investigación se realiza dentreo del marco del siguientes proyecto: “Resolución análogica y difital de controversias ante los Objetivos de Desarrollo Sostenible” (Facultad de Ciencias Sociales y de la Comunicación de la Universidad Europea de Madrid). 1 Nos estamos refiriendo al ensayo titulado “Computational Machine and Intelligence”, publicado en la edición número 49 de la revista Mind. En dicho escrito, el autor británico sentó las bases de la IA sugiriendo un tipo de prueba conforme a la cual poder concluir si una máquina es o no inteligente. Este examen, conocido como el “test de Turing”, consiste en que una persona mantenga una conversación con un interlocutor desconocido con el objetivo de que determine si se trata de una persona o un ordenador. Si éste último es capaz de hacer creer que se trata de una persona, podemos afirmar que se trata de un ordenador inteligente. DELGADO, M., “La Inteligencia Artificial. Realidad de un mito moderno”, Discurso de apertura Universidad de Granada, 1996, p. 13. 2 John McCARTHY plasmó este término en una propuesta que formuló junto a Marvin L. MINSKY, Nathaniel ROCHESTER y Claude E. SHANNON en el año 1956 con motivo de la conferencia que tendría lugar en Dartmouth un año después. El objeto de esta giró en torno a la idea de si una máquina podía solventar problemas de un modo similar al de los seres humanos. En dicho documento se puso de relieve lo siguiente: “(…) every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it”. McCARTHY, J.; MINSKY M.; ROCHESTER, N. y SHANNON, C., “A proposal for the Dartmouth Summer Research Project on Artificial Intelligence”, AI Magazine, California, núm. 4, 2006, p. 12.

186

Jacqueline Hellman

una definición unánimemente aceptada en torno a lo que debe entenderse por IA. En cualquier caso, tomando como referencia la definición proporcionada por MINSKY (en 1968) o por BARR y FEIGENBAMM (en 1981), vemos que ésta se encuentra relacionada con la creación de máquinas que presentan habilidades similares a las del ser humano3. Así pues, podemos decir que los sistemas tecnológicos que emplean IA son capaces de percibir su “entorno” y relacionarse con él para, en último extremo, ejecutar o realizar tareas de un modo eficiente. Trasladándonos a un ámbito más técnico, debemos entender la IA como un conjunto de “(…) técnicas avanzadas de procesamiento matemático de datos4” conforme a las cuales se toman decisiones o se resuelven determinado tipo de problemas que, como más tarde veremos, nos afectan en muchos y diversos aspectos de nuestro día a día5. Independientemente de los diferentes procedimientos que actualmente se emplean en la IA, es crucial subrayar el rol que desempeñan los algoritmos en torno a esta disciplina científica. No hay duda de que éstos constituyen un aspecto clave, puesto que -confeccionados como un conjunto de reglas que se aplican de manera sistemática6- asumen la “ardua tarea” de afrontar problemas o adoptar decisiones7. En definitiva, la IA utiliza modelos o combinaciones algorítmicas conforme a las cuales las máquinas parecen desarrollar funciones que anteriormente estaban reservadas a los seres humanos. En este orden de ideas, es preciso in3 En este sentido, MINSKY dispuso lo siguiente: “la IA es la ciencia de hacer que las máquinas hagan cosas que requiren inteligencia cuando las hacen los humanos”. DELGADO, M., “La Inteligencia Artificial. Realidad de un mito moderno”, cit., p. 17. En relación con BARR y FEIGENBAMM cabría destacar la siguiente cuestión: “la IA es la parte de las Ciencias de la Computación que tiene por objeto diseñar sistemas informáticos inteligente, es decir sistemas que exhiban las características que asociamos con la inteligencia humana (…)”. Ibid. 4 MIRÓ LLINARES, F., “Inteligencia Artificial y Justicia Penal: más allá de los resultados lesivos causados por robots”, Revista de Derecho Penal y Criminología, núm. 3, 2018, p. 91. Al hilo de lo expuesto en el cuerpo principal del texto, deben indicarse la importancia de las siguientes técnicas: Big Data que se refiere a una eficiente gestión de una gran cantidad de datos; Data Mining que permite la búsqueda de patrones y la simplificación de ingentes volúmenes de información; Machine Learning que propicia el aprendizaje de las máquinas a través de la adquisición de datos actuales; la técnica relativa al Procesamiento del Lenguaje Natural ideado con el propósito de que éstas comprendan el lenguaje humano; y, por último, la técnica conforme a la cual el ordenador es capaz de comprender las emociones a través del reconocimiento facial. Ibid. 5 De acuerdo con las diversas técnicas existentes podemos hacer una doble clasificación: por un lado, la IA que conlleva el empleo de la lógica y, por otro, la que implica la utilización de la intuición junto con la lógica. En este último ámbito, quedaría ubicada la técnica conocida como Deep Learning, la cual puede definirse del siguiente modo: “(…) a family of learning algorithms rather than a single method that can be used to learn complex prediction models, e.g., multi-layer neural networks with many hidden units”. EMMERT-STREIB, F., et. al., “An introductory Review of Deep Learning for Prediction Models with Big Data”, Frontiers in artificial Intelligence, 2020. Accesible en: https://www.frontiersin.org/journals/ artificial-intelligence 6 PEÑA MARÍ, R., De Euclides a Java, la historia de los algoritmos y de los lenguajes de programación, Madrid: Editorial Nívola, 2006, p. 10. 7 A modo de excepción cabe pensar en, por ejemplo, los algoritmos heurísticos, los cuales no proporcionan una solución precisa. DÍAZ LÓPE, E., “Una implementación de la meta-heurística. Optimización en Mallas Variables en la arquitectura CUDA”, Revista Cubana de Ciencias Informáticas, núm. 3, 2016, p. 43.

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO...

187

dicar que los citados algoritmos se nutren de datos8. Es más, en algunos casos, la IA emplea algoritmos que actúan sobre la información que el sistema tecnológico en cuestión ha sido capaz de almacenar con el objetivo de que “aprenda” y se “entrene”9. Al hilo de las consideraciones recientemente vertidas, debemos señalar una vez más que estos sistemas tecnológicos, que operan a través de los comentados algoritmos, tienen un fuerte impacto en nuestra vida diaria. Consecuentemente, resulta de interés focalizar toda nuestra atención en éstos en la medida en que -como ya veremos- las técnicas matemáticas de procesamiento de información sobre las que operan son capaces de generar situaciones discriminatorias. De hecho, así sucede cuando el “sistema de aprendizaje” de una máquina se articula por medio de información sesgada. En otras palabras, si un sistema de IA actúa (ya sea intencionadamente o no) sobre datos no objetivos se propiciarán muy seguramente situaciones no neutrales susceptibles de reforzar estereotipos de carácter sexistas, racistas, clasistas, etc., que se encuentran -de un modo u otro- latentes en nuestra sociedad10. Así las cosas, conviene indicar que esta situación se agrava cuando comprobamos que la IA se aplica a un gran campo de materias que proceden tanto del sector privado como público. A modo de ejemplo, podemos traer a colación las decisiones que adopta una entidad pública cuando a través de la utilización de la referida tecnología determina quién va a recibir una determinada ayuda para la adquisición de una vivienda o quién va a obtener un subsidio por desempleo. Asimismo, dentro del ámbito privado, debemos mencionar el sector bancario, el cual se caracteriza por implementar este tipo de tecnología conforme a la cual se puede dictaminar si una persona recibirá o no un crédito y, en caso afirmativo, qué intereses le van a ser aplicados. A través de estos simples ejemplos apreciamos no sólo que la IA se encuentra muy presente, sino que es crucial que ésta sea diseñada de tal manera que no propicie un trato discriminatorio. Consecuentemente, analizaremos de qué modo o ante qué circunstancias puede determinarse que la IA propicia situaciones discriminatorias. A estos efectos, se traerá a colación la normativa internacional existente en materia de derechos humanos. Más concretamente, examinaremos el Convenio Europeo de Derechos Humanos (de ahora en adelante CEDH) con el propósito de identificar el incumplimiento normativo que se produce en este ámbito. Además, pondremos de relieve medidas o estrategias que pueden ser de utilidad a la hora de impedir la vulneración de la referida regulación supranacional. 8 MIRÓ LLINARES, F., “Inteligencia Artificial y Justicia Penal: más allá de los resultados lesivos causados por robots”, cit., p. 89. 9 Como ya tuvimos oportunidad de indicar, esta clase de algoritmos se conoce como algoritmos de Machine Learning. En este sentido, resulta de interés aclarar la siguiente cuestión: “Machine learning is used to teach machines how to handle the data more efficiently. Sometimes after viewing the data, we cannot interpret the pattern or extract information from the data. In that case, we apply machine learning”. AYON, D., “Machine Learning Algorithms: A review”, International Journal of Computer Science and Information Technologies, núm. 3, 2016, p. 1174. b 10 En relación con lo expuesto en el cuerpo principal del texto, es importante indicar que la IA está generando diferenciaciones que podrían calificarse de discriminatorias a pesar de no encontrar cabida en la regulación actual. ZUIDERVEEN, F., “Strengthening legal protection against discrimination by algorithms and artificial intelligence”, The International Journal of Human Rights, núm. 10, 2020. Accesible en: https://www.tandfonline.com/doi/epub/10.1080/13642987.2020.1743976?needAccess=true

188

Jacqueline Hellman

Nuestro objetivo, pues, consistirá en arrojar conclusiones sólidas en torno a los significativos avances que se están produciendo en el marco de la IA y la importancia de velar por un estricto cumplimiento de la legalidad internacional. De acuerdo con lo anteriormente dispuesto, nos centraremos a continuación en averiguar qué estipula la regulación internacional en torno a la prohibición de no discriminación. 2. IDEAS ESENCIALES EN TORNO A LA PROHIBICIÓN DE NO DISCRIMINACIÓN Es evidente que la IA conlleva avances positivos que justifican la implementación de este tipo de tecnología en muchos y diversos ámbitos11. Así puede observarse cuando ésta se utiliza, por ejemplo, para detectar enfermedades, organizar el tráfico de una ciudad, conceder ayudas públicas, etc.12 Se advierte, en definitiva, la utilidad y los beneficios que proporcionan -a distinto nivel- sistemas tecnológicos avanzados. Esta afirmación se sustenta hoy de manera más sólida que en el pasado. Ello se ha podido apreciar durante estos largos meses de crisis global motivada por la pandemia de la COVID-19 en la medida en que la dependencia y confianza mostrada hacia la tecnología no ha hecho sino aumentar de manera sustancial13. Siendo conscientes de lo anterior, debemos indicar que la IA es susceptible de generar -en ocasiones- situaciones “perversas” que se traducen en un trato diferenciado o injusto como consecuencia de la utilización de algoritmos no neutrales o con defectos intrínsecos en su codificación. Así las cosas, nuestro objetivo es referirnos al trato discriminatorio que en algunas ocasiones conlleva la IA y la posibilidad de que ello suponga un incumplimiento de la regulación supranacional14. Así las cosas, analizaremos en el siguiente apartado qué implica una situación discriminatoria a tenor de la regulación internacional para, posteriormente, analizar de qué modo acontece en el ámbito de la citada IA. De acuerdo con lo expuesto el cuerpo principal del texto, cabe traer a colación la siguiente afirmación: “The power, scale, and speed of AI systems can improve efficiency and effectiveness in numerous domains, including healthcare, transport, education, and public administration”. LESLIE, D., et. al., “Artificial Intelligence, Human Rights, Democracy, and the rule of law: a primer”, The Council of Europe, Estrasburgo, 2021, p. 14. 12 En este sentido, pueden traerse más ejemplos a colación, tal y como pone de relieve YAVUZ cuando afirma lo siguiente: “Today, artificial intelligence (AI) is widely used in diversified areas. In healthcare, it assists in detecting tumor and cancer, discovering new medicine, and operating surgery. The algorithm of Netflix, YouTube, and Spotify dominate online content consumption and suggest movies, videos, and songs to people. Virtual assistants (Siri and Alexa) ease daily life, web mapping services (Google Maps) forecast the best route; search engines enable the Internet users to find relevant information on the Internet. Many AI applications are so well-integrated in daily life that people do not realize the use of them”. YAVUZ, C., “Machine Bias: Artificial Intelligence and Discrimination”, Master Thesis Lund University (defendida en el año 2019), p. 1. El documento se encuentra disponible en el siguiente enlace: https://lup.lub.lu.se/luur/download?func=downloadFile&recordOId=8987035&fileOId=8987040 13 Accesible en: https://www.abc.es/tecnologia/abci-2020-tecnologia-convirtio-dependencia-202101020128_ noticia.html 14 Como ya se verá, nuestro objetivo consistirá en referirnos a lo que estipula la normativa internacional en torno a situaciones discriminatorias como las que tienen lugar por motivo de raza, género, etnia, etc. 11

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO...

189

2.1. La prohibición de no discriminación en el ámbito de la regulación internacional Tal y como hemos explicado, nuestro objetivo es proporcionar una idea clara acerca de lo que debemos entender por discriminación. Y, para ello, debemos focalizar nuestra atención en el contenido de la regulación internacional aplicable con el ánimo de extraer conclusiones sólidas al respecto. A estos efectos, debe destacarse en un primer momento la importancia de la Declaración Universal de los Derechos Humanos en la medida en que, desde su adopción, en el año 1948, “(…) human rights were grounded in a respect for all individuals that derived from our equal status as bearers of inherent human dignity15”. Conviene apuntar que, a partir de entonces, no sólo han proliferado numerosos acuerdos jurídicos supranacionales en materia de derechos humanos, sino que todos ellos han sido auspiciados y articulados bajo dos principios esenciales: el de igualdad y no discriminación16. No es posible negar, por lo tanto, el fuerte impacto desplegado por el principio objeto del presente estudio. Así lo confirma el Comité de Derechos Humanos cuando indica lo siguiente: “[n]on-discrimination, together with equality before the law and equal protection of the law without any discrimination, constitute a basic and general principle relating to the protection of human rights17”. Estamos, como decíamos, ante un principio esencial. Habiendo aclarado el importante rol que desempeña el principio de no discriminación, es fundamental hacer hincapié en el modo en el que éste debe ser interpretado. Para ello resulta de interés traer a colación la definición que a este respecto proporciona el citado Comité de acuerdo con lo dispuesto en el Pacto Internacional de Derechos Civiles y Políticos: “(…) the term ‘discrimination’ as used in the Covenant should be understood to imply any distinction, exclusion, restriction or preference which is based on any ground such as race, colour, sex, language, religion, political or other opinion, national or social origin, property, birth or other status, and which has the purpose or effect of nullifying or impairing the recognition, enjoyment or exercise by all persons, on an equal footing, of all rights and freedoms18”. Al hilo de lo previamente comentado, es importante recalcar que no toda distinción conlleva discriminación. En definitiva, el principio de igualdad y de no discriminación, que constituyen las dos caras de una misma moneda, no deben llevarnos a la idea equivocada de que todas las personas deben ser tratadas necesariamente del mismo modo. De hecho, el Comité de Derechos Humanos mantiene lo siguiente: “the principle of equality sometimes requires States parties to take affirmative action in order to diminish or eliminate conditions 15 LATONERO, M., “Governing Artificial Intelligence: upholding Human Rights & Dignity”, Data&Society, p. 8. 16 De acuerdo con lo explicado en el cuerpo principal del texto, debe señalarse lo siguiente: “Equality and nondiscrimination are foundational to practically every major human rights instrument that has emerged from debate and input from representatives from the world’s nations”. Ibid. p. 9. 17 Véase el informe emitido por el Comité de Derechos Humanos del año 1989 sobre no discriminación: https://www.oursplatform.org/wp-content/uploads/HRI.GEN_.1.Rev_.9Vol.I_GC18_en.pdf 18 Ibid.

190

Jacqueline Hellman

which cause or help to perpetuate discrimination prohibited by the Covenant19”. Todo lo cual le lleva a argumentar que: “(…) not every differentiation of treatment will constitute discrimination, if the criteria for such differentiation are reasonable and objective and if the aim is to achieve a purpose which is legitimate under the Covenant20”. Consecuentemente, la diferencia de trato no tiene porqué entrañar una situación discriminatoria que implique una vulneración de la legalidad. Así lo confirma la Corte Interamericana de Derechos Humanos en su opinión consultiva de 1984 emitida con motivo de la propuesta de modificación de la constitución política de Costa Rica. En este caso, el órgano judicial citado si bien indicó que el principio de igualdad contenido en el artículo 24 de la Convención Americana sobre Derechos Humanos de 1968 se encuentra ligado al concepto de dignidad de la persona y que, a su vez, ello no puede suponer que un grupo de personas reciban un trato privilegiado (o que, a la inversa, se trate con hostilidad a quienes se consideren en una situación de inferioridad)21, también aclaró -en el párrafo 57- que no es posible afirmar la existencia de “(…) discriminación en toda diferencia de tratamiento del Estado frente al individuo, siempre que esa distinción parta de supuestos de hecho sustancialmente diferentes y que expresen de modo proporcionado una fundamentada conexión entre esas diferencias y los objetivos de la norma, los cuales no pueden apartarse de la justicia o de la razón, vale decir, no pueden perseguir fines arbitrarios, caprichosos, despóticos o que de alguna manera repugnen a la esencial unidad y dignidad de la naturaleza humana22”. Es evidente que el planteamiento de la regulación internacional coincide con el de la normativa regional aplicable en el continente americano en torno al principio de no discriminación. Como puede imaginarse, algo muy similar sucede en el continente europeo. A estos efectos, cobra interés el CEDH en la medida en que, aunque el artículo 14 prohíbe toda forma de discriminación23, se admite -gracias a las sentencias emitidas por el Tribunal ubicado en Estrasburgo- la posibilidad de que la diferenciación en el trato no conlleve necesariamente un incumplimiento de la legalidad. En otras palabras, la comentada prohibición no conlleva la imposibilidad de establecer tratos diferentes24. Así quedó reflejado en el caso Relating to certain aspects of the laws on the use of languages in education in Belguim v. Bélgica (resuelto en el año 1968) conforme al cual se proclamó que la violación del prin Vid. Supra. Nota 17. Ibid. 21 Ello se corresponde con el párrafo 55 de la opinión consultiva (OC-4/84) del 19 de enero de 1984. Documento disponible a continuación: https://www.corteidh.or.cr/docs/opiniones/seriea_04_esp.pdf 22 Ibid. 23 El citado artículo proclama lo siguiente: “El goce de los derechos y libertades reconocidos en el presente Convenio ha de ser asegurado sin distinción alguna, especialmente por razones de sexo, raza, color, lengua, religión, opiniones políticas u otras, origen nacional o social, pertenencia a una minoría nacional, fortuna, nacimiento o cualquier otra situación”. 24 Hay, claramente, motivos de protección que legitiman ciertas diferencias. Así las cosas, Yavuz considera lo siguiente: “In order for personal characteristics to become a protected ground, it should fulfill two conditions: 1) the ground shall classify “persons into groups with a significant advantage gap between them,” 2) the ground shall be unchangeable”. YAVUZ, C., “Machine Bias: Artificial Intelligence and Discrimination”, cit., p. 20. 19 20

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO...

191

cipio de igualdad puede argumentarse si la distinción no tiene una justificación objetiva ni razonable25. Así pues, los comentados elementos relativos a la objetividad y razonabilidad se tornan esenciales a la hora de determinar si se ha producido o no una diferencia de trato que implique una vulneración del comentado precepto legal contenido en el CEDH. A estos efectos, debe traerse a colación el asunto Thlimmenos v. Grecia en virtud del cual se estipuló lo siguiente: “The Court has so far considered that the right under Article 14 not to be discriminated against in the enjoyment of the rights guaranteed under the Convention is violated when States treat differently persons in analogous situations without providing an objective and reasonable justification26”. Además, añade que también queda vulnerado el artículo citado cuando los Estados, sin dar una justificación objetiva ni razonable, no proporcionan un trato diferente con respecto a personas que cuentan con significativas diferencias entre ellas27. Por lo tanto, es fácil comprobar que el espíritu de la regulación internacional y regional con respecto a la cuestión abordada es el mismo. Dicho lo anterior y de acuerdo con el objeto de nuestro estudio, analizaremos con más detalle el artículo 14 del CEDH. Ello, inter alia, significará que cuestiones como las relativas a objetividad y razonabilidad deberán ser traídas de nuevo a colación para comprender de qué modo inciden sobre los algoritmos que utiliza la IA, los cuales -como ya hemos adelantado- son susceptibles de propiciar situaciones discriminatorias. 2.2. Las implicaciones del artículo 14 del CEDH En el apartado anterior, introdujimos el matiz correspondiente en torno a la posibilidad de establecer un trato diferente sin que ello se traduzca necesariamente en una vulneración de la legalidad. Así pues, debemos tener presente dicha premisa y focalizar nuestra atención en lo que dictamina el artículo 14 del CEDH. En definitiva, nuestra idea es remarcar en este momento aspectos esenciales del referido precepto legal. Al hilo de de todo ello, resulta de interés referirnos a la guía proporcionada por el TEDH acerca de cómo debe interpretarse la comentada norma en la medida en que, entre otras cosas, pone de relieve que la prohibición relativa a la discriminación no tiene entidad propia, sino que se encuentra vinculada a las libertades y derechos previstos en el mencionado acuerdo jurídico28. Sea 25 De acuerdo con lo expuesto en el cuerpo principal del texto, debe hacerse hincapié en la página 31 del asunto en cuestión. Documento disponible a continuación: https://minorityrights.org/wp-content/ uploads/old-site-downloads/download-223-Belgian-Linguistic-case-full-case.pdf

Conviene puntualizar que, en el comentado caso, el Tribunal. Europeo de Derechos Humanos (de ahora en adelante: TEDH) enfatizó lo siguiente: “(…) Article 14 (…) is likewise violated when it is clearly established that there is no reasonable relationship of proportionality between the means employed and the aim sought to be realized”. Ibid. 26 Ello se corresponde con el párrafo 44 de la sentencia emitida por el TEDH el 6 de abril de 2020. Documento disponible a continuación: https://www.menschenrechte.ac.at/orig/00_2/Thlimmenos.pdf 27 Ibid. 28 Documento disponible a continuación: https://www.echr.coe.int/Documents/Guide_Art_14_ Art_1_Protocol_12_ENG.pdf

192

Jacqueline Hellman

como fuere, el citado órgano judicial aclara que la articulación del comentado precepto no debe implicar necesariamente la violación previa de otra disposición legal29. No hay duda de que conciliar ambas premisas no es una tarea sencilla; no obstante, la “claridad de ideas” emerge cuando uno se aproxima al comentado principio desde la perspectiva anteriormente indicada, es decir: aceptando que la prohibición de no discriminación constituye un principio transversal sobre el que se sustentan las citadas libertades, así como los derechos esenciales de los individuos. Continuando con nuestra explicación, debemos tener muy presente que el ámbito de aplicación de la comentada norma se amplía gracias al artículo 1 del Protocolo número 12 en la medida en que podrá concluirse la vulneración del citado principio ante cualquier violación de derechos previsto por la ley30. Es más, de conformidad con el asunto Savez crkava “Riječ života” y otros v. Croacia, cabe apreciar violaciones más allá de lo fijado por la normativa31. Vemos, por lo tanto, que el ámbito de aplicación del artículo 14 del CEDH no se circunscribe a su tenor literal; sus efectos van, claramente, más allá de lo expresamente fijado. En cualquier caso, el citado precepto legal no proporciona definición alguna acerca de lo que debemos entender por discriminación. Afortunadamente, en la decisión judicial emitida con motivo del asunto Biao v. Dinamarca se aclara -como en otros muchos32gran parte de la cuestión. Consecuentemente, resulta de interés reproducir a continuación el párrafo 89 del referido caso: “(…) only differences in treatment based on an identifiable characteristic, or “status”, are capable of amounting to discrimination within the meaning of Article 14. Moreover, in order for an issue to arise under Article 14 there must be a diComo ha quedado expuesto en el cuerpo principal del texto, el documento en cuestión da ideas muy precisas acerca de cómo debe ser interpretado el artículo 14 del CEDH y el artículo 1 del Protocolo número 12. Asimismo, conviene resaltar que éste proporciona claves interpretativas, fundamentalmente, articuladas a través de pronunciamientos judiciales relevantes y recientes emitidos por el TEDH en este ámbito. 29 Ibid., pp. 6 y 7. 30 De acuerdo con lo expuesto en el cuerpo principal del texto, debemos traer a colación el contenido literal del mencionado precepto legal: “1. El goce de todos los derechos reconocidos por la ley han de ser asegurados sin discriminación alguna, en particular por razones de sexo, raza, color, lengua, religión, opiniones políticas o de otro carácter, origen nacional o social, pertenencia a una minoría nacional, fortuna, nacimiento o cualquier otra situación. 2. Nadie podrá ser objeto de discriminación por parte de cualquier autoridad pública, basada en particular en los motivos mencionados en el apartado 1”. 31 Así se puso de manifiesto en el párrafo 104 del caso mencionado en el cuerpo principal del texto. En dicho asunto se tomó en consideración el párrafo 22 del informe explicativo del Protocolo número 12 y se proclamó lo siguiente: “(…) the additional scope of protection under Article 1 concerns cases where a person is discriminated against: i. in the enjoyment of any right specifically granted to an individual under national law; ii. in the enjoyment of a right which may be inferred from a clear obligation of a public authority under national law, that is, where a public authority is under an obligation under national law to behave in a particular manner; iii. by a public authority in the exercise of discretionary power (for example, granting certain subsidies); iv. by any other act or omission by a public authority (for example, the behaviour of law enforcement officers when controlling a riot)”. Documento disponible a continuación: https://rm.coe.int/09000016800cce48 32 Pueden mencionarse otros casos como, por ejemplo, Carson y otros v. Reino Unido o D.H. y otros v. República Checa.

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO...

193

fference in the treatment of persons in analogous, or relevantly similar, situations”. Así pues, se advierte una situación discriminatoria cuando personas que se encuentran en una situación similar son tratadas de diferente modo. En ese caso, debemos puntualizar que estaríamos ante una discriminación directa. Todo lo cual nos obliga a determinar en qué consiste una discriminación de carácter indirecta. En este contexto, la comentada guía resulta tremendamente útil, ya que indica que ésta tiene lugar cuando una medida produce efectos negativos en un determinado grupo33. Es más, de acuerdo con lo estipulado por el mencionado documento, este tipo de discriminación puede nacer a partir de una norma neutral o una situación de facto; en definitiva, no es necesario advertir una intención discriminatoria para concluir que existe un quebrantamiento de la legalidad34. Avanzando en todas estas cuestiones, debemos mencionar que el artículo 14 proporciona un listado de motivos de acuerdo con los cuales se podrá determinar que una situación discriminatoria ha tenido lugar. En este punto de la explicación debemos subrayar que no se trata de una lista exhaustiva. Así las cosas, GERARDS mantiene que: “Article 14 only mentions the various grounds as examples, perhaps to make clear that the drafters of the provision considered these grounds to constitute the most problematic ones to base decision-making or regulation on35”. Esta idea la corrobora el propio TEDH cuando, en innumerables procesos judiciales36, sustenta gran parte de su argumentación sobre la parte final del primer párrafo del artículo 14 relativa a “cualquier otra situación”. De este modo, el Tribunal ubicado en Estrasburgo secunda, una vez más, un holgado ámbito aplicativo de la citada norma. Tras aclarar cuestiones esenciales que afectan con carácter exclusivo al artículo 14, conviene retomar la idea vertida en el apartado anterior. Se trata de ahondar en la cuestión relativa a que un trato desigual no genera un incumplimiento legal. Como ya dijimos, ello no sucederá si observamos la existencia de una justificación objetiva y razonable orientada a legitimar la diferencia de trato objeto de controversia. Esta es, por supuesto, una cuestión delicada. No hay duda de que el TEDH ha empleado su tiempo en explicar los comentados elementos, los cuales deben estar presentes para justificar tal excepción. En este sentido, cobra importancia el asunto Molla Sali v. Grecia en cuyo párrafo 135 se proclamó lo siguiente: “a difference of treatment is discriminatory if it “has no objective and reasonable justification”, that is, if it does not pursue a “legitimate aim” or if there is not a “reasonable relationship of proportionality” between the means employed and the aim sought to be realised”. Esta idea, obviamente, aparece reflejada en otros procesos judiciales37. En Ello se corresponde con el párrafo 31 del mencionado documento. Vid. Nota. Supra 28. p. 11. Ibid., p. 12. 35 GERARDS, J., “The Discrimination Grounds of Article 14 of the European Convention on Human Rights”, Human Rights. Law Review, núm.13, 2012, p. 104. Al hilo de lo comentado, vale la pena indicar que la mayoría de los pronunciamientos judiciales en los que se advierte discriminación se refieren a cuestiones de raza, sexo y religión; mientras que el resto suelen referirse a: “(…) situations in which specific social groups typically are not sufficiently represented in and thus protected by the political process “. PETERSEN, N., “The Principle of Non-discrimination in the European Convention on Human Rights and in EU Fundamental Rights”, Contemporary Issues in Human Rights, p. 134. 36 En este sentido, cobra interés el caso Clift v. Reino Unido y, también, Engel y otros v. Países Bajos. 37 De acuerdo con lo expuesto en el cuerpo principal del texto, el caso Fabián v. Hungría o Abdulaziz, Cabales y Balkandali v. Reino Unido resultan de gran interés. 33 34

194

Jacqueline Hellman

cualquier caso, para aclarar en mayor medida esta cuestión, resulta conveniente seguir los pasos que recomienda la comentada guía si lo que se pretende es dilucidar si estamos o no ante una situación discriminatoria: “When deciding cases of discrimination, the Court will apply the following test: 1. Has there been a difference in treatment of persons in analogous or relevantly similar situations –or a failure to treat differently persons in relevantly different situations? 2. 1. If so, is such difference– or absence of difference –objectively justified? In particular, does it pursue a legitimate aim? 2.Are the means employed reasonably proportionate to the aim pursued?38”. Consecuentemente, como ya vimos, el CEDH no prohíbe diferencias de trato, siempre que se cumplan las condiciones anteriormente indicadas. Siendo, pues, conscientes de lo anteriormente expuesto, debemos preguntarnos de qué modo pueden los algoritmos que emplea la IA suponer un quebrantamiento del comentado artículo 14. Veamos, por lo tanto, en el siguiente apartado situaciones que debilitan el citado principio, a pesar de que –como ya hemos visto– éste ha sido encumbrado por la regulación internacional como fundamental. 2.3. Algoritmos “bajo la lupa” del artículo 14 del CEDH A la luz de lo indicado en el apartado anterior, no nos cabe duda de que las máquinas que sacan partido de los beneficios que entraña la IA deben desarrollar sus funciones de conformidad con el principio de no discriminación contenido, como hemos visto, en el artículo 14 del CEDH. Para comprender en mayor medida la importancia de esta premisa, es crucial remarcar que este tipo de tecnología opera –como ya anticipamos– sobre información previamente recopilada y que ésta puede presentar cierto tipo de sesgo. Si así sucediese, deberíamos preguntarnos si ello podría significar una violación del comentado precepto legal39. La cuestión anteriormente planteada resulta pertinente a raíz de situaciones que se han ido generando en estos últimos años. En este sentido, debemos traer a colación el caso de Amazon, puesto que –en el año 2014– la conocida multinacional norteamericana propició un trato discriminatorio como consecuencia de la utilización de un programa informático desarrollado para filtrar solicitudes de empleo. La controversia nació al constatar que la máquina “se había entrenado” sobre la base de currículums masculinos. Ello se tradujo en que los hombres tenían preferencia sobre las mujeres. Sin duda, el referido programa presentaba un sesgo de género conforme al cual se discriminó injustamente a éstas últimas40. Casos como el anterior muestran que un “entrenamiento” de datos inadecuado conlleva un gran riesgo. La controversia surgida con motivo de los dispositivos tecnológicos que cuentan con un sistema de reconocimiento facial así lo corrobora. Estamos pensando, claramente, en la polémica recientemente suscitada como consecuencia de las dificultades Vid. Nota. Supra 28. p. 16. Adviértase que el presente estudio gira en torno a algoritmos que operan, fundamentalmente, sobre información sesgada que conlleva la creación de situaciones discriminatorias. 40 Información contenida en el siguiente enlace: https://www.reuters.com/article/us-amazoncom-jobs-automation-insight-idUSKCN1MK08G 38 39

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO...

195

surgidas a la hora de reconocer a determinados grupos, lo cual ha tenido consecuencias negativas para los integrantes de éstos41. Es evidente que, ante un constante y significativo uso de las tecnologías, incidentes como los anteriores son frecuentes. Todo ello debe valorarse junto al peligroso desafío que supone la utilización de algoritmos que “trabajan” sobre datos no precisos en la medida en que favorecen la creación de situaciones con un alto potencial discriminatorio42. Así las cosas, es fundamental traer a colación el artículo 14 del CEDH y puntualizar que, si bien establecer diferencias no constituye per se un problema, la polémica claramente se desata cuando éstas no encuentran un determinado sustento o justificación. Sin duda, los elementos anteriormente referidos, objetividad y razonabilidad, pasan a ser esenciales, ya que de conformidad con éstos podremos determinar si estamos o no ante una situación discriminatoria. Naturalmente, hay que analizar cada una de las situaciones que genere “sospechas” con el propósito de averiguar de qué manera está teniendo lugar el trato desigual; asimismo, es fundamental analizar las consecuencias que la diferencia conlleva, así como examinar si hay o no una justificación adecuada. Obviamente, quien causa el trato discriminatorio debe acreditar de manera objetiva y razonable (si puede) que la situación no implica un quebrantamiento de la legalidad. Es, por lo tanto, evidente que el CEDH desempeña en este ámbito un papel fundamental; en definitiva, el referido acuerdo jurídico actúa como si de un muro de contención se tratara al intentar evitar situaciones que, de la mano de la IA, podrían suponer una violación de un derecho esencial del individuo. Habiendo hecho, pues, hincapié en la necesaria relación que debe darse entre la IA y el artículo 14 del CEDH, consideramos de utilidad referirnos a la regulación en materia de protección de datos con el objeto de favorecer un verdadero y estricto cumplimiento del citado precepto legal. 3. UNA MEDIDA ESENCIAL PARA EVITAR ALGORITMOS DISCRIMINATORIOS: LA PROTECCIÓN DE DATOS Como ya anticipamos, en este apartado, nos referiremos a los diversos instrumentos jurídicos adoptados en el ámbito europeo en materia de protección de datos. A estos efectos, debemos indicar que son numerosos los documentos que deben ser traídos a colación y ello se debe a que “(…) el legislador europeo ha entendido el papel que representa para la sociedad y para su cultura la defensa del ámbito privado en relación con las nuevas tecnologías, invirtiendo grandes esfuerzos en salvaguardar el derecho a la protección de los 41 Información contenida en el siguiente enlace: https://www.biometricupdate.com/202105/bbcaddresses-facial-recognition-bias-issues-in-new-click-episode 42 No debemos dejar de mencionar aspectos positivos que la utilización de algoritmos conlleva. Así las cosas, la Agencia Europea de Derechos Fundamentales estipula, en la página 69, lo siguiente: “Under certain circumstances and in some areas, using algorithms could positively contribute by reducing bias and stereotyping. Algorithmic data analysis may produce results that could dispel prejudicial attitudes. For example, predictive policing might, in some contexts, lead to more equitable and non-discriminatory policing by reducing reliance on subjective human judgments”. Documento accesible en: https://eu2020bmjv-european-way-on-ai.de/storage/documents/FRA-2020-AI-and-fundamental-rights.pdf

196

Jacqueline Hellman

datos, para así lograr unificar y armonizar la regulación respecto a este derecho fundamental43”. A la luz de lo expuesto en el párrafo anterior, debemos subrayar –en un primer momento– preceptos legales claves que han servido de acicate para la adopción de normativa diseñada para abarcar con detalle y de manera concreta aspectos esenciales relativos a la utilización de datos por sistema tecnológicos avanzados. En este sentido, debe indicarse la importancia del artículo 8 de la Carta de los Derechos Fundamentales de la Unión Europea en la medida en que “(…) no solo reconoce el derecho a la protección de los datos personales, sino que además señala expresamente los valores fundamentales asociados a este derecho. Establece que el tratamiento de los datos personales debe ser leal, destinarse a fines concretos y contar con el consentimiento de la persona afectada o regirse por un fundamento de derecho legítimo44”. Asimismo, el artículo 16 del Tratado de Funcionamiento de la Unión Europea presenta un gran interés, puesto que proporciona a la Unión Europea la posibilidad de adoptar actos legislativos en este ámbito. Y, por supuesto, el artículo 8 del CEDH conforme al cual la protección de los datos personales forma parte del derecho al respeto de la vida privada. En este orden de ideas, debemos ser conscientes de que “(…) no cualquier operación que implique el tratamiento de datos personales puede inscribirse en el ámbito de aplicación del artículo 8 del CEDH. Para que se aplique el artículo 8, primero se ha de determinar si se ha lesionado un interés particular o la vida privada de una persona45”. Así las cosas, es evidente que los comentados preceptos legales ponen de relieve la inquietud existente para con el modo en el que los datos deben ser tratados. Éstos, de hecho, constituyen –como ya dijimos– la “semilla” que desencadena la adopción de estrategias jurídicas posteriores ideadas con el propósito de, por un lado, garantizar que quienes procesan datos personales cumplan con ciertas obligaciones y, por otro lado, de asegurar que las personas puedan ejercitar los derechos correspondientes en relación con el procesamiento de éstos46. Hay, sin duda, un firme convencimiento de que la protección de los datos es de gran utilidad a la hora de garantizar el cumplimiento de la legalidad y, a su vez, evitar situaciones discriminatorias. Así opina ZUIDERVEEN cuando afirma lo siguiente: “data protection law could be used to allay information asymmetry and to mitigate risks of unfair and illegal discrimination47”. Veamos, pues, las medidas concretas más importantes que se han adoptado hasta la fecha.

EGUÍLUZ CASTEÑEIRA, J., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, Estudios de Deusto, vol. 68/2, 2020, p. 338. 44 Así queda dispuesto en el manual de legislación europea en materia de protección de datos del año 2018. Documento accesible en: https://www.echr.coe.int/Documents/Handbook_data_protection_ SPA.pdf 45 Ibid. 46 EGUÍLUZ CASTEÑEIRA, J., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, cit. p. 339. 47 ZUIDERVEEN, F., “Strengthening legal protection against discrimination by algorithms and artificial intelligence”, cit. 43

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO...

197

3.1. Estrategias jurídicas destinadas a la protección de datos Antes de entrar en el quid de la cuestión, hay que incidir, una vez más, en la repercusión que en este ámbito ha tenido el artículo 8 del CEDH, al margen de que el momento temporal de su redacción no coincide con la era digital en la que nos encontramos actualmente; así las cosas, éste –como es lógico– no abarca directamente los riesgos que ocasiona hoy la recopilación incesante de datos por máquinas inteligentes. En cualquier caso, tras el auge innegable de los sistemas tecnológicos avanzados, surge una preocupación particular en torno a un nuevo ámbito de privacidad: el de los datos personales; y, como ya avanzamos, el citado precepto legal se erige como una base jurídica sólida sobre la que desarrollar la regulación y jurisprudencia correspondiente. A estos efectos, cobra gran interés la sentencia recientemente emitida por un tribunal de los Países Bajos conforme a la cual se ha estipulado que el Estado neerlandés utilizó un sistema algorítmico, System Risk Indication, que conllevó una vulneración del párrafo segundo de la citada norma. En este asunto, se puso de relieve que dicho artículo exigía la realización del siguiente test: “(…) a fair balance between the interests of the community as a whole, which the legislation serves, and the right of the individuals affected by the legislation to respect for their private life and home48”. Sin duda, este caso ha tenido una gran repercusión49. Sea como fuere, debe indicarse que la normativa surgida en este relativamente nuevo campo es considerada como “(…) una auténtica herramienta legal que atiende al fin de amparar y proteger los derechos fundamentales, como el derecho a la intimidad y el principio de no discriminación50”. Veamos, por lo tanto, en qué consisten las estrategias que se han seguido en lo que a la protección de datos se refiere teniendo en cuenta la revolución tecnológica que, desde hace unos años, está teniendo lugar. Así las cosas, debemos destacar la importancia del Reglamento General de Protección de Datos del año 201651, el cual se refiere al tratamiento de datos personales y a la libre circulación de éstos. Es, precisamente, el artículo primero el que fija dichos objetivos. Asimismo, cobra interés el artículo 5 en la medida en que determina que los datos personales deben tratarse de manera lícita y transparente; deben recogerse no sólo con fines determinados, explícitos y legítimos, sino que tienen que ser pertinentes y limitados. Asimismo, se establece que los datos serán exactos y mantenidos de tal manera que se permita la identificación de los interesados durante un periodo de tiempo delimitado y, por último, se garantizará su seguridad. Todas estas obligaciones deben cumplirse por parte de quienes

48 Documento accesible en: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:1878 49 DIVIJI, J., “Dutch Court provides valuable Precedent for Human Rights in the. Digital Welfare State”, Oxford Human Rights Hub, 2020. Documento accessible en: https://ohrh.law.ox.ac.uk/dutch-courtprovides-valuable-precedent-for-human-rights-in-the-digital-welfare-state/ 50 EGUÍLUZ CASTEÑEIRA, J., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, cit. p. 339. 51 Documento accesible en: https://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=CELEX:32016R0679&from=ES

198

Jacqueline Hellman

procedan al tratamiento de aquéllos. La idea, como puede verse, es proteger fundamentalmente los derechos que tienen las personas sobre los referidos datos. Continuando con nuestras explicaciones y atendiendo al objeto del presente estudio, debemos focalizar nuestra atención en el artículo 22 del citado reglamento, el cual proclama lo siguiente: “Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”. Esta regla podrá no tomarse en cuenta cuando se cuente con el consentimiento explícito del interesado, cuando medie autorización legal o cuando sea necesario para la celebración o la ejecución de un contrato entre el interesado y el responsable del tratamiento del dato en cuestión. De la lectura del referido precepto legal, cabe concluir que se “(…) establece una prohibición general de las decisiones basadas únicamente en el tratamiento automatizado que produzcan efectos jurídicos o significativamente similares, y se aplica tanto si el interesado adopta una acción relativa al tratamiento de sus datos personales como si no lo hace52”. Según algunos autores, la citada norma hace referencia al derecho de información que –deducido de los artículos 13 a 15– debe interpretarse de manera funcional y flexible53. Sobre este particular derecho, EGUÍLUZ CASTEÑEIRA señala que el referido reglamento exige al responsable del tratamiento de los datos ofrecer “(…) información significativa sobre la lógica aplicada, sin ser necesaria una compleja explicación del sistema IA o la revelación de todo el algoritmo54”. Se advierte un claro esfuerzo por parte del legislador europeo de proteger en la medida de lo posible al titular de los datos personales. No obstante, éste no es siempre eficaz en su cometido. Así lo corrobora el propio artículo 22, el cual se aplica –como ya pudimos ver– a decisiones basadas únicamente en el tratamiento de datos por parte de una máquina, es decir, sin intervención humana alguna. Así pues, para eludir la aplicación de la mencionada norma basta con procurar cierta participación humana, aunque sea para la realización de una tarea menor. Vemos, pues, las debilidades que presenta el citado precepto. En cualquier caso, a lo largo del articulado del comentado Reglamento General de Protección de Datos se advierte todo tipo de estrategias, como la contenida en el artículo 35 relativa a la realización de una evaluación de impacto, que pretenden evitar en la medida de lo posible situaciones discriminatorias. Podemos afirmar, por lo tanto, que con respecto a esta cuestión el legislador europeo se encuentra en alerta. Asimismo, hay otras herramientas jurídicas que deben ser objeto de mención. Así las cosas, debemos traer a colación el Convenio 108+ del Consejo de Europa55, el cual con52 EGUÍLUZ CASTEÑEIRA, J., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, cit. p. 342. 53 SELBST, A. y POWLES, J., “Meaningful information and the right to explanation”, International Data Privacy Law, núm. 4, 2017, p. 242. 54 EGUÍLUZ CASTEÑEIRA, J., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, cit,. p. 344. 55 Documento accesible en: https://search.coe.int/cm/Pages/result_details. aspx?ObjectId=09000016807c65bf

Al hilo de lo expuesto en el cuerpo principal del texto, es importante aclarar que el Consejo de Europa elaboró, en el año 1981, el Convenio 108 con el propósito de proteger a las personas en el tratamiento de sus datos personales. Éste se erigió como el primer acuerdo vinculante en materia de protección de datos.

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO...

199

fiere derechos a las personas frente a los sistemas tecnológicos que se ocupan de elaborar perfiles, procesar datos, etc. Así, el citado documento indica que el procesamiento de datos debe hacerse del siguiente modo: “(i) there must be a legitimate basis laid down by law for the processing of the personal data at the relevant stages of the AI system lifecycle; (ii) the personal data must be processed lawfully, fairly and in a transparent manner; (iii) the personal data must be collected for explicit, specified and legitimate purposes and not processed in a way incompatible with those purposes; (iv) the personal data must be adequate, relevant and not excessive in relation to the purposes for which they are processed; (v) the personal data must be accurate and, where necessary, kept up to date; (vi) the personal data should be preserved in a form which permits identification of data subjects for no longer than is necessary for the purposes for which those data are processed56”. Este instrumento jurídico debe ser interpretado a la luz de las directrices adoptadas en el año 2021 por el comité consultivo del citado convenio57, las cuales se dirigen a Estados, fabricantes, empresas, etc., con el ánimo de promover una protección escrupulosa de los derechos más básicos de los individuos. Éstas, como no puede ser de otro modo, hacen hincapié en la idea de no potenciar tratamientos discriminatorios: “In all phases of the processing, including data collection, AI developers, manufacturers and service providers should adopt a human rights by-design approach and avoid any potential biases, including unintentional or hidden, and the risk of discrimination or other adverse impacts on the human rights and fundamental freedoms of data subjects”. Todo lo cual redunda en que: “AI developers should critically assess the quality, nature, origin and amount of personal data used, reducing unnecessary, redundant or marginal data during the development, and training phases and then monitoring the model’s accuracy as it is fed with new data”. A raíz de lo comentado en párrafos anteriores, vemos que la normativa actualmente existente es ideada con el objetivo de minimizar los riesgos que surgen ante la utilización de algoritmos sesgados. Apreciamos, por tanto, su innegable utilidad. No obstante, debemos hacer hincapié en que la regulación actual no blinda por completo la posibilidad de que los sistemas tecnológicos que emplean IA promuevan situaciones discriminatorias. Así, ZUIDERVEEN proclama que con respecto a esta regulación “(…) there is a compliance and enforcement deficit (…) [and] data protection law only applies to personal data, algorithmic decision-making processes are partly outside the scope of data protection law58”. Además, debemos ser conscientes de que muchos de los preceptos legales en vigor descansan sobre el derecho a obtener la información pertinente y, de acuerdo con el autor citado: “(…) it is often difficult, if not impossible, to explain the logic behind a deCon el transcurso del tiempo, se observó que era necesario modernizar su contenido y, fruto de todo ello, se adoptó el Convenio 108+. 56 Así se pone relieve por el Comisario para los Derechos Humanos del Consejo de Europa en un documento del año 2019 titulado del siguiente modo: “Unboxing Artificial Intelligence: 10 steps to protect human rights”. Documento accesible en: https://www.ccdcoe.org/uploads/2019/09/CoE-1905Recommendation-on-AI-and-human-rights-1.pdf 57 Documento accesible en: https://rm.coe.int/guidelines-on-artificial-intelligence-and-dataprotection/168091f9d8 58 ZUIDERVEEN, F., “Strengthening legal protection against discrimination by algorithms and artificial intelligence”, cit.

200

Jacqueline Hellman

cision, when an algorithmic system arrives at that decision after analysing large amounts of data59”. Vemos, pues, que otro tipo de medidas son requeridas para verdaderamente proporcionar una protección adecuada y eficaz. En este sentido y de acuerdo con lo anteriormente comentado, parece que es necesario procurar un mayor grado de transparencia60. En definitiva, sería positivo conocer –por ejemplo– los entresijos del software que emplea un algoritmo, si bien somos conscientes de que habría que cumplir con inter alia la normativa relativa a la propiedad industrial e intelectual. En cualquier caso, creemos que lo ideal sería conciliar los intereses comerciales de turno con una reducción notable de la opacidad existente en este ámbito61. Sobre este último extremo, debe indicarse que se han hecho muchas propuestas, algunas de la cuales presentan un gran interés. Así, debemos traer a colación la idea “de un levantamiento del velo” de la decisión automatizada o del algoritmo empleado con el objetivo de alcanzar la decisión humana62. Lo anterior entronca con la idea de promover un verdadero compromiso para con la normativa relativa a los derechos humanos. A estos efectos, resultan pertinentes las consideraciones que plasma el Parlamento Europeo, las cuales se reproducen a continuación: “(…) los derechos humanos fundamentales consagrados en la Carta de los Derechos Fundamentales deben respetarse estrictamente para garantizar que estas tecnologías emergentes no generen vacíos en términos de protección63”. También se ha insistido recientemente en la idea de realizar auditorías sobre los algoritmos para identificar posibles sesgos. A este 59 Ibid. Al hilo de lo expuesto en el cuerpo principal del texto, debe traerse a colación la opinión de EGUÍLUZ CASTEÑEIRA: “El RGPD exige que el responsable del tratamiento ofrezca información significativa sobre la lógica aplicada, sin ser necesaria una compleja explicación del sistema IA o la revelación de todo el algoritmo. De todas formas, la información que se facilite al interesado debe ser suficientemente exhaustiva para que pueda entender los motivos de la decisión”. EGUÍLUZ CASTEÑEIRA, J., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, cit., p. 344. 60 La Comisión Europea lleva años trabajando en esta misma idea y se espera que a finales del presente año emita un nuevo informe que tenga por objeto promover la transparencia en este ámbito. Información disponible a continuación: https://iapp.org/news/a/european-commission-to-address-aialgorithm-transparency-in-robotics-tech/ 61 Con respecto a lo expuesto en el cuerpo principal del texto, algunos autores afirman que debería adoptarse un nuevo acuerdo. Así lo refleja LESLIE cuando argumenta lo siguiente: “(…) a convention could identify the rights and obligations that would safeguard human rights, democracy, and the rule of law, and give greater legal protection to people as a result. Taking the convention route would encourage States to act urgently to introduce relevant national laws, and it would create a level playing field for responsible, trustworthy AI products, even across national borders”. LESLIE, D., et. al., cit., p. 28. 62 Ello aparece reflejado en la Conclusiones del I Seminario Internacional sobre Derecho Administrativo e Inteligencia Artificial planteado por la Universidad Castilla-La Mancha en el año 2019. Documento accesible en: https://www.dropbox.com/s/5px5jkvauiz06vu/CONCLUSIONES_ toledoDAIAvfinal.pdf?dl=0 63 De acuerdo con lo expuesto en el cuerpo principal del texto, el Parlamento Europeo plasmó una serie de recomendaciones destinadas a la Comisión sobre aspectos éticos que la IA, la robótica y las tecnologías conexas deberían abarcar. En éstas, como es lógico, la referida institución proclamó el respeto de la normativa relativa a los derechos humanos como una medida esencial. Documento accesible en: https://www.europarl.europa.eu/doceo/document/A-9-2020-0186_ES.html#title1

LA VIOLACIÓN 4.0 DEL CONVENIO EUROPEO...

201

respecto debe traerse a colación la “Algorithmic Accountability Act” –presentada, en el año 2019, por los señadores norteamericanos Cory BOOKER y Ron WYDEN– la cual hace referencia a las siguientes cuestiones: “(…) conduct impact assessments of highly sensitive automated decision systems, require companies to assess their use of automated decision systems, including training data, for impacts on accuracy, fairness, bias, discrimination, privacy and security, require companies to evaluate how their information systems protect the privacy and security of consumers’ personal information, require companies to correct any issues they discover during the impact assessments64”. Consecuentemente, vemos que es fundamental adoptar una regulación más ambiciosa para solventar las carencias normativas actuales con el propósito de que las situaciones discriminatorias generadas por la IA se reduzcan de manera drástica. 4. CONCLUSIONES Como ya hemos explicado, es evidente que son muchos los beneficios que entraña la IA. No obstante, debemos ser conscientes de que la utilización de algoritmos en el ámbito de la referida IA puede propiciar o alentar situaciones discriminatorias. Consecuentemente, se ha desarrollado una regulación, en este ámbito, que presenta dos ejes fundamentales: por un lado, la prohibición de no discriminación contenida en –entre otros– el artículo 14 del CEDH y, por otro lado, la normativa relativa a la protección de datos, cuyo articulado se encuentra un tanto disperso en la medida en que son diversos los instrumentos jurídicos que recogen aspectos esenciales que afectan a esta particular rama jurídica. A raíz de lo previamente comentado, resultan evidentes los esfuerzos legislativos que se han realizado en este campo. Asimismo, la revolución tecnológica en la que nos encontramos ha dado pie a un desarrollo jurisprudencial considerable en torno al principio de no discriminación, así como a la proliferación de iniciativas diseñadas a garantizar un tratamiento adecuado de los datos. Todo lo cual se ha hecho para, en gran medida, evitar situaciones discriminatorias. No obstante, debemos subrayar que a la vista de los hechos la normativa existente no es lo suficientemente eficaz. Resulta, por lo tanto, prioritario procurar nuevos mecanismos que tengan como objetivo asegurar y proteger de manera más contundente los derechos de las personas de cuyos datos se dispone. Éstos, desde nuestro punto de vista, deben fundamentalmente comprender un impulso de la regulación relativa a los derechos más básicos de los individuos, así como fomentar un mayor grado de transparencia.

64 Información disponible a continuación: https://www.wyden.senate.gov/news/press-releases/ wyden-booker-clarke-introduce-bill-requiring-companies-to-target-bias-in-corporate-algorithms-

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS.. Y DERECHOS FUNDAMENTALES. ¿HASTA DÓNDE ESTAMOS DISPUESTOS A LLEGAR?1 Daniel Sansó-Rubert Pascual Profesor titular de Derecho Constitucional Director del Grupo de Investigación sobre Políticas Públicas, Seguridad Internacional y Gobernanza Global Universidad Europea (Madrid) DOI: 10.14679/2064

1. LA CONSECUCIÓN DE LOS OBJETIVOS DE LA AGENDA 2030 DE LAS NACIONES UNIDAS COMO GARANTÍA DE PROTECCIÓN DE LOS DERECHOS FUNDAMENTALES ANTE UN ENTORNO DE SEGURIDAD EN CONTINUA TRANSFORMACIÓN Vivimos tiempos de incertidumbre caracterizados por un entorno de seguridad en continua transformación, que se traduce en un escenario plagado de retos que impactan con fuerza en el conjunto de los derechos y libertades fundamentales2, con los que habrá que lidiar. Un futuro en construcción, que amerita un análisis de los posibles derroteros por los que los avances tecnológicos en general y la Inteligencia Artificial (IA) en particular, aplicados al ámbito de la seguridad y la defensa, nos puedan conducir. Todo ello al objeto de intentar ofrecer soluciones que permitan avanzar en términos democráticos, enfrentando con éxito toda adversidad que se presente. Y en este proceso de consolidación democrática los objetivos de la Agenda 2030 de las Naciones Unidas ostentan una particular importancia, dado que su logro o el fracaso en su consecución, afectará directamente a los derechos de las personas.

1 Investigación vinculada al Grupo de Investigación en Políticas Públicas, Seguridad Internacional y Gobernanza Global de la Universidad Europea. 2 FERNÁNDEZ RODRÍGUEZ, J. J., “Derechos y progreso tecnológico: pasado, presente y futuro”, Engelmann, W. (Coord.), Sistema do direito, novas tecnologias, globalização e o constitucionalismo contemporãneo: desafios e perspectivas, Rio de Janeiro: Fapergs, 2020, pp. 259-277.

204

Daniel Sansó-Rubert Pascual

Derechos, que no son ajenos al espectacular desarrollo de los sistemas de Inteligencia Artificial (IA) que se viene produciendo en los últimos años. Revolución tecnológica sin paliativos, que ha generado una enorme expectación y no pocos desafíos en relación con la protección efectiva de los derechos y libertades fundamentales. Interés, especialmente relevante en términos jurídicos3, habida cuenta del actual vacío normativo existente. No sólo en cuanto a que no exista normativa específica en relación con la incorporación de la IA al diseño y desarrollo armamentístico en general, sino más en concreto en cuanto a las expectativas suscitadas en torno a la posibilidad de dotar de plena autonomía funcional a los sistemas de armas ofensivos. Pretensión, que ha dado lugar al inicio de un debate prolijo en argumentaciones contradictorias acerca de los términos de uso y la incorporación o no de limitaciones, que deberían ser tenidas en consideración en el proceso abierto de materialización de una regulación internacionalmente reconocida que de cumplida respuesta a todos los interrogantes y vicisitudes suscitados por el desarrollo y empleo de los sistemas de armas autónomos. Lo que no puede obviarse es el hecho de que la situación, a día de hoy, demanda ineludiblemente y de forma improrrogable la articulación de un conjunto mínimo indispensable de medidas organizativas, técnicas y legales para asegurar un desarrollo seguro de la IA, y minimizar los riesgos a los que están expuestas las personas. La seguridad jurídica es crucial. El Derecho debe proporcionar un marco legal de referencia que posibilite la conciliación entre los intereses involucrados en impulsar el desenvolvimiento de la robótica, al tiempo que asegurar su desarrollo en congruencia con los valores propios del ordenamiento jurídico4 y las garantías de protección necesarias de los derechos fundamentales. Los enfoques humanitarios de las cuestiones vinculadas tanto al desarrollo armamentístico, así como las relativas al impulso de los procesos de desarme han cobrado impulso. Alienta en todo caso el creciente interés de organismos internacionales como Naciones Unidas e instituciones supranacionales como el Parlamento europeo en examinar las dimensiones humanitarias, jurídicas, militares y éticas de los sistemas de armas autónomas y otras tecnologías emergentes5, suscitando una pluralidad de interrogantes a despejar al tratar de identificar los futuros derroteros por los que transitará su evolución. No sin pre3 Salvo contadas excepciones, como el reciente libro dirigido por Moisés BARRIO ANDRÉS (2018), Derecho de los robots -Wolters Kluwer-, y también el de Rafael de ASIS ROIG (2014), Una mirada a la robótica desde los derechos humanos, Madrid: Dykinson. En EE.UU. la literatura es algo más abundante con trabajos como los de Jack BALKIN (2015) “The Path of Robotics Law”, California Law Review, núm. 6; Ryan CALO (2017), Artificial Intelligence Policy: A Primer and Roadmap, University of Washington; Mattew SCHERER (2016), “Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies”, Harvard Journal of Law & Technology, vol. 29, núm. 2 o Harry SURDEN (2014), “Machine Learning and Law”, Washington Law Review, vol. 89, núm. 1, entre los más destacables. 4 Consultar su estudio detallado en ARANSAY ALEJANDRE, A. M., “Antecedentes y propuestas para la regulación jurídica de los robots”, Barrio Andrés, M. (dir.), Derecho de los Robots, Madrid: Wolters Kluwer, 2018, pp. 89 y ss. 5 MARTÍNEZ QUIRANTE, R. y RODRÍGUEZ ÁLVAREZ, J., Inteligencia artificial y armas letales autónomas. Un nuevo reto para Naciones Unidas, Gijón: Trea, 2018; Resolución del Parlamento Europeo, de 20 de enero de 2021, sobre inteligencia artificial: cuestiones de interpretación y de aplicación del Derecho internacional en la medida en que la UE se ve afectada en los ámbitos de los usos civil y militar, así como de la autoridad del Estado fuera del ámbito de la justicia penal (2020/2013(INI)).

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

205

ocupación con respecto al análisis de las cuestiones humanitarias y de derechos humanos relacionadas con su uso. Y es que, cuanto más plausible se torna la gravedad de los impactos en clave humanitaria que conllevará el maridaje de la IA con el desarrollo de armamentos de última generación, se hace más evidente nuestro deber de promover su regulación. Máxime, habida cuenta del talante y rumbo actual de la política de seguridad y defensa internacionales a raíz de la reciente guerra de Ucrania y la reactivación de los discursos y planteamientos anclados en la concepción del si vis pacem para bellum. Ante este trepidante escenario la “Democracia Constitucional” –rótulo con el que cualificamos a la forma de organización política inspirada en los ideales del constitucionalismo–, debe asumir la defensa internacional de los ideales democráticos liberales y la concepción pro homine de los derechos fundamentales que, en definitiva, son el reflejo de los grandes objetivos de paz, justicia y fortalecimiento institucional propuestos en los respectivos ODS; especialmente en relación con el número 16: Paz, Justicia e instituciones sólidas, rubro tras el cual subyace afrontar los conflictos, la inseguridad, las instituciones débiles y el acceso limitado a la justicia como una grave amenaza para el desarrollo sostenible y la protección de los derechos fundamentales. Objetivos reflejados en las metas a alcanzar en los próximos años directamente vinculadas con la temática sujeta a reflexión en este capítulo. En concreto, el compromiso de reducir significativamente todas las formas de violencia y las correspondientes tasas de mortalidad en todo el mundo(Objetivo 16.1); promover el Estado de derecho en los planos nacional e internacional y garantizar la igualdad de acceso a la justicia para todos (Objetivo 16.3); crear a todos los niveles instituciones eficaces y transparentes que rindan cuentas (Objetivo 16.6); garantizar el acceso público a la información y proteger las libertades fundamentales de conformidad con las leyes nacionales y los acuerdos internacionales (Objetivo 16.10) y, finalmente, fortalecer las instituciones nacionales pertinentes, incluso mediante la cooperación internacional, para crear a todos los niveles –particularmente en los países en desarrollo–, la capacidad de prevenir la violencia y combatir el terrorismo y la delincuencia (Objetivo 16.a). Partiendo de esta referencia, los desafíos a enfrentar ameritan de práctica democrática, que ponga en valor el desarrollo de los ideales y constructos elaborados en pro de la protección y defensa de la dignidad humana y del elenco de derechos y libertades en las que ésta se refleja6. No en vano, la libertad y los derechos fundamentales son los que han acompañado el nacimiento del hombre moderno, los que han definido un orden político y simbólico completamente nuevo7. La Agenda 2030 propone abordar los factores que coadyuban favorablemente a la eclosión de la violencia contribuyendo a la concepción icónica de la defensa y protección de los derechos como marca de una edad; justamente “la edad de los derechos”8. Constituyen 6 SANSÓ-RUBERT PASCUAL, D., “Paz, justicia e instituciones sólidas (ods 16). Principales desafíos a enfrentar para su consecución”, Florit, C. et al. (Coords.), Estudio interdisciplinar de los desafíos planteados por la Agenda 2030, Cizur Menor: Aranzadi, 2020, pp. 107-124. 7 RODOTÁ, S., El derecho a tener derechos, Madrid: Trotta, 2014. 8 BOBBIO, N., El tiempo de los derechos, Madrid: Sistema, 1991.

206

Daniel Sansó-Rubert Pascual

también, los cimientos sobre los que descansa la democracia, en tanto que no son sólo normas constitucionales que establecen derechos subjetivos públicos, sino que representan rasgos esenciales del sistema democrático y su ejercicio supone otorgar sentido y justificación al compromiso democrático. Y en esta línea argumentativa, citando a BOBBIO, el problema de fondo de los derechos humanos no es hoy tanto el de su reconocimiento o en cómo justificarlos, sino el de cómo lograr protegerlos9 ante el maridaje del desarrollo tecnológico, las capacidades propiciadas por la IA y los sistemas de armamento. La preocupación reside en evitar deslizarnos hacia un constitucionalismo nominal10 fútil. PINTORE, se expresa en términos parecidos, aduciendo que el verdadero problema de los derechos fundamentales es justamente el procedimental de la autoridad que los administra11, ante la ausencia o debilidad de un andamiaje institucional para garantizarlos. Combatir el cinismo constitucional es cuestión de esgrimir buenos argumentos y de plasmarlos en buenas leyes12. Por eso se ha dicho acertadamente, que el principio de legalidad representa el poder de los que no tienen poder13. En todo caso, a pesar del desafío en ciernes que representa la autonomía funcional de la IA asociada al desarrollo armamentístico, afrontamos un momento de esperanza en la actual historia de la humanidad: en el orden internacional se han sentado las bases de un nuevo concierto fundado en el reconocimiento de los derechos14 y en el deseo de dotar a la dignidad de la persona y a los derechos inherentes a ella de una verdadera preeminencia. El ascenso del constitucionalismo mundial15, que Bruce ACKERMAN ha caracterizado como un constitucionalismo conocedor de los errores del pasado y, en consecuencia, bien pertrechado de justificaciones teóricas y argumentos prácticos que poner en marcha, ha hecho suya la causa de evitar que el desarrollo tecnológico lleve aparejado la conculcación de derechos y libertades. Un constitucionalismo global como actuación de la universalidad de los derechos humanos en palabras de FERRAJOLI, que debe ambicionar ir más allá del Estado para cobrar preeminencia propia y carta de naturaleza16 ante el desafío planteado: el ascenso vertiginoso del desarrollo tecnológico y, más concretamente, su aplicación al ámbito de la seguridad y la defensa. Y en particular, la peligrosidad inherente a la aparición de la posibilidad de desarrollar sistemas de armamento autónomo. Ibid., p. 61. Naturalmente, la idea de la Constitución “nominal”, como equivalente a un texto con apariencia de Constitución, pero incapaz de propiciar una práctica política que se corresponda con ella, procede de Karl LOEWENSTEIN, Teoría de la Constitución, Barcelona: Ariel, 1976; GONZÁLEZ CASANOVA, J. A., “La idea de Constitución en Karl Loewenstein”, Revista de Estudios Políticos, 139, 1965, pp. 73 y ss. 11 PINTORE, A., “Derechos insaciables”, Ferrajoli, L. (dir.), Los fundamentos de los derechos fundamentales, Trotta, Madrid: Trotta, 2001, pp. 243-265. 12 REVENGA SÁNCHEZ, M., “Cinco grandes retos (y otras tantas amenazas) para la democracia constitucional del siglo XXI”, Parlamento y Constitución. Anuario, núm. 12, 2009, p. 35. 13 FERRAJOLI, L., Derechos y garantías. La ley del más débil, Madrid: Trotta, 2016. 14 CACÉESE, A., Los derechos humanos en el mundo contemporáneo, Barcelona: Ariel, 1993. 15 ACKERMAN, B., “El ascenso del constitucionalismo mundial”, incluido en su obra La política del diálogo liberal, Barcelona: Gedisa, 1999. 16 FERRAJOLI, L., Por una Constitución de la Tierra. La Humanidad en la encrucijada, Madrid: Trotta, 2022. 9



10

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

207

El reto no tiene desperdicio: evitar el desarrollo de sistemas de armamentos especialmente peligrosos para las personas que incremente la exposición de la humanidad al menoscabo de sus derechos fundamentales. Sin duda, un esfuerzo loable que, desde una aproximación menos idealizada, como es la representada por el realismo, parece que la sociedad internacional no está preparada, al menos aún, para afrontar esta propuesta al unísono. Y ni las Naciones Unidas, ni la Unión Europea, ni la sociedad civil internacional por su parte, ostentan el peso político necesario para liderar la imposición de limitaciones y el control normativo necesario. Sin ánimo de ser excesivamente pesimista, además de los parámetros a mejorar previamente como requisito previo sine qua non a cualquier intento de materialización del ODS 16, como ya se ha anotado, el conjunto de las democracias constitucionales avanzadas –ni qué decir de la comunidad internacional en su conjunto–, no han sido capaces de asumir la dirección de la pandemia protagonizada por el Covid-19, demostrando que impera las concepciones realistas de la política, en defecto de otros planteamientos más colaborativos, a pesar de representar una grave amenaza compartida en clave de interdependencia. Y es que la interiorización del ODS 16 como un interés compartido es crucial para alinear todos los esfuerzos en favor de su consecución, mediante la suma de sinergias. Ningún país y ninguna organización internacional poseen capacidad suficiente para afrontar el desafío de la Agenda 2030 para el Desarrollo Sostenible en solitario. En definitiva, la mera posibilidad de la existencia de sistemas de armas autónomos y el conocimiento de la intencionalidad de algunos estados de ponerlas en funcionamiento haciendo de ellas una realidad no muy alejada en términos de futuro representa introducir el desequilibrio en el binomio libertad-seguridad. Proporciona cuanto menos, una pluralidad de argumentos para una reflexión en torno a las libertades individuales frente a la utilización masiva del recurso a la IA y a los avances en tecnología. La IA exige en última instancia un esfuerzo argumentativo para llegar a las soluciones correctas, que sólo pueden ser aquéllas respetuosas con el Estado de derecho y la vigencia de los derechos fundamentales. 2. INTELIGENCIA ARTIFICIAL Y SISTEMAS DE ARMAS LETALES AUTÓNOMOS: UN DESAFÍO JURÍDICO PARA LA EFECTIVA PROTECCIÓN DE LOS DERECHOS FUNDAMENTALES Como ha sido ya objeto de atención, la evolución de la tecnología y su aplicación al ámbito de los sistemas de armas posibilita la aparición de nuevos tipos de armamento que suscitan la preocupación jurídica en torno a la protección de los derechos y libertades fundamentales. En concreto los sistemas de armas dotados de IA capaces de operar autónomamente. Y es aquí donde se aviva la problemática. Como destaca MOLINER, la sustitución del hombre por robots de combate supondría la deshumanización de la guerra y relajaría el umbral a la hora de recurrir al recurso de la violencia17. 17 MOLINER, J. A., “Desafíos éticos en el uso militar de la Inteligencia Artificial. La Inteligencia Artificial aplicada a la Defensa”, Documento de Análisis, Instituto Español de Estudios Estratégicos (IEEE), Madrid: Ministerio de Defensa (España), 2018, pp. 147-170.

208

Daniel Sansó-Rubert Pascual

La incorporación de la IA, entendida como a aquellos sistemas que manifiestan un comportamiento inteligente al ser capaces de analizar su entorno y pasar a la acción con cierto grado de autonomía con el fin de alcanzar objetivos específicos, ha revolucionado el panorama armamentístico y militar. Representa, sin lugar a duda, un revulsivo nada desdeñable en el sector industrial de la seguridad y la defensa al incorporar al diseño de armamentos un amplio abanico de nuevas capacidades. Los sistemas basados en la IA pueden consistir desde un programa informático de carácter básico (por ejemplo asistentes de voz, programas de análisis de imágenes, motores de búsqueda, sistemas de reconocimiento facial y de voz), hasta la incorporación de dispositivos de hardware (como robots avanzados, automóviles autónomos, drones o aplicaciones del internet de las cosas18). De entre todas las opciones viables o sujetas a investigación, la capacidad de generar armas autónomas letales19 (lethal autonomous weapons), también denominadas como killer robots20, fomenta una pluralidad de interrogantes. Especialmente, ante la posibilidad cada vez menos distante de fabricar armas autónomas y, por consiguiente, con capacidad de maniobra independiente del control humano. Sus acciones no estarían sujetas a ningún control, lo que aviva el temor, no tanto con respecto a sus capacidades defensivas, sino a las de carácter ofensivo. Avance tecnológico que introduce la opción de eliminar o flexibilizar toda interacción con las personas o más aún, se obvie la capacidad de formular órdenes efectivas para detener toda acción. Hacemos referencia a los denominados Sistemas de Armas Autónomas Letales (SAAL) que pueden definirse grosso modo como aquellos sistemas de armamento programables que, una vez activados para el combate, no necesitan de la intervención humana para seleccionar y atacar blancos. No obstante, hay que señalar que, a pesar de la amplia aceptación de esta definición básica empleada, actualmente no se ha logrado consensuar de forma generalizada internacionalmente. Así, otras fórmulas definitorias ampliamente difundidas son, por ejemplo, la adoptada por Human Rights Watch y por la International Human Rights Clinic del programa de Derechos Humanos de la Universidad de Harvard, que las describe como “aquellas que tienen la capacidad de detectar, seleccionar y atacar objetivos, sin ningún tipo de intervención humana 21”. Nuevamente, el acento se pone en la capacidad de poder decidir a quién atacar, sirviéndose por de la IA, lo que eliminaría cualquier tipo de intervención humana22. Comisión Europea (2018) , p. 1. United Nations Institute for Disarmament Research, “The Weaponization of Increasingly Autonomous Technologies: Autonomous Weapons Systems and Cyber Operations”, UNIDIR Resources núm. 7, 2017, p. 5; GUARINO, A., “Autonomous Intelligent Agents in Cyber Offence”, K. Podins; J. Stinissen y M. Maybaum (eds.), 5th International Conference on Cyber Conflict, NATO CCD COE Publications, 2013, p. 379, que señala «Autonomous intelligent agents can be purely software, or integrated into a physical system (‘robots’)–the difference lies mainly in the environment in which the agent operates: while purely software agents live in what we call ‘cyberspace’, robots can sense and interact with the same physical environment that we live in. … […] The similarities between software agents and robots are relevant, given that even in a robot the embedded software … is at the heart of its behaviour and capabilities». 20 MESSINGER, E., “Is It Possible to Ban Autonomous Weapons in Cyberwar?”, Just Security. Accesible en: https://www.justsecurity.org/19119/ban-autonomous-weapons-cyberwar/. 21 Clínica Internacional de Derechos Humanos e Human Rights Watch, 2012, p. 2. 22 El Departamento de Defensa de los Estados Unidos, en la Directiva 3000.09, del 12 de noviembre de 2012 las define como “un sistema de armas que, una vez activado, puede seleccionar y enfrentarse a 18 19

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

209

A su vez, para el Comité Internacional de la Cruz Roja, las SAAL son “aquellas que tienen autonomía en sus funciones críticas. Esto es, que poseen la capacidad de seleccionar objetivos, detectarlos, identificarlos, rastrearlos y/o monitorearlos. Además, pueden atacarlos, usar la fuerza, neutralizarlos, hacerles daño o destruirlos; sin intervención humana23”. En definitiva, se trata de sistemas de hardware o software que, una vez activado, pueden realizar tareas o funciones por sí mismos; esto es, con capacidad de decidir el curso concreto de una acción a partir de una serie de alternativas sin depender de la supervisión, ni control humano y sin perjuicio de que éste (el ser humano) se halle presente durante su accionamiento. Por lo tanto, el elemento diferenciador clave de este tipo de armas respecto a otras es la eliminación, en parte o en su totalidad, del preceptivo control humano24, que se entiende debe acompañar a todo tipo de sistema de armas teniendo en consideración las repercusiones que su uso implica para la vida, la integridad física y todo el corolario de derechos humanos. Esto implica el que los avances en nanotecnología, robótica e IA y su aplicación a los sistemas armamentísticos, representan un verdadero peligro ante la posible automatización de las armas por parte de algunos Estados, pudiendo convertirlas en –como vienen a denominar comúnmente algunos autores para referirse a los SAAL, robots con capacidad ofensiva letal, con nula o escasa necesidad de control por parte del ser humano25. Desarrollo tecnológico, que introduce el peligro de expulsión de las capacidades humanas, quedando éstas excluidas de los procesos de decisión en un ámbito tan sensible como es el empleo de armamento y las consiguientes repercusiones en el disfrute efectivo de derechos fundamentales como la vida o la integridad física. Este desarrollo tecnológico, que podría considerarse a priori como algo positivo y deseable26 como cualquier otro avance de la humanidad, sin embargo, puede derivar precisamente en un empobrecimiento y una marginación de lo humano. Máxime si se tiene en consideración la circunstancia de que las máquinas cada vez ganarán más capacidad de aprendizaje por sí mismas (machine learning). Por ello, preocupa expresamente el actual vacío normativo. No existen normas específicas en esta materia, ni tampoco se han planteado iniciativas ambiciosas al respecto. objetivos sin la intervención de un operador humano”. Definición que incluye igualmente a los sistemas de armas autónomos supervisados por humanos que están diseñados para permitir a los operadores anular el sistema automático, pero pueden seleccionar y atacar objetivos sin mayor intervención humana después de su activación. United States, Department of Defense: Directive, Number 3000.09, Autonomy in Weapon Systems, November 21, 2012, p. 13. 23 Informe del Comité Internacional de la Cruz Roja sobre armas autónomas, 2016, p. 1. 24 KRISHNAN, A., Killer robots: legality and ethicality of autonomous weapons, Farnham, Surrey, England: Ashgate Publishing Limited, 2009. 25 Stop Killer Robots (2019): Campaign to Stop Killer Robots. Accesible en: https://www. stopkillerrobots.org 26 Parte de la doctrina, principalmente vinculada al ámbito profesional de las Fuerzas Armadas, que se muestra favorable al desarrollo de este tipo de armamento aduciendo las ventajas estratégicas y militares que representa. A modo de ejemplo léase: SCHMITT, M. N. y THURNHER, J. S., “Out of the Loop: Autonomous Weapons Systems and the Law of Armed Conflict”, Harvard National Security Journal, vol. 4, 2013, pp. 231-281; SASSÒLI, M., “Autonomous Weapons and International Humanitarian Law: Advantages, Open Technical Questions and Legal Issues to be Clarified”, International Law Studies, Naval War College, vol. 90, 2014, p. 310; BOOTHBY, W. H., Conflict Law: The Influence of New Weapons Technology, Human Rights and Emerging Actors, TMC Asser Press, 2014, pp. 104-7.

210

Daniel Sansó-Rubert Pascual

Mientras tanto, el ritmo de los avances técnicos alimenta el debate cada vez más complejo en torno a la regulación de la IA, con la finalidad de adoptar algún tipo de estrategia para su regulación27. Básicamente, introducir disposiciones que aborden de manera explícita los nuevos riesgos derivados de las tecnologías digitales armamentísticas emergentes, a fin de ofrecer mayor seguridad jurídica; al tiempo que extender la protección de los derechos fundamentales en virtud de que la autonomía de los sistemas de IA, en la medida que implica la adaptación de decisiones, tiene consecuencias reales e impacta sobre éstos28. Su autonomía no puede conformar la excusa perfecta para que puedan actuar al margen de la normativa que, de ordinario, serían aplicable a los humanos con respecto a su actuación y desempeño en un contexto de combate propio de un conflicto bélico, exonerando de toda responsabilidad29. Preocupa el hecho de que los robots asuman la decisión de matar o no sin intervención humana. Decisión, que no sería el resultado de la puesta en práctica de las habilidades, conocimientos, inteligencia, formación, experiencia, humanidad, moral, conocimiento de la situación y comprensión de las leyes de la guerra y del Derecho Internacional Humanitario, que se exigen a los profesionales de las Fuerzas Armadas y también, por qué no desde una perspectiva inclusiva, de las Fuerzas y Cuerpos de Seguridad, a la hora de tomar tales decisiones. Una máquina simplemente determinará si el objetivo es “viable” o no estrictamente en base a su programación previa y su capacidad de aprendizaje. Por ello, delegar las decisiones de vida o muerte a una máquina, al margen de la moral y de la ética es cuanto menos legalmente cuestionable. En consecuencia, las discusiones orbitan precisamente en relación con el destinatario y grado de las exigencias de responsabilidad que pudieran derivarse en última instancia de una mala praxis de la IA. Dado que, a priori, no encaja jurídicamente exigir a los propios sistemas de IA responsabilidades por el cumplimiento o incumplimiento de las normas. La atención se centra en el papel que, en todo este planteamiento jurídico, desempeñan los diseñadores, desarrolladores y usuarios de estos SAAL, en términos de cumplimiento de las normas y en cuanto al deber de garantizar que los sistemas de armamento, con independencia del grado de autonomía, se ciñen igualmente a su cumplimiento30. Otra arista suscitada en el debate que nos ocupa es hasta qué punto la ganancia en autonomía y la exigencia de responsabilidad de los SAAL conduce directamente a la discusión acerca de la personalidad jurídica de los robots. A este respecto existen posturas encontradas, ya que el Parlamento Europeo se ha mostrado favorable a la creación a largo plazo de una personalidad jurídica específica (e-personality), para facilitar la determinación de NOONE, G. P. y NOONE, D. C., “The Debate over Autonomous Weapons Systems”, Case Western Reserve Journal of International Law 47, núm. 1, 2015, p. 29 28 O’NEIL, C., Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia, Madrid: Capitán Swing, 2017 pp. 131-175. 29 LEWIS, L., Redefining human control. Lessons from the battlefield for autonomous weapons, Center for Autonomy and AI, CNA, 2018, pp.1-23. Accesible en: https://www.cna.org/CAAI 30 SHARKEY, N., “Saying ‘No!’ to Lethal Autonomous Targeting”, Journal of Military Ethics 9, núm. 4, 2010, pp. 369–83; ASARO, P., “On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanization of Lethal Decision-making”, International Review of the Red Cross 94, núm. 886, 2012, pp. 687-709. 27

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

211

responsabilidades en caso de causar daños31. A sensu contrario, los detractores de esta inclinación al reconocimiento de la personalidad jurídica aducen que tal reconocimiento socavaría los efectos correctores preventivos de la legislación en materia de responsabilidad, generando un riesgo moral tanto en el desarrollo, como en la utilización de la IA en cuanto el riesgo de responsabilidad civil dejaría de recaer sobre el autor por haberse transferido al robot, favoreciendo con ello su uso y aplicaciones indebidos32. Reseñar, en todo caso, que lo censurable no es la acción concreta que lleve a cabo una máquina, sino el hecho de que lo haga de forma autónoma afectando a la vida o a la libertad de los seres humanos. Tema muy espinoso ante la dificultad de deslindar, llegado el caso, la responsabilidad penal por actos criminales y civiles, y la exigencia de la reparación del daño causado, ya que, por el momento y con importantes dudas de cara a un futuro próximo, no se puede responsabilizar jurídicamente a los robots. En los casos de armas totalmente autónomas sería muy difícil justificar la atribución de responsabilidad directa a los individuos por algún tipo de accionar de dichas máquinas. Lo que a todas luces contraviene los principios básicos y normativa del Derecho Internacional Humanitario. No es jurídicamente posible responsabilizar directamente al comandante o al programador por las acciones específicas del robot, salvo que se lograse demostrar sin género de duda razonable, que hubiesen implementado en el sistema parámetros específicos de acción contrarios al derecho con un propósito intencionado de matar a cualquier persona sin establecer distinción alguna, o si diseñaran el sistema de armamento para cometer actos criminales. Supuestos donde el dolo debe estar presente y fundamentarse. En síntesis, el actual sistema de responsabilidad penal diseñado para los humanos sería insuficiente para las SAAL. Al menos con la legislación y planteamientos doctrinales jurídicos vigentes. Por lo tanto, el control humano sobre este tipo de máquinas es fundamental para asegurar la protección humanitaria y su empleo sujeto a la legalidad. 3. LOS SISTEMAS DE ARMAMENTO AUTÓNOMOS OFENSIVOS ANTE EL DERECHO. LA IMPERIOSA NECESIDAD IRRENUNCIABLE DE LA REGULACIÓN DEL CONTROL HUMANO DEL USO DE LA FUERZA Un vaticinio del futuro armamentístico en ciernes parece a todas luces deslizarse hacia el incremento de la autonomía y las capacidades para operar con la menor limitación espacial y temporal posible, con amplias facultades de adaptación a circunstancias rápidamente cambiantes y con la determinación a que los sistemas de armas puedan asumir la plena dirección de los ataques contra objetivos humanos. El debate jurídico al respecto, caracterizado por la confrontación entre posicionamientos abiertamente encontrados, se centra en torno al hecho de que, con el aumento de la autonomía de los sistemas de armamento, existe presumiblemente el riesgo de la sustitución de la Resolución del Parlamento Europeo, de 12 de septiembre de 2018, sobre los sistemas armamentísticos autónomos (2018/2752(RSP)). Diario Oficial de la Unión Europea, C 433/86 C 433/88. 23.12.2019. 32 ABOUJAOUDE, E., Virtually You: The Dangerous Powers of the E-Personality, London: WW Norton & Co, 2012. 31

212

Daniel Sansó-Rubert Pascual

toma de decisiones humanas por la iniciativa de las máquinas. Y, por lo tanto, la disminución o incluso eliminación del control humano sobre el uso de la fuerza. A pesar de la sensibilidad, al menos a priori acerca del reconocimiento en favor de que los humanos deban mantener el control definitivo, los avances tecnológicos suscitan no pocas incertidumbres de cara al enfoque futuro. Sin duda, la situación demanda una deliberación profunda acerca de los términos en los que jurídicamente se entiende la exigencia de un control humano adecuado, significativo o apropiado sobre el uso de la fuerza33 en relación con los sistemas de armamento. Sin duda, la principal preocupación aflora a raíz del reconocimiento de que las máquinas dotadas con la inteligencia artificial puedan adoptar decisiones con mayor o menor grado de libertad y/o independencia. A pesar de que es el creador del algoritmo quien da a cada factor un peso determinado en la fórmula, no puede obviarse el hecho de que una alteración de milésimas de cada factor pueda conllevar consecuencias distintas de las inicialmente previstas y, en consecuencia, programadas. Por lo que, si la máquina es capaz de aprender por sí misma, nada impide que incorpore sesgos que repercutan decididamente en su desempeño; salvo que exista algún control humano a modo de fiscalización y seguimiento de sus actuaciones que, en último término, pueda impedirlo con la finalidad de neutralizar posibles prácticas indebidas. Básicamente, la búsqueda de un seguro que disminuya los posibles riesgos34 derivados de la complejidad inherente a la inteligencia artificial y su capacidad de aprendizaje autónomo35. Preocupación, como se ha expresado, por los derroteros y el cariz lesivo de derechos fundamentales y libertades a los que puede conducir la ausencia del control humano en el desempeño de tales capacidades de fuerza ofensiva derivados del aprendizaje automático (machine learning) y el aprendizaje profundo (deep learning), como parte de las capacidades de la inteligencia artificial. Autonomía, a pesar de que desde las relaciones de comando y control entre el humano y la máquina (human in-on-out the loop36), las armas plenamente autónomas (human out the loop o fully autonomous weapon systems) aún no han sido inventadas37. 33 FERNÁNDEZ RODRÍGUEZ, J. J., Seguridad(es) en un futuro incierto. Un estudio jurídicoconstitucional, Cizur Menor, España: Thomson Reuters-Aranzadi, 2020.

FROSINI, V., “Los derechos humanos en la era tecnológica”, Pérez Luño, A. E. (coord.), Derechos humanos y constitucionalismo ante el tercer milenio, Madrid: Marcial Pons, 1996. 34 O’NEIL, C., Armas de destrucción matemática, cit., pp. 26 y ss. 35 GILL, A. S., “Introduction”, Perspectives on Lethal Autonomous Weapons, UNODA Ocassional Papers, núm. 30, 2017, p. 1; HAMMOND, D. N., “Autonomous Weapons and the Problem of State Accountability”, Chicago Journal of International Law, vol. 15, 2015, pp. 668 y ss. 36 En líneas generales, en atención al nivel de intervención humana en el proceso de la decisión de atacar se podría hablar de sistemas: Man in the loop, aquellos en los que el operador decide qué blanco atacar y, posteriormente, el sistema ejecuta el ataque de forma autónoma. Man on the loop, aquellos en los que el sistema decide qué blanco atacar, pero es el operador quien supervisa que la acción se ejecuta de forma correcta y puede intervenir abortando el ataque en caso necesario. Y Man out of the loop, para referirse a aquellos en los que el sistema decide el blanco a atacar, sin que el operador pueda supervisar dicha acción ni intervenir para impedir el ataque. 37 SCHARRE, P., y HORROWITZ, M. C., An introduction to autonomy in weapons systems, Center for a New American Security (CNAS), 2015. Accesible en: https://www.cnas.org/publications/reports/anintroduction-to-autonomy-in-weapon-systems. MQ-9 REAPER. (Fuente: http://www.ga-asi.com).

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

213

En esta línea argumental, las funciones críticas de selección y ataque de objetivos cobran especial relevancia jurídica ante la desconfianza de que la inteligencia artificial aplicada a los sistemas de armamento ofensivo pueda realmente operar asumiendo criterios de proporcionalidad y, en consecuencia, ponderado el grado e intensidad de la fuerza a emplear ante los objetivos previamente señalados, así como la capacidad de discriminar en el proceso de determinación de objetivos, entre aquellos legítimos y los ilegítimos (no combatientes o que no constituyan una amenaza). Sin duda, el denominado Control Humano Significativo38, cobra especial relevancia en términos de exigencia jurídica ineludible. Noción propuesta para resolver la cuestión del control humano y cuya finalidad es establecer los criterios o condiciones mínimas que, concurriendo, avalarían el empleo del arma en términos legales y éticos. Los sistemas de armas que seleccionan y atacan objetivos sin un control humano significativo, conocidos como armas totalmente autónomas, sistemas de armas autónomas letales o robots asesinos, traspasarían el umbral de aceptabilidad y se debería prohibir su fabricación y uso en base al reconocimiento multinivel y con carácter supranacional de los derechos y libertadas fundamentales39. Y es que, a falta de una legislación específica para la regulación de los SAAL40, Phillip ALSTON ya advirtió sobre el hecho de que un incremento en la autonomía de las armas provocaría una importante dificultad a la hora de aplicar los marcos jurídicos existentes sobre responsabilidad estatal e individual41. Esta idea del “control humano significativo” fue lanzada por la ONG «Article 36» en 201342, y ha sido asumida por la campaña internacional a favor de la prohibición de las 38 Paul SCHARRE se decanta por el uso de la fórmula Juicio Humano (Human Judgment) más que por la de Meaningful Human Control. Véase SCHARRE, P., “Human judgment and lethal decisión-making in war”, The Humanitarian Law & Policy Blog, CICR, abril 2018. Accesible en: http://blogs.icrc.org/law-andpolicy/2018/04/11/human-judgment-lethal-decision-making-war/, visitada el 16 de octubre de 2018. 39 FERRAJOLI, L., Por una Constitución de la Tierra. La Humanidad en la encrucijada, cit., pp. 78 y ss. 40 WILLIAMS, A. “Defining Autonomy in Systems: challenges and solutions, Autonomous Systems. Issues for Defense Policymarkers”, OTAN Allied Command Transformation’s Innovation in Capability Development, septiembre de 2015, pp. 33-35. Accesible en: https://www.act.nato.int/images/ stories/media/capdev/capdev_02.pdf. 41 PORCELLI, A. M., “La inteligencia artificial aplicada a la robótica en los conflictos armados. Debates sobre los sistemas de armas letales autónomas y la (in)suficiencia de los estándares del derecho internacional humanitario”, Revista de Estudios Socio-Jurídicos, 23 (1), 2021, pp. 483-530. Accesible en: https://doi.org/10.12804/revistas.urosario.edu.co/sociojuridicos/a.9269 42 La expresión Control Humano Significativo (Meaningful Human Control/MHC), fue acuñada en 2013 por la organización no gubernamental Article 36 y se ha extendido progresivamente por los distintos foros que tratan lo relativo a los sistemas de armas autónomos en todas sus vertientes (militar, técnica, jurídica, ética y gubernamental). La noción hace referencia a la calidad del grado de participación humana a lo largo del ciclo de funcionamiento de un arma autónoma, durante el cual se van adoptando diversas decisiones relacionadas con el uso de la fuerza. Pretende realizar un juicio de aceptabilidad moral de las relaciones humano-máquina (significación relevante de la implicación humana), relacionando previamente el conjunto de condiciones generales y abstractas necesarias para que un operador mantenga un conocimiento contextualizado y completo del funcionamiento del sistema autónomo y que le permita retener un dominio legal y éticamente aceptable de las funciones críticas que se le encomienda ejecutar. Para formular estas condiciones apriorísticas se valoran distintos factores que inciden en el funcionamiento y funcionalidad del arma. A su vez, la propuesta de efectuar un control humano significativo para evaluar la aceptabilidad

214

Daniel Sansó-Rubert Pascual

armas autónomas43. Pero, además, este concepto ha empezado a ganar tracción en los debates negociadores en torno a la regulación de estas armas44, hasta el punto de que el Grupo de Expertos Gubernamentales, sin hacer suyos expresamente estos términos, sí ha asumido la labor relativa a clarificar el «elemento humano» en el uso de la fuerza letal, así como la interacción «hombre-máquina en el desarrollo, despliegue y uso de las tecnologías emergentes en el área de las armas autónomas letales»45. Esta nueva aproximación podría conseguir evitar las dificultades que giran en torno al concepto de autonomía, en el sentido de que ya no haría falta clarificar qué armas pueden calificarse como autónomas, y donde la cuestión relevante, la clave de bóveda, sería que los operadores humanos deben ejercer un control significativo sobre todas ellas46. La campaña contra los robots asesinos exige un instrumento legalmente vinculante para restringir, en la medida de lo posible o incluso prohibir, el empleo de esta tecnología emergente mediante la preservación a ultranza de un control humano significativo sobre el uso de la fuerza47. El instrumento debería aplicarse a la gama de sistemas de armas que seleccionan y atacan objetivos sobre la base de datos obtenidos a través de sensores, es decir, sistemas en los que el objeto a atacar se determina mediante el procesamiento de información obtenida por medio de diversidad de sensores incorporados al sistema y no por seres humanos. Este amplio alcance está diseñado para asegurar que la tecnología tendel uso de un sistema de armas autónomo no es la única que se ha formulado. Encontramos otras que, grosso modo, se fundamentan en la predictibilidad del sistema de armamento para cumplir los principios de distinción, proporcionalidad y precauciones en el ataque o las que abogan por asegurar que la intención humana de atacar un objetivo esté siempre presente en la toma de la decisión de la máquina. Véase UNIDIR, “The Weaponization of Increasingly Autonomous…” cit., pp. 2-9; SHARKEY, N., “Towards a principle for the human supervisory control of robot weapons”, Politica & Società, núm. 2, 2014. Accesible en: https:// www.unog.ch/80256EDD006B8954/(httpAssets)/2002471923EBF52AC1257CCC0047C791/$file/Article_ Sharkey_PrincipleforHumanSupervisory.pdf 43 Stop Killer Robots: Call to Action. Accesible en: https://www.stopkillerrobots.org/call-to-action/. 44 United Nations Institute for Disarmament Research, The Weaponization of Increasingly Autonomous Technologies: Considering How Meaningful Human Control Might Move the Discussion Forward, UNIDIR Resources, núm. 2, 2014.Accesible en: http://www.unidir.org/files/ publications/pdfs/ considering-how-meaningful-human-control-might-move-the-discussion-forward-en-615.pdf; Fifth Review Conference of the High Contracting Parties to the Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects, Report of the 2016 Informal Meeting of Experts on Lethal Autonomous Weapons Systems (LAWS), CCW/CONF. V/2, 10 June 2016. 45 Group of Governmental Experts ofthe High Contracting Parties to the Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons WhichMay Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects: Report of the 2017 Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS), cit., p. 4. 46 AMOROSO, D., “Ius in bello and Ius ad bellum arguments against autonomy in weapons systems: A re-appraisal”, cit., p. 12; CROOTOF, R., “A Meaningful Floor for ‘Meaningful Human Control’”, Temple International and Comparative Law Journal, vol. 30, 2016, p. 54. 47 Para obtener más información sobre los problemas de las armas totalmente autónomas, véase el documento de Human Rights Watch y la Clínica Internacional de Derechos Humanos de la Facultad de Derecho de Harvard, Making the Case: The Dangers of Killer Robots and the Need for a Preemptive Ban, 2016. Accesible en: https://www.hrw.org/report/2016/12/09/making-case/dangers-killer-robots-andneed-preemptive-ban.

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

215

dencialmente problemática, en términos jurídicos de protección de derechos, no se escape a la regulación. Por el momento, ante los vacíos normativos actualmente existentes en esta materia se intentan cubrir con la aplicación del derecho consuetudinario y con la Cláusula Martens48 cuya interpretación dispositiva está condicionada por los intereses particulares de los Estados. Esta situación lleva a plantear la necesidad de una revisión normativa que, al menos, ponga remedio a interpretaciones subjetivas del derecho con respecto a la prohibición o restricciones en el uso de ciertas armas, que puedan ser consideradas excesivamente dañinas o que tengan efectos indiscriminados; especialmente si se tiene en consideración que los sistemas de armas totalmente autónomos –sin la posibilidad de un control humano–, representan una tipología de armamento caracterizado por el hecho de que selecciona y ataca objetivos que cumplen unos criterios predefinidos y, una vez lanzado el ataque, este no puede ser detenido por la intervención humana. Ante el desafío en ciernes para la garantía y protección de los derechos fundamentales y las libertades públicas, la incorporación de la inteligencia artificial a los sistemas de armamento y todo lo que ello puede conllevar, amerita del desarrollo e implementación de una combinación de prohibiciones y obligaciones positivas para lograr la regularización restringida de los sistemas que equivalen o que se utilizan como armas totalmente autónomas. Objetivo: garantizar una supervisión humana deliberativa durante los procesos de selección y ataque de objetivos efectuados por armas con algún grado de autonomía49. En esta línea argumentativa, desde el Comité Internacional para el Control de las Armas Robots (International Committee for Robot Arms Control –ICRAC–), se ha formulado una propuesta de las pre-condiciones generales y universalmente aplicables a toda clase de arma autónoma, que un comandante u operador humano debería necesariamente reunir para asegurar su control humano significativo50 sobre el sistema armamentístico. Incluyendo La denominada “cláusula Martens”, en alusión al jurisconsulto de nacionalidad rusa que la planteó inicialmente; tanto las personas civiles, como los combatientes estarán protegidos por los principios de humanidad, los mandatos de la conciencia pública y los usos y costumbres de las naciones civilizadas. Destaca el valor atribuido a la Cláusula Martens por el Tribunal Internacional de Justicia como “medio efectivo para hacer frente a la rápida evolución de la tecnología militar. Incluso si no puede considerarse como una fuente formal del Derecho Internacional Humanitario, entienden que este concepto entronca con la emergencia de una corriente global a favor de la prohibición de estas armas autónomas, que puede servir como un argumento adicional de peso para forzar a los Estados a negociar un Protocolo que materialice esta prohibición”. MARTÍNEZ QUIRANTE, R. y RODRÍGUEZ ÁLVAREZ, J., Inteligencia artificial y armas letales autónomas. Un nuevo reto para Naciones Unidas, cit., pp. 32 y ss. 49 Actualmente ya están en uso algunos sistemas de armas que tienen autonomía en sus “funciones críticas” de identificar y atacar objetivos. Por ejemplo, los sistemas autónomos de ataque, como el robot de vigilancia Samsung que actualmente está activo en la zona desmilitarizada entre las dos Coreas. Este robot matará a cualquier persona que pise la zona desmilitarizada desde una distancia de cuatro kilómetros con una precisión letal. Algunos sistemas de armas defensivas tienen modos autónomos para interceptar misiles, cohetes, proyectiles de artillería, así como aviones a corta distancia. Ibid., pp. 76 y ss. 50 Se trata de las siguientes cinco condiciones: “1. Tener una conciencia contextual y situacional completa del área-objetivo al momento de iniciar un ataque específico; 2. Ser capaz de percibir y reaccionar ante cualquier cambio o situación no anticipada que pueda haber surgido desde la planificación del ataque, como cambios en la legitimidad de los objetivos; 3. Tener una participación cognitiva activa en el ataque; 48

216

Daniel Sansó-Rubert Pascual

consideraciones éticas y operativas relativas a la imposibilidad o dificultad, de revertir una orden una vez dada51. Aporte que se refuerza con la iniciativa de la campaña Stop Killer Robots (2019), cuyos responsables elaboraron un documento sobre los elementos clave a tener en consideración para confeccionar un tratado internacional sobre armas totalmente autónomas. El núcleo de sus reflexiones enfatiza la relevancia de alcanzar la prohibición de este tipo de armas y, en su defecto, la necesidad irremplazable e ineludible de exigir la existencia de un control humano significativo. Este último deberá estar presente tanto en la toma de decisiones, como en lo relativo a los aspectos vinculados con el desenvolvimiento de los componentes tecnológicos y operacionales. El fundamento de esta estrategia jurídica se focaliza en la toma de decisiones, porque proporciona a los seres humanos la información y la capacidad de tomar decisiones sobre si el uso de la fuerza cumple o no con las normas jurídicas y los principios éticos. Además, propone tres tipos de obligaciones para los Estados: una general de mantener el control humano significativo sobre la utilización de la fuerza; otras de naturaleza negativa como la prohibición de los sistemas de armamentos que seleccionan y atacan objetivos sin un control humano significativo –abarcaría también aquellas que son problemáticas por su naturaleza, por ejemplo, los que se basan en ciertos tipos de datos para representar a personas o categorías de personas sobre indicadores discriminatorios relacionados con la edad, el género u otras identidades sociales–, y, finalmente, otras de corte positivo específicamente orientadas a reforzar el ya citado aseguramiento de un control humano significativo52. En cuanto a la Unión Europea se refiere en relación con esta temática, el Parlamento Europeo instó al desarrollo urgente de una postura en común y legalmente obligatoria para tratar las cuestiones jurídicas y éticas con relación a la rendición de cuentas, el control humano significativo, la supervisión y la aplicación del Derecho Humanitario Internacional, las tácticas militares y los derechos humanos reconocidos internacionalmente. Finalmente, la Resolución del Parlamento sobre los sistemas de armas autónomos, dictada el 12 de septiembre de 2018, afirma en su texto con contundencia que este tipo de armamentos tienen la aptitud de modificar los términos de la guerra y de conducir a una carrera o guerra armamentista incontrolable e inaudita. Específicamente y con referencia a la selección y ataque de objetivos, presenta importantes dilemas éticos y legales sobre el control humano. Recalca que, como los robots no son humanos, carecen de la facultad para la toma de decisiones en las que estén involucrados los principios del Derecho Humanitario de proporcionalidad, distinción y precaución. Por todo ello, destaca la necesidad de vedar la producción y desarrollo de los sistemas que 4. Disponer de tiempo suficiente para deliberar sobre la naturaleza de los objetivos, su importancia en términos de la necesidad y la adecuación de un ataque, la posible incidental y la probabilidad incidental, así como la posibilidad de efectos accidentales del ataque. 5. Disponer de medios para la suspensión rápida o el aborto del ataque”. SHARKEY, N., “Saying ‘No!’ to Lethal Autonomous Targeting”, cit., p. 2 y ss. 51 International Committee of the Red Cross: Autonomous Weapon Systems - Implications of Increasing Autonomy in the Critical Functions of Weapons, Expert Meeting, 15-16 March 2016, p. 8; STRAUB, J., “Consideration of the use of autonomous, non-recallable unmanned vehicles and programs as a deterrent or threat by state actors and others”, Technology in Society, 2016. núm. 44, pp. 39-47. 52 VILLANUEVA LÓPEZ, C. D., “Armas Autónomas. Una breve introducción”, Revista Ejército, 2019. Accesible en: https://www.revistaejercitos.com/2019/09/06/armas-autonomas/

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

217

no incorporen mecanismos para el ejercicio del control humano respecto de sus funciones fundamentales, como la selección y posterior ataque de objetivos53. Otro tema que igualmente preocupa, directamente vinculado con la incorporación de la IA a los sistemas de armamento y su posible autonomía operativa, radica en los fallos de funcionamiento que pueden sufrir los sistemas de combate, debido a algún código escrito incorrectamente o por un ciberataque. De ahí que se insista denodadamente en la necesidad de la existencia de controles humanos. La intervención y la vigilancia humana son fundamentales e irremplazables en cuanto a la reconducción de circunstancias sobrevenidas que alteren los escenarios en los que se ha de aplicar la fuerza letal. Piénsese por un instante, en cómo afrontar jurídicamente el empleo criminal de las armas autónomas. Cómo responder ante la comisión de un crimen internacional54. Dado que, las armas autónomas no pueden ser consideradas responsables directas en la medida en que todo crimen requiere de dos elementos; en primer lugar, la comisión de un hecho punible (actus reus) y, en segundo lugar, el dolo o la intencionalidad (mens rea), imposible de concretar en el caso de esta tipología de armas, ante la imposibilidad de demostrar la capacidad de obrar dolosamente por parte de la IA. Pero, además, se da la circunstancia de que, por el momento, los tribunales penales internacionales sólo ejercen jurisdicción sobre las personas físicas55. En efecto, las armas autónomas no pueden ser consideradas responsables por carecer de discernimiento moral. Se plantea así el problema jurídico nuclear de quién puede ser considerado responsable en caso de vulneración de la normativa internacional, dentro y fuera del contexto del conflicto bélico56. Ante la imposibilidad de identificar a un responsable, se estaría generando potencialmente un vacío legal de tremendas consecuencias para el sistema jurídico internacional. Si se trata de armas que funcionan con autonomía, aunque sólo sea parcialmente, no es posible establecer un vínculo directo entre el acto criminal y las personas anteriormente mencionadas, en la medida en que los actos de estas armas autónomas resultan impredecibles, a no ser que el programador o el operador, por ejemplo, hubiesen actuado con la intención de cometer un crimen internacional57. La responsabilidad no parece tampoco aplicable, en la medida en que el elemento de la intencionalidad no puede concretarse 53 WAGNER, M., “The Dehumanization of International Humanitarian Law: Legal, Ethical, and Political Implications of Autonomous Weapons Systems”, cit., pp. 1404-1407. 54 Naciones Unidas. Asamblea General, Consejo de Derechos Humanos: Informe del Relator Especial sobre las ejecuciones extrajudiciales, sumarias o arbitrarias, Christof Heyns, cit., p. 16; Human Rights Watchand International Human Rights Clinic (Harvard Law School): Mind the Gap – The Lack of Accountability for Killer Robots, 2015, p. 13. 55 Véase, por ejemplo, el artículo 25 del Estatuto de Roma de la Corte Penal Internacional, en el que se estipula que “la Corte tendrá competencia respecto de las personas naturales”. 56 BEARD, J. M., “Autonomous Weapons and Human Responsibilities”, Georgetown Journal of International Law, vol. 45, 2014, pp. 12 y ss.; CASS, K., “Autonomous Weapons and Accountability”, Loyola of Los Angeles Law Review, vol. 48, 2015, p. 1054. 57 CROOTOF, R., «War Torts: Accountability for Autonomous Weapons», University of Pennsylvania Law Review, vol. 164, 2016, pp. 1376-1377; GRUT, C., “The Challenge of Autonomous Lethal Robotics to International Humanitarian Law”, cit., p. 16; WAGNER, M., “The Dehumanization of International Humanitarian Law: Legal, Ethical, and Political Implications of Autonomous Weapons

218

Daniel Sansó-Rubert Pascual

indubitadamente respecto de un comportamiento impredecible de las armas autónomas. El verdadero problema reside, por tanto, en la dificultad, cuando no directamente la imposibilidad de atribuir responsabilidades58 en el supuesto de la comisión de un hecho jurídicamente reprobable por parte de un arma autónoma, puesto que la pretensión de extender la responsabilidad directa o indirectamente a terceros (al mando militar/policial o al programador, por ejemplo) resulta jurídicamente insostenible, al menos con los mimbres legales actualmente existentes59. Una fórmula completamente distinta sería la que consiste en el recurso a la responsabilidad de tipo civil, en concreto, por la elaboración de productos defectuosos60. En este caso, los posibles responsables serían los programadores y los fabricantes61. El problema es que, en el sector de la defensa, difícilmente los fabricantes son declarados responsables por defectos de diseño, sobre todo cuando esos defectos son notificados con antelación62. Además, ello obligaría a las víctimas a asumir la carga de poner en marcha reclamaciones frente a los fabricantes de armas autónomas, con el agravante de que estas víctimas pueden carecer de los recursos necesarios para ello o encontrarse geográficamente muy distantes63. Por último, cabría la opción de acudir a la responsabilidad internacional del Estado como estrategia para articular algún sistema efectivo de asunción del daño causado por parte de un arma autónoma. Este es el sistema preferido por aquellos que amparan el desarrollo de las armas autónomas. Sus defensores arguyen que es la mejor expectativa desde un punto de vista normativo en términos de viabilidad jurídica; ya que puede generar el incentivo necesario para que los Estados desplieguen armas autónomas bajo protocolos de manejo e intervención, que resulten compatibles con las aspiraciones jurídicas perseguidas en materia de protección y garantía de derechos. Básicamente, adecuar el uso de las armas autónomas letales al cumplimiento de la normativa humanitaria vigente. Específicamente en relación con los principios de distinción y de proporcionalidad. En efecto, una de las reglas del Derecho Internacional Humanitario es la que obliga a las partes de un conflicto armado a distinguir entre personas y objetos civiles, Systems”, cit., pp. 1403-1407; STEWART, D. M., “New Technology and the Law of Armed Conflict”, International Law Studies, US Naval War College, vol. 87, 2011, p. 290. 58 JAIN, N., “Autonomous weapons systems: new frameworks for individual responsibility”, Bhuta, N. et al. (eds.), Autonomous Weapons Systems, Cambridge: Cambridge University Press, 2016, pp. 317-318. 59 LIU, H.-Y., “Refining responsibility: differentiating two types of responsibility issues raised by autonomous weapons systems”, Bhuta, N. et al. (eds.), Autonomous Weapons Systems, Cambridge: Cambridge University Press, 2016, p. 341; LIU, H.-Y., “Refining responsibility: differentiating two types of responsibility issues raised by autonomous weapons systems”, cit., pp. 336-341. 60 KHRISNAN, A., Killer Robots-Legality and Ethicality of Autonomous Weapons, Ashgate, Farnham, 2009, pp. 103-104; SINGER, P. W., Wired for war: the robotics revolution and conflict in the twenty-first century, New York: Penguin Press, 2009, p. 410. 61 Naciones Unidas, Asamblea General, Consejo de Derechos Humanos: Informe del Relator Especial sobre las ejecuciones extrajudiciales, sumarias o arbitrarias, Christof Heyns, cit., p. 16. 62 BEARD, J. M., “Autonomous Weapons and Human Responsibilities”, cit., p. 647; CORN, G. S., “Autonomous weapons systems: managing the inevitability of taking the man out of the loop”, Bhuta, N., et al. (eds.), Autonomous Weapons Systems, Cambridge: Cambridge University Press, 2016, pp. 233-234. 63 Human Rights Watchand International Human Rights Clinic (Harvard Law School): Losing Humanity. The Case against Killer Robots, cit., p. 44.

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

219

por una parte, y combatientes u objetivos militares, de otra. De manera similar, en el marco del principio de necesidad militar, resulta obligado identificar a las personas hors de combat64, al tiempo que se exige el respeto de la regla sobre precauciones en el ataque65. Quienes proponen la prohibición de las armas autónomas entienden que estas armas difícilmente pueden operar en el pleno respeto del principio de distinción, habida cuenta que carecen de las capacidades sofisticadas de reconocimiento y el sentido común66 que se exigen en los ambientes de combate contemporáneo, caracterizados por la existencia de conflictos asimétricos y batallas urbanas67, en donde es necesario realizar análisis de tipo contextual68. Respecto de las exigencias propias de la aplicación del principio de proporcionalidad, éste reclama que la afectación incidental de objetivos de carácter civil, en términos de pérdidas de vidas humanas o daños a bienes civiles resultantes de un ataque, no excedan en relación con la ventaja militar concreta y directa que se ha previsto obtener. Para los opuestos al desarrollo de estas armas se trata, por tanto, de una prueba básicamente subjetiva, que la jurisprudencia internacional ha reconocido como fundamentada bajo la exigencia del principio de razonabilidad y que requiere mucho más que un mero análisis de datos cuantitativos69. Estamos pues, ante una decisión de naturaleza evaluativa, que exige comparar nociones disimilares conforme a un tipo de análisis contextual, no reducible a fórmula alguna, que las armas autónomas no pueden ejecutar por ahora70. Aunque las armas autónomas puedan hacer estimaciones sobre daños colaterales, lo cierto es que, ese tipo de análisis, sólo ofrecerá datos en relación con la cantidad de daño, pero no resolverá la cuestión de cuándo estamos ante un daño colateral excesivo71. Proporcionalidad que demanda congruencia entre fines perseguidos y medios empleados, que a su vez se subdivide SPARROW, R., “Twenty Seconds to Comply: Autonomous Weapon Systems and the Recognition of Surrender”, International Law Studies, US Naval War College, vol. 91, 2015, p. 699. 65 WEIZMANN, N., Autonomous Weapon Systems under International Law, cit., p. 15. 66 SKARKEY, N. E., “The Evitability of Autonomous Robot Warfare”, cit., pp. 788-789; GRUT, C., “The Challenge of Autonomous Lethal Robotics to International Humanitarian Law”, Journal of Conflict and Security Law, vol. 18, 2013, pp. 11-12. 67 Human Rights Watchand International Human Rights Clinic (Harvard Law School): Losing Humanity. The Case against Killer Robots, cit., pp. 30-34; SCHMITT, M. N., “Autonomous Weapon Systems and International Humanitarian Law: A Reply to the Critics”, Harvard National Security Journal Features, 2013, p. 11; ANDERSON, K.; REISNER, D., y WAXMAN, M., “Adapting the Law of Armed Conflict to Autonomous Weapon Systems”, International Law Studies, US Naval War College, vol. 90, 2014, p. 406. 68 WAGNER, M., “The Dehumanization of International Humanitarian Law: Legal, Ethical, and Political Implications of Autonomous Weapons Systems”, Vanderbilt Journal of Transnational Law, vol. 47, 2014, p. 1392; International Committee of the Red Cross: Interpretive Guidance on the Notion of Direct Participation in Hostilities under International Humanitarian Law, Geneva, 2009, pp. 33-34. 69 Human Rights Watchand International Human Rights Clinic (Harvard Law School): Losing Humanity. The Case against Killer Robots, cit., p. 33; SKARKEY, N. E., “The Evitability of Autonomous Robot Warfare”, cit., pp. 789-790. 70 GRUT, C., “The Challenge of Autonomous Lethal Robotics to International Humanitarian Law”, cit., pp. 12-13; BOOTHBY, B., “Autonomous Attack-Opportunity or Spectre?”, Yearbook of International Humanitarian Law, vol. 16, 2015, p. 83. 71 A este respecto, los partidarios de estas armas entienden que ya existen sistemas, como el collateral damage estimate methodology (CDEM), que realizan cálculos de proporcionalidad, lo que a su criterio vendría a demostrar que estas armas autónomas cumplirían actualmente con esta exigencia 64

220

Daniel Sansó-Rubert Pascual

en las imposiciones de adecuación o idoneidad y la existencia de necesidad. De tal forma que, para comprobar si una medida supera el juicio de proporcionalidad es necesario constatar si es susceptible de conseguir el objetivo propuesto (juicio de idoneidad); si, además, es necesaria, en el sentido de que no exista otra medida más moderada para la consecución de tal propósito con igual eficacia (juicio de necesidad); y, finalmente, si la misma es ponderada o equilibrada, por derivarse de ella más beneficios o ventajas para el interés general, que perjuicios sobre otros bienes o valores en conflicto. Proporcionalidad, además, no solo exigible a la hora de desarrollar un plan de batalla general, sino también durante las operaciones militares in situ. La ventaja militar debe determinarse caso por caso, nunca de forma general y/o abstracta, y resulta imposible programar por adelantado el número infinito de contingencias que podrían surgir en el momento de la materialización del ataque. Por otro lado, la decisión de desplegar un arma totalmente autónoma no es semejante a la decisión de atacar. En el momento de tomar dicha decisión, tal arma estaría fuera del control humano. El estándar del comandante militar razonable sería difícil de emular en una máquina, máxime cuando la decisión de atacar se toma en circunstancias imprevistas o cambiantes. En definitiva, se trata de una problemática compleja que obliga a un análisis jurídicamente exhaustivo del concepto de razonabilidad. No exento de importantes conexiones y derivas con el ejercicio de la razón humana, y con consideraciones éticas y morales. Los juicios sobre si un ataque en particular es proporcional o no, además de los imperativos legales a tener en consideración, deben ser una cuestión de sentido común y buena fe, que no puede ser comprendido por un robot. 4. LA PROTECCIÓN DE LA DIGNIDAD HUMANA COMO OBJETIVO PRIMORDIAL SUBYACENTE El armazón protector constituido por los derechos fundamentales ejerce de garante de la dignidad humana. Conceptualmente es, ante todo, una construcción filosófica. Identificada como un valor intrínseco de la persona, compuesto por un conjunto de notas que hacen de ella un ser único e irrepetible72. Atributo, tanto en su dimensión individual, como social, que opera como condición imprescindible para que el desarrollo de la personalidad tenga un significado jurídico-político acorde a la excepcionalidad de la persona; oriente y legitime a los poderes públicos en el ejercicio de las competencias que detentan; informe a todos los derechos fundamentales y sea su razón de ser dentro de un proceso de acomodación a los valores y necesidades sociales que van surgiendo y modificándose73. humanitaria. WAGNER, M., “The Dehumanization of International Humanitarian Law: Legal, Ethical, and Political Implications of Autonomous Weapons Systems”, cit., p. 1398. 72 PECES-BARBA MARTÍNEZ, G., La dignidad de la persona desde la Filosofía del Derecho, Madrid: Instituto de Derechos Humanos “Bartolomé de las Casas” de la Universidad Carlos III de Madrid-Dykinson, 2003, p. 68. 73 PECES-BARBA MARTÍNEZ, G., “De la función de los derechos fundamentales”, Peces-Barba Martínez, Gregorio, Derechos sociales y positivismo jurídico (Escritos de Filosofía Jurídica y Política), cit., pp. 132 y ss.; BLOCH, E., Derecho natural y dignidad humana, Madrid: Aguilar, 1980.

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

221

Con respecto al ámbito doctrinal, existen diversos posicionamientos acerca de la dignidad y sus aspectos, desde diferentes puntos de vista. GARRIDO GÓMEZ74 suscribe, que es el valor fundamental sobre el que se ensambla la dimensión moral de la persona y todos los derechos de la personalidad, por lo que es origen del reconocimiento de los derechos naturales del individuo, siendo extensible a todos los derechos humanos. Ha de entenderse como una función sistematizadora de los derechos fundamentales y como fruto de una elaboración colectiva de su contenido histórico, que atañe a las relaciones humanas y a la persona concebida como un sujeto de derecho y no como un mero objeto75. Representa el concepto aglutinante de la compleja realidad que se articula a través de la idea de “centralidad de la persona”. Para PEÑA FREIRE se trata de un concepto complejo, donde se dan cita el conjunto de valores que determinan la exigencia de que el sistema jurídico en su conjunto quede vinculado a la centralidad de la persona, garantizando, en todo momento, los valores e intereses expresados por los individuos personal y socialmente76. El factor relevante para la comprensión de la génesis de la dignidad reside en el conjunto de intereses y bienes, cuya preservación mueve a la persona al pacto político y constitucional. Intereses y bienes, expresivos de un posicionamiento del hombre como tal, frente al poder y al derecho, hacia los que dirige sus exigencias: valores que luego se proyectarán jurídicamente mediante el establecimiento de limitaciones al poder o mediante el señalamiento de obligaciones de actuar. Son, en su conjunto, los que integran la dignidad de la persona77. Dignidad humana que tiene, asimismo, una doble dimensión, que se expresa como autonomía de la persona y su autodeterminación y como necesidad de protección y asistencia por parte de la sociedad y el Estado78. En consecuencia, a nadie escapa el que la defensa de la dignidad deviene crucial a la hora de perfilar la evolución presente y futura de la IA y, de forma muy especial, en lo que a la evolución del armamento se refiere y sus opciones de autonomía y control. La búsqueda de su supeditación a la superioridad de la dignidad como garantía óptima de la protección de los derechos fundamentales. Asumir como premisa fundamental la dignidad de la persona consiste en destacar el valor y pretensión de exigencia de respeto intrínseco y simultáneamente social, el cual pertenece a cada ser humano por su condición humana79. Es factible sostener la primacía de la dignidad de la persona sobre los derechos fundamentales, ya que éstos tienen su fuente y fundamento en la primera, debiendo rechazarse la limitación o menoscabo de cualquier derecho que suponga un atentado contra GARRIDO GÓMEZ, M. I., Derechos fundamentales y Estado social y democrático de derecho, Madrid: Dilex, 2007. 75 GARRIDO GÓMEZ, M. I., Derechos fundamentales y Estado social y democrático de derecho, cit., pp. 145 y ss. 76 PEÑA FREIRE, A. M., “Legalidad y garantismo. Una lectura fulleriana de los principios del Derecho Penal liberal”, Derechos y Libertades, núm. 43, Época II, junio 2020, pp. 55-83. 77 PEÑA FREIRE, A. M., La garantía en el Estado constitucional de derecho, cit., p. 83. 78 ALEGRE MARTÍNEZ, M. A., La dignidad de la persona como fundamento del ordenamiento constitucional español, León: Universidad de León, 1996. 79 HÄBERLE, P., “A dignidade humana como fundamento da comunidade estatal”, Wolfgang Sarlet, I. (Org.). Dimensoes da dignidade, Porto Alegre: Ed. Livraria Do Advogado, 2005, p. 104. 74

222

Daniel Sansó-Rubert Pascual

ella, de tal forma que la dignidad de la persona constituye una barrera insuperable en el ejercicio de los derechos fundamentales. La dignidad del ser humano es el minimum invulnerable que todo ordenamiento y operador jurídico debe asegurar y garantizar, sin que nunca pueda legitimarse un menosprecio del ser humano como persona. La afirmación constitucional de la dignidad humana constituye un enunciado de eficacia directa y de aplicabilidad inmediata, teniendo un efecto anulatorio o invalidante de toda actividad o norma que contravenga o ignore dicha dignidad. El valor y principio jurídico de la dignidad humana genera un efecto de irradiación80, que se difunde sobre los otros principios e instituciones constitucionales. Como plantea HÄBERLE, la democracia es la “consecuencia organizativa de la dignidad del hombre81”; “la premisa cultural antropológica del Estado constitucional82”. La dignidad como causa profunda de la propia democracia83, entendida como un valor intangible que obliga a los poderes públicos a respetarla de una parte y de otra, a protegerla. Desde la óptica del Derecho Constitucional, la afirmación de la dignidad de la persona84 y de los derechos humanos como soporte del orden constitucional está presente en la mayoría de las Cartas Fundamentales85 y en la legislación internacional86. “Todos los seres humanos nacen libres e iguales en dignidad y derechos87”. Así, la dignidad de la persona, los derechos 80 FERNÁNDEZ SEGADO, F. (Coord.), Dignidad de la persona, derechos fundamentales, Justicia Constitucional, Madrid: Dykinson, 2008. 81 HÄBERLE, P., “A dignidade humana como fundamento da comunidade estatal”, cit., pp. 105 y ss. 82 HÄBERLE, P., El Estado Constitucional, cit., pp. 54 y ss. 83 Ibid., pp. 72 y ss. 84 KRETZMER, D. y E. KLEIN, (Eds.), The Concept of Human Dignity in Human Rights Discourse, La Haya: Kluwer Law International, 2002. 85 Igualmente, en el tercer considerando de la conocida como Convención de Roma se ha manifestado que “la finalidad del Consejo de Europa es realizar una unión más estrecha entre sus miembros, y que uno de los medios para alcanzar esta finalidad es la protección y el desarrollo de los derechos humanos y de las libertades fundamentales”, para inmediatamente después reafirmar (los Estados miembros del Consejo de Europa) “su profunda adhesión a estas libertades fundamentales, que constituyen las bases mismas de la justicia y de la paz en el mundo, y cuyo mantenimiento reposa esencialmente, de una parte, en un régimen político verdaderamente democrático, y, de otra, en una concepción y un respeto comunes de los derechos humanos que ellos invocan”. La interpretación ius fundamental en el marco de la persona como inicio y fin del Derecho. Convenio de Roma, de 4 de noviembre de 1950, para la Protección de los Derechos Humanos y de las Libertades Fundamentales. 86 El artículo 1° de la Declaración Universal de Derechos Humanos de Naciones Unidas, de 10 de diciembre de 1948, determina que todos los seres humanos nacen libres e iguales en dignidad y derechos. Dotados de razón y de conciencia, deben actuar unos con los otros en un espíritu de fraternidad. A su vez, el Pacto Internacional de Derechos Civiles y Políticos, de 19 de diciembre de 1966, en su preámbulo afirma que “el reconocimiento de la dignidad inherente a todos los miembros de la sociedad humana […] constituye el fundamento de la libertad, la justicia y la paz mundial, en el reconocimiento que esos derechos derivan de la dignidad inherente a los hombres”. Asimismo, la Convención de Naciones Unidas contra la Tortura, de 1984, se precisa en el preámbulo el “reconocimiento que esos derechos derivan de la dignidad inherente a los hombres”. En el mismo sentido se expresa la Convención sobre Derechos del Niño de 1989, la que explicita la “dignidad inherente a todos los miembros de la comunidad humana”. 87 Declaración Universal de los Derechos del Hombre (artículo 1).

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

223

inviolables que le son inherentes88, el libre desarrollo de la personalidad, el respeto a la ley y a los derechos de los demás son fundamento del orden político y de la paz social89. Se erige así la dignidad en un mínimo inalienable que, por imperativo constitucional se impone a todos los poderes, convirtiéndose así en límite aplicable al desarrollo armamentístico exigiendo los controles necesarios para su aseguramiento y defensa. Constitucionalmente, la dignidad humana determina deberes concretos de protección por parte de los órganos estatales para la salvaguarda de la dignidad de todos los seres humanos, habida cuenta de su carácter universal hacia el que igualmente aboga90; asegurándola a través de medidas positivas o prestacionales como, asimismo, a través de actividades promociónales que implican particularmente la remoción de los obstáculos que impiden su desarrollo, creando las condiciones que posibiliten su más pleno goce y ejercicio. Y en este sentido, no se puede obviar que no todos los avances tecnológicos son beneficiosos. Aunque materialmente viables, no tienen por qué ser ni necesarios, ni admisibles. Y las SAAL abren la puerta para un uso lesivo y descontrolado, exponiendo a la dignidad humana y los derechos en los que ésta se materializa a unos perjuicios más allá de lo racionalmente asumible. De ahí que, recalcando los planteamientos de PECES-BARBA, se incida en que la salvaguarda de la dignidad de las personas como objetivo prioritario del Derecho para la realización de la condición humana91, impele a la prohibición de los sistemas de armas letales de naturaleza ofensiva absolutamente autónomos. La dignidad humana entendida en el sentido de la tradición kantiana se pone en entredicho cuando se excluye al ser humano de la adopción de decisiones relativas al empleo de la fuerza letal92. En otras palabras, sólo 88 El Derecho Constitucional reafirma que determinados derechos no son negociables o no son discutibles y se consideran tan importantes para la convivencia social, que para su defensa se disponga la aplicación de la fuerza legítima para su respeto y realización. LÓPEZ CALERA, N. M., “Teoría crítica y derechos humanos”, cit., p. 20. 89 A modo de ejemplo, el artículo 10.1 de la Constitución de 1978. La Ley Fundamental de la República Federal Alemana, cuyo artículo 1, apartado 1, reza: “La dignidad del hombre es intangible. Respetarla y protegerla es obligación de todo poder estatal”. Para un resumen de las proclamaciones de la dignidad en los Textos Constitucionales de diversos Estados europeos (con un amplio espacio dedicado a la Constitución Española de 1978), consultar OEHLING DE LOS REYES, A., El concepto constitucional de dignidad de la persona: formas de comprensión y modelos predominantes de recepción en la Europa continental, Revista española de Derecho Constitucional, 91, 2011, pp. 156 y ss. Para una referencia a numerosos documentos normativos internacionales, consultar DI CIOMMO, M., Dignità umana e Stato costituzionale. La dignità umana nel costituzionalismo europeo, nella Costituzione italiana e nelle giurisprudenze europee, Brossura: Passigli, 2010, pp. 70 y ss. 90 SANTOLAYA, P. y M. REVENGA, Nacionalidad, extranjería y derecho de sufragio, Madrid: Centro de Estudios Políticos y Constitucionales, 2007; ALÁEZ, B., Nacionalidad, ciudadanía y democracia. ¿A quién pertenece la Constitución?, Madrid: Centro de Estudios Políticos y Constitucionales/Tribunal Constitucional, 2006. 91 PECES-BARBA MARTÍNEZ, G., “De la función de los derechos fundamentales”, cit., pp. 138 y ss. 92 HEYNS, C., “Autonomous weapons systems: living a dignified life and dying a dignified death”, Bhuta, N. et al. (eds.), Autonomous Weapons Systems, Cambridge: Cambridge University Press, 2016, pp. 10-11.

224

Daniel Sansó-Rubert Pascual

los seres humanos pueden adoptar la decisión de usar la fuerza contra otros seres humanos. Tales decisiones no deberían jamás reducirse a un algoritmo. Esto es contrario a los principios de dignidad humana y al derecho a la vida. Un robot, ni comprende, ni interioriza el respeto hacia el valor de la vida humana. Simplemente ejecutará la tarea para la que ha sido programado. De ahí la ilegitimidad que plantea el que un sistema de armas en virtud de su autonomía pudiera adoptar tal decisión. 5. CONCLUSIONES. MUCHOS INTERROGANTES Y POCAS RESPUESTAS. UN FUTURO PLAGADO DE INCERTIDUMBRES La principal conclusión de todo lo pergeñado en estas páginas es que, a pesar de todo lo avanzado, actualmente no existe un consenso normativo –ni siquiera conceptual– a nivel internacional en cuanto al desarrollo y límites del empleo de los sistemas de armas autónomas. Ni siquiera se ha alcanzado un consenso para el establecimiento de unos requisitos mínimos indispensables que garanticen la evolución futura del sector, que es a todas luces imparable, desde el respeto a los derechos humanos. Ante el carácter disruptivo de las armas autónomas, frente a ello, corresponde apelar al principio de protección de la dignidad humana, como límite insoslayable para el desarrollo, empleo e incluso prohibición de los sistemas de armamento ofensivo letal. El sistema de protección multinivel de los derechos fundamentales actúa como un auténtico orden de principios y valores de especial fuerza vinculante, tanto a niveles normativos nacionales e internacionales. Además, el principio de humanidad inherente a la salvaguarda de la dignidad humana choca directamente con la falta de emociones y capacidad para la compasión que caracteriza a las armas autónomas93. Por otra parte, se ha aducido que, para que una decisión sobre la supresión de la vida de un ser humano cumpla con este principio de humanidad es necesario que el propio razonamiento humano se encuentre involucrado. Esto es, que ineludiblemente debe existir un proceso deliberativo realizado por un ser humano. O de ser realizado por una máquina, que ésta esté sujeta a revisión humana y control antes de que implemente cualquier decisión que incorpore el uso de la fuerza letal94. El desiderátum es lograr la prohibición absoluta de los sistemas de armas letales ofensivos penamente autónomas en base al razonamiento constitucionalmente sólido de que la idea de cualquier sistema de armas que usa la fuerza más allá del control humano no es aceptable y que la responsabilidad de las decisiones de matar y destruir no pueden delegarse en las máquinas95, reconociendo la necesidad de que la clase y grado de control humano debe evaluarse y exigirse en aras de establecer límites a la autonomía de los sistemas de armas. 93 Human Rights Watchand International Human Rights Clinic (Harvard Law School): Losing Humanity. The Case against Killer Robots, cit., pp. 36, 38. 94 ASARO, P., “On Banning autonomous weapon systems: human rights, automation, and the dehumanization of lethal decision-making”, International Review of the Red Cross, vol. 94, 2012, pp. 700-702. 95 ADAMS, T. K., “Future Warfare and the Decline of Human Decisionmaking”, Parameters 31, núm. 4, invierno de 2001–2002, pp. 57-71.

INTELIGENCIA ARTIFICIAL, SISTEMAS DE ARMAS AUTÓNOMAS...

225

La clave reside en mantener un control humano significativo sobre el uso de la fuerza. Centrarse en el control de la conducta (“uso de la fuerza”), más que en la tecnología específica. La generalización de la obligación ayudaría a evitar cualquier tipo de lagunas, y el principio que representa podría servir de base para la interpretación de futuribles desarrollos normativos. Sin embargo, hay que asumir que la naturaleza humana es tozuda y que históricamente hemos destinado tiempo y esfuerzos en desarrollar tecnologías cada vez más eficientes en un ejercicio insano de perfeccionamiento de la práctica del homicidio. Por esta razón, en un ejercicio de realismo pragmático, parece más que conveniente optar por impulsar marcos jurídicos de carácter supranacional de conformidad con los valores comunes y los derechos fundamentales reconocidos a nivel internacional96, que limiten y racionalicen, en la medida de lo posible, su uso. Tampoco se trata de demonizar los avances de la IA. Ésta no deja de ser una relevante manifestación de progreso; pero, por otro lado, no se puede obviar que incorpora al futuro sombras y peligros, entre los cuales preocupa especialmente la banalización de la dignidad humana y los derechos fundamentales. El escenario que se avecina no parece conformarse precisamente en términos halagüeños. Pronóstico, por tanto, que reclama replanteamientos, alternativas y respuestas de variada índole –indiscutiblemente por supuesto también jurídicas–, en la búsqueda de un progreso que no avance en detrimento de la calidad de la democracia, ni deteriore la eficacia de los derechos. En definitiva, sin paz, estabilidad, derechos humanos y gobernabilidad efectiva basada en el Estado de derecho y en la seguridad democrática construidos en base al reconocimiento de la dignidad humana y el compromiso de garantía de los derechos fundamentales y las libertades públicas, no es posible alcanzar el desarrollo sostenible. Los Objetivos de Desarrollo Sostenible buscan reducir sustancialmente todas las formas de violencia y trabajan con los gobiernos y las comunidades para encontrar soluciones duraderas a los conflictos y a los episodios de inseguridad. El fortalecimiento del Estado de derecho y la promoción de los derechos humanos es fundamental en este proceso que demanda compromisos internacionalmente sumidos y consensuados, sobre la necesidad de alguna forma de control humano sobre el uso de la fuerza con independencia de la diversidad de puntos de vista específicos coexistentes que pudiesen diferir sobre el rol concreto del ser humano. A pesar de todo lo expresado y lo mucho que se ha avanzado en la senda del control de estas capacidades armamentísticas, siguen existiendo multitud de preguntas sin respuesta y el avance tecnológico no hace más que suscitar nuevos interrogantes al respeto. El futuro y la determinación del compromiso internacional con la dignidad humana y los derechos fundamentales determinarán hasta dónde estamos dispuestos a llegar.

96



FERRAJOLI, L., Por una Constitución de la Tierra. La Humanidad en la encrucijada, cit., pp. 74 y ss.

REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS.. DE LOS ROBOTS José Julio Fernández Rodríguez Catedrático de Derecho Constitucional Director del Centro de Estudios de Seguridad (CESEG) Universidad de Santiago de Compostela DOI: 10.14679/2065 “The development of full artificial intelligence could spell the ende of the human race” Stephen Hawking www.bbc.com/news/technology-30290540

1. INTRODUCCIÓN Estará de acuerdo la persona que lea este trabajo que las cuestiones relacionadas con los derechos deben ser objeto de atención constante para mantener su eficacia. Las elementos espaciales y temporales determinan diferentes aspectos de su regulación e interpretación, por lo que los académicos debemos tener presentes tales extremos en los análisis que efectuemos. Ello es de particular importancia cuando nos referimos a derechos que juegan un rol relevante en un sistema democrático, sea porque se trata de derechos fundamentales o humanos (ligados entonces a la dignidad de la persona) o, aun no siendo de semejante naturaleza, por razones de su amplia aplicación práctica en el devenir jurídico-social cotidiano. El progreso tecnológico de las últimas décadas ha incidido de manera especial en el predio de los derechos, tanto en sentido negativo como positivo, lo que es muestra del carácter ambivalente de la propia tecnología. Sobre tales extremos ya nos pronunciamos en distintas ocasiones, por lo que ahora no lo vamos a reiterar1, pese a que sea un elemento esclarecedor del sentido de la tecnología, también de la futura. 1 FERNÁNDEZ RODRÍGUEZ, J. J., Lo público y lo privado en Internet. Intimidad y libertad de expresión en la red, Ciudad de México: Universidad Nacional Autónoma de México, 2004. Accesible en:

228

José Julio Fernández Rodríguez

Lo que pretendemos en lo que sigue es reflexionar sobre uno de los temas abiertos que deberemos resolver en los próximos años: el referido a si es posible (y de serlo, si resulta aconsejable, oportuno o conveniente) atribuirles a los robots derechos, o sea, facultades subjetivas reconocidas jurídicamente para hacer algo. En este sentido, es importante no confundirse en cuál es nuestro objetivo. Nos referimos a derechos subjetivos, no al Derecho de los robots, o sea, no al conjunto de normas que deben regular las cuestiones que se refieren a los robots, que sería algo más amplio y que también englobaría lo anterior2. Un derecho subjetivo es la facultad que se concede a un sujeto para hacer, no hacer, impedir o exigir algo, para la satisfacción de sus intereses. Los derechos públicos subjetivos serán los que operan y se configuran frente al poder público. A su vez, los derechos fundamentales (o humanos) serían los derechos subjetivos que se conectan con la dignidad de la persona y que, por lo tanto, suelen recogerse en las constituciones. Después estarían un gran cúmulo de otros derechos meramente legales, que se localizan a lo largo de los distintos sectores del ordenamiento jurídico, y derechos que se crean en los negocios jurídicos, habilitados por el propio ordenamiento. En todo caso, la problemática a la que vamos a referirnos aún hay que reputarla incipiente, por lo que hemos añadido al título de este trabajo el adjetivo “provisionales” para mostrar de manera clara que todavía nuestra posición no está cerrada y que más adelante seguiremos ofreciendo reflexiones para esta cuestión, habida cuenta la trascendencia que estimamos que presenta. Con demasiada habitualidad el Derecho va por detrás de la tecnología. A veces se piensa que ello es inevitable y que no hay otra posibilidad. Por eso vemos de interés artículos jurídicos prospectivos, que miren críticamente ese horizonte tecnológico que todavía no ha llegado, lo que puede contrarrestar, aunque se mínimamente, esa situación de atraso de la ciencia jurídica con relación al desarrollo tecnológico. Este déficit lo vemos claro en el campo del Derecho Constitucional, menos en el Derecho Penal3, Tributario4, o Laboral5, más sensibles a estos cambios tecnológicos. Obviamente, también el Derecho Informático está más atento6. En la Filosofía y en la Ética https://biblio.juridicas.unam.mx/bjv/detalle-libro/1167-lo-publico-y-lo-privado-en-internet-intimidady-libertad-de-expresion-en-la-red 2 Como se ve, estamos escribiendo “derecho subjetivo” en minúscula y “Derecho” en sentido objetivo en mayúscula, porque creemos que en castellano es conveniente hacerlo así por razones semánticas y mostrar de tal forma esa relevante distinción. No obstante, desde la ortografía oficial se aconseja escribir ambas con minúscula, lo que aboca a la interpretación del contexto para saber a qué se estará refiriendo el autor de que se trate. En otros idiomas la situación puede cambiar. Así, en inglés, hay dos sustantivos: Law para referirse al Derecho objetivo y right para aludir al derecho subjetivo. En alemán, en cambio, tampoco hay diferencia, pero todos los sustantivos se escriben con mayúscula (Recht). 3 PALOMINIO MARTÍN, J. M., Derecho Penal y nuevas tecnologías, Valencia: Tirant lo Blanch, 2006. 4 SERRANO ANTÓN, F. (dir.), Fiscalidad e inteligencia artificial, Cizur Menor: Thomson Reuters – Aranzadi, 2020. 5 MONREAL BRINGSVAERD, E. y JURADO SEGOVIA, A., Derecho del Trabajo y nuevas tecnologías, Valencia: Tirant lo Blanch, 2020. 6 DAVARA RODRÍGUEZ, M. A. (coord.), Manual de Derecho Informático, 12ª ed, Cizur Menor: Aranzadi, 2020; SUÑÉ LLINÁS, E., Tratado de Derecho Informático, dos volúmenes, Madrid: Servicio de Publicaciones de la Universidad Complutense, 2002/2006.

REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS...

229

ya se encuentran formulaciones que anticipan el futuro. Como postulado de partida es imprescindible emplear una crítica constructiva que tenga en cuenta las distintas aristas presentes, lo que es cercano al realismo crítico a propósito de la tecnología que defiende GRAHAM para “encontrar un término medio entre el ludismo y la tecnolofilia7”. Una sugerente idea, sin duda. 2. UN PASO PREVIO: ¿A QUÉ ROBOTS NOS REFERIMOS? Aunque este trabajo está hecho desde la óptica jurídica constitucional, los temas de la ciencia jurídica cada vez necesitan más interdisciplinariedad, sobre todo en lo que respecta a los aspectos de la tecnología. En efecto, hay progresivamente una creciente conexión entre ambas esferas (por ejemplo, en la administración electrónica, en protección de datos, en los smarts constracts o en el voto electrónico). Así creemos necesario responder a la pregunta que formulamos en el presente epígrafe antes de continuar nuestro argumentario. Además, desde un punto de vista científico metodológico, también resulta habitual fijar los conceptos o elementos ligados a las categorías que se emplean o que se integran en ellas. La Real Academia Española define el sustantivo “robot”, en la acepción que ahora nos interesa, como “máquina o ingenio electrónico programable que es capaz de manipular objetos y realizar diversas operaciones8”. En el English Dictionary de Cambridge se define esta palabra como “a machine controlled by a computer that is used to perform jobs automatically9”. Y en https://revistaderobots.com/ se alude a “una entidad autómata o máquina automática compuesta por un sistema electromagnético y por mecánica artificial10”. Estas definiciones, lógicamente, aluden a las realidades actuales. En cambio, a nosotros nos interesa una probable realidad futura. En este sentido, en ciertas proyecciones que en la actualidad se realizan de la inteligencia artificial se sostiene que en el futuro seremos capaces de crear máquinas a las que les aplicaremos algoritmos de aprendizaje que a la postre les permitirán una toma de decisiones libre. Se tratará de robots inteligentes, con voluntad, capaces de pensar, tomar decisiones complejas y realizar difíciles tareas. Dichas máquinas podrán configurarse como robots humanoides o androides, o sea, con aspecto humano, lo que aumentará los elementos psicológicos y sociopolíticos de afinidad por parte de las personas. Serán sofisticados robots que buscan mostrarse hiperreales simulando expresiones y gestos de los seres humanos. Así se podrá hablar de empatía al reconocer los sentimientos y compartir las emociones. GRAHAM, G., Internet. Una indagación filosófica, Madrid: Cátedra, 2001, p. 26. https://dle.rae.es/robot https://dictionary.cambridge.org/us/dictionary/english/robot 10 https://revistaderobots.com/robots-y-robotica/que-es-un-robot-y-tipos-de-robots/ La palabra “robot” procede del sustantivo checo “robota” (“trabajo duro” o “trabajo pesado”), empleada por el dramaturgo Karel ČAPEK en 1920 en su obra R.U.R., acrónimo de Rossumovi univerzální roboti (Robots Universales Rossum). Se trata de una empresa que construye humanos artificiales para que ayuden en el trabajo de las personas, aunque surgen conflictos que derivan en una revolución de las máquinas que destruye la humanidad. 9 7 8

230

José Julio Fernández Rodríguez

En los últimos años se están realizando enormes inversiones en inteligencia artificial, sobre todo en Estados Unidos y China, que impulsan de manera relevante su avance y su aplicación a la robótica. Las redes neuronales de inteligencia artificial y los algoritmos entrenados mediante aprendizaje automático (Machine Learning) o aprendizaje profundo (Deep Learning) auguran nuevas etapas, que también requieren transitar por otras disciplinas, como la mecánica, la electrónica o la informática11. Este futuro lo determinará lo que se denomina inteligencia artificial fuerte, la que persigue alcanzar lo que hacen los seres humanos (duplicarlos), frente a la inteligencia artificial débil o estrecha, que se limita a unas tareas específicas12. Es cierto que en la actualidad no existen algoritmos universales que cubran todas las acciones y funciones, pero estamos presuponiendo un salto que generará un aprendizaje general para ciertas máquinas que les dará facultades creativas. Eso sí, no ocultamos nuestra reserva puesto que es un “gran desafío predecir cómo se desarrollarán en el futuro” las tecnologías de inteligencia artificial. De todos modos, es obvio que nos encontramos en la puerta de un cambio social y económico, ya irreversible, que determina una Cuarta Revolución Industrial13 y una segunda etapa de la Sociedad de la Información14. Por lo tanto, los robots a los que nos referimos hipotéticamente en este trabajo conjugan dos elementos: los propios de una avanzada inteligencia artificial que posibilitará la toma libre de decisiones (ergo, tienen voluntad); y un aspecto humano muy fidedigno, además de realizar tareas propias de las personas. O sea, aludimos a un tipo de robots inteligentes: androides o ginoides muy evolucionados, esto es, robots con apariencia humanoide y que imitan o realizan funciones del ser humano. Emularán, de esta forma, a la inteligencia humana. Quizá a estos efectos no será determinante si el cerebro de estos 11 El Machine Learning son métodos que dan a los ordenadores la capacidad de aprender, como el método bayesiano. A su vez, el Deep Learning es un subconjunto del Machine Learning referido “a una clase específica de modelos multicapa que usa capas de componentes estadísticamente simples para aprender representaciones de datos”. CABALLERO, M. A. y CILLEROS SERRANO, D., Ciberseguridad y transformación digital, Madrid: Anaya, 2019, p. 291. 12 Una diferencia establecida por John Searle en varios escritos desde principio de los 80 (como en SEARLE, J., “Minds, Brains and Programs”, Behavioral and Brain Sciences, núm. 3, 1980, pp. 417457, DOI: https://doi.org/10.1017/S0140525X00005756 y SEARLE, J., Mind, Language and Society, Nueva York: Basic Books, 1998), para lo que usó el célebre experimento de la habitación china. Roger PENROSE popularizó tal experimento, que trata de mostrar la diferencia entre reconocer la sintaxis y comprender la semántica: una persona que no sabe chino está encerrada en una habituación, donde hay una ranura donde le introducen textos en chino; dentro de la sala tienen reglas que le indican los caracteres chinos que debe escribir y enviar a la salida ante los caracteres chinos que previamente le han llegado por la ranura. Así se ejemplifica cómo una máquina realiza una acción sin entender lo que hace, opera con símbolos cuyo contenido no entiende. Un acercamiento jurídico en castellano a estas cuestiones en LACRUZ MANTENCÓN, un trabajo que consta en ROGEL VIDE, C. (coord.), Los robots y el Derecho, Madrid: Reus, 2018, 44 y ss. 13 SCHWAB, K., The Fourth Industrial Revolution, Londres: Portfolio Penguin, 2016; GARCÍA NOVOA, C. y SANTIAGO IGLESIAS, D. (coords.), 4ª Revolución Industrial: impacto de la automatización y la inteligencia artificial en la sociedad y la economía digital, Cizur Menor: Thomson Reuters – Aranzadi, 2018. 14 FERNÁNDEZ RODRÍGUEZ, J. J., Seguridad(es) en un futuro incierto (un estudio jurídico constitucional), Cizur Menor: Thomson Reuters – Aranzadi, 2020a, p. 61.

REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS...

231

robots es una mente, mutatis mutandis como la humana, o es un poderoso sistema de imitación de la generalidad de las funciones humanas. Es decir, quizá no sea esencial en nuestro argumentario que un robot ame realmente o imite tal sentimiento. De hecho, también sucede eso en las personas (¿alguien te ama verdaderamente o sólo lo simula, pero lo hace tan bien que no se percibe la diferencia?). Por lo tanto, lo que vemos determinante no es que la inteligencia electrónica sea o no como la humana, sino que, como ya hemos dejado claro, la presencia de una libre capacidad de decisión que permitiría el ejercicio real de las facultades propias de un derecho subjetivo. Podría pensarse que si tienen esa capacidad de decisión más que imitar “tan sólo” al ser humano tendrían una inteligencia artificial fuerte. De todos modos, no vemos decisivo tales aspectos en términos jurídicos, dando lugar a la situación antes indicada de cierta ambivalencia: la inteligencia artificial fuerte permitiría amar y/o imitar ese sentimiento sin que se perciba que es una imitación. Y eso es lo que vemos concluyente. Esta proyección que sugerimos es fácilmente comprensible para la opinión pública habida cuenta las múltiples creaciones literarias y fílmicas de ciencia ficción que recogieron máquinas de esos rasgos (quizá los replicantes de Black Runner sean los más conocidos), aunque ya hay robots humanoides famosos al margen de la ciencia ficción, como los robots Sophia o Ibuki. Incluso, se han generado consecuencias jurídicas: la robot Sophia es la primera ginoide con nacionalidad (saudita, desde 2017) y su trabajo artístico se vende por altos precios (una de sus obras se vendió en abril de 2021 por casi 690.000 dólares). Además, imparte conferencias e imita conductas sociales, como declarar que quiere formar una familia y tener un bebé-robot. En todo caso, esta ginoide aún actúa por la programación de su sistema, no por una libertad que todavía no se ha logrado en máquinas. En fin, en nuestra opinión, a falta alguno de los dos elementos comentados ya quedaría descartada la discusión acerca de la posibilidad de atribuirles derechos. En este sentido, quedan fuera de nuestro planteamiento aplicaciones inteligentes que son mero software sin proyectarse en un soporte físico humanoide (como los chatbots), o que sí tienen un soporte físico determinado, pero no semejante a un ser humano (como los robots industriales). La conocida Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho Civil sobre robótica15, asume una visión prospectiva que creo que debemos citar en este momento. Así, en su punto 59 f) se pide a la Comisión “crear a largo plazo una personalidad jurídica específica para los robots de forma que como mínimo los robots autónomos más complejos puedan ser considerados personas electrónicas responsables de reparar los daños que puedan causar, y posiblemente aplicar la personalidad electrónica aquellos supuestos en los que los robots tomen decisiones autómatas autónomas inteligentes o interactúen con terceros de forma independiente”. En este texto, en el punto 1, se recogen las que podrían ser las características de todo robot inteligente, a saber: capacidad de adquirir autonomía mediante sensores y/o mediante el intercambio de datos con su entorno (interconectividad) y el intercambio y análisis de dichos datos; capacidad de autoaprendizaje a partir de la ex15



Disponible en: https://www.europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html

232

José Julio Fernández Rodríguez

periencia y la interacción (criterio facultativo); un soporte físico mínimo; capacidad de adaptar su comportamiento y acciones al entorno; e inexistencia de vida en sentido biológico. En el punto B de la introducción de dicha Resolución se asevera que “la humanidad se encuentra a las puertas de una era en la que los robots, androides y otras formas de inteligencia artificial cada vez más sofisticadas parecen dispuestas a desencadenar una nueva revolución industrial”. De este modo, estos robots inteligentes ocupan un papel clave en la ya denominada cuarta revolución industrial, asentada en la automatización y conectividad. Ortega ha hablado de la imparable marcha de los robots16 y en la prensa de “robot-lución17” para evidenciar su protagonismo en esta nueva transformación. Así se sostiene que “la rápida e imparable transición tecnológica exige un nuevo contrato social18”. En todo caso, habrá que ser cauteloso para no incrementar los perjuicios a la privacidad o las desigualdades sociales, verdaderas amenazas en este proceso. De lo que se trata es de ponderar riesgos y beneficios sin obstaculizar la innovación, o, más bien, encauzándola de forma adecuada. Como se lee también en la citada Resolución del Parlamento Europeo de 2017, “la evolución en la robótica y en la inteligencia artificial puede y debe concebirse de modo que preserve la dignidad, la autonomía y la autodeterminación del individuo” (punto O de la introducción). Para nosotros resulta evidente que el progreso, por muy interesante y avanzado que sea, no puede menoscabar los valores constitucionales que basan nuestras sociedades y las identifican. 3. UN RECORDATORIO: LA LIBERTAD COMO LA BASE QUE PERMITE EL EJERCICIO DE LOS DERECHOS La conformación que hemos recibido de los derechos se basa en la idea de libertad, que es la que permite ser ejercitados por sus titulares. La forma de ver esta cuestión con mayor claridad se produce con relación a los derechos fundamentales, pero también puede arrojar luz en la conformación de otros derechos. Parémonos un momento en los derechos fundamentales o humanos, que, como hemos dicho, se derivan de la dignidad de la persona. Esta dignidad, importada de la teología cristiana19, funciona como referente para la construcción de la categoría de derecho fundamental en la medida en que se liga a la libertad. De esta forma, la libertad se convierte en elemento característico del ser humano y de su cualidad, la dignidad, que aprovechan los juristas para la construcción dogmática de los derechos fundamentales. ORTEGA, L., La imparable marcha de los robots, Madrid: Alianza, 2016. ORTEGA, L., “Robot-lución: el gran reto de gobernar y convivir con las máquinas”, diario El País, 2019, 24 de agosto. Accesible en: https://elpais.com/elpais/2019/08/23/ideas/1566551575_254488.html 18 Ibid. 19 Desde ese punto de vista teológico, se considera que el ser humano está hecho a imagen y a semejanza de Dios, lo que significa en que es libre (por ejemplo, para escoger entre el bien y el mal, como ocurre en el pasaje bíblico de Adán y Eva y la manzana). Dios es libre, el ser humano también lo es al estar creado a su imagen y semejanza. Estas ideas, como se comprenderá fácilmente, fueron de sumo interés para los juristas. 16 17

REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS...

233

Por lo tanto, para construir los derechos “tradicionales” se hizo un esfuerzo dogmático en aras de la protección de la libertad y la igualdad de las personas. En ello se exigen dos elementos: uno subjetivo, la voluntad de ejercicio; y otro objetivo, el interés que protege el derecho de que se trate. El primer punto es el que se llamó poder de voluntad20; el segundo asentado por IHERING al afirmar que “los derechos son intereses jurídicamente protegidos21”. Las posiciones eclécticas aunaron ambos elementos y son las que a la postre se impusieron, como la de JELLINEK22. Es cierto que existieron posturas que negaron la procedencia de derechos subjetivos: DUGUIT afirmada que no hay otro derecho que el objetivo, que es al que están sometidos todos los individuos23. Pero son tesis superadas, por lo que nos situamos con DABIN cuando se refiere a que la noción de derecho subjetivo resulta “indispensable” y que traduce la realidad de que los hombres son “seres individuales24”. De esta forma, como decimos en el apartado siguiente, si se logran robots con una verdadera libertad, entonces podrían cumplir esta exigencia inicial para la titularidad de derechos. Esta libertad presupone voluntad para tomar las decisiones en un sentido u otro. La libertad podría atribuirse a este tipo de máquinas, aunque la noción de dignidad no, pues ha sido una cualidad que sólo tiene sentido respecto a seres humanos. Si buceamos en sus antecedentes teológicos lo dicho es todavía más evidente. De todos modos, creemos que la idea de libertad por sí sola, aplicada a cierto tipo de androides o ginoides, es suficiente para el planteamiento que estamos siguiendo, aunque descartemos la procedencia de la dignidad para tales máquinas. El hecho de ser androides o ginoides daría a estos robots una autonomía que ayuda al ejercicio de su hipotética libertad. El cuerpo le permitiría no depender de otros. La ausencia de este cuerpo (mero software, por ejemplo) ya nos alejaría de nuestros presupuestos al desaparecer el aspecto homínido. Una ulterior cuestión es la de la conciencia, entendida como el verdadero conocimiento del significado de lo que se está haciendo. Si se alcanzan robots con verdadera capacidad de decisión, que es la proyección hipotética que estamos empleando, entonces tendrían esa conciencia que permite interpretar el sentido de sus acciones y no actuar mecánicamente como si fuera uno de los programas informáticos tradicionales. La inteligencia artificial fuerte, al construir una mente als ob (como si) fuera humana, permitiría ese salto, aunque no sea realmente humana (el cerebro humano tiene un funcionamiento electroquímico, el del robot eléctrico). Así ese robot del futuro asumiría la idea del “yo”, consciente de sí mismo, y tomaría decisiones no por reflejo o instinto sino de forma argumentada o previsora. Es más, como se lee en la Resolución citada del Parlamento europeo de 2017, “existe la posibilidad de que a largo plazo la inteligencia artificial llegue a superar la capacidad intelectual humana” (punto P). Sin embargo, nos estamos moviendo por un suelo arenoso pues como apunta LACRUZ MANTECÓN, no sabemos (y nosotros añadimos “hoy en WINDSCHEID, B., Lehrbuch der Pandektenrechts, tomo I, 8ª ed., Fráncfort, 1900, p. 130. IHERING, R. von, Geist des römischen Rechts auf den verschiedenen Stufen seiner Entwicklung, tomo IV, 1865, p. 328. 22 JELLINEK, G., System der subjektiven öffentlichen Rechte, 2ª ed., Tubinga: C. H. B. Mohr, 1905. 23 DUGUIT, L., Traité de droit constitutionnel, 3ª ed., París, 1927. 24 DABIN, J., El derecho subjetivo, Granada: Comares, 2006, p. 62. 20 21

234

José Julio Fernández Rodríguez

día”) cómo diferenciar “una actividad genuinamente humana de otra que simplemente la imite de manera tan perfecta que sea indistinguible25”. 4. LA LIBERTAD DE LOS ROBOTS ¿SUFICIENTE? Ya hemos dicho supra que los avances en inteligencia artificial podrían dar lugar a robots con verdadera capacidad de elección, lo que en términos jurídicos lo podemos catalogar como robots con libertad. Se trata de una cuestión esencial para poder aplicar la lógica jurídica clásica que estamos siguiendo. Mientras no se llegue a ese nivel de desarrollo de los robots, y la máquina sea mera ejecutora de una programación, no podemos plantear la atribución de derechos. Cuando el robot adquiera esa libertad que determina verdadera capacidad de elección y voluntad, entonces ya estamos en disposición teórica de hacerlo titular de derechos26. La libertad permite abstractamente ostentar capacidad jurídica y, por ende, la titularidad de un derecho, al menos en su vertiente subjetiva. ¿Sería suficiente esta libertad para realizar la atribución de derechos si el legislador lo considera oportuno? O, incluso, ¿con esta libertad es necesario que le concedamos derechos a los robots? Es decir, ¿la posibilidad se convierte en necesidad por la libertad que asumen? Creemos que no, puesto que hay que tener presente otro elemento. Como señalamos, además de este aspecto subjetivo en la conformación de un derecho se exige también un elemento objetivo (la causa justa que está detrás del interés que se protege). El primer elemento (libertad subjetiva) se cumpliría, pero este último podría ser mala s dudoso. Quizá habría que actuar casuísticamente para determinar en cada caso la concurrencia o no del elemento objetivo del derecho que se está analizando, el interés que debería protegerse. Aunque también podría argüirse una razón genérica que operaría en este sentido, consistente en la necesidad de proteger a unas máquinas que podrían incurrir en responsabilidad en la adopción de sus decisiones. También se puede prescindir de esta construcción dogmática y aceptar simplemente una posición positivista y formalista: hay derechos si el ordenamiento jurídico los reconoce, sin ulteriores exigencias, por motivos, por ejemplo, de oportunidad o conveniencia política. El legislador democrático aplica la lógica de la mayoría e impone una reforma normativa en ese sentido, tratando, claro, de que dicha reforma no salga del marco constitucional para evitar un ulterior problema que vendría con un hipotético control de constitucionalidad. Si se reconoce la personalidad de los robots, es decir, si se acepta su estatus de persona, ello supondría reconocerles derechos. Adquieren capacidad jurídica para dicha titularidad con el reconocimiento positivo de dicha personalidad.

ROGEL VIDE, C. (coord.), Los robots y el Derecho, Madrid: Reus, 2018, p. 68. FERNÁNDEZ RODRÍGUEZ, J. J., “Derechos y progreso tecnológico: pasado, presente y futuro”, en Engelmann, W. (coord.), Sistema do direito, novas tecnologias, globalização e o constitucionalismo contemporãneo: desafios e perspectivas, 2020b, pp. 259-277. Accesible en: http://www.casaleiria.com.br/ acervo/direito/sistemadodireito/index.html 25 26

REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS...

235

De todos modos, no creemos oportuno aceptar si más esta posición meramente positivista porque puede llevar a una banalización de los derechos, cuya consecución, como es sabido, ha necesitado grandes esfuerzos y sacrificios. Es cierto que los poderes públicos a veces han profesado un mero positivismo para prever algunos derechos subjetivos siguiendo dictados de su estrategia político-partidista. Puede ser, sin duda, legítimo y es claramente legal, pero no lo reputamos conveniente. De una forma u otra, atribuir derechos a los robots sería un acontecimiento jurídico de primer orden, pasarían de ser objeto de derechos (como propiedad de alguien) a sujetos de derechos. Ni más ni menos. 5. ASPECTOS SOCIOLÓGICO-EMOCIONALES En los temas jurídicos es habitual acudir a elementos de otra naturaleza para buscar apoyo en la argumentación que se sigue, para visualizar problemas o para articular oportunidades en la aplicación práctica de categorías jurídicas. En lo que ahora analizamos el siguiente paso que damos se sitúa en el plano sociológico. Es, sin duda, de gran relevancia en nuestro hilo argumental pues aporta un elemento pragmático y realista en un tema tan lábil. Al margen de las razones jurídicas que se pueden esgrimir a favor o en contra de los derechos de los robots, las cuestiones sociológicas y emocionales serán claves en el futuro cuando ese debate se sitúe con posibilidades en la mesa de la opinión pública. ¿Estaremos dispuestos a ello efectivamente? ¿estaremos de acuerdo como sociedad en atribuir los derechos subjetivos a los robots, capacidad jurídica y personalidad? La precisa respuesta a este tipo de preguntas parece difícil darla ahora, en 2022, pero no cabe duda de que habrá un elemento cultural-emocional en todo ello. Si los robots tienen aspecto humano, incluso puede llegar a pensarse que se trata de una persona (como en los múltiples ejemplos que tenemos en el cine y la literatura que “engañan” por su aspecto y comportamiento), y conviven con nosotros, nos acompañan en nuestra vida cotidiana, entonces es obvio que surgirán vínculos afectivos entre humanos y esas máquinas con apariencia de persona. Los vínculos emocionales incluso serán más intensos que con las mascotas animales (lo que por cierto está detrás de las personas que defienden los derechos de los animales). Esto será un poderoso argumento cultural y social en favor de atribuirles derechos a los androides o ginoides del futuro. De esta forma, aparecerán grupos de presión a favor de los derechos de esos robots, que tratarán de influir en los decisores públicos para que legislen de forma que garanticen la posición de sus androides. Por lo tanto, y como ya hemos dicho, en el supuesto de robots sin ese aspecto humano (como es lo habitual en la amplia gama de robots industriales) rechazamos de plano la atribución de derechos, aunque sí será necesario regular otros extremos, como los tributarios. Si el lector busca fotos de unos y de otros tipos de robots comprenderá fácilmente lo que estamos comentando desde esta peculiar perspectiva. De todos modos, también existen opiniones que subrayan elementos negativos de esta dimensión socioemocional, a los que se adquiere LACRUZ MANTECÓN27. Así, se dice 27



ROGEL VIDE, C. (coord.), Los robots y el Derecho, cit., p. 32.

236

José Julio Fernández Rodríguez

que la creación de robots inteligentes “supondrá riesgos sociales como el que la gente no sea capaz de diferenciar entre la realidad y la ficción, entre lo natural y lo artificial28”. También podríamos aludir al efecto del “valle inquietante” (uncanny valley), según el cual la respuesta de una persona ante un ser artificial, en principio, es positiva y empática ante réplicas antropomórficas, pero si resultan excesivamente realistas, o sea, con una similitud excesiva con el ser humano, generan repulsión. El “valle” o bache es el que se refleja con la curva de tal evolución. Esta similitud excesiva inquieta por el miedo a que nos remplacen o por la aparición del sentimiento de miedo a la muerte29. A pesar de este aspecto negativo del tema emocional, entendemos que los lazos que comentábamos antes serán más relevantes, inevitables y, también. imprescindibles. En efecto, opinamos que, para avanzar en la normativa que los regule, será preciso una peculiar percepción social e individual de los humanoides, con valoraciones positivas de su existencia y funciones. Así se construirá cierta imagen de estos futuros robots inteligentes, lo que seguramente traerá normas específicas que se les aplicarán, que es a lo que nos referirnos en el apartado siguiente. Esta dimensión que tildamos de sociológica y emocional también presenta un elemento cultural que seguramente influya. No cabe duda de que existen sociedades más sensibles a los robots, como en Japón donde el manga, desde hace décadas, ofrece estas máquinas habitualmente en sentido positivo (lo sabemos: Mazinger Z). Y también, como apunta ORTEGA, la tradición del sintoísmo ayuda a esta percepción en el país asiático, que atribuye características anímicas a cosas30. ROBERTSON ha profundizado en ello para dibujar un escenario cultural claramente diferente al nuestro31. Sin duda, una cosmovisión que atribuya roles a objetos o a seres que no son personas, será un sustrato cultural receptivo a la atribución de derechos a los robots inteligentes. 6. RÉGIMEN JURÍDICO ESPECÍFICO Las alternativas jurídicas son de momento varias. Lo que está claro es que habrá que regular los distintos extremos que implican los robots del futuro. El sistema jurídico tiene como finalidad regular la vida en sociedad, y esas máquinas incidirán de forma relevante en ella, por lo que la regulación es inevitable. Es a lo que nos referíamos en el apartado introductorio como Derecho de los robots, una parcela del ordenamiento jurídico que regula las cuestiones que afectan a tales máquinas. Actualmente resulta imperioso detallar ciertos aspectos, aunque otros se especificarán con la evolución de los androides o ginoides. Desde el punto de vista de los estándares técnicos, la Organización Internacional de 28 SANTOS GONZÁLEZ, M. J., “Regulación legal de la robótica y la inteligencia artificial: retos del futuro”, Revista Jurídica de la Universidad de León, núm. 4, 2017, pp. 25-50. 29 MORI, M., “The Uncanny Valley”, en inglés en IEEE Spectrum, 1970, 12 de junio de 2012. Accesible en: https://spectrum.ieee.org/the-uncanny-valley 30 ORTEGA, L., La imparable marcha de los robots, cit., p. 38. 31 ROBERTSON, J., “Robo Sapiens Japanicus: Humanoid Robots and the Posthuman Family”, Critical Asian Studies, vol. 39-3, 2007, pp. 396-398. Accesible en: https://www.tandfonline.com/doi/ abs/10.1080/14672710701527378

REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS...

237

Normalización (ISO) ya ha aprobado estándares de calidad en la robótica, excluyendo juguetes y aplicaciones militares, por medio del estándar ISO TC 29932. También habría que fijar principios generales que abarquen su comportamiento. En este sentido siguen siendo útiles las literarias “tres leyes de la robótica” pergeñadas por Isaac Asimov en su cuento de 1942 Runaround, y que aparecen también después en varias colecciones, como la muy conocida I, robot, de 195033. Igualmente asumen un creciente rol los criterios éticos para la inteligencia artificial, que impulsa sobre todo la Unión Europea, y que deberían seguir los programadores y diseñadores (se citan los principios de beneficencia, no maleficencia, autonomía y justicia, además de la dignidad humana, la igualdad, la justicia y la equidad, la no discriminación, el consentimiento informado, la vida privada y familiar y la protección de datos, la no estigmatización, la transparencia, la autonomía, la responsabilidad individual y la responsabilidad social). Así el punto 11 de la citada Resolución del Parlamento Europeo de 16 de febrero de 2017 estima que es preciso “un marco ético claro, estricto y eficiente que oriente el desarrollo, diseño, producción, uso y modificación de los robots”; y propone, en el anexo de esa Resolución, “un marco en forma de carta integrada por un código de conducta para los ingenieros en robótica, un código deontológico destinado a los comités de ética de la investigación para la revisión de los protocolos de robótica, y licencias tipo para los diseñadores y los usuarios”. Pero el elemento que estamos aquí analizando es algo más específico, el relativo a la atribución, o no, de derechos subjetivos a los robots. Aplicando dosis de realismo a nuestro planteamiento prospectivo, quizá lo que suceda en el futuro, más que atribución aislada de un amplio (o no) elenco de derechos a los robots, lo que se producirá es la creación de un estatuto jurídico de los robots de las características que comentamos. De este modo, habrá distintos estatutos jurídicos: de las personas (“humanas”), de los robots (donde quizá se diferencien los androides del resto), de otros seres vivos (en el que también se podría diferenciar entre animales34 y plantas por la distinta significación de ambos), y de las cosas. Ello atribuiría una personalidad jurídica específica para estos robots, en la línea de la resolución de 2017 ya citada del Parlamento de la Unión Europea. 32 La web de este comité técnico es https://www.iso.org/committee/5915511.html. Ahí se dice que esa norma técnica tiene el objetivo de desarrollar estándares de calidad para la seguridad de los robots industriales y los robots de servicio, y para permitir la introducción de productos robóticos e innovadores en el mercado. Además, existe el objetivo de incrementar el crecimiento del mercado robótico mediante la introducción de estándares en campos como la terminología, la medición del rendimiento y la modularidad. Se dan orientaciones a personas de todo el mundo sobre cómo implementar robots de la mejor manera posible, lo que agrega valor a las inversiones del robot al proporcionar mejores prácticas claras sobre cómo garantizar instalaciones seguras y adecuadas, así como proporcionar interfaces estandarizadas y criterios de rendimiento. 33 1. Un robot no debe dañar a un ser humano o, por inacción, dejar que un ser humano sufra daño; 2. Un robot debe de obedecer las órdenes que le son dadas por un ser humano, excepto cuando estas órdenes se oponen a la primera ley; 3. Un robot debe proteger su propia existencia, hasta donde esta protección no entre en conflicto con la primera y segunda leyes. 34 Los animales no tienen libertad, actúan por instinto, por lo que carecen también de voluntad. Conscientes de sí mismos son la minoría, como simios superiores.

238

José Julio Fernández Rodríguez

Este hipotético estatuto jurídico también entrañaría dotarlos de ciertas facultades propias de los derechos subjetivos, además de fijar el interés que se protegería. Y ello no sólo por los argumentos anteriores sino también por el tema de la responsabilidad: si estos robots van a ser responsables de los actos que realicen (producto de su libertad de elección) y se les podría sancionar, entonces deben tener la posibilidad de defenderse. En esta línea la susodicha resolución el Parlamento europeo de 2017 estima que “los robots avanzados deberían estar equipados con una «caja negra» que registre los datos de todas las operaciones efectuadas por la máquina, incluidos, en su caso, los pasos lógicos que han conducido a la formulación de sus decisiones” (punto 12). Seguro que la motivación principal de esta idea ética es mantener una transparencia que permita concretamente exigir responsabilidades. La categoría jurídica de la responsabilidad es una de las más afectadas por el progreso tecnológico y más necesitadas de reconfiguración. Asevera CASSANO que en los países avanzados (“paesi progrediti”), el principio de responsabilidad “è chiamato a svolgere un ruolo centrale per la sopravvivenza stessa del diritto ed il perseguimento di un sempre più amplio benessere collettivo35”. EVERS sostiene con razón que “puesto que el comportamiento de la máquina se determina cada vez menos desde una programación fijada de antemano y depende cada vez más de su interacción con el entorno, y el entorno respectivo a su vez genera procesos de aprendizaje y nuevas formas de comportamiento del sistema, surgen zonas ampliadas de acción de las máquinas que ya no pueden ser reducidas a determinadas cadenas de acciones36”. En este sentido existen propuestas específicas para que respondan los robots37. Se dice que el reconocimiento de una capacidad jurídica parcial para articular la responsabilidad es necesario para “establecer una imputación diferenciada de derechos y obligaciones a los agentes autónomos y para delimitar esferas de responsabilidad jurídica de uno y otro”. Así “la protección jurídica de la persona mecánica se construiría mediante una representación procesal, pudiendo ser solucionadas las cuestiones de responsabilidad a través de un fondo o un sistema de seguro obligatorio38”. Esto generaría la necesidad de que los robots estén claramente identificados y que exista un registro de inscripción obligatoria39. Vemos oportuno dotar a estos robots del futuro de una personalidad electrónica propia, obviamente diferente a las personas. Sería algo intermedio entre las personas y las CASSANO, G., Diritto dell’Internet. Il sistema di tutele della persona, Milán: Giuffrè, 2005, p. 238. EVERS, M., “La utilización de agentes electrónicos inteligentes en el tráfico jurídico: ¿Necesitamos reglas especiales en el Derecho de la responsabilidad civil?”, InDret. Revista para el análisis del Derecho, 2016, p. 9. Accesible en: https://indret.com/la-utilizacion-de-agentes-electronicosinteligentes-en-el-trafico-juridico-necesitamos-reglas-especiales-en-el-derecho-de-la-responsabilidadcivil/?edicion=3.16 37 KOOPS, B-J.; HILDEBRANDT, M. y JAQUET-CHIFFELLE, D. O., “Bridging the Accountability Gap: Rights for New Entities in the Information Society?”, Minnesota Journal of Law, Science & Technology, vol. 11:2, 2010, pp. 497-561. 38 EVERS, M., “La utilización de agentes electrónicos inteligentes en el tráfico jurídico: ¿Necesitamos reglas especiales en el Derecho de la responsabilidad civil?”, cit., p. 16. 39 Hay autores que esta idea de la personalidad electrónica no la ven convincente por lo que “el planteamiento de la futura casi plena autonomía de los robots que lleva a entenderlo como una necesidad, más bien hace pensar otra cosa, que la necesidad prioritaria es no crear unos robots con tan elevado nivel de imprevisibilidad y que puedan quedar fuera del control humano”, DÍAZ ALABART en ROGEL VIDE, C. (coord.), Los robots y el Derecho, cit., p. 111. 35

36

REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS...

239

cosas. Pero referirnos a “personas electrónicas”, “personas robóticas” o “personas artificiales”, frente a las “personas humanas”, quizá no sea la opción más acertada por llevar a equívocos entre lo artificial y lo biológico y menguar la posición de los seres humanos. BARRIO ANDRÉS también aconseja equiparlos con una personalidad electrónica independiente habida cuenta que los robots inteligentes son una nueva categoría ontológica distinta de los objetos40. Esa personalidad de los robots determinaría la titularidad de derechos y su capacidad jurídica, aunque tal vez limitada. En todo caso, habrá que desarrollar una inteligencia artificial adecuada para la calidad del sistema democrático y que permita a los robots aprender y emular correctamente. Me refiero a que no deben reproducir los sesgos del pasado en su proceso de toma de decisiones y en el ejercicio de sus hipotéticos derechos. Esta es una dificultad ya conocida, porque tenemos ejemplos criticables de algoritmos que reproducen sesgos cognitivos discriminatorios (a veces en términos étnicos o machistas), los sesgos de sus programadores, por ejemplo. A esto alude LLANEZA al afirmar que “los conjuntos de entrenamiento para el sistema de guía pretenden llegar a la naturaleza refinada de la vida cotidiana, pero repiten los patrones sociales más estereotipos estereotípicos y restringidos, reescribiendo una visión normativa del pasado humano en proyectándolo en el futuro humano41”. Estos sistemas de aprendizaje automático se llenan de errores, lo que compromete su propio desarrollo y el futuro del estatuto jurídico de las máquinas inteligentes. Esto puede afectar a las capacidades de este estatuto para cumplir su función de disciplinar la realidad social y los conflictos que en ella se produzcan. Los perfilados en modo alguno pueden afectar a la igualdad de oportunidades. Por eso se han sugerido “auditorías algorítmicas” de sistemas que afecten al público, a lo que se oponen las empresas por razones de protección de su propiedad industrial42. Es preciso, como apunta COTINO, una ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables43. En esta línea se quiere situar la propuesta de Reglamento de la Unión Europea por el que se establecen normas armonizadas sobre inteligencia artificial, conocida en abril de 202144. Los problemas subsiguientes serán incluso más delicados. Si le damos ciertas parcelas de autonomía a los robots del futuro, entonces la propiedad sobre ellos despertaría dudas. Incluso, desde el argumento de su probable futura libertad, se podrían esgrimir argumen BARRIO ANDRÉS, M., “Hacia una personalidad electrónica para los robots”, Revista de Derecho Privado, núm. 2, 2018, pp. 88-107. 41 LLANEZA, P., Datanomics, Barcelona: Deusto, 2019, p. 129. 42 O’NEIL, C., Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Nueva York: Random House, 2016. 43 COTINO HUESO, L., “Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables y su utilidad desde el Derecho”, Revista catalana de dret públic, núm. 58, 2019, pp. 29-48. Accesible en: http://revistes.eapc.gencat.cat/index.php/rcdp/article/view/10.2436-rcdp.i58.2019.3303/n58-cotino-es.pdf 44 COTINO HUESO, L., “Propuesta de Reglamento de la Unión Europea por el que se establecen normas armonizadas sobre inteligencia artificial”, Diario La Ley, 2 de julio de 2021. Accesible en: https:// diariolaley.laleynext.es/Content/Documento.aspx?params=H4sIAAAAAAAEAMtMSbF1CTEAAmMjS0NTS7Wy1KLizPw8WyMDI0MDM2MDtbz8lNQQF2fb0ryU1LTMvNQUkJLMtEqX_OSQyoJU27TEnOJUtdSk_PxsFJPiYSYAAG0FMtpjAAAAWKE; Información sobre estas cuestiones de la Unión Europea se puede ver en https://ec.europa.eu/commission/presscorner/detail/es/ip_21_1682 40

240

José Julio Fernández Rodríguez

tos en contra de su “esclavitud”, con lo que entraríamos en un callejón de difícil salida con los esquemas en los que nos movemos actualmente. ¿No podrá haber propiedad sobre ellos? 7. A FAVOR Y EN CONTRA También puede ser útil en nuestra exposición detenernos, aunque con cierta brevedad para no extendernos demasiado, en los pros y contras de la atribución de derechos a los robots, en parte con base en lo que hemos reflexionado en los apartados previos. Esta ponderación entre pros y contras puede ser un relevante aspecto que el legislador del futuro tendrá en cuenta a la hora de tomar decisiones sobre el particular, sobre todo si se adopta la óptica positivista que antes comentábamos, y que no compartíamos por cierto por sí sola. Los elementos favorables al reconocimiento de derechos de los robots, que ya hemos esgrimido en varias intervenciones orales sobre estos temas en distintos foros, podrían ser los siguientes: •

• •

• •

•

Dar una respuesta jurídica precisa a los futuros robots humanoides con capacidad de decisión propia, o sea, con libertad y voluntad. Sería una exigencia derivada de la dogmática jurídica. Satisfacer los deseos de un amplio número de personas que establecerán vínculos anímicos y emocionales con tales robots. Mejor cumplimiento de las tareas asignadas, tanto en sentido cuantitativo como cualitativo. Una normativa que garantiza la posición de los robots, con derechos, también protege el cumplimiento de sus funciones y tareas. La inevitable futura existencia de un régimen jurídico propio para los robots otorgará un encuadre jurídico para que también contemple derechos. La extensión de los derechos subjetivos no sólo a personas físicas. Colectivos o personas jurídicas son titulares de derechos, por lo que ya a día de hoy no existe una barrera jurídica que impide dar un salto más allá de las susodichas personas físicas. La regulación de los transhumanos y de las ciberpersonas quizá necesite también dotar de derechos a ciertos robots. Va a ser difícil fijar la frontera entre la persona física y la máquina ¿qué elementos biológicos necesita mantener el transhumano para seguir siendo persona? Como habrá una frontera a lo mejor dudosa, es positivo que los robots a los que nos referimos tengan derechos por si es conveniente cubrir desde ahí la posición de algún transhumano.

A su vez, como elementos contrarios a la atribución de derechos exponemos, también esquemáticamente, los siguientes: •

Potencia los elementos negativos que genéricamente se pueden conectar a los robots, como la destrucción de empleo en actividades susceptibles de ser automatizadas.

REFLEXIONES (PROVISIONALES) SOBRE LOS DERECHOS... • • •

•

•

•

•

241

Las empresas y otras entidades pueden intentar evadir su responsabilidad a través de robots que tienen relación con ellas. Se reduciría la autonomía de las personas físicas. Dudas sobre la fiabilidad de la emulación del ser humano por parte de robots y/o dudas de que la máquina dé genuinas respuestas humanas. O sea, dudas acerca de la proyección que hemos sugerido del avance de la inteligencia artificial no se produce. ¿Cómo crear máquinas con conciencia si no sabemos qué es tener conciencia? ¿Quién sería el obligado jurídicamente por el derecho del robot? ¿una persona física? En la mayor parte de los hipotéticos casos sí, pero ello supondrá un obstáculo para el reconocimiento de estos derechos ¿una máquina imponiendo su voluntad a una persona física? Siempre nos ha atemorizado la idea de perder el control de las máquinas. Aunque se hable de libertad de los robots, posiblemente no se les atribuya dignidad, quedando la misma sólo para los seres humanos. En esto influirán también cuestiones no jurídicas, como éticas, filosóficas y religiosas. Y en la misma línea, la ética que ya se diseña para la inteligencia artificial será una dificultad de gran peso. Se impondrá la idea de que el robot no debe controlar a los seres humanos (si tiene derechos reforzamos su posición frente a las personas). ¿Se generarían situaciones de discriminación? Por ejemplo, la concesión de la ciudadanía saudí a la robot Sophia la colocó en una situación jurídicamente mejor que la de las mujeres de ese país árabe.

Como se ve, un amplio número de cuestiones en uno y otro bando, que darán pábulo de lo más diverso a los debates que se suscitarán sobre el tema. La amplia diversidad que pueden alcanzar los posicionamientos sobre esta cuestión refuerza la opción positivista o formal. Los debates se nos antojan apasionantes. Veremos qué sucede. 8. CONCLUSIONES En el título de este trabajo hablamos de reflexiones provisionales. Queríamos mostrar desde el inicio que el tema que analizamos va a seguir abierto y en construcción durante años o décadas. Por lo tanto, nuestro argumentario es iniciático y provisional, a la espera de cómo va a evolucionar la tecnología y la percepción social de su incidencia. Por lo tanto, ya nos comprometemos a volver en el futuro sobre los derechos de los robots para ofrecer una posición que no haya que tildar, como ahora, de provisional. En todo caso, el tema, como se ha visto, tiene más recorrido del que aparenta, sobre todo por las incidencias sociológico-emocionales, que influirán de manera directa en los decisores públicos del futuro. Ahora concluimos que desde un punto de vista técnico jurídico material sí sería posible atribuir derechos subjetivos a ciertos robots humanoides, pues opinamos que se podrá cumplir con los elementos subjetivo y objetivo del derecho de que se trate. Y también, claro está, desde la óptica meramente positivista, el legislador

242

José Julio Fernández Rodríguez

también podrá dar ese paso. Otra cosa, es que como sociedad estemos dispuesto a dar este salto, lo cual, al menos hoy en día, no lo vemos factible. En todo caso, nuestro argumentario se basa en la proyección indicada, muy optimista con las capacidades de evolución futura de la inteligencia artificial (fuerte) para crear máquinas antropomórficas con libertad, voluntad y, quizá, conciencia. Si esta proyección no se cumple, realmente todas las páginas anteriores quedan en entredicho pues deberían partir de otras hipótesis. De nuevo, por lo tanto, lanzamos una precaución al lector sobre este texto. En definitiva, este tema ejemplifica las complejidades jurídicas que nos esperan con el asentamiento y desarrollo de las tecnologías disruptivas en lo que ya puede denominarse una segunda fase de la Sociedad de la Información. Muchos serán las cuestiones, e incluso categorías, que tendremos que revisar para, si es preciso, actualizar, incluso más poliédricas que esta de los derechos de los robots (como el estatuto jurídico de los transhumanos, un tema cuando menos inquietante45). Lo que hay que exigir en todo caso es partir de una sólida formación para llevar a cabo adecuados análisis jurídicos que resuelvan de forma satisfactoria los conflictos que se abrirán en las sociedades en las que vivimos. Esa es la finalidad del Derecho, también en un escenario de avanzadísimo desarrollo tecnológico. No descuidemos en ningún momento el enfoque debido en un sistema democrático.

Apunta el exitoso de ventas HARARI que la “ingeniería de los ciborgs” es una tecnología nueva que “puede cambiar las leyes de la vida”. Da ejemplos de vidas biónicas y se plantea qué puede ocurrirle a la identidad humana, aunque no continúa el análisis. HARARI, Y. N., Sapiens. De animales a dioses, Barcelona: Debate, 2015, pp. 443 y 446-447. 45

LA RESPONSABILIDAD DE LOS ROBOTS Miguel Ortego Ruíz Profesor Asociado de Derecho Internacional Privado Universidad Complutense de Madrid DOI: 10.14679/2066

1. INTRODUCCIÓN Los Sistemas de Inteligencias Artificial (en adelante «sia») están «poniendo contra las cuerdas» a numerosas instituciones del Derecho que deben ser revisadas y adaptadas –en algunos casos reinventadas– para poder afrontar con garantías suficientes los retos que supone la «Cuarta Revolución Industrial».1 Una de ellas, quizá la más fundamental puesto que resulta en la desembocadura de numerosas cuestiones relacionadas con la inteligencia artificial («ia»), es la responsabilidad –particularmente la civil–.2 La responsabilidad como institución es un pilar fundamental para cualquier sistema jurídico que se precie. Sin ella, el ordenamiento jurídico no funciona pues no satisface la realidad sobre la que actúa. En nuestro Derecho, ésta ha sufrido numerosos cambios a lo largo del tiempo debido a la necesidad de adaptación a las nuevas realidades y circunstancias que el paso del tiempo ha traído. Así, la responsabilidad se ha modulado de Schwab, K., La cuarta revolución industrial, Barcelona: Debate, 2016 y Schwab, K., “The Fourth Industrial Revolution”, World Economic Forum, 2016, p. 5. Accessible en: https://luminariaz. files.wordpress.com/2017/11/the-fourth-industrial-revolution-2016-21.pdf. Algunos ya vaticinan la Quinta Revolución Industrial como algo que está «a la vuelta de la esquina» y la definen como aquélla de la «revolución cognitiva». «Mientras la Cuarta Revolución Industrial tenía en mente conseguir un mundo más eficiente, la siguiente debe centrarse en la creación de una forma superior de inteligencia para hacer un mundo mejor y salvar al planeta». Desantes Real, M., “The Disruptive Nature of the SoCalled Fourth Industrial Revolution for Intellectual Property: Moving Societal Changes from Linear to Exponential”, en Heath, C.; Kamperman Sanders, A. y Moerland, A. (eds.), Intellectual Property Law and the Fourth Industrial Revolution, The Netherlands: Wolters Kluwer, 2020, pp. 3-7. 2 Barfield, W., “Liability for Autonomous and Artificially Intelligent Robots”, Paladyn, Journal of Behavioral Robotics, núm. 1, vol. 9, 2018, pp. 193–203; Tjong Tjin Tai, E., “Liability for (Semi) Autonomous Systems: Robots and Algorithms”, Tilburg Law School Legal Studies Research Paper Series, núm. 09/2018. 1

244

Miguel Ortego Ruíz

tal forma que en la actualidad se permite que las personas jurídicas sean penalmente responsables, por ejemplo (algo impensable hace muy poco). En el campo civil, desde hace tiempo, ya se ha pasado de un sistema de responsabilidad subjetivo (basado en la voluntad o imprudencia del causante para imputarle tal) a los modernos sistemas de responsabilidad objetiva, entre los que destaca la responsabilidad por productos defectuosos, construidos sobre la base de la necesidad de localizar un responsable a toda costa. La mayoría de la doctrina apuesta por acudir a dichos sistemas de responsabilidad objetiva como la solución a la satisfacción de los posibles perjuicios que los robots inteligentes puedan causar, identificando figuras que serían responsables en tales casos (fabricantes, usuarios o productores), si bien tales propuestas no están exentas de problemas y en muchos casos no son satisfactorias. En esta situación, el plan de la Unión Europea (en adelante la «ue») acerca de la posibilidad de que las máquinas inteligentes cuenten con personalidad jurídica («ePersonality» o «Personalidad electrónica») y que, de esta manera, tal responsabilidad se busque en estos sistemas, levanta numerosas dudas y cuestiones que requieren de un estudio pormenorizado antes de descartar tal planteamiento en favor de otros. El presente capítulo se centrará en el estudio (con la profundidad y alcance que la extensión de un trabajo como el de estas características permite) general de la institución de la responsabilidad y la posibilidad de que los robots inteligentes sean considerados sujetos de derecho, dotados de personalidad jurídica; y, a partir de aquí, la construcción de un sistema de responsabilidad en el que las personas electrónicas sean civilmente responsables de sus actos u omisiones. Todo ello sin perjuicio del análisis de las propuestas intermedias basadas en el sistema jurídico actual y que buscan solventar los retos que plantean los robots inteligentes para la institución de la responsabilidad civil. 2. LA PERSONALIDAD ELECTRÓNICA La responsabilidad es, con casi total certeza, la cuestión más relevante y recurrente cuando de sias se trata.3 Y es que realmente no sabemos explicar bien por qué el vehículo autopilotado de la compañía Tesla no fue capaz de distinguir un tractor-remolque que cruzaba la calle en un día despejado y de sol radiante chocándose con él4 o por qué un vehículo Uber sin conductor atropelló recientemente a un peatón en Arizona con desenlace fatal5. Estos incidentes son cada vez más frecuentes. En China, un robot atacó e hirió a un humano en una feria.6 En sanidad, el mal funcionamiento de un robot quirúrgico en el Estado de Filadelfia (ee.uu.) en una intervención de próstata, supuso la lesión grave de un PALMERINI, E. et al., “Regulating Emerging Robotic Technologies in Europe: Robotics facing Law and Ethics”, RoboLaw, 2014, p. 212. 4 Tesla’s Blog, «A Tragic Loss», 30 June 2016. Accessible en: https://www.teslamotors.com/blog/ tragic-loss 5 La mujer murió en el hospital. LEVIN, S. y CARRIE, J., “Self-driving Uber kills Arizona woman in first fatal crash involving pedestrian”, The Guardian, 19 March 2018. 6 X, ‘Robots v Humans: AI machine ‘attacks’ visitor at Chinese tech fair’, RT News, 8 November 2016. 3

LA RESPONSABILIDAD DE LOS ROBOTS

245

paciente.7 Y, en fin, hace unos años, hasta un robot aspiradora terminó dañando el cabello de una mujer8 (aunque este tipo de robots no son los inteligentes a los que nos referimos en este trabajo). Las características de los sia tales como la opacidad, la autonomía, la continua conectividad, la dependencia de los datos o su capacidad de autoaprendizaje (machine learning) dificultan el abordaje y solución de problemas con la responsabilidad derivada de sus actos. Ello, al mismo tiempo, puede dificultar que las víctimas obtengan una indemnización en el marco de los actuales regímenes de responsabilidad nacional y de la ue. Por si fuera poco, los entornos virtuales, en los que las acciones y contribuciones (tanto generadoras de derechos como de obligaciones) se producen en grupo y no de manera individual (o en donde la individualización de la responsabilidad resulta compleja) dificultan la distribución justa y óptima de responsabilidad entre los diferentes operadores económicos en la cadena de valor de los sia.9 Y, en fin, todos estos problemas también afectan al hecho de que las personas que han sufrido daños por causa de un robot inteligente no tengan un acceso efectivo a las pruebas necesarias para construir un caso en los tribunales, limitando las posibilidades de reparación (menos efectivas en comparación con situaciones en las que el daño es causado por productos «tradicionales»). Sobre todo, porque es importante que las víctimas de accidentes que involucren sistemas de IA no se enfrenten a un nivel de protección más bajo en comparación con otros productos y servicios para que la sociedad no rechace esta nueva tecnología.10 Desde hace unos años a esta parte han surgido numerosas voces, estudios y propuestas que plantean diferentes propuestas para abordar la responsabilidad asociada a los sia (desde posiciones conservadoras hasta aquéllas más ambiciosas). De esta manera, hay quienes propugnan como solución una limitación de la responsabilidad a una suma de dinero, siguiendo la práctica de la industria aeronáutica (para no lastrar la innovación con fuertes cargas sobre los fabricantes). Otros apuestan por un mayor peso en la responsabilidad del sia por parte de su propietario, convirtiéndola en una responsabilidad objetiva (responsabilidad objetiva que necesariamente vendría unida a un límite cuantitativo y la contratación de un seguro obligatorio por parte del dueño del robot inteligente, al estilo de los seguros de responsabilidad civil obligatorios de la industria del automóvil). Y, en fin, los más atrevidos empujan hacia la creación de personalidad jurídica para los robots con el fin de responsabilizar al propio robot de los daños causados (sin perjuicio de la responsa Mracek v. Bryn Mawr Hospital, 363 Fed. Appx. 925 (3d Cir. 2010) as reported in T.N. White and S.D. Baum, ‘Liability for Present and Future Robotics Technology’, in P. Lin et al. (ed.), Robot Ethics 2.0: From Autonomous Cars to Artificial Intelligence, New York: Oxford University Press, 2017, pp. 66-79. 8 McCURRY, J., “South Korean woman’s hair ‘eaten’ by robot vacuum cleaner as she slept”, The Guardian, 9 February 2015. 9 Cadena en la que pueden participar varias partes, tales como los desarrolladores del software y/o el algoritmo, el productor del hardware, los propietarios y/o guardianes del producto de ia, los proveedores de datos, las autoridades públicas y hasta los usuarios del producto. 10 DE BRUYNE, J., van Gool, E. y Gils, T., “Tort Law and Damage Caused by AI Systems”, en De Bruyne, J. y Vanleenhove, C., (eds.), Artificial Intelligence and the Law, Cambridge: Intersentia, 2021, pp, 359-403 y 361-362. 7

246

Miguel Ortego Ruíz

bilidad del propietario, como ocurre con un animal de compañía o de los padres respecto de los hijos menores)11. Esta última opción, es una de las más interesantes a la hora de afrontar la responsabilidad de las máquinas inteligentes desde el punto de vista jurídico y ha sido objeto de cierto análisis bajo el prisma de que los sia entren de lleno en el ecosistema jurídico mediante el reconocimiento de una personalidad jurídica –si bien con especial interés en aportar soluciones a los eventuales problemas de responsabilidad asociada a estas computadoras–. Así, en el ámbito la ue, por ejemplo, muy interesada por estas cuestiones desde hace cinco años, aproximadamente, se viene hablando de una “personalidad electrónica12” de los robots inteligentes que les permita asumir las eventuales responsabilidades derivadas de sus decisiones y resultados, así como otras cuestiones vinculadas al sistema fiscal y tributario (v. gr., se estudia la posibilidad de que los sia ostenten personalidad jurídica también, asumiendo obligaciones fiscales como sujeto pasivo del sistema y que, de esta manera, contribuyan a la recaudación, dada su inminente entrada en el mercado de trabajo y la destrucción de empleo humano que pueda llevar aparejada). Todo ello sin olvidar el fuerte impacto desde el punto de vista ético y social que esta nueva ciencia tiene en todos los ámbitos de la vida.13 En concreto, el Parlamento Europeo planteó la creación de una nueva categoría de la personalidad para los sia más avanzados, autónomos, en el marco de la responsabilidad civil derivada de sus actos. Una responsabilidad civil que, entiende, debe ser objetiva. Pero nada dice respecto a otros ámbitos, como la posibilidad de que los sia sean sujetos pasivos del sistema tributario o de la Seguridad Social. Y, sin embargo, sigue afirmando que los robots podrían ser sujetos de «derechos y obligaciones». Es este punto, sus facultades –y no tanto sus obligaciones– son lo que genera más dificultades. En mi opinión, por idílica que parezca, reconocer personalidad jurídica a los sia resulta ciertamente la solución más lógica toda vez que no existe figura humana que pueda erigirse en controlador perfecto del comportamiento de la máquina. Ahora bien, esta propuesta exige la creación un patrimonio del robot para las indemnizaciones14, pero poco más, desautorizando los terribles vaticinios derivados de la inclusión de los sia en las categorías de la personalidad. Es más, el hecho de que los sia tengan obligaciones, en un primer momento en relación con la responsabilidad civil derivada de sus actos, no tiene tanta trascendencia jurídica –en términos prácticos– toda vez que ésta se traduce en la obligación de reparar el daño, es decir, en una compensación económica que podría fácilmente articularse me11 Lacruz Mantecón, M. L., Robots y personas. Una aproximación jurídica a la subjetividad cibernética, Madrid: Reus, 2020, pp. 33-34. 12 Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103 (inl)), P8_ta (2017)0051. 13 GRUPO INDEPENDIENTE DE EXPERTOS DE ALTO NIVEL SOBRE INTELIGENCIA ARTIFICIAL, «Directrices éticas para una ia fiable», Bruselas, 2018. Accesible en: https://ec.europa.eu/ digital-single-market/en/news/ethics-guidelines-trustworthy-ai 14 LACRUZ MANTECÓN, M. L., Robots y personas, cit., pp. 33-34.

LA RESPONSABILIDAD DE LOS ROBOTS

247

diante la imposición de suscripción de un seguro de responsabilidad civil obligatorio15 para los sia junto con un fondo de compensación que garantizase el efectivo pago de la indemnización por su acreedor.16 Dicho de otro modo: el reconocimiento de la personalidad jurídica de las máquinas inteligentes, autónomas y capaces de aprender por sí solas («ia fuerte») no implica que se les reconozca como iguales a las «persona» en sentido natural –humana– y jurídico. Perfectamente se puede articular una categoría de la personalidad que englobe una serie de derechos y obligaciones en función de las necesidades sociales, una vez abandonados los prejuicios y modelos antropocéntricos.17 Más dificultades se plantean en el ámbito penal o administrativo, donde no existen tales posibilidades de aseguramiento de la responsabilidad; si bien las personas legales han sido recientemente incorporadas al sistema penal y reconocidas como responsables penales18. Sin embargo, el suflé generado con la mera ensoñación de una personalidad electrónica se ha ido desinflando en los últimos años, tanto en el seno de la ue19 como en el mundo académico, en el que las posiciones doctrinales se han ido moviendo hacia el rechazo de la personalidad electrónica como solución al problema de la responsabilidad de civil de las máquinas inteligentes. Se podría decir que, en la actualidad, las iniciativas legislativas y las posturas de una importante mayoría de autores niegan la posibilidad a los sia de ser sujetos de Derecho y, por tanto, de asumir sus responsabilidades. Entre otros, Koch, por ejemplo, aplica una presunción de no necesidad de conceder personalidad a estas realidades: si la personalidad jurídica de los sia será la solución más También mediante el complemento de un fondo de garantía de sus acciones. Santos Divino, S. B., “Critical Considerations on Artificial Intelligence Liability: E-Personality Propositions”, Revista Electronica Direito e Sociedade (redes), vol., 8, núm. 2, 2020, pp., 193 a 214, y 205. 16 Un ejemplo práctico sería el caso de un vehículo autónomo, pilotado por un SIA, que causa un daño a un ciudadano y que le puede compensar, civilmente, mediante el pago de una cantidad que afrontaría su seguro obligatorio. No es necesario un componente subjetivo o volitivo para determinar la cuantía de la indemnización, máxime después de que nuestro Derecho haya optado por un criterio objetivo y tasado para la valoración del daño en accidentes de circulación –Vid., Ley 35/2015, de 22 de septiembre, de reforma del sistema para la valoración de los daños y perjuicios causados a las personas en accidentes de circulación. «BOE» núm. 228, de 23 de septiembre de 2015, pp. 84473 a 84979 (507 págs.)– operando todo el proceso al margen del SIA y automáticamente. 17 Ruffolo, U., “Per i fondamenti di un diritto della robotica self-learning; dalla machinery produttiva all’auto driverless: verso una “responsabilità da algoritmo?”, en Ruffolo, U., Intelligenza artificiale e responsabilità, Milano: Giuffrè, 2017, pp. 1-30. 18 Demostrando, de nuevo, que serán lo que queramos que sean. La modificación en 2010 del Código Penal Español ha reconocido como sujetos imputables y responsables penalmente a las personas jurídicas. Vid. art. 31 bis y ss. del Código Penal Español [Ley Orgánica 10/1995, de 23 de noviembre, del Código Penal. «BOE» núm. 281, de 24/11/1995]. 19 Ello puede apreciarse en las propuestas más recientes. Vid., European Commission, «Proposal for a Regulation of the European Parliament and of the Council, Laying Down Harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and Amending Certain Union Legislative Acts {sec(2021) 167 final} - {swd(2021) 84 final} - {swd(2021) 85 final}», Brussels, 21 April 2021 (com[2021] 206 final 2021/0106 [cod]). 15

248

Miguel Ortego Ruíz

ventajosa o, por el contrario, generará más problemas es algo que atañe probar y demostrar –esto último– a aquellos que con una mente abierta apuestan por esta solución como óptima y, sobre todo, descarta la idea de una personalidad para los robots («[this idea] shall not be pursued further»). 20 Y Floridi y Taddeo zanjan que jamás se debería aceptar ningún tipo de personalidad para la ia porque «atribuir personalidad electrónica a los robots [ia] supone un riesgo de colocar en el lugar incorrecto la responsabilidad moral, la rendición de cuentas –accountability– y la responsabilidad legal dimanante de sus errores y usos inadecuados».21 Ello me lleva a analizar respecto del nuestro ordenamiento jurídico, la posibilidad de encaje de una personalidad jurídica de los sia con el actual sistema de responsabilidad civil o qué tipo de modificaciones deberían operarse para ello –de ser la solución más plausible–. 3. RESPONSABILIDAD CIVIL Y ROBOTS INTELIGENTES Cualquier responsabilidad derivada de un acto de un sia dependen de su situación o estatus jurídico en un determinado ordenamiento jurídico. En otras palabras, qué consideración tiene para el Derecho dicha ia. La ciencia jurídica, tradicionalmente viene diferenciando la realidad en dos elementos de su interés: sujetos y objetos. Los primeros cuentan –o pueden contar– con personalidad jurídica (i.e. capacidad jurídica y capacidad de obrar); mientras que los segundos simplemente están sometidos al imperio de poder de los primeros y lo permitido por el ordenamiento jurídico. Podemos concluir de manera preliminar, pues, que, en el estado actual de las cosas, los sia son meros objetos de Derecho sometidos al régimen de responsabilidad civil imperante y en tal condición no ostentan derecho ni obligaciones. En cualquier caso, en entornos globales e hiperconectados –como son aquéllos en los que operan los sia– la concreta responsabilidad jurídica de éstos y su condición a los ojos del Derecho (sujeto u objeto) vendrá dada por el concreto ordenamiento jurídico aplicable a tal determinación toda vez que esta manera de operar les conecta con diferentes sistemas jurídicos a nivel mundial. Y ello por la simple razón de que no concurren normas a nivel internacional o supranacional22 que unifiquen la materia –a nivel de la ue impera cierta 20 Koch, B. A., “Product Liability 2.0: Mere Update or New Version?” en Lohsse, S.; Schulze, R. y Staudenmayer, D. (eds.), Liability for Artificial Intelligence and the Internet of Things, Nomos: BadenBaden, 2019, pp. 97-116. 21 Floridi, L. y Taddeo, M., “Romans Would Have Denied Robots Legal Personhood”, Nature, núm. 7705, vol. 557, 2018, p. 309. 22 Téngase presente que los humanoides no se entienden aquí en el sentido de objetos, en cuyo caso podría serles de aplicación normativa específica europea (v. gr. la Directiva 2006/42/ce del Parlamento europeo y del Consejo, de 17 de mayo de 2006, relativa a las máquinas y por la que se modifica la Directiva 95/16/ce (refundición) (doue núm. l 157/24 de 9 de junio de 2006). En el momento actual la directiva está en proceso de revisión. Vid., European Commission, «Liability for emerging digital technologies» [Accompanying the document Communication from the Commission to the European Parliament, the European Council, the Council, the European Economic and Social Committee and the Committee of the Regions Artificial intelligence for Europe] {COM(2018) 237 final}, Brussels, 25 de abril de 2018. Además, la ue está trabajando

LA RESPONSABILIDAD DE LOS ROBOTS

249

fragmentación23– y sin perjuicio de los actuales proyectos24, las soluciones jurídicas sobre responsabilidad por infracciones de Derecho de los sia vendrán dadas por el Derecho de ámbito nacional. Siendo inabordable la multiplicidad de posibles ordenamientos –estatales– y soluciones jurídicas que se pueden dar en la práctica, me limitaré a analizar someramente la cuestión partiendo de la hipótesis de que el ordenamiento jurídico competente y aplicable es el español. En Derecho español, toda obligación comporta un binomio indisoluble (deuda –debitum– y responsabilidad –obligatio–) que permite al acreedor agredir el patrimonio del deudor para satisfacer su interés (art. 1.911 C.c.) y que –en la actualidad– sólo se entienden biunívocamente (no cabe responsabilidad sin deuda). Con todo, hay quienes han sostenido la existencia de estas instituciones como fenómenos independientes hasta el punto de que defienden la existencia del uno sin el otro y viceversa.25 La responsabilidad, en definitiva, implica la sujeción del causante de la infracción jurídica a una obligación de reparar el daño producido a la víctima. Pues bien, en vía de principio y aunque no todo el mundo lo comparta26, en el actual sistema de responsabilidad civil de nuestro Derecho es perfectamente aplicable a una sobre la eventual implementación de normas de responsabilidad civil en materia de ia. Vid., inter alia, Expert Group on Liability and New Technologies – New Technologies Formation, «Liability for Artificial Intelligence and other emerging digital technologies», European Commission, Brussels, November 28th, 2019; Comisión Europea, «Informe sobre las repercusiones en materia de seguridad y responsabilidad civil de la inteligencia artificial, el internet de las cosas y la robótica» [Informe de la comisión al Parlamento Europeo, al Consejo y al Comité Económico y Social Europeo], Bruselas, de 19 de febrero de 2020, com(2020) 64 final; y European Commission, «Inception Impact Assessment, Proposal for a legal act of the European Parliament and the Council laying down requirements for Artificial Intelligence», Cnect.A.2, Brussels, July 23rd, 2020 (Ref.Ares (2020)3896535) que son el resultado del reconocimiento por parte de la Comisión Europea de la inadecuación del actual régimen de responsabilidad por productos defectuosos de la Directiva 85/374/cee del Consejo, de 25 de julio de 1985, relativa a la aproximación de las disposiciones legales, reglamentarías y administrativas de los Estados miembros en materia de responsabilidad por los daños causados por productos defectuosos (doce núm. l 210/29 de 7 de agosto de 1985), en particular a los sia. 23 En materia de responsabilidad extracontractual cada Estado miembro opera su propio sistema, con diferencias entre unos y otros sistemas relevantes y múltiples, si bien sobre la base de principios comunes. Es especialmente relevante que varios Estados miembros no cuentan en sus sistemas jurídicos con normas sobre responsabilidad extracontractual que protejan a los consumidores (en particular por defectos de intangibles –software–). Vid., Wagner, Gerhard, «Robot Liability», in Lohsse, Sebastian, Schulze, Reiner and Staudenmayer, Dirk (eds.), Liability for Artificial Intelligence and the Internet of Things, Baden-Baden: Nomos, 2019, pp. 27 a 62, pp. 33-34 y 37. 24 Si bien no se trata de Derecho si no una suerte de «Derecho blando», resultan de especial interés los «Principles of European Tort Law» («pelt») toda vez que contienen propuestas que van más allá de meros principios inspiradores en la materia. En particular, explicitan en un ámbito espacial supranacional que la responsabilidad extracontractual requiere de la concurrencia de ciertos elementos, tales como el daño a un interés jurídicamente protegido (art. 2:101), que –como conditio sine qua non– la actividad o conducta sea causa del daño de la víctima (art. 3:101) o la concurrencia de una base legal que la justifique (Título iii). Vid., European Group Tort Law, Principles of European Tort Law (pelt), 2021. 25 Díez-Picazo, L. y GULLÓN, A., Sistema de Derecho Civil, vol., ii, Tomo i, 11ª ed., Madrid: Tecnos, 2019, pp. 110-112. 26 Karnow defiende que las herramientas jurídicas actuales se quedan cortas para afrontar la complejidad que la relación humano-ia plantea y, en particular, la distribución de responsabilidad y la

250

Miguel Ortego Ruíz

realidad como la personalidad electrónica de los sia27. Desde luego la responsabilidad culposa (art. 1.104 C.c.)28, incluida la predicable por los profesionales29. Más dudas plantea la responsabilidad dolosa (art. 1.107), sin que tampoco pueda descartarse para con los humanoides, máxime cuando realidades como las personas jurídicas son civil –art. 1.903 C.c.30– y penalmente –art. 31 bis y ss. cp– responsables. No obstante, dado que nuestro Derecho positivo no la define, se ha construido la institución de la responsabilidad dolosa jurisprudencialmente sin que se exija intención subjetiva de dañar o perjudicar sino simplemente como infracción voluntaria del deber jurídico que dimana de la obligación31, por lo que un robot inteligente con capacidad de tomar decisiones autónomamente podría perfectamente incurrir en ella (es más, al acreedor le basta la mera alegación del incumplimiento de la obligación y su prueba para imputar responsabilidad dolosa –aplicando analógicamente el art. 1.183 C.c.–). En vista de lo anterior, también son predicables, mutatis mutandis, a los sia los elementos propios del sistema de responsabilidad español tales como la exoneración de responsabilidad por causas de fuerza mayor (art. 1.105 C.c.), la responsabilidad originada por aquellas personas que auxilian en su actividad (representantes, colaboradores, etc.), así como se permiten los acuerdos modificativos de ésta siempre que no sean contrarios al Derecho (art. 1.255 C.c.). En esta misma línea, también sería plausible predicar la legítima defensa, el estado de necesidad, el consentimiento del perjudicado o el caso fortuito. Inclunecesaria cadena causal. Karnow, C., “Liability for distributed artificial intelligences”, Berkeley Technology Law Journal, núm. 1, vol. 11, 1996, pp., 147-204. 27 A favor de que la responsabilidad de las máquinas por sus acciones se impute a éstas. Beck, S., «Grundlegende Fragen zum rechtlichen Umgang mit der Robotik», Juristische Rundschau, núm. 6, 2009, Walter de Gruyter GmbH & Co., pp., 225-230. En contra, Navas, S., “Robot Machines and Civil Liability”, Ebers, M. y Navas, S. (eds.), Algorithms and Law, Cambridge: Cambridge University Press, 2020, pp. 157-173 y –por considerarlo algo no factible en la actualidad–, Janal, R., “Extra-Contractual Liability for Wrongs Committed by Autonomous Systems”, Ebers, M. y Navas, S. (eds.), Algorithms and Law, cit., p. 175. Como algo que puede ocurrir en el futuro de la mano del legislador Loos, M., “Machineto-Machine Contracting in the Age of the Internet of Things”, Schulze, R.; Staudenmayer, D. y Lohsse, S. (eds.), Contracts for the Supply of Digital Content: Regulatory Challenges and Gaps, Baden-Baden: Hart Publishing Nomos, 2017, pp. 59 - 83. 28 Abbott, que defiende la responsabilidad por culpa de los robots, propone acudir a lo que denomina «Reasonable Computer Standard for Computer Tortfeasors» entendido como un estándar de responsabilidad equiparable a los profesionales –en este caso de los ordenadores– cuya inobservancia implica una negligencia, extrapolando lo ya conocido para este tipo de responsabilidad en las personas. Su principal argumento se basa en que es lo más acertado sabido que la ia se ha desarrollado hasta un punto en que se ha demostrado que las máquinas son más seguras que las personas. En suma, implica los ilícitos de los robots inteligentes se someterían al «estándar informático razonable» en defecto del cual se podría predicar una responsabilidad de. éstas. Abbott, R., “The Reasonable Computer: Disrupting the Paradigm of Tort Liability”, George Washington Law Review, núm. 1, vol. 86, 2018, pp. 22, 24 y 41. 29 ssts, de 26 de mayo de 1986 y 12 de julio de 1988. 30 Es más, la doctrina y la jurisprudencia española tienen ampliamente admitida la responsabilidad civil contractual y extracontractual, tanto directa como indirecta, en una aplicación amplia y dimanante del art. 38 C.c. (STS de 29 de septiembre de 1964), incluso en el caso de uniones sin personalidad jurídica (STS de 29 de abril de 1988). 31 ssts de 9 de marzo de 1962, de 27 de abril de 1973 y de 19 de mayo de 1973.

LA RESPONSABILIDAD DE LOS ROBOTS

251

so (y aunque quede fuera del ámbito de este trabajo) cabría la responsabilidad penal de los sia 32, sabido que principios tan férreos y asentados en nuestro Derecho como el societas delinquere non potest han sucumbido a las circunstancias de la vida contemporánea, incluso en el actual estado del Derecho. 33 Ahora bien, es conocido por todos que las revoluciones industriales del pasado llevaron al sistema de responsabilidad basado en el dolo y la culpa a una profunda crisis que resultó en la implementación de un sistema de responsabilidad objetiva basado en presunciones y que invierte la carga de la prueba, así como a la flexibilizando de la causalidad necesaria (admitiendo una mera causalidad adecuada frente a la clásica necesaria34). Se trata de una suerte de responsabilidad sin culpa basada en el dogma de la teoría del riesgo35 que incentiva la necesidad de asegurar la responsabilidad frente a dichas eventualidades y localizar un responsable último que satisfaga a la víctima en todo caso. Bajo esta óptica de la responsabilidad objetiva –y sin que yo esté del todo de acuerdo con ella– es perfectamente extensible a los humanoides y sus avatares en sociedad.36 Es más, ésta es una de las opciones preferidas para encajar la responsabilidad de los sia en el sistema actual. En línea con los planteamientos sobre responsabilidad basados en el riesgo para resolver los retos que plantea la ia a la institución de la responsabilidad civil –con los que estoy parcialmente de acuerdo– destaca la denominada teoría del «bolsillo profundo» (o «deep pocket theory», de origen norteamericano y frecuentemente empleada en aquel país). En síntesis, ésta consiste en que cualquier persona involucrada en actividades (que, aunque peligrosas son rentables y útiles para la sociedad) debe compensar a por el daño causado a la sociedad dimanante del beneficio obtenido con tales actividades.37 Esta tesis llevada al caso que ahora nos ocupa implicaría que, tanto el programador como el fabricante del sia o, en general, cualquier «persona con un “bolsillo profundo”» debe garantizar los riesgos de las actividades que realice la máquina inteligente. 32 Por ejemplo, en aquellos casos en los que se emplearan sia con objeto de realizar actos de piratería masivos en los términos del art. 270 y ss. del cp. 33 Hallevy, G., Liability for Crimes Involving Artificial Intelligence Systems, Dordrecht: Springer, 2015, pp. 6, 19, 91-99 y 135. 34 El ts se inclina por la teoría de la causalidad adecuada, si bien no la separa suficientemente de la teoría de la causa eficiente. Vid., sts de 27 de septiembre de 1993, sts de 1 de abril de 1997 y sts de 14 de febrero de 2000. 35 Teubner defiende que el riesgo –autónomo– que se genera del comportamiento impredecible de los algoritmos capaces de aprender requiere de otro tipo de sistema de responsabilidad que no sea el objetivo y automático. Y en este razonamiento hay que traer a colación –para trazar paralelismos– a otros actores no humanos que intervienen en sociedad como las personas jurídicas (si bien huyendo de la clásica concepción de éstas como conjunto de personas físicas y más en el sentido de flujos de información o cadena de mensajes). Teubner, G., “Digitale Rechtssubjekte? Zum privatrechtlichen Status autonomer Softwareagenten / Digital Personhood? The Status of Autonomous Software Agents in Private Law”, Ancilla Iuris (ssrn Electronic Journal), 2018, pp. 107 a 149. 36 Sobre los criterios de imputación de la responsabilidad a una persona, vid., sts de 27 de febrero de 2006. 37 Čerka, P.; Grigienė, J. y Sirbikytė, G., “Liability for damages caused by artificial intelligence”, Computer Law & Security Review, núm. 3, vol., 31, 2015, pp. 376 - 389.

252

Miguel Ortego Ruíz

Igualmente, es bene notum que la responsabilidad puede dimanar de un contrato –contractual– o de la mera relación espontánea no acordada entre partes –extracontractual–. Incluso en el marco de una relación contractual, pueden quedar fuera de dicho acuerdo cuestiones que accesoria o indirectamente estén conectadas con éste; o en el marco de una relación contractual, resulta un daño cuya responsabilidad tiene naturaleza extracontractual.38 Cuando un robot inteligente con personalidad legal crea una obra (susceptible de tuición por Derecho de autor) a partir de todo tipo de información accesible mediante Internet puede incurrir en infracciones de propiedad intelectual respecto de los contenidos que explota al generar su obra, de lo que nace una responsabilidad civil que a su vez puede ser contractual o no en función del modo en el que se desarrolla todo este proceso. En un primer caso, el robot accede a contenidos bajo alguna forma jurídica debidamente soportada que le permite un uso o explotación, típicamente un contrato de cesión o licencia (que ofrecen regulaciones clásicamente recíprocas) o sistemas estandarizados y abiertos de licencia –C.C.– que funcionan a partir de patrones de términos y condiciones que el sia deberá aceptar y suscribir para el uso y explotación de las obras. Ello nos llevará al estudio de la responsabilidad contractual (art. 1.089 C.c.). En defecto de contrato, caso que se da con relativa frecuencia en el desenvolvimiento de los usuarios en Internet, la responsabilidad extracontractual (1.902 C.c.) del humanoide en las diferencias transfronterizas que se puedan suscitar por la explotación no conforme a Derecho de contenidos tutelados por la propiedad intelectual incorporará una serie de particularidades que requieren de un estudio específico para estos casos. En general, la doctrina más reciente niega la posibilidad de que los robots sean responsables extracontractualmente en sí mismos y reconduce la cuestión a la identificación de los responsables o la distribución de esta carga39, bien sea directamente, bien mediante sistemas como la responsabilidad indirecta –vicarious liability–.40 En otro orden de cosas –y apuntando todos los ángulos–, considerando que el sia no cuenta con personalidad jurídica como para ser sujeto de derecho y obligaciones, el estudio de la responsabilidad –contractual o extracontractual– de disputas transfronterizas deberá acometerse respecto de las figuras que se han propuesto como posibles soluciones en la materia.41 Todo ello sin perjuicio del breve estudio sobre la posición de los interme Ante este tipo de situaciones (concurso entre responsabilidad contractual y responsabilidad extracontractual) se han planteado numerosas tesis ([i] quienes sostienen que es el dañado el que ha de elegir el tipo de responsabilidad que perseguir; [ii] los que propugnan que la ley del contrato desplaza necesariamente la responsabilidad extracontractual; y, en fin, [iii] la concurrencia de ambas en torno a una única pretensión de reparación –principio de unidad de culpa– y discreción del órgano jurisdiccional –iura novit curia mediante– para subsumir el petitum donde mejor entienda). En la actualidad, la solución más adoptada en la práctica pasa por integrar la responsabilidad extracontractual en la contractual –ensanchado el contrato– en el marco de la buena fe del art. 1.258 C.c. 39 Janal, R., Extra-contractual…, cit., pp. 175-176. 40 Vid., Cox v. Ministry of Justice [2016] uksc 10, § 15 y ss. y Various Claimants v. Catholic Child Welfare Society [2012], uksc 56. Bermingham, V. y Brennan, C., Tort Law, 5th ed., Oxford: Oxford University Press, 2016, p. 240. 41 En particular la responsabilidad por productos defectuosos (Directiva 85/374/cee) y la regulación de las máquinas (Directiva 2006/42/ce). 38

LA RESPONSABILIDAD DE LOS ROBOTS

253

diarios de Internet, entidades frecuentemente involucradas no sólo en el proceso creativo sino en los litigios por responsabilidad en la Red. En esta línea hay quienes –Navas Navarro– se encuentran más cómodos explicando los retos que plantea la ia en este ámbito del Derecho mediante el recurso a la responsabilidad por productos defectuosos, si bien adaptada a las circunstancias actuales (v. gr. contemplar al androide como un menor de edad o como tertium genus en el mismo sentido que los animales en Derecho comparado –Alemania, Suiza o Austria–) y sin perjuicio de las figuras intermedias como la responsabilidad indirecta o vicarial (que llevan a la responsabilidad del propietario y/o fabricante del robot42, también como usuarios de máquinas que les asisten43). Teubner, por su parte, reconociendo que la gran mayoría de las infracciones en las que intervenga un sia serán propias de la responsabilidad no contractual, sin descartar una cierta personalidad de los sia y sabidos los problemas –lagunas– del sistema estricto de responsabilidad actual en estos casos, plantea soluciones híbridas «humano-robot» como las más adecuadas, toda vez que –en su opinión– buscar la responsabilidad en los humanos exclusivamente en estas situaciones «does not adequately capture digital risks, because it ignores the autonomous role of the machines, spans almost with the necessity the duties of the people involved and reduces the protection of the machines with regard to rights». 44 Lugar destacado ocupa Wagner. Este autor parte del reconocimiento de que en el estado actual de las cosas los robots inteligentes no son meros objetos y pudieren ser reconocidos como sujetos de derecho. En su opinión, los sistemas jurídicos (basados en un enfoque antropocéntrico) reconocen a los humanos dogmáticamente como personas (sujetos de derecho y no objetos) sin mayor discusión, lo que sugiere que la institución de la personalidad tiene poco que ver con las capacidades del interesado y mucho con lo que el legislador quiera que sea. Y reconoce que las personas jurídicas no son «naturalmente tales jurídicamente», por lo que este argumento es plausible para otorgar personalidad ju42 Determinada y distribuida en función del tipo de defecto que concurra en la máquina. En cualquier caso, Navas Navarro no considera ésta una respuesta plausible toda vez que estas opciones implicarían sitúan al mismo nivel a robots y empleados. No obstante, si considera que el legislador debería implementar normas y/o enmendar las actuales para abordar la posesión de bienes potencialmente peligrosos (como los robots inteligentes), así como la obligatoriedad de un seguro de responsabilidad civil que cubra un mínimo de riesgo. Navas, S., “Robot Machines and Civil Liability”, Ebers, M. y Navas, S. (eds.), Algorithms and Law, Cambridge: Cambridge University Press, 2020, pp. 157 – 173 y pp. 165 - 168. 43 Palmerini E. y Bertolini, A., “Liability and Risk Management in Robotics” Schulze, R. y Staudenmayer, D. (eds.), Digital revolution: Challenges for Contract Law in practice, Baden-Baden: Hart Publishing (Nomos), 2016, pp. 225 - 260. 44 En efecto, para este autor, los humanos que intervengan en cualquier acto por el que el robot inteligente cometa un ilícito que cause un daño, no serán responsabilidad –ni debe imputárseles tal– si han cumplido todas sus obligaciones de vigilancia y diligencia. Una solución la encuentra en un sistema de responsabilidad de las corporaciones por las acciones autónomas de sus agentes inteligentes (los ilícitos se imputarían a la compañía); una responsabilidad conjunta sia-corporación. Una suerte de responsabilidad de los algoritmos dotados de cierta personalidad jurídica pero contemplados por el Derecho como representantes o auxiliares autónomos y que nacería solo en el marco de actos ilegales por parte del robot. Teubner, G., Digitale Rechtssubjekte?... cit., pp. 137, 139 y 141.

254

Miguel Ortego Ruíz

rídica a los robots inteligentes (aunque sea un arma de doble filo). Se impone, por tanto, la realidad de que «no hay nada en el concepto de persona jurídica o en filosofía que impida que los sistemas inteligentes autónomos –software– sean reconocidos como personas legales».45 Sin embargo, no es proclive a su reconocimiento como personas jurídicas –o «ePersons» en sus palabras–. Para la Wagner la clave no está en compararlos con los humanos o las personas jurídicas, sino en preguntarse si tiene sentido para el sistema de responsabilidad otorgarles personalidad jurídica para afrontar los eventuales daños que causen. De esta manera, tras un minuciosos estudio de los pros y los contras, concluye (i) que tal reconocimiento no incentivaría la industria, (ii) que menoscabaría el sistema de la responsabilidad (dado que no cuentan con activos para afrontar las eventuales satisfacciones a las que tengan que enfrentarse), (iii) que no se les puede comparar con el sistemas de las sociedades (sabido que éstas si que responden con su patrimonio y que emularlos implicaría que serían otros quienes tendrían que aportar bienes para conformar este patrimonio –como las sociedades, por cierto–); y (iv) que quizá mediante pólizas de seguro obligatorio de la responsabilidad civil podría articularse el sistema y alcanzarse algún beneficio. Por lo que, a su juicio, la responsabilidad por las acciones u omisiones de los robots inteligentes deben recaer sobre el fabricante como la solución más acertada46. En esta línea relativa o intermedia, también se ha propugnado y explicado la responsabilidad de los robots sobre la base de construcciones basadas en la comparación y analogía con otras como los agentes –en concreto, la doctrina del respondeat superior47–; los esclavos romanos –noxal liability–; los animales48; o los menores y dependientes (art. 6:101 pelt)49; todas ellas hasta cierto punto explicadas satisfactoriamente. 50 Este último, a mi 45 Wagner, G., Robot Liability…cit., pp. 53-55. Bien es cierto que WAGNER habla de la posibilidad de que no se les reconozca personalidad en términos absolutos, sino para ciertos negocios jurídicos y solo otorgándoles ciertos derechos. No se trata de una carta en blanco que concede el mismo estatus y derechos que una persona física, por ejemplo. Ibid., p. 55. 46 Ibíd., pp. 56-61. 47 Que llevaría a la responsabilidad del principal. Vid., v. gr., art. 6:102 pelt («A person is liable for damage caused by his auxiliaries acting within the scope of their functions provided that they violated the required standard of conduct»). 48 La responsabilidad de los dueños o poseedores de un animal en Derecho español (art. 1.905 C.c.) también se ha construido como responsabilidad objetiva (vid., stss de 3 de marzo de 1957, de 14 de mayo de 1963 y de 15 de marzo de 1982). 49 En el Derecho español, la responsabilidad de los padres sobre los actos de los hijos de los que derive responsabilidad civil se ha configurado en torno al deber de guarda (art. 154 C.c. en relación con el art. 1.903(ii)) como una culpa in vigilando o in educando, si bien este enfoque está en crisis y cada vez se plantea como más acertada la explicación en base a la responsabilidad objetiva (vid., sts de 30 de junio de 1995). En la misma línea se aborda a responsabilidad de los tutores sobre sus tutelados (art. 1.903 (iii) C.c.). 50 Revolidis, I. y Dahi, A., “The Peculiar Case of the Mushroom Picking Robot: Extra-contractual Liability in Robotics”, Corrales Compagnucci, M.; Fenwick, M. y Forgó, N. (eds.), Robotics, AI and the Future of Law, Perspectives in Law, Singapore: Springer Nature Singapore Pte. Ltd., 2018, pp., 57-71. Estos reducen la cuestión –y, en cierta medida estoy de acuerdo– a la precisión del punto de equilibrio entre los dos objetivos de la institución de la responsabilidad (función correctora que remedie el daño causado y función incentivadora que prevenga el daño), identificando con lucidez que un exceso en la prevención

LA RESPONSABILIDAD DE LOS ROBOTS

255

juicio, sería el más plausible para afrontar la responsabilidad de los sia por infracciones de derecho de autor y tiene numerosas analogías con los menores o incapaces como para simplemente descartarlo. En efecto, sin dejar de reconocer la autonomía y capacidad jurídica y –relativa– de obrar, se localiza la responsabilidad en otra figura –física o jurídica–, como el fabricante, propietario o usuario. 4. PROBLEMÁTICA DE LAS SOLUCIONES INTERMEDIAS En mi humilde opinión, las actuales soluciones jurídicas –que se basan en negar la aptitud de los sia para ser sujetos de derecho y ostentar personalidad jurídica– son insuficientes para explicar aquellos fenómenos en los que una máquina es realiza actos de manera completamente autónoma y sin intervención –ni previsión– de ningún humano. En estos casos, la situación contiene todos los elementos necesarios para calificarlo como un acto diferente y diferenciada del titular de la máquina, que jamás podía haber vaticinado tal titular ni previsto su comisión, pues obedece a la capacidad –inteligencia– propia del sia para interactuar con el entorno y aprender por iteración (machine learning). 51 En estas situaciones, la responsabilidad civil derivada debería atribuirse exclusivamente a la máquina en sí misma, porque sin su existencia y su desarrollo autónomo, jamás hubiera producido el hecho, pero que, por la falta de evolución y desarrollo jurídicos suficientes, no puede ostentar los derechos de autor que le son inherentes. A ello, se suma la limitación o insatisfacción que producen las soluciones intermedias que tratan de seguir explicando la responsabilidad de las máquinas inteligentes en virtud del arquetipo humanístico de la responsabilidad clásica. Bajo mi punto de vista, en primer lugar, la responsabilidad por productos defectuosos como solución al problema de la responsabilidad resulta inadecuada por insuficiente o limitada toda vez que está construida sobre la tutela de los consumidores y usuarios, dejando fuera y sin respuesta aquellas relaciones en las que ninguna de las partes tiene naturaleza jurídica de consumidor o usuario –v. gr. entre empresas o empresarios–. En segundo lugar, las soluciones intermedias no son conformes con la realidad que suponen los sia y no conducen a soluciones satisfactorias, ni siquiera desde el punto de vista del sistema de la responsabilidad civil actual. Al contrario de los postulados de los defendel daño puede desincentivar la innovación. Aquella solución que logre el mejor equilibrio entre todos los intereses en juego sería la óptima. Ibid., pp., 73-74. 51 «La suposición de que todo lo que hace un robot es el resultado de la programación, y por lo tanto la máquina puede hacer solo lo que está intencionalmente programada para hacer es una pintoresca supersimplificación». Lin, P., Abney, K. y Bekey, G., “Robot ethics: Mapping the issues for a mechanized world”, Artificial Intelligence, April 2011, 175(5-6), pp. 942-949. «Los sistemas complejos pueden mostrar “comportamientos emergentes” (Arkin, 1998), es decir, modos de comportamiento que no fueron predichos por el diseñador pero que surgen como resultado de interacciones inesperadas entre los componentes del sistema o con el entorno operativo». Por tanto, se produce una imprevisibilidad del comportamiento de la máquina que hace que los criterios tradicionales de atribución de responsabilidad, basados en la negligencia o falta del cuidado adecuado, no son aplicables, pues nadie tiene suficiente control sobre la acción de la máquina. Lacruz Mantecón, M. L., Robots y personas… cit., p. 33.

256

Miguel Ortego Ruíz

sores de esta línea, considero que conceder personalidad a los sia incentiva y fomenta la industria de la ia (y las colaterales), configura un sistema cierto y seguro en el que las eventuales víctimas tienen más sencillo identificar y solicitar un resarcimiento al causante de sus males y perfectamente pueden los robots inteligentes contar con un patrimonio (que no necesariamente provenga de otros, puesto que no hay evidencias que impidan pensar que los robots inteligentes podrán trabajar y acopiar un patrimonio personal, de ser remunerados por ello) con el que afrontar sus responsabilidades, además de la posibilidad de adicionar aseguramientos –obligatorios o no– de esta responsabilidad.52 Especialmente relevantes son las dificultades que plantean las propuestas intermedias descritas en entornos abiertos y conectados en los que operan los sia53 toda vez que imputar la responsabilidad a fabricante exclusivamente (cuando en el hecho del que dimana la responsabilidad es obra de un conjunto de actores y acciones –diseñadores del robot, del algoritmo, programador; diseñador del hardware; fabricante; inversores; usuarios; intermediarios, etc.–, en particular en las creaciones opensource en línea) no parece justo ni acertado, sino que, en su lugar, se debe afrontar como la responsabilidad de un grupo, equipo o conjunto.54 De la misma manera, importantes dificultades se plantean en torno a la responsabilidad en el marco de una actuación en grupo55 (entre otras, acerca de su naturaleza solidaria o mancomunada56) y –sobre todo– la imposibilidad en la práctica para delimitar todos los sujetos responsables así como los altísimos costes de investigación57, sin que una respon-

52 Haciendo un paralelismo con las personas jurídicas, la limitación o circunscripción de la responsabilidad en el sia anima a la inversión en todos los sentidos (tanto en el ecosistema de creación de robots inteligentes, como en el entrenamiento y creación de éstos); sin perjuicio de puntuales casos en los que se pudiera aplicar una responsabilidad vicarial o –analógicamente– «un levantamiento del velo». Carrier, M. A., “Copyright and Innovation: The Untold Story”, Ghosh, S. (ed.), Intellectual Property and Innovation, Cheltenham: Edward Elgar, vol. ii, Northampton, 2017, pp. 368-439. 53 Son precisamente estos problemas los que me impulsan –todavía más si cabe– a descartar estos planteamientos mixtos y, en cambio, sostener la necesidad de que la responsabilidad por las acciones del robot inteligente se impute a éste y se afronten mediante sistemas de aseguramiento del riesgo, así como un eventual patrimonio humanoide (proveniente de la explotación de sus obras, por ejemplo). 54 Balkin, J. M., “The Path of Robotics Law”, California Law Review Circuit, vol. 6, 2015, p. 45- 60. 55 Schulze, R. y Staudenmayer, D., “Digital Revolution–Challenges for Contract Law”, Schulze, R. y Staudenmayer, D. (eds.), Digital revolution: Challenges for Contract Law in practice, Baden-Baden: Hart Publishing (Nomos), 2016, pp. 19-32. 56 Penalmente, el principio que rige la responsabilidad para las personas jurídicas es el de la solidaridad (art. 116.3 cp), mientras que, en el ámbito civil, contractualmente no puede presumirse la solidaridad (arts. 1.137 y 1.138 del C.c.), y, extracontractualmente –a falta de Derecho positivo– la jurisprudencia ha establecido la solidaridad en el caso de pluralidad de autores siempre que «no existan elementos que permitan hacer diferencias en cuanto al grado de participación de cada uno»; esto es, hay que verificar si se puede o no individualizar el comportamiento de cada autor y su grado de responsabilidad, y sólo en defecto de ello rige la solidaridad automática (vid., sts de 6 de noviembre de 1980 (y citadas) y stss de 20 de mayo de 1968, de 15 de octubre de 1976, de 7 de mayo de 1993 y de 1 de junio de 1994), siguiendo lo estipulado en la normativa de caza –art. 33.5(ii) de la Ley 1/1970, de 4 de abril, de caza («boe» núm. 82, de 06/04/1970). 57 Teubner, G., Digitale Rechtssubjekte?...cit., p. 146.

LA RESPONSABILIDAD DE LOS ROBOTS

257

sabilidad alícuota o pro-rata sea admisible.58 En estas situaciones se erige como más que interesante el estudio de criterios tales como la denominada regla del «market share liability», el «reasonable alternative design test»59, el «consumer expectations test», o los centros de imputación basados en acciones y riesgo («matriz anónima»60). En cualquier caso, las cosas pueden ser todavía más simples –o simplistas, pues no me convencen estas posturas– y así otros zanjan este problema de un plumazo y sin mayores reparos, abogando por la inmunidad. Por ejemplo, Calo apuesta por un sistema abierto –«open robotics»– como el más adecuado para una rápida innovación (por ser más ventajoso o beneficioso para la innovación y fomento de inversión en ia que uno cerrado). Ahora bien, como quiera que un modelo abierto expone más (en materia de responsabilidad) a los fabricantes de las plataformas sobre las se trabaja en ia, así como a los distribuidores (entre otras cuestiones por la dificultad en la previsión de las eventuales responsabilidades en las que se puede incurrir), propone una inmunidad selectiva –«blanket inmunity»61– para los fabricantes como la opción óptima para eliminar los obstáculos legales e incentivar una innovación segura.62 5. CONCLUSIONES En mi opinión, el sistema de responsabilidad civil actual en Derecho español y europeo (incluso me atrevería a decir a nivel mundial) es insuficiente para afrontar los retos Spiecker propugna una responsabilidad alícuota entre todos los participantes de una red. Spiecker, I., “Zur Zukunft systemischer Digitalisierung–Erste Gedanken zur Haftungsund Verantwortungszuschreibung bei informationstechnischen Systemen”, Computer und Recht, Coloni, núm. 10, vol, 32, 2016, pp. 698-704. 59 Para probar un defecto de diseño, el Restatement (Third), a diferencia del Restatement (Second), requiere que el demandante demuestre la existencia de un diseño de producto alternativo y razonable, entendido en el sentido de «risk-utility balancing test» (test que implica valorar si un diseño alternativo razonable, a un coste razonable, habría reducido el riesgo previsible de daño que representa el producto y –de ser así– si la omisión del diseño alternativo por parte del vendedor implicó que el producto no fuera razonablemente seguro», Vid., art. § 2(b) del American Law Institute, Restatement (Third) of Torts: Products Liability, Willian S. Hein & Co., Buffalo (Nueva York), 2007-, a saber: «a product is defective when, at the time of sale or distribution, it contains a manufacturing defect, is defective in design or is defective because of inadequate instructions or warnings». 60 Teubner defiende para los casos de responsabilidad derivada de acciones en grupo o en red el criterio de la «anonymous matrix» como un centro de imputación. Es decir, se atribuiría responsabilidad a las acciones identificadas de las que deriva el daño y consecuente responsabilidad, en lugar de imputarla a personas como autores. Teubner, G., Digitale Rechtssubjekte?...cit., p. 146. 61 “The problem with blanket immunity in the context of robotics is that it would remove not only the legal disincentive to the production of open robots but an incentive to make them safe”. Calo, R., “Open Robotis”, Maryland Law Review, núm. 3, vol., 70, 2011, pp. 101-142. 62 En contra de tal inmunidad –no sin dudas– se muestra Wagner para quien resulta problemático alcanzar el fomento de la innovación a través de la inmunidad o exoneración de responsabilidad. Ahora bien, este autor también se muestra dubitativo acerca de que el sistema de responsabilidad civil sea el más adecuado para lograr esa pretendida innovación y su incentivo. Y acude a criterios de coste-beneficio (en términos de cuánta innovación se logra y cuánto coste tiene ello jurídicamente) para analizar la eventual imputación de responsabilidad a los robots. Wagner, Gerhard, Robot Liability…cit., pp. 30-31. 58

258

Miguel Ortego Ruíz

que plantean los sia. Es más, en el estado actual de las cosas, la mayoría de las propuestas legislativas y doctrinales pasan por soluciones intermedias que siguen arrastrando los cimientos del clásico sistema de responsabilidad civil, si bien tratan de encajarlo con los retos que platean los robots inteligentes. Sin embargo, considero que dichas soluciones que podríamos denominar «intermedias» adolecen de cierto grado de miopía que las convierten en incompletas y poco convincentes. Y ello por cuanto los sia y su capacidad para aprender por sí solos, para interactuar –activa y pasivamente– con el entorno y los humanos, han cambiado por completo las reglas del juego en un giro de ciento ochenta grados. La realidad ya no es la que conocíamos y en la actualidad hay un nuevo «player» que inunda prácticamente todos los ámbitos de la sociedad y economía, lo que obliga al Derecho a afrontarlo como tal y no desde la clásica disyuntiva «sujeto-objeto». La regulación de las personas jurídicas da buena cuenta de las limitaciones de las propuestas intermedias. Una categoría jurídica implementada para solucionar cierta problemática que aun siendo entidades mucho más limitadas que los sia en el plano fáctico, cuentan con cada vez más derechos propios de los humanos (y son menos parecidas a los humanos de lo que lo son y serán los sia), lo que conduce a la conclusión de que no se explica por éstas si pueden ser responsables civilmente y los robots inteligentes no. A mayor abundamiento, que el Derecho niegue una realidad (que los sia confrontan en muchos aspectos con los seres humanos y cada vez lo harán más) no soluciona el problema y, peor aún, desvirtúa la naturaleza misma del Derecho cuya misión principal es la regulación y ordenación de la realidad. Dar la espalda a esta realidad sería un craso error y sólo nos hará perder tiempo en la regulación de la Cuarta Revolución Industrial. Por ello, la propuesta que defiendo es la inclusión de los robots inteligentes como una categoría adicional de la personalidad jurídica –una tercera categoría–, que no tiene por qué ser idéntica a los humanos en cuanto al número y calidad de derechos y obligaciones de que gocen, pero que sí permite solventar de una manera más lógica y coherente el problema de la atribución de responsabilidad jurídica dimanante de los actos de los sia.

LAS MÁQUINAS CREAN DERECHO: DE CÓMO ALGUNAS APLICACIONES DE COMPRAVENTA POR INTERNET PRETENDEN MODIFICAR LA REGULACIÓN IMPERATIVA DEL CÓDIGO CIVIL1 Carmen Florit Fernández Profesora de Derecho civil Universidad Europea (Madrid) DOI: 10.14679/2067

1. INTRODUCCIÓN: BREVE PLANTEAMIENTO DEL PROBLEMA Las compraventas por internet son cada vez más frecuentes y la velocidad de vértigo a la que avanza este fenómeno crea problemas legales de calado que al profano le pasan desapercibidos. Muchas de las condiciones generales de la contratación de una multitud de plataformas de este tipo entran en clara colisión con lo establecido ya no por todas las normas sobre protección del consumidor sino con el propio Código civil en cuanto a los elementos esenciales del contrato o a los requisitos para su perfeccionamiento. En el presente trabajo analizaré dos ejemplos: por un lado, la conocida plataforma Wallapop, que pone en contacto a comprador y vendedor, como paradigma de la modificación del contenido imperativo del Código civil y lo relativo a los requisitos de perfección de la compraventa, y por otro, la multitud de plataformas o páginas webs que ofertan productos o servicios que constituyen objeto contractual totalmente sin determinar. El sistema informático impide al contratante –desde el punto de vista contractual, y consumidor desde el punto de vista de aceptante de las condiciones generales– poder ver satisfecho su legítimo deseo si no “traga” o acepta dichas condiciones contrarias a la ley, lo cual perjudica al ejercicio de su derecho pues debe pasar por un sistema preestablecido informáticamente. Pero, por otro lado, la extendida aceptación de la imposición de estas condiciones parece haber comenzado, si no lo ha hecho ya, a modificar la mentalidad de 1 Esta investigación se realiza dentro del marco del Proyecto Resolución Analógica y Digital de Controversias ante los Objetivos de Desarrollo, de la Facultad de Ciencias Sociales y de la Comunicación de la Universidad Europea de Madrid.

260

Carmen Florit Fernández

aquel que contrata, que se cree obligado a aceptar, creando quizá una costumbre, fuente del Derecho aplicable en nuestro sistema. 2. PLATAFORMAS QUE MODIFICAN LOS REQUISITOS DE PERFECCIONAMIENTO DEL CONTRATO 2.1. La noción de contrato electrónico La Ley 34/2002, de 11 de julio, de Servicios de la Sociedad de la Información y de Comercio Electrónico, habla de contrato celebrado por vía electrónica o de contrato electrónico como “todo contrato en el que la oferta y la aceptación se transmiten por medio de equipos electrónicos de tratamiento y almacenamiento de datos, conectados a una red de telecomunicaciones” y, por tanto, como dice Domínguez Cabrera, “aparte del soporte técnico que permite tratar y transmitir el contenido del contrato, elemento principal es que su perfeccionamiento tiene lugar a distancia, sin la inmediatez que resulta de la presencia física de las partes que emiten sus manifestaciones de voluntad concurrentes y recíprocas”2. Para Arias de Rincón, el “contrato electrónico es el acto constituido por el acuerdo de dos o más voluntades sobre un objeto jurídico de interés común para las partes, celebrado a distancia, de formación instantánea o sucesiva, y por vía electrónica, con el fin de crear, modificar o extinguir una situación jurídica”3. Por tanto, el concepto de contrato electrónico no es en esencia distinto del de cualquier otro contrato, esto es, un acuerdo de voluntades sobre el objeto y la causa que tiene como consecuencia el nacimiento de derechos y obligaciones para ambas partes, como resultado del compromiso adquirido de cada una de ellas frente a la otra. La única diferencia es la manifestación del consentimiento por medios electrónicos. Ello supone o presupone la no presencia física de ambas partes en el momento de la aceptación. Esto no es nuevo, obviamente, dado que la manifestación del consentimiento ha sido siempre válida cuando ambas partes no se encontraban físicamente presentes, como pudiera ser cuando se manifiesta por carta –contrato entre ausentes, fuera de establecimiento mercantil…–. De hecho, sí puede haber presencia física y seguir encajando en el concepto de contrato electrónico si, por ejemplo, estando ambos presentes, se manifiesta el consentimiento a través de alguna herramienta informática4. DOMÍNGUEZ CABRERA, M. P., “El perfeccionamiento del contrato electrónico en la ley de servicios de la sociedad de la información y de comercio electrónico”, Revista de la Facultad de Ciencias Jurídicas, 8/9, 2003/04, p. 54. 3 ARIAS DE RINCÓN, M. I., “La formación y perfección del contrato por Internet”, Revista Chilena de Derecho, vol. 29, 1, 2002, p. 111. 4 En este sentido, afirma Domínguez Cabrera: “se excluyen expresamente del concepto de servicio propio de la sociedad de la información a los servicios prestados mediante telefonía vocal, fax, télex, el intercambio de información por correo electrónico o medios equivalentes con fines ajenos a la actividad económica de sus usuarios, los servicios prestados mediante radiodifusión televisiva o sonora, así como el teletexto televisivo y modalidades similares. En consecuencia, se entiende que el contrato electrónico sea 2

LAS MÁQUINAS CREAN DERECHO

261

En este sentido, afirma Arias de Rincón que “En mi opinión, lo que define que el contrato sea celebrado por vía electrónica es la manifestación del consentimiento por cualquier medio electrónico, es decir, la transmisión de la aceptación por medios electrónicos”5. 2.2. Perfeccionamiento del contrato electrónico. Disposiciones legales del Código civil El perfeccionamiento del contrato, que se analiza más ampliamente en el siguiente apartado, es el momento en que el contrato nace válido, generando derechos y obligaciones para ambas partes. Ese momento es el de la concurrencia de la oferta y la aceptación, existiendo el resto de elementos esenciales, esto es, el objeto determinable y la causa. Además, en el caso de la compraventa, es requisito esencial el precio. La mencionada Ley de Servicios de la Sociedad de la Información y de Comercio Electrónico remite al Código civil en lo relativo al perfeccionamiento de los contratos electrónicos, que establece lo siguiente: Artículo 1258 Los contratos se perfeccionan por el mero consentimiento, y desde entonces obligan, no sólo al cumplimiento de lo expresamente pactado, sino también a todas las consecuencias que, según su naturaleza, sean conformes a la buena fe, al uso y a la ley. Artículo 1254 El contrato existe desde que una o varias personas consienten en obligarse, respecto de otra u otras, a dar alguna cosa o prestar algún servicio. Artículo 1262 El consentimiento se manifiesta por el concurso de la oferta y de la aceptación sobre la cosa y la causa que han de constituir el contrato. Hallándose en lugares distintos el que hizo la oferta y el que la aceptó, hay consentimiento desde que el oferente conoce la aceptación o desde que, habiéndosela remitido el aceptante, no pueda ignorarla sin faltar a la buena fe. El contrato, en tal caso, se presume celebrado en el lugar en que se hizo la oferta. En los contratos celebrados mediante dispositivos automáticos hay consentimiento desde que se manifiesta la aceptación.

una modalidad específica que se encuadra dentro de una categoría general, representada por el contrato celebrado por dispositivo automático, en terminología empleada tanto por el Código civil (C. c.) como por el Código de comercio (C. de c.)21. Es decir, todo contrato electrónico es un contrato celebrado mediante dispositivos automáticos, pero no todos los contratos celebrados mediante dispositivos automáticos serán necesariamente contratos electrónicos”. DOMÍNGUEZ CABRERA, M. P., cit., p. 55. 5 ARIAS DE RINCÓN, M. I., cit., p. 112.

262

Carmen Florit Fernández

2.3. El caso de Wallapop En las condiciones generales de la contratación publicadas en la página web Wallapop6 –debe tenerse en cuenta que, en cualquier caso, el contrato se celebra entre dos personas, comprador y vendedor– publicadas por esta aplicación en su web, tras la oferta pública hecha por un particular sobre un determinado producto, cualquiera que acceda a la plataforma y esté interesado puede hacer una “contraoferta”, dando un plazo de veinticuatro horas al oferente (vendedor) para aceptarla o no. En este caso no parece plantear problemas la norma interna, sin embargo, sí incurre en una contradicción con lo establecido por el Código civil en otro caso, y es que también se concede un plazo de veinticuatro horas al oferente para “aceptar la aceptación de la oferta” cuando el comprador acepta simple y llanamente la oferta del vendedor. La realización de una “contraorferta” es lógicamente una nueva oferta que el vendedor puede aceptar o no, por lo que, como he dicho, no plantea ningún problema. Ahora bien, en el segundo caso, debe tenerse en cuenta lo que dice el art. 1262 del Código civil, ya citado: El consentimiento se manifiesta por el concurso de la oferta y de la aceptación sobre la cosa y la causa que han de constituir el contrato. Hallándose en lugares distintos el que hizo la oferta y el que la aceptó, hay consentimiento desde que el oferente conoce la aceptación o desde que, habiéndosela remitido el aceptante, no pueda ignorarla sin faltar a la buena fe. El contrato, en tal caso, se presume celebrado en el lugar en que se hizo la oferta. En los contratos celebrados mediante dispositivos automáticos hay consentimiento desde que se manifiesta la aceptación. Y, además lo establecido por los siguientes artículos, también citados ya, pero de vital importancia en este caso: Artículo 1258 Los contratos se perfeccionan por el mero consentimiento, y desde entonces obligan, no sólo al cumplimiento de lo expresamente pactado, sino también a todas las consecuencias que, según su naturaleza, sean conformes a la buena fe, al uso y a la ley. Artículo 1254 El contrato existe desde que una o varias personas consienten en obligarse, respecto de otra u otras, a dar alguna cosa o prestar algún servicio. 6 Ya imagino que es sobradamente conocida pero, por si fuera necesario, explico aquí en qué consiste: en Wallapop se publican objetos en venta. Estos objetos los vende directamente su propietario, un particular. Por lo general se trata de productos de segunda mano, pero no siempre es así, pues a veces algunos comercios también venden a través de esta página. En este sentido, debe advertirse que cuando se trata de contratos entre particulares que contactan a través de la plataforma, no es aplicable la regulación sobre consumidores y usuarios, que sí lo sería cuando se trata del caso de que a través de la plataforma quien esté ofertando un objeto sea un comerciante. Sí es aplicable la regulación sobre consumidores en la relación entre los particulares, partes del contrato, y la plataforma que publica las ofertas de los vendedores.

LAS MÁQUINAS CREAN DERECHO

263

Teniendo en cuenta que se puede definir la oferta7 como aquella declaración unilateral de voluntad que se dirige a otro para la celebración de un contrato y que contiene sus elementos esenciales, y que la aceptación puede entenderse como la declaración de voluntad por la que el receptor de la oferta manifiesta su conformidad a ella y consiente en celebrar el contrato, la aceptación transforma la oferta en el contrato querido y perfeccionado. Mediante la aceptación, por tanto, el destinatario manifiesta su conformidad con todo el contenido de la oferta y, por lo tanto, expresa su disposición para realizar el contrato, lo cual permite su perfeccionamiento, haciendo surgir derechos y obligaciones para ambas partes. Esta afirmación cabe hacerse de la generalidad de los contratos, que como el Código establece, son de carácter consensual como regla general, teniendo en cuenta las salvedades que la norma haga expresamente en cuanto a los contratos formales y los reales. Para Díez-Picazo, la perfección del contrato es el momento de inflexión entre las dos únicas fases de la celebración del contrato: generación y ejecución. Afirma que en realidad existen sólo dos fases en la celebración del contrato que denomina generación y ejecución. Como fase intermedia a estas dos existe un punto de inflexión que se denomina “perfección del contrato”8. Es importante remarcar la idea de que para que el contrato se perfeccione es preciso que la aceptación sea pura y llanamente de la oferta emitida y que no cambie los términos de esta, pues en tal caso estaríamos no ante la perfección del contrato sino ante una nueva oferta. Sin embargo, para Arias de Rincón, “Las propuestas presentadas por medio de una página web han de recibir un trato ciertamente diferente de aquellas propuestas por medio del correo electrónico… Como regla general, la información que aparece en las páginas web debe ser considerada como un anuncio y tan solo cuando el usuario responde a esos anuncios… se convierte en el oferente, en el sentido jurídico del término y el vendedor en el aceptante de las ofertas o pedidos que reciba. Se lanza una propuesta comercial a todos los usuarios y luego la transacción se personaliza. La respuesta es una oferta y por tanto, es el proveedor virtual… quien acepta la oferta y permite la formación del contrato… De manera que las informaciones presentadas en las páginas web son invitaciones a ofrecer simples anuncios por internet, pero no son oferta en sí mismas”9. No puedo estar más en desacuerdo con la autora, por lo menos en el caso que nos ocupa, esto es, la publicación en una plataforma o web de la intención del propietario de un Para Mateu Ros podemos encontrar webs o plataformas de esta clase en realidad de dos tipos, existiendo las que llama “activas”, en las que “la oferta del proveedor puede tener naturaleza jurídica vinculante propia de las declaraciones de voluntad recepticia, y obligarle a contratar en las condiciones preestablecidas, en tanto no la revoque o modifique”; y las que llama “pasivas”: “comportará para el proveedor, todo lo más, una «obligación precontractual»”. MATEU DE ROS, R., “El consentimiento y el proceso de contratación electrónica”, en MATEU DE ROS, R. y CENDOYA MÉNDEZ DE VIGO, J. M. (coords.), Derecho de Internet, Contratación Electrónica y Firma Digital, Madrid: Aranzadi, 2000., pp. 55-56. 8 GÓMEZ VALENZUELA, E., El perfeccionamiento del contrato electrónico en derecho internacional privado español (Tesis doctoral), Jaén: Universidad de Jaén, 2019. 9 ARIAS DE RINCÓN, M. I., cit., p. 114. 7

264

Carmen Florit Fernández

objeto de vender dicho objeto con características descritas en la web y a cambio de un precio. Dicho “anuncio”, en mi opinión, no puede ser otra cosa que una oferta vinculante, que incluye, como toda oferta pública, la manifestación del consentimiento en este caso del vendedor al contrato que desea celebrar en los términos publicados y al que sólo le falta la aceptación del comprador, sin “contraoferta”, para que el contrato se perfeccione. El art. 1262 del Código civil en este supuesto dispone el perfeccionamiento del contrato desde que se manifiesta la aceptación –“Hay consentimiento desde que se manifiesta la aceptación”–. El Código civil, desde la reforma y unificación con el Código de comercio, “indudablemente se ha optado por la teoría de la declaración. Por lo tanto, ello supone que en la contratación electrónica la perfección se produce simplemente con la exteriorización o manifestación del consentimiento, pero sin que los preceptos indicados hayan querido exigir la recepción de esa declaración de voluntad que es la aceptación”10. Este criterio sin embargo no parece coincidir con el art. 28 de la Ley 34/2002, de 11 de julio, de servicios de la sociedad de la información y de comercio electrónico que establece: 1. El oferente está obligado a confirmar la recepción de la aceptación al que la hizo por alguno de los siguientes medios: a) El envío de un acuse de recibo por correo electrónico u otro medio de comunicación electrónica equivalente a la dirección que el aceptante haya señalado, en el plazo de las veinticuatro horas siguientes a la recepción de la aceptación, o b) La confirmación, por un medio equivalente al utilizado en el procedimiento de contratación, de la aceptación recibida, tan pronto como el aceptante haya completado dicho procedimiento, siempre que la confirmación pueda ser archivada por su destinatario. En los casos en que la obligación de confirmación corresponda a un destinatario de servicios, el prestador facilitará el cumplimiento de dicha obligación, poniendo a disposición del destinatario alguno de los medios indicados en este apartado. Esta obligación será exigible tanto si la confirmación debiera dirigirse al propio prestador o a otro destinatario. 2. Se entenderá que se ha recibido la aceptación y su confirmación cuando las partes a que se dirijan puedan tener constancia de ello. En el caso de que la recepción de la aceptación se confirme mediante acuse de recibo, se presumirá que su destinatario puede tener la referida constancia desde que aquél haya sido almacenado en el servidor en que esté dada de alta su cuenta de correo electrónico, o en el dispositivo utilizado para la recepción de comunicaciones. 3. No será necesario confirmar la recepción de la aceptación de una oferta cuando: a) Ambos contratantes así lo acuerden y ninguno de ellos tenga la consideración de consumidor, o b) El contrato se haya celebrado exclusivamente mediante intercambio de correo electrónico u otro tipo de comunicación electrónica equivalente, cuando estos medios no sean empleados con el exclusivo propósito de eludir el cumplimiento de tal obligación.

10

DOMÍNGUEZ CABRERA, M. P., cit., p. 63.

LAS MÁQUINAS CREAN DERECHO

265

Al imponer al oferente la obligación de confirmar la recepción de la aceptación, lo que parece dar a entender que es la recepción y no la manifestación de la aceptación la que produce la perfección del contrato celebrado mediante dispositivos automáticos. La mayoría de la doctrina salva esta aparente contradicción, entendiendo que confirmada la recepción de la aceptación el contrato queda perfeccionado desde que ésta se emitió. Dicha confirmación de la recepción de la aceptación no puede dejar de hacerse sin faltar a la buena fe (artículo 1262 del Código civil: “no pueda ignorarla sin faltar a la buena fe”). En este sentido, afirma Domínguez Cabrera: “Esa conclusión no resulta alterada por el contenido del artículo 28 de la LSSICE, al que ya nos referimos anteriormente, y donde se imponen ciertas obligaciones al oferente una vez que el contrato ya se ha celebrado. En efecto, dicho precepto de la Ley, bajo la rúbrica, exige que el prestador de servicios confirme al destinatario la recepción de la aceptación. Sin embargo, tal deber de información ha sido impuesto por la Ley a efectos probatorios –como indica la rúbrica del precepto, a los efectos de – sin que por tanto permita modificar el criterio de perfección del contrato antes señalado y que no es otro que el momento de la manifestación o emisión de la aceptación por parte del destinatario”11. De modo que, a pesar de lo establecido por Wallapop, cuando el comprador acepta la oferta del vendedor, no puede dársele nuevo plazo al vendedor para “aceptar la aceptación”, si dicha aceptación es pura y simple de la oferta, por lo que no puede considerarse como oferta nueva, de modo que el contrato de compraventa se ha perfeccionado y hace surgir derechos y obligaciones para ambas partes. 3. EL CASO DE LOS CONTRATOS CON OBJETO TOTALMENTE INDETERMINADO 3.1. Noción y requisitos del objeto. Disposiciones legales del Código civil El objeto del contrato es uno de los elementos esenciales cuya ausencia produce la declaración de inexistencia o nulidad del contrato12. Pero el objeto no sólo debe existir sino que además es preciso para que el contrato nazca válido que sea determinable, esto es, que a pesar de poder ser indeterminado lo sea sólo en sentido relativo y que sea por lo tanto determinable. En cuanto al objeto, establece el Código civil lo siguiente:

La autora da por superada la dicotomía existente anteriormente. DOMÍNGUEZ CABRERA, M. P., cit., p. 64. 12 La inexistencia se da cuando falta uno de los elementos esenciales del contrato, por cuanto dice el art. 1261 del Código civil que “No hay contrato sino cuando concurren los requisitos siguientes: 1.º Consentimiento de los contratantes. 2.º Objeto cierto que sea materia del contrato. 3.º Causa de la obligación que se establezca”. La nulidad se da cuando el contrato es contrario a una norma imperativa o prohibitiva. 11

266

Carmen Florit Fernández

Artículo 1271 Pueden ser objeto de contrato todas las cosas que no están fuera del comercio de los hombres, aun las futuras. Sobre la herencia futura no se podrá, sin embargo, celebrar otros contratos que aquéllos cuyo objeto sea practicar entre vivos la división de un caudal y otras disposiciones particionales, conforme a lo dispuesto en el artículo 1056. Pueden ser igualmente objeto de contrato todos los servicios que no sean contrarios a las leyes o a las buenas costumbres. Artículo 1272 No podrán ser objeto de contrato las cosas o servicios imposibles. Artículo 1273 El objeto de todo contrato debe ser una cosa determinada en cuanto a su especie. La indeterminación en la cantidad no será obstáculo para la existencia del contrato, siempre que sea posible determinarla sin necesidad de nuevo convenio entre los contratantes. Este último artículo es el que establece la necesidad de que el objeto sea determinable aunque no necesariamente determinado. Esto quiere decir que un contrato, por ejemplo, de compraventa en el que el vendedor acuerda con el comprador transmitirle el dominio sobre un objeto por determinar, por ejemplo expresando “te vendo algo que no te digo que es a cambio de un precio”, sería radicalmente nulo. Los requisitos legales del objeto del contrato serán por tanto y según lo establecido por el Código civil: -

-

-

Posibilidad: como establece el art. 1272, que dice que no pueden ser objeto de contrato las cosas o servicios imposibles; del mismo modo, en el art. 1460, que declara el contrato sin efecto cuando la imposibilidad del objeto es originaria y total, pero también parcial; en el art. 1271, se establece que pueden ser objeto de contrato las cosas futuras (con la excepción de que las cosas futuras sean objeto de un contrato sobre herencia futura, expresamente prohibido). Licitud: para las cosas, se exige que no estén fuera del comercio de los hombres. Son cosas extracomerciales: los bienes de dominio público, cosas no susceptibles de apropiación por considerarse cosas comunes a todos al quedar fuera del ámbito del poder del individuo y bienes sustraídos a la libre disponibilidad de los particulares. Determinación de la cosa en cuanto a su especie (art. 1273), para que no pueda confundirse con otras distintas. El objeto puede ser determinado o determinable, si constan en este último caso en el contrato los elementos para su determinación.

El objeto puede estar perfectamente determinado desde el principio –te vendo mi coche, por ejemplo–, o relativamente indeterminado, como cuando se señala el género al que la cosa pertenece –te vendo un coche–. En este último supuesto, la determinación del objeto se conseguirá al concretarse la obligación que el Código civil denomina genérica.

LAS MÁQUINAS CREAN DERECHO

267

El Código civil no considera necesario para la determinación del objeto del contrato fijar la cualidad. Cuando ha sido determinada la cosa por el género a que pertenece, suple la falta de criterios para perfilar la calidad lo dispuesto en el art. 1167 donde se señala que el acreedor no podrá exigirla de la calidad superior, ni el deudor entregarla de la inferior. La determinación del objeto del contrato puede quedar confiada al arbitrio de un tercero, que puede obrar según la equidad o según su leal saber y entender. Si las partes no han fijado a qué tipo de arbitrio ha de someterse el tercero se estimará que será el arbitrio de equidad. Podrá ser impugnada la decisión por falta de equidad, la decisión contraria a la buena fe o si el tercero no se ha sujetado en su cometido a las instrucciones de las partes. 3.2. El caso de las “cajas sorpresa” Una “caja sorpresa” es algo que el lector quizá recuerde haber adquirido en la feria cuando era niño. Se paga un precio a cambio de una cajita que contiene algo totalmente desconocido y que sólo puedo ver cuando ya lo he adquirido. Este tipo de contratos se han convertido hoy día en muy habituales, desde las famosas Smartbox, en la que se compra una experiencia, que en realidad sí podemos entender que está mínimamente determinada, hasta la adquisición por Internet de multitud de “cajas” cuyo contenido es totalmente desconocido para el adquirente. Habitualmente, se adquiere una “caja temática”, es decir, el comprador sabe que la caja contiene algo, por ejemplo, para su mascota, o productos de cosmética o moda, etc. Uno de los casos más reconocible por todas es el de la página web Lookiero. No lugar este para entrar a analizar las causas que desde el punto de vista sociológico puedan llevar a determinadas personas a comprar algo que no saben qué es. Desde luego, hay mucho de qué hablar en este sentido, desde el hecho que creo que al lector le habrá ocurrido: que le haga ilusión recibir un paquete que ya ha pagado y que no se acuerda qué contiene, como si fuera un regalo, hasta el que quizá explica el fenómeno objeto de este texto: que compra algo que no sabe lo que es para hacerse un “autoregalo” sorpresa. Pues bien, siendo requisito indispensable que el objeto del contrato sea cuanto menos determinable, es decir, que el acuerdo de voluntades recaiga sobre un objeto del que tengamos los datos suficientes como para poder saber a qué se están refiriendo las partes, el consentimiento manifestado sobre un objeto desconocido, y que dependerá únicamente de la voluntad del vendedor decidir qué objeto va a entregar, puede entenderse radicalmente nulo. En el caso de las “cajas sorpresa”, como he indicado, es habitual que se refieran a determinados sectores, por ejemplo, en el caso de Lookiero, prendas de ropa y accesorios de moda. Yo compro una caja que no sé qué contiene y al llegar lo mismo puede contener un abrigo, unos pantalones y un bolso cualesquiera, que una blusa, una falda y unos zapatos cualesquiera. Desde luego, esto no parece salvar la exigencia del Código civil sobre la posibilidad de la determinación del objeto (“El objeto de todo contrato debe ser una cosa determinada en cuanto a su especie”, art. 1273). Si compro, por ejemplo, unos pantalones

268

Carmen Florit Fernández

vaqueros negros, sí podremos hablar de objeto determinable. Pero en el presenta caso, desde luego, no. 4. CONCLUSIONES REFLEXIVAS: IMPERATIVIDAD EN AMBOS CASOS DE LA REGULACIÓN DEL CÓDIGO CIVIL Y POSIBLE COSTUMBRE JURÍDICA Cabe preguntarse si en los dos casos explicados existe la posibilidad de argumentar que se trata de regulación dispositiva del Código civil y, por tanto, es válida la aceptación de las condiciones generales de la contratación que los particulares aceptan al utilizar las mencionadas plataformas. En el primer caso, el de Wallapop, el plazo dado al vendedor para que “acepte la aceptación” del comprador, en contra de los establecido por el artículo 1258 y 1262, párrafo tercero, se trata sin ningún género de dudas de una exigencia contraria al contenido imperativo de dichos artículos. Ningún acuerdo puede, basándose en la autonomía de la voluntad contractual, ser válido cuando contradiga lo establecido de manera imperativa por el Código civil sobre los requisitos para la perfección del contrato y, por lo tanto, el consentimiento dado sobre las disposiciones de la plataforma en este sentido contrarias al Código no es válido, pues todo acto contrario a una norma imperativa o prohibitiva es nulo de pleno derecho. Asimismo, lo establecido en el art. 1273 del Código civil sobre la determinación del objeto contractual, siendo éste además un elemento esencial del contrato, debe entenderse también con carácter imperativo y, del mismo modo, todo acto contrario a dicha norma será nulo de pleno derecho, como ya he explicado. Por otro lado, cabe la posibilidad de que los sistemas automáticos de prestación del consentimiento y los sistemas automatizados mediante la red estén realmente creando costumbre jurídica, dada la alta aceptación en la práctica del sometimiento por parte de los contratantes a unas normas distintas a las establecidas en el Código civil. Pero, como sabemos, y como establece su art. 1, las fuentes del Derecho son, por este orden, la ley, la costumbre y los principios generales del Derecho. Si bien, la costumbre sólo se aplicará en defecto de ley y sólo cuando no sea contraria a una ley imperativa o prohibitiva. Siendo éste el caso, decae la posibilidad antes anunciada. No obstante, sí parece que la contratación mediante herramientas informáticas, hoy día muy extendida y de la que cabe esperarse que siga aumentando, sí esté generando unas prácticas muy extendidas que dentro de las posibilidades de la norma imperativa estén generando auténtica costumbre jurídica y crenado, por tanto, Derecho, mediante sistemas y algoritmos que marquen la posibilidad de ejercer o no un derecho subjetivo.

BIBLIOGRAFÍA

ABANADES SÁNCHEZ, M., “Las ecologías del aprendizaje en el escenario de la educación superior”, Contenidos de Vanguardia en el EEES, Madrid: Ediciones Pirámide, 2019. ABOUJAOUDE, E., Virtually You: The Dangerous Powers of the E-Personality, London: WW Norton & Co, 2012. ACERBI, P., “Is blockchain technology a challenge for antitrust law?”, Competition Law & Policy Debate, vol. 5, núm. 3, 2019. ACKERMAN, B., “El ascenso del constitucionalismo mundial”, incluido en su obra La política del diálogo liberal, Barcelona: Gedisa, 1999. ADAMS, T. K., “Future Warfare and the Decline of Human Decisionmaking”, Parameters 31, núm. 4, invierno de 2001–2002, pp. 57-71. AGUILERA JIMÉNEZ, A., y GARCÍA GÓMEZ, I., Una Universidad para el siglo XXI: algunas pistas para la reflexión, II Jornadas Andaluzas de Calidad en la Enseñanza Universitaria. Desarrollo de Planes de Calidad para la Universidad. Materiales para la Calidad, 2000, pp. 259-269. ALÁEZ, B., Nacionalidad, ciudadanía y democracia. ¿A quién pertenece la Constitución?, Madrid: Centro de Estudios Políticos y Constitucionales/Tribunal Constitucional, 2006. ALBA FERRÉ, E., “La educación especial a debate. La aplicación del interés superior del menor”, La Ley Derecho de Familia: Revista jurídica sobre familia y menores, 29, 2021, pp. 51-60. ALEGRE MARTÍNEZ, M. A., La dignidad de la persona como fundamento del ordenamiento constitucional español, León: Universidad de León, 1996. ALEXY, R., “Sistema jurídico, principios jurídicos y razón práctica”, en Derecho y razón práctica, México: Fontamara, 1993. AMUNÁTEGUI PERELLÓ, C., Archana Technicae. El Derecho y la inteligencia artificial, Valencia: Tirant lo Blanch, 2020. ANDERSON, K.; REISNER, D., y WAXMAN, M., “Adapting the Law of Armed Conflict to Autonomous Weapon Systems”, International Law Studies, US Naval War College, vol. 90, 2014. ANGUIANO, J.M., “Smart contracts: introducción al contractware”, Diario La Ley Ciberderecho, núm. 24, enero 2019. ARAGÓN, M., Constitución y Democracia, Madrid: Tecnos, 1989. ARANSAY ALEJANDRE, A. M., “Antecedentes y propuestas para la regulación jurídica de los robots”, Barrio Andrés, M. (dir.), Derecho de los Robots, Madrid: Wolters Kluwer, 2018.

270

BIBLIOGRAFíA

ARGELICH COMELLES, C., “Smart contracts, blockchain e Internet of Things o la automatización contractual inteligente”, en Roldán Martínez, A. (dir.), La persona en el siglo XXI. Una visión desde el Derecho, Navarra: Thomson Reuters Aranzadi, 2019. ARIAS DE RINCÓN, M. I., “La formación y perfección del contrato por Internet”, Revista Chilena de Derecho, vol. 29, 1, 2002, pp. 111-126. ARROYO APARICIO, A., “Competencia en materia de contratos celebrados por los consumidores”, en Blanco-Morales Limones, P.; Garau Sobrino, F.; Lorenzo Guillén, M. L. y Montero Muriell, F. J. (coord.), Comentario al Reglamento (UE) núm. 1215/2012 relativo a la competencia judicial, el reconocimiento y la ejecución de resoluciones judiciales en materia civil y mercantil. Reglamento Bruselas I refundido, Navarra: Editorial Aranzadi, 2016. ASARO, P., “On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanization of Lethal Decision-making”, International Review of the Red Cross 94, núm. 886, 2012, pp. 687-709. ASIS ROIG, R., Una mirada a la robótica desde los derechos humanos, Madrid: Dykinson, 2014. AYON, D., “Machine Learning Algorithms: A review”, International Journal of Computer Science and Information Technologies, núm. 3, 2016. BADARÓ, S., IBAÑEZ, L., y AGÜERO, M., “Sistemas expertos: fundamentos, metodologías y aplicaciones”, Ciencia y tecnología, 13, 2013. BALKIN, J. M., “The Path of Robotics Law”, California Law Review Circuit, vol. 6, 2015, p. 4560. BARBÉ, E. y BADELL, D., “The European Union and lethal autonomous weapons systems: United in diversity?”, European Union Contested, 2020. pp. 133-152. BARFIELD, W., “Liability for Autonomous and Artificially Intelligent Robots”, Paladyn, Journal of Behavioral Robotics, núm. 1, vol. 9, 2018, pp. 193–203. BARFIELD, W., y PAGALLO, U., Advanced Introduction to Law and Artificial Intelligence, Edward Elgar Publishing, 2020. BARRACA MAIRAL, J., Aportaciones a una antropología de la unicidad, Madrid: Dykinson, 2018. BARRIO ANDRÉS, M., “Hacia una personalidad electrónica para los robots”, Revista de Derecho Privado, núm. 2, 2018, pp. 88-107. BARRIO ANDRÉS, M., Derecho de los robots, Madrid: Wolters Kluwer, 2018. BEARD, J. M., “Autonomous Weapons and Human Responsibilities”, Georgetown Journal of International Law, vol. 45, 2014. BECK, S., “Grundlegende Fragen zum rechtlichen Umgang mit der Robotik”, Juristische Rundschau, núm. 6, 2009. BELADIEZ ROJO, M., Los principios jurídicos, Madrid: Civitas, 2010. BELADIEZ ROJO, M., Principio y norma en la elaboración jurisprudencial del Derecho privado, Barcelona: Bosch, 1961. BELTRÁN ROMÁN, V. y PREMINGER SAMET, D., “Inteligencia artificial en el sistema de justicia criminal: algunas reflexiones sobre su aplicación en el derecho chileno”, Revista de Derecho Aplicado LLM UC 5, 2020, pp. 6-8. BERAZA, M., La enseñanza universitaria: el escenario y sus protagonistas (Vol. 1), Madrid: Narcea Ediciones, 2002. BERMINGHAM, V. y Brennan, C., Tort Law, 5th ed., Oxford: Oxford University Press, 2016. BIURRUN ABAD, F. J.; “¿Deben prepararse los despachos de abogados para afrontar los smart contracts?”, Actualidad Jurídica, núm. 949, 2019.

BIBLIOGRAFíA

271

BLOCH, E., Derecho natural y dignidad humana, Madrid: Aguilar, 1980. BOBBIO, N., El tiempo de los derechos, Madrid: Sistema, 1991. BODEN, M. A., Inteligencia artificial, Madrid: Editorial Turner, 2017. BOOTHBY, B., “Autonomous Attack-Opportunity or Spectre?”, Yearbook of International Humanitarian Law, vol. 16, 2015. BOOTHBY, W. H., Conflict Law: The Influence of New Weapons Technology, Human Rights and Emerging Actors, TMC Asser Press, 2014, pp. 104-127. BROWN, G. y WHITTLE, R., Algorithms, Blockchain & Cryptocurrency. Implications for the Future of the Workplace, Emerald Publishing, United Kingdom, 2020. CABALLERO, M. A. y CILLEROS SERRANO, D., Ciberseguridad y transformación digital, Madrid: Anaya, 2019. CACÉESE, A., Los derechos humanos en el mundo contemporáneo, Barcelona: Ariel, 1993. CALO, R., “Open Robotis”, Maryland Law Review, núm. 3, vol., 70, 2011, pp. 101-142. CALO, R., Artificial Intelligence Policy: A Primer and Roadmap, Washington: University of Washington, 2017. CALVO CARAVACA, A.L. y CARRASCOSA GONZÁLEZ, J., Derecho Internacional Privado, vol. II, decimoséptima edición, Granada: Comares, 2017. CALVO, I., “La determinación del objeto en la compraventa de cosa futura”, Observatorio inmobiliario y de la construcción, 30, 2008, pp. 26-28. CAMPUZANO DÍAZ, B., “La competencia judicial internacional”, en Andrés Rodríguez Benot (dir.), Manual de Derecho Internacional Privado, séptima edición, Madrid: Tecnos, 2020, pp. 46-8. CARRASCAL SANTANO, A. “De la persona biológica, criótica, a la persona robótica cibernética”, R.E.D.S, núm. 16, 2020. CARREÑO, I., “Teoría de la conectividad como solución emergente a las estrategias de aprendizaje innovadoras”, Revista electrónica de humanidades, educación y comunicación social, 4(6), 2009. CASALS, A., “Robótica y personas con discapacidad”, Zerbitzuan: Gizarte zerbitzuetarako aldizkaria (Revista de servicios sociales), núm. 37, 1999. CASS, K., “Autonomous Weapons and Accountability”, Loyola of Los Angeles Law Review, vol. 48, 2015. CASSANO, G., Diritto dell’Internet. Il sistema di tutele della persona, Milán: Giuffrè, 2005. CASTAÑO, A. R., “Pedro Núñez, ayudando a las personas mayores a través de robots”, Viceversa: UEx & empresa, núm. 115, 2020, pp. 28-33. CASTELLANOS CALARMUNT, J. y MONTERO CLARO, D., “Perspectiva constitucional de las garantías de aplicación de la inteligencia artificial: la ineludible protección de los derechos fundamentales”, Revista Ius et Ciencia, vol. 6, núm. 2, 2020. CATALINI, C. y GANS, J., Some Simple Economics of the Blockchain, Working paper, Cambridge: National Bureau of Economic Research, 2019. CATALINI, C. y TUCKER, C., “Antitrust and Costless Verification: An Optimistic and a Pessimistic View of the implications of Blockchain Technology”, Antitrust Law Journal, vol. 82, núm. 3, 2019. CAYO PÉREZ BUENO, L., y MARTÍN BLANCO, J., Derechos humanos y discapacidad. Informe España 2020, Madrid: Ediciones Cinca, 2021.

272

BIBLIOGRAFíA

ČERKA, P.; GRIGIENĖ, J. Y SIRBIKYTĖ, G., “Liability for damages caused by artificial intelligence”, Computer Law & Security Review, núm. 3, vol., 31, 2015, pp. 376 - 389. COECKELBERGH, M., Ética de la inteligencia artificial, Madrid: Cátedra, 2021. CONG, L.W. y HE, Z., “Blockchain Disruption and Smart Contracts”, The Review of Financial Studies, vol. 32, núm. 5, 2019, pp. 1770-1782. CONTE DE LEON, D.; JILLEPALLI, A. A. y SHELDON, F.T., “Blockchain: properties and misconceptions”, Asia Pacific Journal of Innovation and Entrepreneurship, December 2017. CORN, G. S., “Autonomous weapons systems: managing the inevitability of taking the man out of the loop”, Bhuta, N., et al. (eds.), Autonomous Weapons Systems, Cambridge: Cambridge University Press, 2016. CORNEJO, M.; DESIDERIO, S. y AGREDA, O., “Estilos de aprendizajes e inteligencia artificial”, Polo del Conocimiento: Revista científico-profesional, 5 (9), 2020. CORTINA RAMOS, A., ¡Despertad! Transhumanismo y nuevo orden mundial, Navarra: Eunsa (Astrolabio Ciencias Sociales), 2021. CORVALÁN, J. G., “El impacto de la Inteligencia Artificial en el trabajo”, Revista de Direito Económico e Socioambiental, núm. 1, vol. 10, 2019. CORVALÁN, J. G., “Inteligencia artificial: retos, desafíos y oportunidades. Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia”, Revista de Investigações Constitucionais, vol. 5, núm. 1, 2018. COSTELLO, R. A., “The Impacts of AdTech on Privacy Rights and the Rule of Law”, Technology and Regulation, 2020, pp. 11-23. COTINO HUESO, L., “Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables y su utilidad desde el Derecho”, Revista Catalana de Dret Públic, 58, 2019, pp. 31-48. COTINO HUESO, L., “Propuesta de Reglamento de la Unión Europea por el que se establecen normas armonizadas sobre inteligencia artificial”, Diario La Ley, 2 de julio de 2021. CRIADO, J. I., “Inteligencia Artificial (y Administración Pública)”, EUNOMÍA. Revista en Cultura de la Legalidad, 2021, núm. 20, pp. 348-372. CROOTOF, R., “A Meaningful Floor for ‘Meaningful Human Control’”, Temple International and Comparative Law Journal, vol. 30, 2016, p. 54. CROOTOF, R., «War Torts: Accountability for Autonomous Weapons», University of Pennsylvania Law Review, vol. 164, 2016, pp. 1376-1377. CYMAN, D.; GROMOVA, E. y JUCHNEVICIUS, E., “Regulation of artificial intelligence in BRICS and the European Union”, BRICS Law Journal, 2021, vol. 8, núm.1, pp. 86-115. DABIN, J., El derecho subjetivo, Granada: Comares, 2006. DATOO, A., “FinTech solutions in complex contracts optimization”, en The FinTech Book, (Chishti & Barberis), Crornwall: TJ International Ltd, Padstow, 2016. DAVARA RODRÍGUEZ, M. A. (coord.), Manual de Derecho Informático, 12ª ed, Cizur Menor: Aranzadi, 2020. DE ASÍS ROIG, R. F., “Derechos, discapacidad e inteligencia artificial”, en Mora Sifuentes, F. M., (Coord.), En sus propias palabras. Conversaciones sobre la filosofía del Derecho contemporánea, Zela, 2020, pp. 79-92. DE BRUYNE, J., VAN GOOL, E. Y GILS, T., “Tort Law and Damage Caused by AI Systems”, De Bruyne, J. y Vanleenhove, C., (eds.), Artificial Intelligence and the Law, Cambridge: Intersentia, 2021, pp, 359-423.

BIBLIOGRAFíA

273

DE FILIPPI, P. y WRIGHT, A., Blockchain and the Law: The Rule of Code, Harvard University Press, 2018. DE GREGORIO, G., “The rise of digital constitutionalism in the European Union”, International Journal of Constitutional Law, 2021, vol. 19, núm. 1, pp. 41-70. DE MIGUEL ASENSIO, P. A., “Libro Blanco sobre inteligencia artificial: evolución del marco normativo y aplicación efectiva”, La Ley Unión Europea, 2020, núm. 79, pp. 1-5. DE MIGUEL ASENSIO, P.A., “Contratación comercial Internacional”, en Fernández Rozas, J. C.; Arenas García, R. y Alberto de Miguel Asensio, P., Derecho de los Negocios Internacionales, Sexta Edición, Iustel, 2020. DE MIGUEL ASENSIO, P.A., Derecho Privado de Internet, quinta edición, Navarra: Editorial Aranzadi, 2015. DEL BARRIO, J., “IA y transformación del sistema sanitario”, Inteligencia artificial en el campo de la salud, Fundación Merck, 2021, pp. 113-138. DESANTES REAL, M., “The Disruptive Nature of the So-Called Fourth Industrial Revolution for Intellectual Property: Moving Societal Changes from Linear to Exponential”, Heath, C.; Kamperman Sanders, A. y Moerland, A. (eds.), Intellectual Property Law and the Fourth Industrial Revolution, The Netherlands: Wolters Kluwer, 2020, pp. 3-7. DI CIOMMO, M., Dignità umana e Stato costituzionale. La dignità umana nel costituzionalismo europeo, nella Costituzione italiana e nelle giurisprudenze europee, Brossura: Passigli, 2010. DÍAZ LÓPEZ, E., “Una implementación de la meta-heurística. Optimización en Mallas Variables en la arquitectura CUDA”, Revista Cubana de Ciencias Informáticas, núm. 3, 2016. DIÉGUEZ, A., Transhumanismo, Barcelona: Herder Editorial, 2017. DÍEZ-PICAZO, L. y GULLÓN, A., Sistema de Derecho Civil, vol., ii, Tomo i, 11ª ed., Madrid: Tecnos, 2019. DIVIJI, J., “Dutch Court provides valuable Precedent for Human Rights in the. Digital Welfare State”, Oxford Human Rights Hub, 2020. DOMÍNGUEZ CABRERA, M. P., “El perfeccionamiento del contrato electrónico en la ley de servicios de la sociedad de la información y de comercio electrónico”, Revista de la Facultad de Ciencias Jurídicas, 8/9, 2003/04, pp. 46-68. DUGUIT, L., Traité de droit constitutionnel, 3ª ed., París, 1927. EGUÍLUZ CASTEÑEIRA, J., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, Estudios de Deusto, vol. 68/2, 2020. ERCILLA GARCÍA, J., Normas de Derecho Civil y Robótica. Robots Inteligentes, Personalidad Jurídica, Responsabilidad Civil y Regulación, Navarra: Editorial Thomson Reuters Aranzadi, 2018. ESPLUGUES MOTA, C.; IGLESIAS BUHIGUES, J.L. y PALAO MORENO, G., Derecho Internacional Privado, 9ª edición, Valencia: Tirant Lo Blanch, 2015. EVERS, M., “La utilización de agentes electrónicos inteligentes en el tráfico jurídico: ¿Necesitamos reglas especiales en el Derecho de la responsabilidad civil?”, InDret. Revista para el análisis del Derecho, 2016, Accesible en: https://indret.com/la-utilizacion-deagentes-electronicos-inteligentes-en-el-trafico-juridico-necesitamos-reglas-especiales-enel-derecho-de-la-responsabilidad-civil/?edicion=3.16 FERNÁNDEZ GARCÍA, A., “La inteligencia artificial, su uso en la gestión de recursos humanos y los riesgos para los trabajadores”, en Cerrillo I Martínez, A. y Peguera Poch M. (coords.), Retos jurídicos de la inteligencia artificial, Navarra: Editorial Thomson Reuters Aranzadi, 2020.

274

BIBLIOGRAFíA

FERNÁNDEZ GONZÁLEZ-REGUERAL, M. A., “La perfección del contrato electrónico”, Cuadernos de Derecho judicial, V, Consejo General del Poder Judicial, 2006, pp. 170-191. FERNÁNDEZ HERNÁNDEZ, C., “¿Podría convertirse un software en norma jurídica?”, Diario La Ley Ciberderecho, núm. 3, febrero 2017. FERNÁNDEZ RODRÍGUEZ, J. J., “Derechos y progreso tecnológico: pasado, presente y futuro”, Engelmann, W. (Coord.), Sistema do direito, novas tecnologias, globalização e o constitucionalismo contemporãneo: desafios e perspectivas, Rio de Janeiro: Fapergs, 2020, pp. 259-277. FERNÁNDEZ RODRÍGUEZ, J. J., Lo público y lo privado en Internet. Intimidad y libertad de expresión en la red, Ciudad de México: Universidad Nacional Autónoma de México, 2004. FERNÁNDEZ RODRÍGUEZ, J. J., Seguridad(es) en un futuro incierto. Un estudio jurídicoconstitucional, Cizur Menor, España: Thomson Reuters-Aranzadi, 2020. FERNÁNDEZ SEGADO, F. (Coord.), Dignidad de la persona, derechos fundamentales, Justicia Constitucional, Madrid: Dykinson, 2008. FERNÁNDEZ, R., “Robótica, inteligencia artificial y seguridad: ¿Cómo encajar la responsabilidad civil?, Diario la Ley (Online), núm. 9365, 2019. FERRAJOLI, L., Derechos y garantías. La ley del más débil, Madrid: Trotta, 2016. FERRAJOLI, L., Por una Constitución de la Tierra. La Humanidad en la encrucijada, Madrid: Trotta, 2022. FERRER, U., “Filosofía del amor y del don como manifestación de la persona”, Quién. Revista de filosofía personalista, núm. 3, 2016, pp. 23-33. FERRER, U., “La naturaleza de la virtud moral en Guardini” en González, A. L., Zorroza, I. (eds.), In umbra intelligentiae. Estudios en homenaje al Prof. Juan Cruz, Pamplona: Eunsa, pp. 289-301. FERRER, U., “Posthumanismo y dignidad de la especie humana”, en Ballesteros, J. y Fernández, E. (coords.), Biotecnología y Posthumanismo, Pamplona: Thomson Aranzadi Editores, 2017. FINNEY, B., “Blockchain and antitrust: New tech meets old regs”, Transactions: The Tennessee Journal of Business Law, vol. 19, núm. 2, 2018. FLORIDI, L. y TADDEO, M., “Romans Would Have Denied Robots Legal Personhood”, Nature, núm. 7705, vol. 557, 2018. FLORIT FERNÁNDEZ, C., “Kidfluencers: menores de edad emancipados autónomos en internet”, Actualidad Civil, 2, 2021. FLORIT FERNÁNDEZ, C., DEL BARRIO, N., y SOTO PINEDA, J. A., Estudio interdisciplinar de los desafíos planteados por la Agenda 2030, Navarra: Thomson Reuters Aranzadi, Cizur Menor, 2020. FREEMAN, K., “Algorithmic Injustice: How the Wisconsin Supreme Court Failed to Protect Due Process Rights in State vs. Loomis”, North Carolina Journal of Law & Technology, vol. 18, Issue 5, 2016. FROSINI, V., “Los derechos humanos en la era tecnológica”, Pérez Luño, A. E. (coord.), Derechos humanos y constitucionalismo ante el tercer milenio, Madrid: Marcial Pons, 1996. GALICIA AIZPURÚA, G., “Algunas consideraciones sobre los elementos esenciales del contrato en el Código civil español”, Revista Boliviana de Derecho, 26, 2018, pp. 142-175. GARCÍA NOVOA, C. y SANTIAGO IGLESIAS, D. (coords.), 4ª Revolución Industrial: impacto de la automatización y la inteligencia artificial en la sociedad y la economía digital, Cizur Menor: Thomson Reuters – Aranzadi, 2018.

BIBLIOGRAFíA

275

GARCIMARTÍN ALFÉREZ, F.J., Derecho Internacional Privado, 5ª edición, Navarra: Aranzadi, 2019. GARRIDO GÓMEZ, M. I., Derechos fundamentales y Estado social y democrático de derecho, Madrid: Dilex, 2007. GARRIGA DOMÍNGUEZ, A., “La elaboración de perfiles y su impacto en los derechos fundamentales. Una primera aproximación a su regulación en el reglamento general de protección de datos de la Unión Europea”, Derechos y libertades, 38, 2018. GERARDS, J., “The Discrimination Grounds of Article 14 of the European Convention on Human Rights”, Human Rights. Law Review, núm.13, 2012. GHOSH, S. (ed.), Intellectual Property and Innovation, Cheltenham: Edward Elgar, vol. ii, Northampton, 2017. GILL, A. S., “Introduction”, Perspectives on Lethal Autonomous Weapons, UNODA Ocassional Papers, núm. 30, 2017. GÓMEZ VALENZUELA, E., El perfeccionamiento del contrato electrónico en derecho internacional privado español, Tesis Doctoral, Jaén: Universidad de Jaén, 2019. GONZÁLEZ CASANOVA, J. A., “La idea de Constitución en Karl Loewenstein”, Revista de Estudios Políticos, 139, 1965. GONZÁLEZ GONZÁLEZ, A., “Cuando lo frágil es absoluto, o la dimensión metafísica de la ética”, en Flamarique Zaratiegui, L. (coord.), Las raíces de la ética y el diálogo interdisciplinar, Madrid: Biblioteca Nueva, 2012, pp. 145-161. GOÑI SEIN, J. L., Defendiendo los derechos fundamentales frente a la inteligencia artificial, Lección inaugural del curso académico 2019-2020, Universidad Pública de Navarra, 2019. GRAHAM, G., Internet. Una indagación filosófica, Madrid: Cátedra, 2001, p. 26. GRUT, C., “The Challenge of Autonomous Lethal Robotics to International Humanitarian Law”, Journal of Conflict and Security Law, vol. 18, 2013. GUARDINI, R., Ética. Lecciones en la Universidad de Múnich, Madrid: BAC, 1999. GUARINO, A., “Autonomous Intelligent Agents in Cyber Offence”, K. Podins; J. Stinissen y M. Maybaum (eds.), 5th International Conference on Cyber Conflict, NATO CCD COE Publications, 2013. HÄBERLE, P., “A dignidade humana como fundamento da comunidade estatal”, Wolfgang Sarlet, I. (Org.). Dimensoes da dignidade, Porto Alegre: Ed. Livraria Do Advogado, 2005. HALLEVY, G., Liability for Crimes Involving Artificial Intelligence Systems, Dordrecht: Springer, 2015. HAMMOND, D. N., “Autonomous Weapons and the Problem of State Accountability”, Chicago Journal of International Law, vol. 15, 2015. HAMON, R.; JUNKLEWITZ, H. y SANCHEZ, I., “Robustness and explainability of artificial intelligence”, Publications Office of the European Union, 2020. HARARI, Y. N., Sapiens. De animales a dioses, Barcelona: Debate, 2015. HERNÁNDEZ GIMÉNEZ, M., “Inteligencia artificial y Derecho Penal”, Actualidad Jurídica Iberoamericana, núm. 10 bis, 2019. HERNÁNDEZ PEÑA, J. C., “Gobernanza de la inteligencia artificial en la Unión Europea. La construcción de un marco ético-jurídico aún inacabado”, Revista General de Derecho Administrativo, 2021, núm. 56. HEYNS, C., “Autonomous weapons systems: living a dignified life and dying a dignified death”, Bhuta, N. et al. (eds.), Autonomous Weapons Systems, Cambridge: Cambridge University Press, 2016.

276

BIBLIOGRAFíA

HILDEBRANDT, M., “The Artificial Intelligence of European Union Law”, German Law Journal, 2020, vol. 21, núm. 1, pp. 74-79. HOLZAPFEL, C., Ser – humano (Cartografía antropológica), Santiago de Chile: Universidad de Chile, 2014. HOTTOIS, G., ¿El transhumanismo es un humanismo?, Bogotá: Universidad del Bosque, 2016. HURTADO PALOMINO, J. V., “La buena fe como parámetro jurídico para identificar la modalidad emptio spei o emptio rei speratae en el contrato de compraventa de cosa futura”, Revista Iustitia, 13, 2015, pp. 35-57. IBÁNEZ JIMÉNEZ, J., “Smart contract y notariado español: algunas claves orientadoras”, La Ley Mercantil, núm. 48, junio 2018. IBÁNEZ JIMÉNEZ, J., Blockchain. Primeras Cuestiones en el ordenamiento español, Madrid: Dykinson, 2018. IHERING, R. von, Geist des römischen Rechts auf den verschiedenen Stufen seiner Entwicklung, tomo IV, 1865. IPPOLITA, En el acuario de Facebook. El resistible ascenso del anarco-capitalismo, Madrid: Enclave de Libros, 2012. JAIN, N., “Autonomous weapons systems: new frameworks for individual responsibility”, Bhuta, N. et al. (eds.), Autonomous Weapons Systems, Cambridge: Cambridge University Press, 2016. JELLINEK, G., System der subjektiven öffentlichen Rechte, 2ª ed., J. C. B. Mohr, Tubinga, 1905. JENARD, P., “Informe sobre el Convenio relativo a la competencia judicial y a la ejecución de resoluciones judiciales en materia civil y mercantil”, DOUE C 189/122 de 28.7.90. JIMENA QUESADA, L., “La protección de datos y las personas vulnerables en el Consejo de Europa”, en García Mahamut, R. y Tomás Mallén, B. (Eds.), El Reglamento General de Protección de Datos: un enfoque nacional y comparado. Especial referencia a la LO 3/2018 de Protección de Datos y garantía de los derechos digitales, Valencia: Tirant lo Blanch, 2019, pp. 585-608. JIMÉNE-GÓMEZ, B. S., “Risks of Blockchain for data protection: a European approach”, Santa Clara High Tech. L.J., vol. 36, 2020. JIMÉNEZ CANO, R.M., “Sobre los principios generales del Derecho. Especial consideración en Derecho Español”, Revista Telemática de Filosofía del Derecho, núm. 3, 2000. JUÁREZ VASALLO, F., “La responsabilidad civil por hechos ajenos derivada del delito. Especial referencia a la responsabilidad de padres y tutores”, en Actas del XVII Seminario Internacional de Filosofía del Derecho y Derecho Penal, Univ. de León, 2016. KARNOW, C., “Liability for distributed artificial intelligences”, Berkeley Technology Law Journal, núm. 1, vol. 11, 1996, pp., 147 – 204. KESA, A.; TANEL, K. y RAMIRO, D., “Inteligencia artificial y protección de datos en Europa ¿Conflicto por defecto?”, en Kerikmae, T.; Solarte Vasquez, M. C.; Rudanko, M. y Ramiro Troitiño, D. (Coords.), Inteligencia artificial: de la discrepancia regional a las reglas universales. Integración de percepciones políticas, económicas y legales, Pamplona: Marcial Pons, 2020, pp. 407- 430. KHRISNAN, A., Killer Robots-Legality and Ethicality of Autonomous Weapons, Ashgate, Farnham, 2009. KIAYIAS, A; RUSELL, A.; DAVID, B. y OLIYNYKOV, R., “Ouroboros: A Probably Secure Proof-of-Stake Blockchain Protocol”, Annual International Cryptology Conference, Crypto 2017, 2017.

BIBLIOGRAFíA

277

KIM, K. y JUSTL, J., “Potential Antitrust Risks in the Development and Use of Blockchain”, Journal of Taxation & Regulation of Financial Institutions, vol. 31, núm. 3, 2018. Koch, B. A., “Product Liability 2.0: Mere Update or New Version?” Lohsse, S.; Schulze, R. y Staudenmayer, D. (eds.), Liability for Artificial Intelligence and the Internet of Things, Nomos: Baden-Baden, 2019, pp. 97-116. KOOPS, B-J.; HILDEBRANDT, M. y JAQUET-CHIFFELLE, D. O., “Bridging the Accountability Gap: Rights for New Entities in the Information Society?”, Minnesota Journal of Law, Science & Technology, vol. 11:2, 2010, pp. 497-561. KRETZMER, D. y E. KLEIN, (Eds.), The Concept of Human Dignity in Human Rights Discourse, La Haya: Kluwer Law International, 2002. KRISHNAN, A., Killer robots: legality and ethicality of autonomous weapons, Farnham, Surrey, England: Ashgate Publishing Limited, 2009. LACRUZ MANTECÓN, M. L., Robots y personas. Una aproximación jurídica a la subjetividad cibernética, Madrid: Reus, 2020. LARSSON, S. y HEINTZ, F., “Transparency in artificial intelligence”, Internet Policy Review, 2020, vol. 9, núm. 2, pp. 1-16. LASARTE, C., Curso de Derecho Civil Patrimonial. Introducción al Derecho, Vigésima Primera Edición, Madrid: Tecnos, 2015. LATORRE, J. I., Ética para máquinas, Barcelona: Ariel, 1ª edición, 2019. LEWIS, L., Redefining human control. Lessons from the battlefield for autonomous weapons, Center for Autonomy and AI, CNA, 2018, pp.1-23. Accesible en: https://www.cna.org/ CAAI LIN, P., ABNEY, K. y BEKEY, G., “Robot ethics: Mapping the issues for a mechanized world”, Artificial Intelligence, April 2011, 175(5-6), pp. 942-949. LIU, H.-Y., “Refining responsibility: differentiating two types of responsibility issues raised by autonomous weapons systems”, Bhuta, N. et al. (eds.), Autonomous Weapons Systems, Cambridge: Cambridge University Press, 2016. LLÁCER MATACÁS, M. R., La autodeterminación informativa en la sociedad de la vigilancia, Madrid: La Ley, 2011. LLANEZA, P., Datanomics, Barcelona: Deusto, 2019. LOEWENSTEIN, K., Teoría de la Constitución, Barcelona: Ariel, 1976. LÓPEZ BARBA, E., Capacidad jurídica: art. 12 de la Convención sobre Derechos de las personas con Discapacidad y las medidas no discriminatorias de defensa de su patrimonio, Madrid: Editorial Dykinson, 2020. MARAÑON, G., Tiempo Viejo y Tiempo Nuevo, Madrid: Espasa Calpe, Col. Austral, (1940/1956). MARCEL, G., La dignité humaine et ses assises existentielles, París: Aubier, 1964. MARIÑO, S. I., y PRIMORAC, C. R., “Propuesta metodológica para desarrollo de modelos de redes neuronales artificiales supervisadas”, International Journal of Educational Research and Innovation, (6), 2016. MARTÍN PARRA, A., “Smart contracts-Fintech: reflexiones para el debate jurídico”, Revista Aranzadi de Derecho y Nuevas Tecnologías, núm. 52, 2020. MARTÍNEZ GARAY, L., “Peligrosidad, algoritmos y due process: el caso State vs. Loomis”, Revista de Derecho Penal y Criminología, 3.ª Época, núm. 20, 2018, pp. 490-491. MARTÍNEZ QUIRANTE, R. y RODRÍGUEZ ÁLVAREZ, J., Inteligencia artificial y armas letales autónomas. Un nuevo reto para Naciones Unidas, Gijón: Trea, 2018.

278

BIBLIOGRAFíA

MASIÁ CLAVEL, J., Fragilidad en esperanza: enfoques de antropología, Bilbao: Desclée de Brouwer, 2004. MATEU DE ROS, R. y CENDOYA MÉNDEZ DE VIGO, J. M. (coords.), Derecho de Internet, Contratación Electrónica y Firma Digital, Madrid: Aranzadi, 2000. McCARTHY, J.; MINSKY M.; ROCHESTER, N. y SHANNON, C., “A proposal for the Dartmouth Summer Research Project on Artificial Intelligence”, AI Magazine, California, núm. 4, 2006. MIAILHE, N., et al., “Geopolítica de la inteligencia artificial”, Política exterior, 2020, vol. 34, núm. 193, pp. 56-69. MICHAVILA, F., La universidad española hacia Europa, Madrid: Fundación Alfonso Martín Escudero, 2000. MILLER, A. y TUCKER, C., “Electronic Discovery and the Adoption of Information Technology”, The Journal of Law, Economics, and Organization, vol. 30, núm. 2, 2014. MIRÓ LLINARES, F., “Inteligencia artificial y justicia penal: más allá de resultados lesivos causados por robots”, Revista de Derecho Penal y Criminología, 3ª época, núm. 20, 2018. MIRÓ LLINARES, F., “Inteligencia Artificial y Justicia Penal: más allá de los resultados lesivos causados por robots”, Revista de Derecho Penal y Criminología, núm. 3, 2018. MOLINA PÉREZ-TOMÉ, S., “Los smart contracts no son contratos ni son inteligentes”, Actualidad Jurídica Aranzadi, núm. 949, 2019. MOLINA, A. y JIMÉNEZ BERNAL, M., “Los desafíos de la Robótica y la Inteligencia Artificial para la construcción de una nueva ciudadanía europea”, en Bonillo, J. et al. (coord.), La Europa Ciudadana, Madrid: Dykinson, 2020, pp. 161-178. MOLINER, J. A., Desafíos éticos en el uso militar de la Inteligencia Artificial. La Inteligencia Artificial aplicada a la Defensa, Documento de Análisis, Instituto Español de Estudios Estratégicos (IEEE), Madrid: Ministerio de Defensa (España), 2018, pp. 147-170. MONREAL BRINGSVAERD, E. y JURADO SEGOVIA, A., Derecho del Trabajo y nuevas tecnologías, Valencia: Tirant lo Blanch, 2020. MOOR, J., “The Dartmouth College artificial intelligence conference: The next fifty years”, Ai Magazine, 27 (4), 2006. MORA-SIFUENTES, F. M., “Derechos, discapacidad e inteligencia artificial. Entrevista a Rafael de Asís Roig”, Ciencia Jurídica. Departamento de Derecho, División de Derecho, Política y Gobierno, Universidad de Guanajuato, año 9, núm. 17, 2020. MORENO, G., La Democracia Humanista, Sevilla: Athenaica Ediciones, 2020. MOSTEANU, N. R., “Artificial Intelligence and Cyber Security–A Shield against Cyberattack as a Risk Business Management Tool–Case of European Countries”, Quality-Access to Success, 2020, vol. 21, núm. 175. MOUGAYAR, W., La Tecnología Blockchain en los negocios. Perspectivas, práctica y aplicación en Internet, Madrid: Editorial Anaya, 2016. MUÑOZ MACHADO, S., Tratado de Derecho Administrativo y Derecho Público General, Tomo III, Los principios de constitucionalidad y legalidad, Madrid: Boletín Oficial del Estado, 2015. MUÑOZ RODRÍGUEZ, A. B., “El impacto de la inteligencia artificial en el proceso penal”, Anuario de la Facultad de Derecho, Universidad de Extremadura 36, 2020. NARVÁEZ LÓPEZ, C., “La inteligencia artificial entre la culpa, la responsabilidad objetiva y la responsabilidad absoluta en los sistemas jurídicos del derecho continental y anglosajón”, en VVAA, El derecho de daños en la era digital, Bogotá: Ibáñez, 2021.

BIBLIOGRAFíA

279

NAVAS NAVARRO, S., “Robot Machines and Civil Liability”, Ebers, M. y Navas, S. (eds.), Algorithms and Law, Cambridge: Cambridge University Press, 2020, pp. 157-173. NAVAS NAVARRO, S. (coord.), Inteligencia artificial, tecnología, derecho, Madrid: Tirant Lo Blanch, 2017. NAZZINI, R., The blockchain (R)evolution and the Role of Antitrust, Working Paper, 2018. NICOLÁS JIMÉNEZ, P., La protección jurídica de los datos genéticos de carácter personal, Granada: Comares, 2006. NIEVA FENOLL, J., Inteligencia artificial y proceso judicial, Madrid: Marcial Pons, 2018. NOONE, G. P. y NOONE, D. C., “The Debate over Autonomous Weapons Systems”, Case Western Reserve Journal of International Law 47, núm. 1, 2015. OBREGÓN SIEGMUND, G., “La perfección del contrato en Internet según el ordenamiento jurídico español. Especial referencia al caso de las páginas web”, Revista Chilena de Derecho y Ciencia Política, 2012, pp. 61-87. O’CALLAGHAN MUÑOZ, X., Código Civil comentado y con jurisprudencia, 4ª edición, Madrid: La Ley, 2004. O’NEIL, C., Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia, Madrid: Capitán Swing, 2017 pp. 131-175. O’NEIL, C., Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Nueva York: Random House, 2016. OCAÑA-FERNÁNDEZ, Y.; VALENZUELA-FERNÁNDEZ, L. A., y GARRO-ABURTO, L., “Inteligencia artificial y sus implicaciones en la educación superior”, Propósitos y Representaciones, 7 (2), 2019. OEHLING DE LOS REYES, A., El concepto constitucional de dignidad de la persona: formas de comprensión y modelos predominantes de recepción en la Europa continental, Revista española de Derecho Constitucional, 91, 2011. ORTEGA GIMÉNEZ, A., Smart Contracts y Derecho Internacional Privado, Thomson Reuters Aranzadi, 2019. ORTEGA, L., La imparable marcha de los robots, Madrid: Alianza, 2016. ORTEGO RUIZ, M., “La responsabilidad participativa y los sistemas de blockchain”, en Jimeno Muñoz, J. (coord.), Insurtech y nuevas tendencias de la responsabilidad civil, Madrid: Editorial Jurídica Sepín, 2019. PALACIO, M., “La vulnerabilidad fundando la ética de la solidaridad y la justicia”, Análisis. Revista de investigación filosófica, vol. 2, núm. 1, 2015, pp. 29-47. PALMERINI E. y BERTOLINI, A., “Liability and Risk Management in Robotics”, Schulze, R. y Staudenmayer, D. (eds.), Digital revolution: Challenges for Contract Law in practice, BadenBaden: Hart Publishing (Nomos), 2016, pp. 225 - 260. PALMERINI, E. et al., “Regulating Emerging Robotic Technologies in Europe: Robotics facing Law and Ethics”, RoboLaw, 2014. PALOMINIO MARTÍN, J. M., Derecho Penal y nuevas tecnologías, Valencia: Tirant lo Blanch, 2006. PALYCHATA, J., “Blockchain: Time for an upgrade? Where to look in the next 6 months”, Linkedin, 2018. PAÑOS PÉREZ, A., “Smart Contracts: transcendencia jurídica en el desarrollo del comercio electrónico”, en El mercado digital en la Unión Europea (dir. Paula Castaños Castro y José Antonio Castillo Parrilla), Madrid: Editorial Reus, 2019.

280

BIBLIOGRAFíA

PARDO GATO, J. R., “Momento y lugar de perfección de los contratos electrónicos: elementos jurídicos de conflicto en el derecho civil del nuevo milenio”, Boletín de la Facultad de Derecho, UNED, 25, 2004, pp. 13-47. PECES-BARBA MARTÍNEZ, G., La dignidad de la persona desde la Filosofía del Derecho, Madrid: Instituto de Derechos Humanos “Bartolomé de las Casas” de la Universidad Carlos III de Madrid-Dykinson, 2003. PEDRAZ PENALVA, E., “La utilización en el proceso penal de datos personales, recopilados sin indicios de comisión delictiva”, Protección de datos y proceso penal, Madrid: La Ley, 2010. PEÑA FREIRE, A. M., “Legalidad y garantismo. Una lectura fulleriana de los principios del Derecho Penal liberal”, Derechos y Libertades, núm. 43, Época II, junio 2020, pp. 55-83. PEÑA MARÍ, R., De Euclides a Java, la historia de los algoritmos y de los lenguajes de programación, Madrid: Editorial Nívola, 2006. PINTORE, A., “Derechos insaciables”, Ferrajoli, L. (dir.), Los fundamentos de los derechos fundamentales, Trotta, Madrid: Trotta, 2001, pp. 243-265. PIÑAR MAÑAS, L., “Consideraciones introductorias sobre el derecho fundamental a la protección de datos de carácter personal, Revista Jurídica General, boletín del ICAM, 35 febrero, 2007. PORCELLI, A. M., “La inteligencia artificial aplicada a la robótica en los conflictos armados. Debates sobre los sistemas de armas letales autónomas y la (in)suficiencia de los estándares del derecho internacional humanitario”, Revista de Estudios Socio-Jurídicos, 23 (1), 2021, pp. 483-530. Accesible en: https://doi.org/10.12804/revistas.urosario.edu.co/ sociojuridicos/a.9269 RAMOS POLLÁN, R., “Perspectivas y retos de las técnicas de inteligencia artificial en el ámbito de las ciencias sociales y de la comunicación”, Anuario Electrónico de Estudios en Comunicación Social, 13 (1), 2020. RATZINGER, J., “La presentazione del Documento Pontificio”, en “Per una letura dell’ Enciclica Fides et Ratio”, Cuadernos de “Observatore Romano”, Ciudad del Vaticano, 1999. REBOLLO DELGADO, L., y SERRANO PÉREZ, M. M., Manual de protección de datos, Madrid: Dykinson, 2019. REVENGA SÁNCHEZ, M., “Cinco grandes retos (y otras tantas amenazas) para la democracia constitucional del siglo XXI”, Parlamento y Constitución. Anuario, núm. 12, 2009. REVOLIDIS, I. y DAHI, A., “The Peculiar Case of the Mushroom Picking Robot: Extracontractual Liability in Robotics”, Corrales Compagnucci, M.; Fenwick, M. y Forgó, N. (eds.), Robotics, AI and the Future of Law, Perspectives in Law, Singapore: Springer Nature Singapore Pte. Ltd., 2018, pp., 57-71. ROBERTSON, J., “Robo Sapiens Japanicus: Humanoid Robots and the Posthuman Family”, Critical Asian Studies, vol. 39-3, 2007, pp. 396-398. RODOTÁ, S., El derecho a tener derechos, Madrid: Trotta, 2014. RODRÍGUEZ GARCÍA, J.A. y MORENO REBATO, M., “¡El futuro ya está aquí! Derecho e Inteligencia artificial”, Revista Aranzadi de Derecho y Nuevas Tecnologías, Número 48, septiembre-diciembre, 2018. ROGEL VIDE, C. (coord.), Los robots y el Derecho, Madrid: Reus, 2018. ROJO GALLEGO-BURÍN, M., “Los fundamentos históricos del sistema jurídico versus la personalidad electrónica de los robots”, Revista Jurídica de Castilla y León, núm. 52, 2020. RUBÍ PUIG, A., “Retos de la inteligencia artificial y adaptabilidad del derecho de daños”, en Cerrillo I Martínez, A. y Peguera Poch M. (coord.), Retos jurídicos de la inteligencia

BIBLIOGRAFíA

281

artificial, cit., p. 69. En materia de responsabilidad civil, NÚÑEZ ZORRILLA, M.C., Cuestiones actuales sobre el régimen jurídico de responsabilidad civil por los daños causados por la Inteligencia Artificial, Madrid: Editorial Reus, 2019. RUFFOLO, U., “Per i fondamenti di un diritto della robotica self-learning; dalla machinery produttiva all’auto driverless: verso una “responsabilità da algoritmo?”, Ruffolo, U., Intelligenza artificiale e responsabilità, Milano: Giuffrè, 2017, pp. 1-30. RÜHL, G., “Smart (Legal) Contracts, or: Which (Contract) Law for Smart Contracts?”, en Cappiello B., Carullo G. (eds.): Blockchain, Law and Governance, Springer, Cham. 2021. RUSSELL, S. y NORVIG, P., Artificial Intelligence. A modern approach, New Jersey: Prentice Hall, third edition, 2010. SAN MIGUEL CASO, C., “Las técnicas de predicción judicial y su repercusión en el proceso”, en VVAA, Conde y Serrano (Eds.), La justicia digital en España y la Unión Europea: situación actual y perspectivas de futuro, Barcelona: Atelier, 2019. SÁNCHEZ SÁNCHEZ, J., Cuestiones de Teoría Jurídica. Manual para un curso de Teoría General del Derecho, Madrid: Edisofer Libros Jurídicos, 2020. SÁNCHEZ-CARO, J., y ABELLÁN-GARCÍA, F., “Aspectos bioético-legales relacionados con la IA en la asistencia sanitaria y su repercusión en materia de responsabilidad”, Inteligencia artificial en el campo de la salud, Fundación Merck, pp. 76-112. SANCHO De HOYOS, M., “El libro blanco sobre inteligencia artificial de la Comisión Europea: reflexiones desde las garantías esenciales del proceso penal como “sector de riesgo”, Revista Española de Derecho Europeo, 2020, núm. 76, pp. 9-44. SANSÓ-RUBERT PASCUAL, D., “Paz, justicia e instituciones sólidas (ods 16). Principales desafíos a enfrentar para su consecución”, Florit, C. et al. (Coords.), Estudio interdisciplinar de los desafíos planteados por la Agenda 2030, Cizur Menor: Aranzadi, 2020, pp. 107-124. SANTOLAYA, P. y M. REVENGA, Nacionalidad, extranjería y derecho de sufragio, Madrid: Centro de Estudios Políticos y Constitucionales, 2007. SANTOS DIVINO, S. B., “Critical Considerations on Artificial Intelligence Liability: E-Personality Propositions”, Revista Electronica Direito e Sociedade (redes), vol., 8, núm. 2, 2020, pp., 193-214. SANTOS GONZÁLEZ, M. J., “Regulación legal de la robótica y la inteligencia artificial: retos del futuro”, Revista Jurídica de la Universidad de León, núm. 4, 2017, pp. 25-50. SASSÒLI, M., “Autonomous Weapons and International Humanitarian Law: Advantages, Open Technical Questions and Legal Issues to be Clarified”, International Law Studies, Naval War College, vol. 90, 2014. SCHARRE, P., “Human judgment and lethal decisión-making in war”, The Humanitarian Law & Policy Blog, CICR, Abril 2018. Accesible en: http://blogs.icrc.org/law-andpolicy/2018/04/11/human-judgment-lethal-decision-making-war/, visitada el 16 de octubre de 2018. SCHARRE, P., y HORROWITZ, M. C., An introduction to autonomy in weapons systems, Center for a New American Security (CNAS), 2015. SCHERER, M., “Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies”, Harvard Journal of Law & Technology, vol. 29, núm. 2, 2016. SCHMITT, M. N. y THURNHER, J. S., “Out of the Loop: Autonomous Weapons Systems and the Law of Armed Conflict”, Harvard National Security Journal, vol. 4, 2013, pp. 231-281. SCHMITT, M. N., “Autonomous Weapon Systems and International Humanitarian Law: A Reply to the Critics”, Harvard National Security Journal Features, 2013.

282

BIBLIOGRAFíA

SCHÖNING, F. y TAGARA, M., “Can your blockchain attract the attention of competition authorities to open an investigation?”, Competition Law & Policy Debate, vol. 5, núm. 3, 2019. SCHREPEL, T., “Collusion by Blockchain and Smart Contracts”, Harvard Journal of Law & Technology, vol. 33, núm. 1, 2019b. SCHREPEL, T., “Is Blockchain the death of Antitrust Law? The Blockchain Antitrust Paradox”, Georgetown Law Technology Review, vol. 281, núm. 3, 2019a. SCHULZE, R. y STAUDENMAYER, D., “Digital Revolution—Challenges for Contract Law”, Schulze, R. y Staudenmayer, D. (eds.), Digital revolution: Challenges for Contract Law in practice, Baden-Baden: Hart Publishing (Nomos), 2016, pp. 19-32. SCHWAB, K., “The Fourth Industrial Revolution”, World Economic Forum, 2016. Accessible en: https://luminariaz.files.wordpress.com/2017/11/the-fourth-industrial-revolution-2016-21. pdf. SCHWAB, K., La cuarta revolución industrial, Barcelona: Debate, 2016. SELBST, A. y POWLES, J., “Meaningful information and the right to explanation”, International Data Privacy Law, núm. 4, 2017. SERRANO ANTÓN, F. (dir.), Fiscalidad e inteligencia artificial, Cizur Menor: Thomson Reuters – Aranzadi, 2020. SHARKEY, N., “Saying ‘No!’ to Lethal Autonomous Targeting”, Journal of Military Ethics 9, núm. 4, 2010, pp. 369-383. SHARKEY, N., “Towards a principle for the human supervisory control of robot weapons”, Politica & Società, núm. 2, 2014. Accesible en: https://www.unog.ch/80256EDD006B8954/ (httpAssets)/2002471923EBF52AC1257CCC0047C791/$file/Article_Sharkey_ PrincipleforHumanSupervisory.pdf SIEMENS, G., “Conectivismo: Una teoría de aprendizaje para la era digital”, en Aparici Marino, R. (coord.), Conectados en el ciberespacio, 2010, pp. 77-91. SINGER, P. W., Wired for war: the robotics revolution and conflict in the twenty-first century, New York: Penguin Press, 2009. SKEEM J. y ENO LOUDEN, J., “Assessment of Evidence on the Quality of the Correctional Offender Management Profiling for Alternative Sanctions (COMPAS)”, Center for Public Policy Research, University of California, 2007. SMITH, B., “Necesitamos una brújula ética ante la IA”, Ejecutive Excellence. La revista del liderazgo, la gestión y la innovación empresarial, núm. 165, 2020, pp. 8-12. SOLAR CAYÓN, J. I., “Inteligencia artificial en la justicia penal: los sistemas algorítmicos de evaluación de riesgos”, en VVAA, Solar (Ed.), “Dimensiones éticas y jurídicas de la inteligencia artificial en el marco del Estado de Derecho”, Cuadernos Democracia y Derechos Humanos núm. 16, Madrid: Universidad de Alcalá/Defensor del Pueblo, 2020. SOTO PINEDA, J. y VILLANUEVA TOBALINA, A., “Redes, Tecnologías de Registro Distribuido, Blockchain y Defensa de la Competencia”, Actualidad Civil, núm. 7, 2021. SPARROW, R., “Twenty Seconds to Comply: Autonomous Weapon Systems and the Recognition of Surrender”, International Law Studies, US Naval War College, vol. 91, 2015. SPIECKER, I., “Zur Zukunft systemischer Digitalisierung–Erste Gedanken zur Haftungsund Verantwortungszuschreibung bei informationstechnischen Systemen”, Computer und Recht, Coloni, núm. 10, vol, 32, 2016, pp. 698-704. STEWART, D. M., “New Technology and the Law of Armed Conflict”, International Law Studies, US Naval War College, vol. 87, 2011.

BIBLIOGRAFíA

283

SUÑÉ LLINÁS, E., Tratado de Derecho Informático, dos volúmenes, Madrid: Servicio de Publicaciones de la Universidad Complutense, 2002/2006. SURDEN, H., “Machine Learning and Law”, Washington Law Review, vol. 89, núm. 1, 2014. SWAN, M., Blockchain: Blueprint for a New Economy, Sebastopol (California): O’Reilly, 2015. TANTAU, A. y ŞANTA, A. M., “Iulia. New Energy Policy Directions in the European Union Developing the Concept of Smart Cities”, Smart Cities, 2021, vol. 4, núm. 1, pp. 241-252. TEUBNER, G., “Digitale Rechtssubjekte? Zum privatrechtlichen Status autonomer Softwareagenten / Digital Personhood? The Status of Autonomous Software Agents in Private Law”, Ancilla Iuris (ssrn Electronic Journal), 2018, pp. 107 a 149. THOMAS, R. C.; RASMUSSEN, M. W. y BERGIN, L. C., “Blockchains and Antitrust: New Technology, Same Old Risks?”, Jones Day publications, 2018. TJONG TJIN TAI, E., “Liability for (Semi)Autonomous Systems: Robots and Algorithms”, Tilburg Law School Legal Studies Research Paper Series, núm. 09/2018. TSANG, L., et al., “The impact of artificial intelligence on medical innovation in the European Union and United States”, Intellectual Property & Technology Law Journal, 2017, vol. 29, núm. 8, p. 3-11. TULPULE, A., “Enforcement and Compliance in a Blockchin(ed) World”, CPI Antitrust Chronicle, vol. 1, 2017. TÚNEZ-LÓPEZ, J. M., y TOURAL-BRAN, C., “Inteligencia artificial en la gestión de la comunicación: impacto de la robotización en la elaboración de contenidos informativos”, en Herrero, J. y Trenta, M. (coords.), Comunicación y música: mensajes, manifestaciones y negocios, La Laguna: Universidad de La Laguna, 2018. TUR FAÚNDEZ, C., Smart contracts. Análisis jurídico, Madrid: Reus Editorial, 2018. TURING, A.M., “Computing machinery and intelligence”, Mind, vol. 59, núm. 236, 1950, pp. 433-460. VAKKURI, V., et al., “The current state of industrial practice in artificial intelligence ethics”, IEEE Software, 2020, vol. 37, núm. 4, pp. 50-57. VALERA COUCEIRO, E. “Domótica, robótica y teleasistencia. ¿tecnologías capaces?, La sociedad cooperativa, núm. 35, 2007, pp. 6-8. VELÁZQUEZ FERNÁNDEZ, H., “Transhumanismo, Libertad e Identidad Humana”, Thémata. Revista de Filosofía, núm. 41, 2009. VILLANUEVA LÓPEZ, C. D., “Armas Autónomas. Una breve introducción”, Revista Ejército, 2019. Accesible en: https://www.revistaejercitos.com/2019/09/06/armas-autonomas/ WAGNER, G., “Robot Liability” Lohsse, S. Schulze, R. y Staudenmeyer, D. (eds.), Liability for Artificial Intelligence and the Internet of Things, Baden-Baden: Nomos, 2019, pp. 27-62. WAGNER, M., “The Dehumanization of International Humanitarian Law: Legal, Ethical, and Political Implications of Autonomous Weapons Systems”, Vanderbilt Journal of Transnational Law, vol. 47, 2014. WALKER SILVA, N., “Resolución alternativa de conflictos en línea. Perspectivas de futuro”, Revista Iberoamericana de Derecho Privado, núm. 13, 2021. WERBACH, K. y CORNELL, N., “Contracts Ex Machina”, Duke Law Journal, vol. 67, 2017. WILLIAMS, A. “Defining Autonomy in Systems: challenges and solutions, Autonomous Systems. Issues for Defense Policymarkers”, OTAN Allied Command Transformation’s Innovation in Capability Development, septiembre de 2015, pp. 33-35. Accesible en: https:// www.act.nato.int/images/stories/media/capdev/capdev_02.pdf. WINDSCHEID, B., Lehrbuch der Pandektenrechts, tomo I, 8ª ed., Fráncfort, 1900.

284

BIBLIOGRAFíA

WOEBBEKING, M.K., “The impact of smart contracts on traditional concepts of contract law”, Journal of Intellectual Property, Information Technology and Electronic Commerce Law, vol. 10, núm. 1, 2019. ZAVRŠNIK, A., “Criminal justice, artificial intelligence systems, and human rights”, ERA Forum. Springer Berlin Heidelberg, 2020. pp. 567-583. ZUIDERVEEN BORGESIUS, F. J., “Strengthening legal protection against discrimination by algorithms and artificial intelligence”, The International Journal of Human Rights, 2020, vol. 24, núm. 10, pp. 1572-1593.

RESEÑAS CURRICULARES DE LOS AUTORES

COORDINADORES DE LA OBRA:

Martín Rocha Espíndola Martín Rocha Espíndola es licenciado en Derecho por la Pontificia Universidad Católica de Chile, Máster en Derecho español por la Universidad de Valladolid, Doctor en Derecho por esa misma Universidad y en Humanidades por la Universidad Rey Juan Carlos, además es colegiado no ejerciente por el Ilustre Colegio de la Abogacía de Madrid. Es profesor en la Universidad Europea de Madrid, en el ICADE (Universidad Pontificia de Comillas) y en la Universidad Camilo José Cela, centros donde imparte asignaturas tales como Ética profesional, Filosofía del Derecho, Historia del Derecho y Teoría del Derecho. Su ámbito de investigación, en la actualidad, está centrado en la filosofía moral, en la filosofía jurídica y en la filosofía política.

Daniel Sansó-Rubert Pascual Profesor titular de Derecho Constitucional. Director del Departamento de Ciencias Jurídicas y Políticas de la Universidad Europea (Madrid). Licenciado en Derecho y en Ciencias Políticas y de la Administración por la Universidad de Santiago de Compostela. Grado en Criminología por la misma universidad, donde también obtuvo su doctorado en Derecho. Máster en seguridad por la Universidad de Salamanca. Director del Grupo de Investigación sobre Políticas Públicas, Seguridad Internacional y Gobernanza Global. [email protected]

Nuria Rodríguez Dos Santos Núria Rodríguez Dos Santos licenciada en Derecho y titular de varios master de los que destacan el Postgrado de Práctica Jurídica, Máster en Tributación, Protección de Datos, Práctica laboral y Resolución Extrajudicial de Conflictos. Profesora de Derecho Medio Ambiental y Derecho Administrativo en la UEM desde el 2015. Instructora del equipo de arbitraje con participación en varios certámenes internacionales. Coordinadora de postgrados del área jurídica de la UEM. Abogada ejerciente en los tribunales desde el 2010 en las jurisdicciones civil, laboral y contencioso-administrativo.

286

Reseñas curriculares de los autores

AUTORES:

Pilar Benavente Moreda Profesora titular de Derecho Civil de la Facultad de Derecho de la Universidad Autónoma de Madrid. Miembro del equipo de Investigación en el Proyecto de Investigación del Ministerio de Ciencia y Tecnología. Dirección General de Investigación titulado: El coste del Incumplimiento: Daños Indemnizables y Daños Indemnizados, cuyo investigador principal es el Prof. Dr. D. Antonio Manuel Morales Moreno ( Catedrático de Derecho Civil de la U.A.M.) Ha sido Vicedecana de Prácticum, Ordenación Académica y Profesorado de la Facultad de Derecho de la UAM, Directora de la Asesoría Jurídica de la UAM, y Secretaria General de la UAM. Actualmente es Directora del Departamento de Derecho Privado, Social y Económico de la UAM. Especialista en Derecho de familia. Sus trabajos de investigación se han centrado principalmente en el estudio del régimen económico matrimonial español, derecho de menores y filiación, así como en determinados aspectos del derecho de contratos, fundamentalmente el derecho arrendaticio.

Javier Sánchez Moro Javier Sánchez Moro es abogado, colegiado como ejerciente ante el Ilustre Colegio de Abogados de Alcalá de Henares. Es graduado en Derecho y Máster de acceso a la Abogacía por la Universidad Europea de Madrid, Máster en Derecho de los Sectores Regulados por la Universidad Carlos III, y Diploma de Experto en Derecho de la competencia por la misma institución académica. Cuenta con experiencia en el ámbito público y privado, en Madrid y Bruselas.

Julio Guinea Bonillo El profesor Julio Guinea es licenciado en Historia y Graduado en Ciencias Políticas por la Universidad Complutense, Máster en Unión Europea por la Universidad CEU San Pablo y en Diplomacia y Relaciones Internacionales por la Escuela Diplomática de España. Es también Doctor en Derecho por UDIMA con una tesis que versa sobre la Articulación Jurídica de la Política Exterior y de Seguridad Común y de la Política Común de Seguridad y Defensa. Ha publicado dos monografías en la editorial Aranzadi sobre la Historia de la Política Exterior de la Unión Europea y la Política Común de Seguridad y Defensa de la Unión Europea. Es profesor en la Universidad Europea de Madrid en las asignaturas de Cooperación Jurídica Internacional, Derecho de la Unión Europea y Derecho Diplomático y Consular.

Oscar Andrés Molina Óscar Andrés Molina es licenciado en Derecho (Universidad Autónoma de Madrid) y posee un título de Máster Universitario en Derecho Sanitario. Actualmente, se encuentra

Reseñas curriculares de los autores

287

cursando la fase investigadora del doctorado en Investigación en Ciencias Médico-Quirúrgicas, en la Universidad Complutense, además del Máster Universitario en Bioética Clínica, en la Universidad Internacional Menéndez Pelayo. Su experiencia profesional se centra en el ámbito jurídico y sanitario, con más de cuatro años de docencia en centros de preparación de oposiciones para médicos, enfermeros y auxiliares de enfermería, principalmente. Es docente de la Universidad Europea de Madrid desde 2016, donde imparte asignaturas de legislación sanitaria y relacionadas con el Derecho Público, y director de la Clínica Jurídica desde septiembre de 2021. Esta experiencia se completa con la participación en jornadas y congresos sobre temáticas relacionadas con la Inteligencia Artificial y la Bioética.

Ximena Marcazzolo Awad Ximena Marcazzolo Awad. Licenciada en Derecho de la Pontificia Universidad Católica de Chile. Máster en Derecho Penal y Ciencias Penales de la Universidad Pompeu Fabra y de Barcelona. Magister en Ciencia Jurídica. Doctor en Derecho por la Pontificia Universidad Católica de Chile. Profesor Investigador del Centro de Derecho Regulatorio y Empresa de la Universidad del Desarrollo. Subdirectora de la Revista de Ciencias Penales y directora del Instituto de Ciencias Penales.

Nathalie Walker Silva Nathalie Walker Silva. Licenciada en Derecho, Magíster en Ciencia Jurídica y Doctora en Derecho por la Pontificia Universidad Católica de Chile. Profesora investigadora en la Facultad de Derecho de la Universidad Andrés Bello (Chile), en donde imparte cursos de pregrado y postgrado vinculados al Derecho y la tecnología.

Esther Alba Ferré Esther Alba Ferré es Profesora Acreditada a Contratado Doctor de Derecho Civil en Eserp y Cedeu (Centros adscritos a la Universidad Rey Juan Carlos) y Profesora tutora de Derecho Civil en la Uned, con el Grado en Doctor obtenido en el año 2005. Su actividad investigadora se ha centrado en la unificación del Derecho Contractual, en el nuevo Derecho de Familia, en los problemas derivados de la nacionalidad y en el Espacio Europeo de Educación Superior. Es autora de varias artículos y capítulos de libros sobre estas materias. Ha formado parte de grupos y proyectos de investigación, resaltando el titulado: Derechos Humano en la Inteligencia artificial: su integración en los ODS de la agenda 2030, financiado por la Secretaría de Estado de Asuntos Exteriores y globales y el proyecto de investigación titulado: Erasmus + titulado: Enseñanza y aprendizaje con tecnologías en la educación superior.

288

Reseñas curriculares de los autores

Lidia Moreno Blesa Lidia Moreno Blesa es Profesora Ayudante Doctora (Acreditada a Contratado Doctor) de Derecho Internacional Privado en la Universidad Complutense de Madrid, con el Grado en Doctor obtenido en el año 2000. Premio Extraordinario de Licenciatura y Técnico en Comercio Exterior por la Comunidad de Madrid. Su actividad investigadora se ha centrado en el comercio internacional de la energía, la regulación de Extranjería, el arbitraje comercial internacional y el Derecho internacional privado. Actualmente es miembro de un Grupo de Investigación en la UCM denominado: Derecho y economía del comercio internacional. También es miembro investigador del proyecto estatal de I+D+i orientada, modalidad retos de investigación titulado: El Derecho del comercio internacional en la era de la economía digital y las guerras comerciales (DCI-GC) y que está financiado por el Ministerio de Ciencia e Innovación. Ha sido coordinadora en la UCM del Máster Universitario en Derecho Internacional y de la asignatura de Asesoría Jurídica Internacional en el Máster Universitario de Acceso a la Profesión de Abogado en los cursos 2019-2022.

Jesús Alfonso Soto Pineda Decano Académico, Schiller International University Madrid. Abogado de la Universidad Externado de Colombia. Máster en derecho empresarial y Doctorado en Derecho y Ciencia Política de la Universidad Autónoma de Madrid. Profesor acreditado Contratado Doctor por la ANECA. Fue becario de la Agencia Española de Cooperación Internacional para el Desarrollo -AECID- y de la Universidad Autónoma de Madrid. Cursó en Harvard el programa de posgrado en Law & Economics, y tiene estancias de investigación y docencia en Zuyd University Maastricht y en la Chicago Kent-College of Law del Illinois Institute of Technology.

Antonio Joaquín Villanueva Tobalina Consultor legal especializado en Privacidad, Protección de Datos y Derecho Digital y Tecnológico (Governance, Risk & Compliance) en ECIX Group. En la actualidad, asesora y presta servicios jurídicos a grandes compañías. Graduado en Derecho por la Universidad Europea de Madrid; Máster en Abogacía y Máster en LegalTech por la Universidad Francisco de Vitoria; Investigador de Schiller International University con especial enfoque en Nuevas Tecnologías, Innovación y TechLaw. Es autor de distintos trabajos de investigación, artículos y publicaciones nacionales e internacionales en materia de Derecho Digital y Tecnológico.

Marta Abanades Sánchez Doctora en Educación por la Universidad Europea de Madrid. Licenciada en Psicopedagogía y Diplomada en Educación Social. Cuenta con varios programas de postgrado en Coaching personal y directivo, Máster en Dirección y Gestión de Recursos Humanos, Máster en formación de profesorado en Secundaria y Cursos de People Analytics. Sus principales líneas de investigación se centran en la formación del profesorado, la inteligencia emocional y las ecologías de aprendizaje. Consta de más de 40 publicaciones, más

Reseñas curriculares de los autores

289

de 60 comunicaciones en congresos nacionales e internacionales, revisora en algunas revistas de impacto y responsable temática en el Congreso Internacional Multidisciplinar en Investigación Educativa. Ha participado en más de 15 proyectos de investigación. Actualmente dirige el grupo de investigación: Ecologías de aprendizaje en el s. XXI: competencias sociales y tecnológicas necesarias en el ámbito laboral. Profesora en materias como: Competencias Generales, Dirección de RRHH, Influencia e Impacto Relacional, Habilidades Comunicativas, Habilidades Directivas, TFG, TFM.

Elena García-Antón Palacios Elena García-Antón Palacios (Madrid, 1985) es Profesora en la Universidad Europea de Madrid, donde imparte Derecho Administrativo y Derecho Constitucional. En el año 2010, se licenció en Derecho por la Universidad Complutense de Madrid, en la que también obtuvo el grado de Doctor en Derecho. Colabora en proyectos I+D financiados por el Ministerio de Ciencia e Innovación y la Agencia Estatal de Investigación del Gobierno de España, y ha trabajado en proyectos financiados por la Fundación Pluralismo y Convivencia, y en Proyectos de Innovación Docente de la UCM y la UEM. Ha formado parte de la Escuela Universitaria Real Madrid-UE como Directora del Máster Universitario en Dirección de Entidades Deportivas y el MBA - Master`s Degree in Sports Management, y es colegiada ejerciente del Ilustre Colegio de Abogados de Madrid desde el año 2011.

Jacqueline Hellman Jacqueline Hellman, es Doctora en Derecho por la Universidad Autónoma de Madrid. Cuenta con un sexenio de investigación y está acreditada como profesora contratada desde mayo 2017. Imparte en diversas Universidades las siguientes asignaturas: Derecho Internacional Público, Derecho Internacional Penal y Derechos Humanos. Y dirige un máster universitario en Derechos Humanos.

José Julio Fernández Rodríguez Doctor en Derecho, licenciado en Derecho con premio extraordinario, licenciado en Ciencias Políticas y Sociales, licenciado en Periodismo, licenciado en Comunicación Audiovisual, y diplomado en Estudios de Seguridad y Defensa. Catedrático de Derecho Constitucional en la Universidad de Santiago de Compostela (USC). Fue valedor do pobo de la Comunidad Autónoma de Galicia (ombudsman de Galicia, España). Asimismo, director del Centro de Estudios de Seguridad (CESEG) de la USC. Antiguo delegado de protección de datos de la USC y miembro de la Junta Electoral de Santiago de Compostela. Estancias de investigación y ampliación de estudios en universidades y centros de Alemania, Brasil, España, Francia, Italia, México y Portugal, incluyendo tres tribunales constitucionales. Autor de numerosas publicaciones científicas con elevado impacto (más de 180 entre monografías, capítulos de libro y artículos de investigación), que vieron la luz en quince países, sobre teoría de la constitución, derechos fundamentales, tecnología,

290

Reseñas curriculares de los autores

justicia constitucional, el principio de transparencia, defensorías del pueblo, internet, seguridad y defensa. Asistió como experto a diversos programas jurídicos internacionales de cooperación y de fortalecimiento institucional (Cabo Verde, Perú, Turquía). Cruz del Mérito Naval con distintivo blanco (Reino de España). Doctor Honoris Causa por la Universidad Antonio Guillermo Urrelu.

Miguel Ortego Ruiz Miguel Ortego Ruiz es socio director en ORTEGO LEGAL, S.L.P., Árbitro Internacional miembro del Chartered Institute of Arbitrators (CIArb) y Profesor de Derecho Internacional en el Instituto Superior de Derecho y Economía y de Derecho Mercantil y Societario en la Universidad Camilo José Cela. Doctor en Derecho por la Universidad Complutense de Madrid (UCM), Máster en Derecho Internacional, curso de Especialización en Derecho Europeo y licenciado en Administración y Dirección de Empresas, todos ellos por la UCM. También es Auditor Interno, experto en concursos y reestructuraciones, en Compliance y Profesional Internacional de la Privacidad Certificado (CIPP/E por la IAPP). Es autor de varias publicaciones entre las que destaca la monografía Prestadores de servicios de Internet y alojamiento de contenidos ilícitos, Editorial REUS, 2015 (premio mejor monografía de propiedad intelectual 2015 de REUS, AISGE y ASEDA) y obtuvo en 2020 el Primer Premio del III Seminario PhDay Derecho (UCM).

Carmen Florit Fernández Carmen Florit (Cartagena, 1981) es Profesora en la Universidad Europea de Madrid, donde imparte las distintas asignaturas de Derecho Civil y ha obtenido la acreditación como Profesor Contratado Doctor, Profesor de Universidad Privada y Profesor Ayudante Doctor por la Agencia Nacional de Evaluación de la Calidad y Acreditación. Se licenció en Derecho por la Universidad de Murcia, en la que también obtuvo el título de Doctor en Derecho cum laude y realizó el Máster de Acceso a la Abogacía. Asimismo, ha ejercido la Abogacía durante años en diversos despachos de prestigio, dedicándose actualmente en exclusiva a labores docentes y de investigación, en especial en el campo de la protección del menor, área en la que ha publicado tanto en revistas científicas como en obras monográficas, tratando los temas más conflictivos en Juzgados y Tribunales y con una visión no sólo doctrinal sino sobre todo, y especialmente, práctica.

GRACIAS POR CONFIAR EN NUESTRAS PUBLICACIONES Al comprar este libro le damos la posibilidad de consultar gratuitamente la versión ebook. Cómo acceder al ebook: ) Entre en nuestra página web, sección Acceso ebook (www.dykinson.com/acceso_ebook) ) Rellene el formulario que encontrará insertando el código de acceso que le facilitamos a continuación así como los datos con los que quiere consultar el libro en el futuro (correo electrónico y contraseña de acceso). ) Si ya es cliente registrado, deberá introducir su correo electrónico y contraseña habitual. ) Una vez registrado, acceda a la sección Mis e-books de su cuenta de cliente, donde encontrará la versión electrónica de esta obra ya desbloqueada para su uso. ) Para consultar el libro en el futuro, ya sólo es necesario que se identifique en nuestra web con su correo electrónico y su contraseña, y que se dirija a la sección Mis ebooks de su cuenta de cliente. CÓDIGO DE ACCESO

Rasque para ver el código

Nota importante: Sólo está permitido el uso individual y privado de este código de acceso. Está prohibida la puesta a disposición de esta obra a una comunidad de usuarios.