Los ‘deadbots’ pueden hablar por nosotros tras nuestra muerte. ¿Es eso ético?

 Los sistemas de aprendizaje automático de máquinas (machine learning) se cuelan cada vez más en nuestras vidas cotidianas, desafiando nuestros valores morales y sociales y las normas que los rigen. 

Hoy en día, los asistentes virtuales amenazan la intimidad del hogar; los sistemas de recomendación de noticias modelan la manera en que entendemos el mundo; los algoritmos de predicción de riesgo aconsejan a los trabajadores sociales a qué niños proteger de abusos; mientras que las herramientas de contratación basadas en el procesamiento de datos clasifican nuestras posibilidades de conseguir un trabajo. Sin embargo, la ética del aprendizaje automático sigue siendo un ámbito difuso.

Buscando artículos sobre el tema para los jóvenes ingenieros que estudian Ética y Tecnologías de la Información y de la Comunicación en la UCLouvain (Bélgica), me llamó especialmente la atención el caso de Joshua Barbeau, un hombre de 33 años que utilizó un sitio web llamado Project Decemberpara crear un robot conversacional –un chatbot– que simulara una conversación con su prometida, Jessica, fallecida a causa de una enfermedad rara.

Robots conversacionales que imitan a personas muertas

Conocido como deadbot, este tipo de chatbot permitía a Barbeau intercambiar mensajes de texto con una “Jessica” artificial. A pesar de la naturaleza éticamente controvertida del caso, rara vez encontré materiales que fueran más allá del mero aspecto factual y lo analizaran desde una perspectiva explícitamente normativa: ¿por qué sería correcto o incorrecto, éticamente deseable o reprobable, desarrollar un deadbot?

Antes de abordar estas cuestiones, pongamos las cosas en contexto: Project December fue creado por el desarrollador de videojuegos Jason Rohrer con el objetivo de permitir a la gente diseñar chatbots con aquella personalidad con la que quisieran interactuar, siempre que pagasen por ello. El proyecto se construyó a partir de una API de GPT-3, un modelo de lenguaje que permite generar texto de forma automática, de la empresa de investigación de inteligencia artificial OpenAI. 

El caso de Barbeau generó una disputa entre Rohrer y OpenAI, dado que las normas de uso de la empresa prohíben explícitamente que GPT-3 se utilice con fines sexuales, amorosos, de autolesión o de acoso.

Tras calificar la posición de OpenAI de hipermoralista y argumentar que las personas como Barbeau son “adultos con capacidad de dar su consentimiento”, Rohrer desconectó la versión de Project December basada en GPT-3.

Aunque todos tenemos ciertas intuiciones sobre si está bien o mal desarrollar un deadbot de aprendizaje automático, explicar sus implicaciones no es una tarea fácil. Por eso es importante abordar las cuestiones éticas que plantea el caso, paso por paso.

¿Es suficiente el consentimiento de Barbeau para desarrollar el deadbot de Jessica?

Dado que Jessica era una persona real (aunque muerta), el consentimiento de Barbeau para la creación de un deadbot que la imite parece insuficiente. Incluso cuando mueren, las personas no son meras cosas con las que otros pueden hacer lo que les plazca. Por eso, nuestras sociedades consideran que está mal profanar o ser irrespetuoso con la memoria de los muertos. En otras palabras, tenemos ciertas obligaciones morales relativas a los muertos, en la medida en que la muerte no implica necesariamente que las personas dejen de existir de una forma moralmente relevante.

Asimismo, el debate está abierto sobre si debemos proteger los derechos fundamentales de los muertos (por ejemplo, la privacidad y los datos personales). Desarrollar un deadbot que replique la personalidad de alguien requiere grandes cantidades de información personal, como los datos procedentes de sus redes sociales (véase lo que proponen Microsoft o Eternime), que pueden revelar rasgos muy sensibles.

Si estamos de acuerdo en que no es ético utilizar los datos de las personas sin su consentimiento mientras están vivas, ¿por qué lo sería tras su muerte? En ese sentido, al desarrollar un deadbotparece razonable solicitar el consentimiento de aquella persona cuya personalidad se imita, en este caso Jessica.

La muerte nos separa de nuestros seres queridos, pero ¿podría el aprendizaje automático devolverles la vida digital?Philippe Lorez/AFP

Cuando la persona imitada da luz verde

Así, la segunda pregunta es: ¿el consentimiento de Jessica sería suficiente para considerar ética la creación de su deadbot? ¿Y si resultase degradante para su memoria?

Los límites del consentimiento son, en efecto, una cuestión controvertida. Tomemos como ejemplo paradigmático el “caníbal de Rotenburgo”, que fue condenado a cadena perpetua pese a que su víctima había aceptado ser comida. En este sentido, se ha argumentado que no es ético consentir ante cosas que puedan ser perjudiciales para nosotros mismos, ya sea físicamente (vender los órganos vitales) o de una forma más abstracta (alienar los propios derechos).

En qué sentido puede algo ser perjudicial para los muertos es una cuestión especialmente compleja que no analizaré en detalle. No obstante, cabe señalar que, aunque no es posible causar daños u ofender a los muertos del mismo modo que a los vivos, esto no significa que sean invulnerables a las malas acciones, ni que éstas sean éticas. Los muertos pueden sufrir perjuicios en su honor, reputación o dignidad (por ejemplo, si se lanzan campañas póstumas de desprestigio), y la falta de respeto hacia los muertos también perjudica a sus allegados. Además, tener malos comportamientos hacia los muertos nos conduce a una sociedad más injusta y menos respetuosa con la dignidad de las personas, en general.

Por último, dada la maleabilidad e imprevisibilidad de los sistemas de aprendizaje automático, existe el riesgo de que el consentimiento proporcionado por la persona imitada (en vida) no represente mucho más que un cheque en blanco ante su posible evolución.

Teniendo en cuenta todo esto, parece razonable concluir que, si el desarrollo o el uso del deadbot no se corresponden con lo que la persona imitada haya aceptado, su consentimiento debe considerarse inválido. Además, si atenta clara e intencionadamente contra su dignidad, ni siquiera su consentimiento debería ser suficiente para considerarlo ético.

¿Quién asume la responsabilidad?

Una tercera cuestión es si los sistemas de inteligencia artificial deben aspirar a imitar cualquier tipo de comportamiento humano (independientemente aquí de la discusión sobre si esto es posible).

Esta es una preocupación que viene de lejos en el campo de la IA y está estrechamente relacionada con la disputa entre Rohrer y OpenAI. ¿Debemos desarrollar sistemas artificiales capaces, por ejemplo, de ejercer cuidados o de tomar decisiones políticas? Parece que hay algo en estas habilidades que diferencia a los humanos de otros animales y de las máquinas. Por ello, es importante tener en cuenta que instrumentalizar la IA hacia fines excesivamente tecno-solucionistas, como reemplazar a los seres queridos, puede llevar a una devaluación de aquello que nos caracteriza como seres humanos.

La cuarta cuestión ética es quién se hace responsable de los resultados de un deadbot, especialmente en el caso de que tenga efectos indeseables.

Imaginemos que el deadbot de Jessica aprendiera autónomamente a actuar de un modo degradante para su memoria o que dañara irreversiblemente la salud mental de Barbeau. ¿Quién asumiría la responsabilidad? 

Los expertos en IA responden a esta resbaladiza cuestión desde dos enfoques principales: unos consideran que la responsabilidad recae en quienes participan en el diseño y el desarrollo del sistema, en tanto que lo hacen de acuerdo con sus intereses y sus visiones del mundo particulares; otros entienden que, como los sistemas de aprendizaje automático dependen necesariamente del contexto, la responsabilidad moral de sus resultados debe distribuirse entre todos los agentes que interactúan con ellos.

La primera posición se ajusta más a mis ideas. En este caso, al existir una cocreación explícita del deadbot en la que participan OpenAI, Jason Rohrer y Joshua Barbeau, parece lógico analizar el nivel de responsabilidad de cada parte.

En primer lugar, sería difícil responsabilizar a OpenAI tras haber prohibido explícitamente el uso de su sistema con fines sexuales, amorosos, de autolesión o de acoso.

Sin embargo, parece razonable atribuir un nivel significativo de responsabilidad moral a Rohrer porque: (a) diseñó explícitamente el sistema que permitió crear el deadbot; (b) lo hizo sin prever medidas para evitar posibles resultados nocivos; (c) era consciente de que incumplía las directrices de OpenAI; y (d) se benefició económicamente de ello.

Y, en tercer lugar, dado que Barbeau personalizó el deadbotbasándose en rasgos particulares de Jessica, parece legítimo considerarlo corresponsable en caso de que este degradara su memoria.

Ético, bajo ciertas condiciones

Así que, volviendo a nuestra primera pregunta sobre si es ético desarrollar un deadbot de aprendizaje automático, podríamos dar una respuesta afirmativa bajo la condición de que:

• tanto la persona imitada como la que personaliza el deadbot e interactúa con él den su libre consentimiento ante una descripción lo más detallada posible del diseño, desarrollo y usos del sistema;

• se prohíban los desarrollos y usos que no se ciñan a lo que la persona imitada consintió o que vayan en contra de su dignidad;

• las personas implicadas en su desarrollo y quienes se beneficien de él asuman la responsabilidad de sus posibles resultados (especialmente si son negativos). Tanto de forma retroactiva, para dar cuenta de los hechos ocurridos, como de forma prospectiva, para prevenir activamente que ocurran en el futuro.

Este caso ejemplifica por qué la ética del aprendizaje automático importa. También ilustra por qué es esencial abrir un debate público capaz de informar mejor a los ciudadanos y ayudarnos a desarrollar políticas que hagan que los sistemas de IA sean más abiertos, socialmente justos y respetuosos con los derechos fundamentales.

Maniqueísmo e idiotez

 Publicado por Carlo Frabetti

Retrato de un maniqueo DP.

Como la caridad, la crítica bien entendida empieza por uno mismo, así que empezaré por hablar de mi propio maniqueísmo. Y de mi propia idiotez.

A principios de los años sesenta del siglo pasado, yo era un ateo rodeado de católicos, un vegetariano rodeado de carnívoros, un comunista ingenuo rodeado de burgueses acomodados, un autista rodeado de neurotípicos y un matemático rodeado de gente «de letras». Mayo del 68 y la contracultura aún quedaban lejos y, más que solo, me sentía acorralado, y a veces me refugiaba en una forma típicamente adolescente de arrogancia defensiva: los católicos eran idiotas filosóficos, los carnívoros eran idiotas morales, los burgueses eran idiotas políticos, los neurotípicos eran idiotas sociales y quienes ignoraban (en ambos sentidos del término) las matemáticas eran idiotas a secas. Y, huelga decirlo, en la medida en que me escudaba en tales simplificaciones, el idiota1 era yo.

El maniqueísmo es, en última instancia, un intento de atrincherarnos en nuestras posiciones de una forma «negativa», es decir, negando rotundamente las posiciones contrarias o excluyentes. La forma más sencilla y cómoda de creerte muy listo es convencerte a ti mismo de que los que no piensan como tú son idiotas; la más sencilla y cómoda, sí, pero también la más idiota.

Y la forma más sencilla, cómoda e idiota de creerte bueno es convencerte a ti mismo de que quien no comparte tus valores y convicciones es malo. Y quien no solo no los comparte, sino que los ataca, es malísimo. Es el Enemigo con mayúscula, perverso e irreductiblemente ajeno, casi demoníaco. Pero al pensar de esta manera —y casi todos lo hacemos en ocasiones— no nos damos cuenta de que el maniqueísmo es un bumerán que cada vez que lo lanzamos acaba dándonos en la cabeza.

En una de las dependencias del Memorial del Holocausto de Jerusalén hay dos puertas de salida con sendos rótulos; en uno pone «Personas sin prejuicios raciales» y en el otro «Personas con prejuicios raciales». Naturalmente, todos intentan salir por la primera puerta; pero no pueden hacerlo, pues está cerrada con llave. Y si alguien les pregunta a los empleados del museo por qué está cerrada esa puerta, le contestan: «Porque las personas sin prejuicios raciales no existen». En las últimas décadas se ha avanzado mucho en la lucha contra el racismo y la xenofobia; pero, de alguna manera y en alguna medida, el recelo ante lo étnica y culturalmente distinto sigue vivo en la inmensa mayoría de la gente. Pero entonces, puesto que el racismo —ningún demócrata se atrevería a discutirlo— es puro fascismo, ¿hemos de concluir que la inmensa mayoría de la gente es fascista?

El carnivorismo, perfecta metáfora (o metonimia) del capitalismo depredador y de la sociedad de consumo, es una aberración ética, dietética, económica, ecológica y sanitaria, y por ende política. Producir un kilo de proteína animal supone el gasto —el despilfarro— de hasta diez kilos de proteína vegetal (que además es mucho más saludable), con lo que también se decuplica el consumo de agua y de energía (y de medicamentos). Decía Isaac Bashevis Singer, que sufrió en carne propia los rigores del nazismo, que con respecto a los demás animales todos somos nazis. Y mientras no superemos esta forma resistente y ampliamente generalizada de fascismo interespecífico, no podremos transformar radicalmente la sociedad. Porque una sociedad justa y solidaria, una verdadera democracia, no puede ser violenta, ni xenófoba, ni racista, ni sexista, ni consumista, ni especista…

¿Significa esto que todos los carnívoros y los hinchas de fútbol (forma ritualizada de competitividad violenta) y los que consumen en exceso son fachas? No, a no ser que ampliemos tanto el sentido del término que acabe alcanzándonos a todos. Sencillamente, hay conductas y actitudes que tienden a perpetuar el orden establecido y otras que tienden a transformar la sociedad. Y, como decía Sartre, todos somos medio cómplices y medio víctimas (aunque no hay que entender lo de medio y medio en el sentido literal del cincuenta por ciento: algunas personas son muy cómplices y muy poco víctimas, y viceversa).

Hace veinte años —pero, lamentablemente, podría haberlo escrito hoy— escribí un artículo humorístico (o eso creía yo) titulado «El binarismo, fase superior del maniqueísmo», en el que, entre otras cosas, decía:

El término ‘binarismo’ no viene de Bin Laden, aunque sea igualmente peligroso, ni de Mr. Bean, aunque sea igualmente risible. ‘Binarismo’ viene de ‘binario’, y es la filosofía del interruptor, para el que solo hay dos estados posibles: abierto o cerrado, sí o no, blanco o negro, cara o cruz. ‘Entreabierto’, ‘quizás’, ‘gris’ o ‘canto’ son términos ausentes del diccionario binario… Paradójicamente, el viejo maniqueísmo está muy desprestigiado, a pesar de que, como primera aproximación, es aplicable a muchas situaciones… Sin embargo, la radicalización extrema del maniqueísmo, su fase superior, el binarismo, tiene cada vez más adeptos (ha pasado lo mismo que con el liberalismo: sus formas tradicionales, relativamente moderadas, se consideran simplistas, a la vez que se impone por doquier el neoliberalismo más despiadado)… El binarismo tiene grandes ventajas, pues para su implantación basta con que en el cerebro del adoctrinado haya una sola sinapsis neuronal, con sus dos estados posibles: si hay flujo de neurotransmisores, es abierto, sí, blanco, cara; si no hay flujo, es cerrado, no, negro, cruz… El único problema para la implantación total y definitiva del pensamiento binario es que, a pesar de los esfuerzos de los poderes establecidos y los medios de comunicación, aún quedan personas con más de una sinapsis en funcionamiento. Aún quedan personas en las que la indignación puede más que la comodidad y el miedo.

Pero sería bueno que no solo la indignación se sobrepusiera a la comodidad y al miedo, sino también el diálogo y la comprensión. Que no es lo mismo que la tolerancia.

No hay que tolerar que los antiabortistas se concentren delante de las clínicas y acosen (o intenten «redimirlas») a las mujeres que se disponen a abortar; pero criminalizarlos sería incurrir en su mismo binarismo: no son taimados delincuentes, sino personas movidas por unas creencias irracionales que, nos guste o no, siguen desempeñando un papel fundamental en nuestra sociedad y que, en alguna medida, nos intoxican a todos. Los criminales no son los drogadictos, sino los que trafican con las drogas, y no hay peor droga que el dogmatismo.

No hay que tolerar las corridas de toros; pero zaherir a la viuda de un torero muerto en el ruedo (estoy recordando un caso concreto) no es un acto de reivindicación, sino de crueldad (por la misma regla de tres, habría que celebrarlo cada vez que un carnívoro muere de cáncer de colon).

No hay que tolerar las agresiones machistas, sean de palabra, obra u omisión; pero si, como se ha llegado a proponer, se castrara a todos los que incurren en ellas2 la especie humana no llegaría a conocer el próximo siglo (una posibilidad, dicho sea de paso, cada vez menos remota).

No hay puertas de salida para personas sin prejuicios de clase, género o especie, porque tales personas no existen. Pero sí existen las que luchan contra los prejuicios. Y la lucha bien entendida, como la caridad y la crítica, empieza por uno mismo.

---

1. No en vano el término «idiota» viene del griego idiotes, que significa «privado», «uno mismo», y se usaba para designar a los ciudadanos ensimismados y egoístas que no se ocupaban de los asuntos públicos; y también puede aplicarse, creo, a quienes se ocupan de los asuntos públicos desde el ensimismamiento y el egoísmo.

2. En 1967, Valerie Solanas publicó su manifiesto SCUM (interpretado como Society for Cutting Up Men), que empieza diciendo: «Vivir en esta sociedad significa, con suerte, morir de aburrimiento; nada concierne a las mujeres; pero, a las dotadas de una mente cívica, de sentido de la responsabilidad y de la búsqueda de emociones, solo les queda una posibilidad: destruir el Gobierno, eliminar el sistema monetario, instaurar la automatización total y destruir al sexo masculino». Poco después intentó poner en marcha su programa disparándole a Andy Warhol.

Alfonso X y su declaración de amor a la Virgen María

 Cuando Alfonso X el Sabio mandó compilar su extensa colección de milagros de la Virgen en gallego-portugués hacia el último cuarto del siglo XIII, no hacía otra cosa que seguir una antigua tradición iniciada en latín y que tuvo su continuidad en lengua romance. 

Es cierto que pueden encontrarse milagros de la Virgen infiltrados entre los dedicados a santos particulares y menciones esporádicas a estos prodigios en escritos de diversos autores. Sin embargo habrá que esperar hasta finales del siglo XI para ver reunidas las primeras colecciones, en latín, con un número desigual de milagros de Nuestra Señora. 

Algunas son compilaciones de carácter general, aunque, sobre todo, florecen aquellas de carácter local, ligadas a un determinado centro de culto marial (Laon, Rocamadour, Soissons, Canterbury, Montserrat…). Esto se debe a que los santuarios y abadías más importantes del momento deseaban poder alardear de poseer una buena colección de milagros producidos en el lugar para cobrar importancia sobre otros que no pudiesen hacer gala de esa aparente predilección por parte de la Virgen María.

La primera colección de milagros en lengua romance es Le Gracial, reunida por Adgar, un clérigo que desarrolla su actividad cerca de Londres hacia el tercer cuarto del siglo XII. No debió ser la pionera, pues Adgar mismo reconoce que alguno de los milagros que está traduciendo del latín estaban ya traducidos en anglonormando. Esa era la lengua literaria de la región, en la que se habían escrito por la misma época diversas vidas de santos y santas. Con su obra, Adgar se suma a esa corriente hagiográfica que pretende acercar las vidas de santos y sus extraordinarios milagros a la enorme masa de fieles que desconocían el latín o que lo conocían de manera insuficiente como para poder disfrutar y aprender con dichos relatos ejemplares.

Los tres ejemplos del siglo XIII

En este contexto surgen los tres mariales romances más importantes del siglo XIII. Serían, por orden cronológico, Les Miracles de Nostre Dame del francés Gautier de Coinci, los Milagros de Nuestra Señora del riojano Gonzalo de Berceo y las Cantigas de Santa María del rey Alfonso X. 

Teniendo en cuenta lo anteriormente dicho, las tres colecciones (en francés, castellano y gallego-portugués, respectivamente) tienen muchos milagros en común porque han bebido de las mismas fuentes o de fuentes muy próximas. Sin embargo, el objetivo final y el arte de cada uno de los compiladores les conferirán una pátina individualizadora. Así que podemos asegurar que no se trata de meras traducciones sino de versiones diferentes de las mismas historias.

De estas tres, la colección más moderna (en todos los sentidos) es la del rey de Castilla. También la más impresionante, por diversas razones, y la más original, pese a sus orígenes comunes. Seguramente porque era un rey con gran cantidad de recursos económicos y humanos a su disposición, pudo llevar a término su deseo personal de realizar una obra grandiosa, tan digna de su autor como de su destinataria. 

Así, las Cántigas constituyen uno de los ejemplares librescos más extraordinarios de la Edad Media, tanto por su volumen (más de cuatrocientos textos), como por la extensa variedad musical que presenta. Todas las composiciones vienen acompañadas de su partitura para su interpretación melódica, pero, además, exhiben un impresionante repertorio iconográfico, ya que cada cantiga está seguida de una página entera con imágenes que ilustran la historia que se relata en los versos precedentes. 

Ninguno de los otros dos grandes mariales romances puede presumir de una riqueza parecida. 

La finalidad de Berceo era la instrucción moral, pero también lingüística y teológica, de los monjes novicios de su monasterio. Para ellos concibe los relatos de estos milagros, contados de manera sencilla, en la cuaderna vía, y en los que ensalza la grandeza de María y su inagotable misericordia. 

La glorificación de la Virgen es también el objetivo fundamental de Gautier de Coinci, pero sus milagros tienen un estilo más rebuscado y están rematados con unas largas colas moralizantes. Sin embargo, adorna su colección con canciones de exaltación mariana que abren y cierran los dos libros que conforman la obra. Además, buena parte de los manuscritos contienen imágenes relativas al milagro que se está contando y, algunos de ellos, incluso varios cuadros en los que se desarrolla lo esencial de la historia. 

Así que, cuando Alfonso X decidió acometer su propia colección tenía, además de los repertorios latinos, estos otros dos modelos que seguramente conocía, aunque solo fuese por boca de alguno de sus colaboradores.

La inspiración de Alfonso X

Los milagros castellanos no debieron interesarle demasiado puesto que no se ajustaban a sus objetivos. Pero la colección francesa debió inspirarle, no solo por su contenido, que le ofrecía un amplio compendio de relatos que demostraban la eficaz mediación de la Virgen ante su hijo en favor de sus devotos, sino también por el original contenedor que los guardaba. 

A imitación de Gautier, también Alfonso va a ilustrar sus historias, pero de manera más rica, precisa y sistemática. Y añadirá la música a todas y cada una de las composiciones. Además, va a insertar al principio de su libro un par de canciones que funcionan como prólogo de la obra. Lo cerrará, a su vez, con las cantigas 400 y 401, cantigas de cierre y petiçonrespectivamente, que el rey utiliza para clausurar su cancionero y ofrecérselo a la Virgen, rogándole que intervenga por él ante su hijo, el Juez Supremo. 

Miniatura de una juglaresa con tarrañolas acompañando a un juglar de óboe. Iluminación de la cantiga 330 de las Cantigas de Santa María. Wikimedia Commons

Por otro lado, coincidiendo con los números decenales, Alfonso decide incluir una canción de alabanza de santa María, con variados y novedosos modelos estróficos. Esto mismo había hecho Gautier en sus saluts musicados y en aquellos sermones finales de los que Alfonso X prescinde por considerarlos excesivamente sentenciosos. 

No obstante, algo nuevo destilaban los versos del francés que el Sabio supo leer correctamente: el rechazo explícito del amor mundano en favor del amor divino. De modo que él, experto trovador que destacaba por la mordacidad de su poesía satírica, decidió seguir la senda marcada por Gautier. 

Al final de la cantiga 10, Alfonso declara querer alejarse definitivamente (al menos en apariencia) del amor físico para consagrarse en adelante, exclusivamente, a cantar el amor por la Virgen, el único verdadero y el único que reporta felicidad al enamorado:

Esta dona que tenno por señor

e de que quero ser trobador,

se eu per ren poss’aver seu amor,

dou ao demo os outros amores.

(Esta dama que tengo por señora / y de quien deseo ser trovador, / si yo puedo de alguna manera tener su amor, / al diablo doy los otros amores).

Esta promesa será ratificada en muchas otras cantigas. Al final, lo que parece una mera colección de milagros de la Virgen es un cancionero amoroso que el rey compila para su amada, la Flor das Flores, la Señor das Señores. Ella, a cambio, lo protege en la tierra y lo preserva para el Cielo.