El primer accidente grave en el que se vio implicado un coche de autoconducción en Australia se produjo en marzo de este año. Un peatón sufrió heridas mortales al ser atropellado por un Tesla Model 3 que, según el conductor, estaba en modo «piloto automático».

En Estados Unidos, el organismo regulador de la seguridad vial está investigando una serie de accidentes en los que Teslas con piloto automático chocaron contra vehículos de primeros auxilios con luces intermitentes durante paradas de tráfico.

Los procesos de toma de decisiones de los coches de «autoconducción» son a menudo opacos e imprevisibles (incluso para sus fabricantes), por lo que puede ser difícil determinar quién debe ser responsable de incidentes como estos. Sin embargo, el creciente campo de la «IA explicable» puede ayudar a proporcionar algunas respuestas.

¿Quién es el responsable cuando los coches de autoconducción se estrellan?

Aunque los coches autoconducidos son nuevos, siguen siendo máquinas hechas y vendidas por los fabricantes. Cuando causan daños, debemos preguntarnos si el fabricante (o el desarrollador del software) ha cumplido con sus responsabilidades de seguridad.

La ley de negligencia moderna proviene del famoso caso Donoghue contra Stevenson, en el que una mujer descubrió un caracol en descomposición en su botella de cerveza de jengibre. El fabricante fue declarado negligente, no porque se esperara que predijera o controlara directamente el comportamiento de los caracoles, sino porque su proceso de embotellado no era seguro.

Siguiendo esta lógica, los fabricantes y desarrolladores de sistemas basados en la IA, como los coches autoconducidos, pueden no ser capaces de prever y controlar todo lo que hace el sistema «autónomo», pero pueden tomar medidas para reducir los riesgos. Si sus prácticas de gestión de riesgos, pruebas, auditorías y supervisión no son lo suficientemente buenas, deben rendir cuentas.

¿Cuánta gestión de riesgos es suficiente?

La pregunta difícil será: «¿Cuánta atención y cuánta gestión de riesgos es suficiente?». En los programas informáticos complejos, es imposible comprobar de antemano todos los fallos. ¿Cómo sabrán los desarrolladores y fabricantes cuándo parar?

Afortunadamente, los tribunales, los reguladores y los organismos de normalización técnica tienen experiencia en el establecimiento de normas de cuidado y responsabilidad para actividades arriesgadas pero útiles.

Las normas pueden ser muy exigentes, como el proyecto de reglamento sobre IA de la Unión Europea, que exige reducir los riesgos «en la medida de lo posible» sin tener en cuenta el coste. O pueden ser más parecidas a la legislación australiana sobre negligencia, que permite una gestión menos estricta de los riesgos menos probables o menos graves, o cuando la gestión del riesgo reduzca el beneficio global de la actividad de riesgo.

Los casos legales se complicarán por la opacidad de la IA

Una vez que tengamos una norma clara para los riesgos, necesitamos una forma de hacerla cumplir. Un enfoque podría ser dar a un regulador poderes para imponer sanciones (como hace la ACCC en casos de competencia, por ejemplo).

Los individuos perjudicados por los sistemas de IA también deben poder demandar. En los casos relacionados con los coches autoconducidos, las demandas contra los fabricantes serán especialmente importantes.

Sin embargo, para que estas demandas sean efectivas, los tribunales tendrán que conocer en detalle los procesos y parámetros técnicos de los sistemas de IA.

Los fabricantes suelen preferir no revelar esos detalles por razones comerciales. Pero los tribunales ya cuentan con procedimientos para equilibrar los intereses comerciales con una cantidad adecuada de divulgación para facilitar los litigios.

Un reto mayor puede surgir cuando los propios sistemas de IA son «cajas negras» opacas. Por ejemplo, la funcionalidad del piloto automático de Tesla se basa en «redes neuronales profundas«, un tipo popular de sistema de IA en el que ni siquiera los desarrolladores pueden estar del todo seguros de cómo o por qué llega a un resultado determinado.

¿Una «IA explicable» al rescate?

Abrir la caja negra de los sistemas modernos de IA es el objetivo de una nueva ola de estudiosos de la informática y las humanidades: el llamado movimiento de «IA explicable».

El objetivo es ayudar a los desarrolladores y a los usuarios finales a entender cómo toman sus decisiones los sistemas de IA, ya sea cambiando la forma en que se construyen los sistemas o generando explicaciones a posteriori.

En un ejemplo clásico, un sistema de IA clasifica erróneamente una foto de un husky como un lobo. Un método de «IA explicable» revela que el sistema se centró en la nieve del fondo de la imagen y no en el animal del primer plano.

La forma en que esto pueda utilizarse en un juicio dependerá de varios factores, como la tecnología de IA específica y el daño causado. Una preocupación clave será el grado de acceso que se le dé a la parte perjudicada al sistema de IA.

El caso Trivago

Nuestra nueva investigación, en la que se analiza un importante caso judicial reciente en Australia, ofrece una visión alentadora de lo que podría ser esto.

En abril de 2022, el Tribunal Federal sancionó a la empresa mundial de reservas hoteleras Trivago con 44,7 millones de dólares por engañar a los clientes sobre las tarifas de las habitaciones de hotel en su sitio web y en la publicidad televisiva, tras un caso presentado por el organismo de control de la competencia ACCC. Una de las cuestiones críticas era cómo el complejo algoritmo de clasificación de Trivago elegía la oferta de habitaciones de hotel mejor valorada.

El Tribunal Federal estableció normas para el descubrimiento de pruebas con salvaguardias para proteger la propiedad intelectual de Trivago, y tanto la ACCC como Trivago llamaron a testigos expertos para que aportaran pruebas que explicaran cómo funcionaba el sistema de IA de Trivago.

Incluso sin tener pleno acceso al sistema de Trivago, el testigo experto de la ACCC pudo presentar pruebas convincentes de que el comportamiento del sistema no era coherente con la afirmación de Trivago de ofrecer a los clientes el «mejor precio».

Esto demuestra cómo los expertos técnicos y los abogados pueden superar juntos la opacidad de la IA en los casos judiciales. Sin embargo, el proceso requiere una estrecha colaboración y profundos conocimientos técnicos, y probablemente será costoso.

Los reguladores pueden tomar medidas ahora para agilizar las cosas en el futuro, como exigir a las empresas de IA que documenten adecuadamente sus sistemas.

El camino a seguir

Los vehículos con diversos grados de automatización son cada vez más comunes, y se están probando taxis y autobuses totalmente autónomos tanto en Australia como en el extranjero.

Mantener nuestras carreteras lo más seguras posible requerirá una estrecha colaboración entre los expertos en IA y los juristas, y tanto los reguladores como los fabricantes, las aseguradoras y los usuarios tendrán un papel que desempeñar.