Por el bien de la humanidad, la IA debe saber cuándo es incompetente

Hemos entrenado con éxito el aprendizaje automático y la inteligencia artificial para tomar decisiones. Ahora necesitamos que comprenda cuáles son las opciones correctas.

Todos tenían ese compañero de trabajo, el que nunca pide ayuda incluso cuando está completamente fuera de su alcance, inconsciente de su propia incompetencia. Pero, ¿qué sucede cuando su colega no es un hombre que sufre de Dunning-Kruger sino inteligencia artificial?

Esta es una pregunta que Vishal Chatrath tuvo que considerar como CEO y cofundador de Prowler.io, una plataforma de toma de decisiones en toda la inteligencia artificial para empresas que tiene como objetivo aumentar el trabajo humano con el aprendizaje automático. Los clientes de Prowler.io incluyen administradores de fondos (el sistema decide qué comprar y vender), así como la gestión logística y el apoyo educativo, con un solo cliente que usa la plataforma para desarrollar un tutor de IA. «El proceso de toma de decisiones puede ser bastante similar [across different businesses], si se abstrae a un nivel suficientemente bajo «, dice». En algunos casos, las decisiones están completamente automatizadas, en algunos casos, hay un hombre al tanto.

Mantener a una persona como parte del proceso se debe en parte a la falta de confianza en la toma de decisiones basada en el automóvil, pero Chatrath también reconoce que permanecemos en los primeros años de la IA. Estos sistemas no son perfectos y probablemente nunca lo serán, y una falla de la IA es que no comprende inherentemente su propia competencia. Si un trabajador humano necesita ayuda, puede pedirla, pero ¿cómo se puede desarrollar una comprensión de las limitaciones personales en el código? Chatrath muestra los dos accidentes fatales 737 Max. «En ambos bloqueos, el denominador común fue que el piloto automático no entendía su propia incompetencia», dice Chatrath.

Prowler.io ha construido una conciencia de incompetencia en su sistema, enseñando a su inteligencia artificial no solo a comprender sus limitaciones, sino también a predecir cuándo llegará a una situación en la que no tiene experiencia o conocimientos. «Luego toca ligeramente al hombre en el hombro, por así decirlo, para que el hombre pueda tomar el control», dice. El sistema puede aprender de esas interacciones y, después de un entrenamiento suficiente, eventualmente puede dejar de pedir ayuda.

Los reguladores podrían establecer tales límites sobre la mensajería instantánea, como es el caso en la industria financiera, donde los niveles de riesgo se ponderan cuidadosamente o por la propia empresa. Cuando trabaja con un nuevo cliente, Prowler.io considera cuatro preguntas mientras instala la plataforma: cuando sabe que la IA es definitivamente correcta, cuando sabe que está mal y cuando sabe que está a punto de fallar, la sincronización es esencial, de modo que las personas en el circuito tienen tiempo para reaccionar. La cuarta consideración es qué tan seguros estamos de que la IA está haciendo las preguntas correctas. «No hay respuesta para cortar galletas», dice.

Otra consideración es el riesgo. Si hay un 10% de probabilidad, un programador de logística está equivocado y, por lo tanto, un camión se retrasa un poco, está bien. Si hay un 10% de probabilidad de que la forma delante de un automóvil sin conductor sea humana, el automóvil debería detenerse; el riesgo es demasiado grande para cualquier incertidumbre. «En lugar de hacer cosas estúpidas, como toparse con alguien, trae al hombre en [process]Chatrath explica, como se ha dicho, cuando los riesgos son demasiado grandes para afrontarlos.

Esto es importante, dice Taha Yasseri, investigador del Oxford Internet Institute y del Alan Turing Institute for Data Science, porque si bien podemos delegar la toma de decisiones en las máquinas, no podemos delegar la responsabilidad. «Tenemos la responsabilidad final de implementar las decisiones tomadas por los automóviles», dice. «Esta distinción es importante. En la práctica, siempre que la precisión esperada por un hombre sea mayor que la de una máquina, está prácticamente justificado utilizar el juicio humano para anular las decisiones de la máquina».

Además, dice Chatrath, brinda confianza a los usuarios y ayuda a resolver problemas de responsabilidad. «A menos que tengamos una noción sólida de conocimiento de las habilidades de IA, no se convertirá en la corriente principal … da confianza a la gente», dice. «Porque al final hay un elemento de responsabilidad para todo».

Pero agregar un hombre al bucle no resuelve todos los problemas. ¿Qué sucede si una IA incompetente se asocia con una persona igualmente incompetente? Esto es un desafío porque es más probable que las personas dependan de las decisiones que tomen las computadoras que de sus propios instintos. «Tendemos a depender de la subcontratación (a automóviles u otras personas) cuando pensamos que la responsabilidad es demasiado pesada para nosotros», dice Yasseri. «Ha habido informes de políticas o juicios erróneos en los sistemas legales o decisiones sobre préstamos y apoyo financiero en los sistemas bancarios que han involucrado errores escandalosos».

Además, las personas que trabajan o son responsables de la IA deben comprender completamente los sistemas con los que trabajan. «Necesitamos entender qué está pasando en la caja negra», dice Sandra Watcher, también investigadora del Oxford Internet Institute y del Alan Turing Institute for Data Science. «Incluso si hay un hombre en el circuito que tiene vigilancia, ¿qué valor tiene el hombre si no entiendo lo que está pasando?» Esto no requiere la capacidad de deshacer el código detrás de un algoritmo, sino comprender qué punto de datos ha afectado un resultado de cierta manera.

Existe un movimiento creciente para hacer que la IA sea explicable para que podamos elegir sus decisiones en caso de prejuicio o error. Esto es útil para garantizar la rendición de cuentas: si sabemos cómo el reconocimiento facial ha identificado a alguien, podemos comprender mejor si y por qué podría ser incorrecto en su identificación, pero Chatrath señala que las empresas están pidiendo las decisiones correctas ahora, no después. Comprender por qué su administrador de fondos basado en inteligencia artificial ha perdido dinero es menos útil que prevenir malas compras. «La IA explicable no es suficiente, tienes que confiar en la IA, y para que eso suceda, tienes que tener decisiones humanas al tanto», dice.

Watcher afirma que la gente no se limitará a supervisar la IA, ayudando a un sistema cuando reconoce que es incompetente. En cambio, dichos sistemas y personas trabajarán en conjunto, ayudándose unos a otros con sus puntos ciegos. «Es posible que un hombre no capte nada más que el algoritmo, o viceversa», dice. «Creo que la idea de que una persona siempre debería sobrecargarse o un algoritmo siempre debería sobrecargarse no es la estrategia correcta. Debe concentrarse en lo que la persona es buena y en lo que es bueno el algoritmo y la combinación de los dos. Y esto hará que la toma de decisiones sea mejor, más justa y más transparente. «Y tal vez entonces podamos reemplazar a ese colega molesto que no sabe cuándo es un idiota por un dispositivo que lo haga.

Vishal Chatrath habla en DyN Noticias Pulse: AI en Barbican el 15 de junio de 2019. Obtenga más información en Noticias DYN.uk/ai-event

🐄 Cómo nuestra dependencia de la carne de vacuno llegó a destruir el planeta

👎 La búsqueda de imágenes de Google tiene un problema de sexismo masivo

💰 Esto es lo que pagan los empleados de Facebook, Google y Tesla en 2019

👽 Los mejores libros de ciencia ficción que todo el mundo debería leer

👍 Siga estos consejos esenciales para usar Trello como su jefe

📧 Nunca más te pierdas una historia maravillosa con el semanario DyN Noticias Weekender

Gran parte de las noticias de la ciencia de el planeta tierra en un sólo sitio. noticias de Ciencia.