Los peligros de la confianza ciega en la IA: por qué no debe automatizarse la responsabilidad humana
03 Jul 2024
Este blog cubre:
- Los peligros de confiar ciegamente en la IA y abdicar de la responsabilidad humana
- Estrategias para mantener la responsabilidad y la supervisión humana en la toma de decisiones asistida por IA
- La importancia de fomentar una cultura de pensamiento crítico y sano escepticismo hacia la IA
Air Canada generó titulares no deseados en febrero después de que la aerolínea's chatbot engañó a un cliente afligido para que comprara billetes de avión a precio completo. El cliente, que buscaba tarifas de duelo tras la muerte de su abuela, siguió el chatbot'acabó pagando mucho más de lo que debía.
En un asombroso intento de eludir su responsabilidad, Air Canada argumentó que su chatbot era "una entidad legal separada" responsable de sus acciones. El adjudicador, comprensiblemente asombrado por esta afirmación, rechazó con firmeza que la aerolínea's argument, declarando "Debería ser obvio para Air Canada que es responsable de toda la información que aparece en su página web. Da igual que la información provenga de una página estática o de un chatbot".
Este caso es un duro recordatorio de los peligros de la confianza ciega en la inteligencia artificial (IA) y de la importancia de mantener la responsabilidad humana en un mundo cada vez más automatizado.
A medida que la IA se vuelve más sofisticada y omnipresente, es más probable que los líderes empresariales caigan en la trampa de considerarla como algo capaz de resolver todos los problemas y tomar todas las decisiones. Esta mentalidad, que podríamos llamar "adoración de la IA", es errónea y activamente peligrosa. Es'Han pasado exactamente 20 años desde que Little Britain's recepcionista Carol Beer acuñó el eslogan "el ordenador dice no", pero ahora esta realidad no es cosa de risa.
Cuando las organizaciones depositan una fe ciega en la IA, corren el riesgo de abdicar de la responsabilidad y el juicio humanos. Los empleados pueden sentirse presionados para ceder ante el algoritmo, incluso cuando sus recomendaciones parezcan cuestionables o contraintuitivas. Esta presión -y tal vez la pereza sistemática- puede conducir a una falta de responsabilidad, ya que los individuos y los equipos renuncian a la propiedad de las decisiones argumentando que estaban siguiendo el sistema's advice.
Además, como ya se ha insinuado, una dependencia excesiva de la IA puede engendrar complacencia y erosionar la capacidad de pensamiento crítico. Cuando se confía en los algoritmos para tomar decisiones, disminuye el incentivo para que los humanos realicen análisis y razonamientos independientes. Con el tiempo, esto puede conducir a una atrofia de las habilidades y capacidades esenciales para un juicio sólido y una supervisión eficaz.
La importancia de la supervisión humana
Para mitigar estos riesgos, los líderes empresariales deben asegurarse de que la supervisión y la responsabilidad humanas sigan estando firmemente establecidas, incluso cuando la IA asuma un papel más importante en la toma de decisiones. La IA tomará cada vez más decisiones por nosotros, pero los criterios de decisión, el umbral de materialidad y las consecuencias de estas decisiones deben establecerse y comprenderse firmemente.
Es cierto que en la gestión de la cadena de suministro, por ejemplo, la IA tiene el potencial de revolucionar la previsión de la demanda y la optimización del inventario. Es útil, porque puede analizar grandes cantidades de datos -desde cifras de ventas históricas hasta patrones meteorológicos o precios de materiales y materias primas - y proporcionar valiosas perspectivas y recomendaciones para fundamentar las decisiones de gestión de inventarios.
Sin embargo, la IA tiene sus límites. De ahí que sea necesario un enfoque reflexivo y proactivo de la gobernanza de la IA que dé prioridad a la transparencia, la explicabilidad y el control humano. En lugar de limitarse a remitirse al algoritmo, las organizaciones deberían insistir en que los sistemas de IA proporcionen justificaciones claras y comprensibles para sus recomendaciones. Este enfoque permite a los responsables humanos de la toma de decisiones interrogar a la lógica detrás de la IA'e identificar posibles sesgos o errores.
También es vital establecer marcos de gobernanza claros. Este proceso implica el desarrollo de políticas y directrices en torno al desarrollo, el despliegue y la supervisión de la IA, así como la designación de funciones y responsabilidades específicas para supervisar las iniciativas de IA. Mediante la creación de una cadena de mando y rendición de cuentas clara, las organizaciones pueden garantizar que la IA se utiliza de forma responsable y ética y que los seres humanos permanecen firmemente en el bucle.
Fomentar una cultura de sano escepticismo
En última instancia, el éxito de la gobernanza de la IA depende de la cultura y la mentalidad de una organización. Esto significa animar a los empleados a hacer preguntas de sondeo sobre las recomendaciones de la IA, sin descartarlas de plano, sino comprendiendo realmente la lógica y los datos que las sustentan. Los equipos deben esforzarse por descubrir qué se incluye en la línea de base histórica que informa las proyecciones de la IA en lugar de anular el sistema basándose únicamente en la intuición.
Al mismo tiempo, la cultura debe acomodarse a la realidad de que las percepciones de la IA pueden divergir de las expectativas o de la "respuesta que pensábamos que debíamos obtener". Los empleados necesitan un entorno en el que se sientan capacitados para aflorar y explorar estas divergencias, viéndolas como oportunidades de aprendizaje y mejora y no como anomalías inconvenientes que hay que suprimir.
Los planes suelen tener múltiples entradas, y una mentalidad curiosa y desafiante es clave para refinar continuamente esas entradas y los sistemas de IA que alimentan. El escepticismo que se necesita no es una desconfianza generalizada hacia la IA, sino más bien un rigor de mente abierta para comprender cómo llega a sus recomendaciones.
Fomentar esta cultura llena de matices requiere compromiso y una gestión intencionada del cambio. Los líderes deben modelar la mentalidad adecuada, comunicarse abiertamente sobre el papel y las limitaciones de la IA y crear foros para que los empleados planteen preguntas difíciles y expongan sus preocupaciones sin miedo. Con el equilibrio adecuado de desafío saludable y receptividad a las percepciones basadas en datos, las organizaciones pueden liberar todo el potencial de la IA al tiempo que mantienen el juicio humano firmemente en el asiento del conductor.
Lograr el equilibrio
El caso del chatbot de Air Canada es sólo un ejemplo de los retos y riesgos que surgen cuando las organizaciones depositan demasiada confianza en la IA. Otras noticias impactantes seguirán este camino en las próximas semanas y meses. Han surgido preocupaciones similares en campos que van desde la sanidad -¿está preparado para que un médico digital le diagnostique ahora? - hasta la aviación, donde muchos viajeros siguen sintiéndose incómodos con los aviones totalmente autónomos. Como otro ejemplo, hay una razón por la que se han puesto frenos a los coches sin conductor.
Mientras navega por su organización's AI journey, it's crucial tener en cuenta estos riesgos y trabajar para mitigarlos activamente. Aquí hay algunas preguntas básicas a considerar:
- ¿Hemos establecido marcos de gobernanza claros y medidas de rendición de cuentas para garantizar que los seres humanos mantengan el control de las decisiones críticas?
- ¿Se han establecido los criterios de decisión y el umbral de materialidad correctos y cuándo es aceptable que la IA tome decisiones?
- ¿Insistimos en sistemas de IA transparentes y explicables que permitan la supervisión y el interrogatorio humanos?
- ¿Estamos fomentando una cultura saludable de escepticismo y pensamiento crítico, en la que los empleados se sientan capacitados para cuestionar las recomendaciones de la IA y plantear sus preocupaciones?
Si abordan estas cuestiones de forma proactiva y logran el equilibrio adecuado entre la inteligencia humana y la artificial, los líderes empresariales pueden aprovechar el poder de la IA y, al mismo tiempo, protegerse de sus escollos. La alternativa -automatizar ciegamente el juicio y la responsabilidad humanos- es un riesgo que ninguna organización puede permitirse.
Autor(es)
-
