Google ha desactivado parcialmente su generador de imágenes de inteligencia artificial (IA) Gemini después de que el software produjera imágenes racialmente diversas e históricamente inexactas de vikingos negros, papas y personas de color como los “padres fundadores” de Estados Unidos.
Gemini produjo estas imágenes sin que los usuarios se lo pidieran, lo que llevó a los críticos de derecha a criticar el software como “despertado”. Sin embargo, el incidente reveló no sólo un problema técnico sino también “filosófico” sobre cómo la IA y otras tecnologías deberían abordar los prejuicios contra los grupos marginados.
“Está claro que esta característica no dio en el blanco. Algunas de las imágenes generadas son inexactas o incluso ofensivas”, escribió el vicepresidente senior de Google, Prabhakar Raghavan, en una publicación del blog de la empresa que aborda el asunto.
Explicó que Google intentó garantizar que Gemini no “cayera en algunas de las trampas que hemos visto en el pasado con la tecnología de generación de imágenes”, como la creación de imágenes violentas o sexualmente explícitas, representaciones de personas reales o imágenes que sólo mostrar personas de un solo tipo de etnia, género u otras características.
“Nuestro ajuste para asegurarnos de que Géminis mostrara una variedad de personas no tuvo en cuenta casos que claramente deberían no mostrar un rango”, escribió Raghavan. “(Esto) llevó al modelo a sobrecompensar en algunos casos… dando lugar a imágenes que eran vergonzosas y erróneas”.
Luego dijo que Gemini mejorará “significativamente” y recibirá “pruebas exhaustivas” antes de generar más imágenes de personas. Pero advirtió que la IA es imperfecta y siempre puede “generar resultados embarazosos, inexactos u ofensivos”.
Mientras que algunos comentaristas web de derecha, como el multimillonario transfóbico Elon Musk, acusó a Gemini de estar “despertado”, este tipo de problema no es exclusivo de Google. Sam Altman, el director ejecutivo gay de OpenAI, reconoció en 2023 que la tecnología de su empresa “tiene deficiencias en cuanto al sesgo” después de que su software ChatGPT impulsado por inteligencia artificial generara respuestas racistas y sexistas. Numerosos tipos de software impulsado por IA también han mostrado prejuicios contra las personas y las mujeres negras, lo que ha dado lugar a que estos grupos sean etiquetados falsamente como delincuentes, se les niegue atención médica o se les rechace puestos de trabajo.
Este sesgo en la tecnología de IA se produce porque la tecnología toma sus decisiones basándose en conjuntos masivos de datos preexistentes. Dado que dichos datos a menudo se inclinan a favor o en contra de un determinado grupo demográfico, la tecnología a menudo reflejará este sesgo como resultado. Por ejemplo, algunos generadores de imágenes impulsados por IA, como Stable Diffusion, crean imágenes racistas y sexistas basadas en estereotipos occidentales que representan a los líderes como hombres, a las personas atractivas como delgadas y blancas, a los delincuentes y a los beneficiarios de servicios sociales como negros, y a las familias y cónyuges como diferentes. -parejas de sexo.
“Le pides a la IA que genere una imagen de un director ejecutivo. He aquí, es un hombre”. voz escribió el escritor de tecnología Sigal Samuel, explicando el dilema del sesgo de la IA. “Por un lado, vives en un mundo donde la gran mayoría de los directores ejecutivos son hombres, por lo que tal vez tu herramienta debería reflejar eso con precisión, creando imágenes de hombre tras hombre tras hombre. Por otro lado, eso puede reforzar los estereotipos de género que mantienen a las mujeres fuera de la alta dirección. Y no hay nada en la definición de 'CEO' que especifique un género. Entonces, ¿deberían crear una herramienta que muestre una combinación equilibrada, incluso si no es una combinación que refleje la realidad actual?
Resolver esos sesgos no es fácil y a menudo requiere un enfoque múltiple, explica Samuel. Ante todo, los desarrolladores de IA deben premeditar qué sesgos podrían ocurrir y luego calibrar el software para minimizarlos de una manera que aún produzca resultados deseables. Algunos usuarios de generadores de imágenes de IA, por ejemplo, pueden querer imágenes de una papa o de padres fundadores negros; después de todo, el arte a menudo crea nuevas visiones que desafían los estándares sociales.
Pero el software de IA también debe brindar a los usuarios la oportunidad de ofrecer comentarios cuando los resultados generados no coinciden con sus expectativas. Esto brinda a los desarrolladores información sobre lo que quieren los usuarios y les ayuda a crear interfaces que les permiten solicitar características específicas, como tener ciertas edades, razas, géneros, sexualidades, tipos de cuerpo y otros rasgos reflejados en imágenes de personas.
Senador Ron Wyden (D-OR) ha intentado legislar esta cuestión copatrocinando la Ley de Responsabilidad Algorítmica de 2022, un proyecto de ley que requeriría que las empresas realicen evaluaciones de impacto para detectar sesgos en función del código que utilizan para generar resultados. El proyecto de ley no exigiría que las empresas produzcan resultados imparciales, pero al menos proporcionaría información sobre las formas en que la tecnología tiende a preferir ciertos datos demográficos sobre otros.
Mientras tanto, aunque los críticos criticaron a Gemini como “despertado”, el software al menos intentó crear imágenes racialmente inclusivas, algo que muchos otros generadores de imágenes no se han molestado en hacer. Google ahora pasará las próximas semanas reequipando Gemini para crear imágenes históricamente más precisas, pero generadores de imágenes similares impulsados por IA harían bien en reestructurar su propio software para crear imágenes más inclusivas. Hasta entonces, ambos seguirán produciendo imágenes que reflejen nuestros propios prejuicios en lugar de la verdadera diversidad del mundo.
