Bloomberg — Un ingeniero de software de Microsoft Corp (MSFT) envió cartas al consejo de la empresa, a los legisladores y a la Comisión Federal de Comercio advirtiendo que la gigante tecnológica no está haciendo lo suficiente para proteger su herramienta de generación de imágenes de IA, Copilot Designer, de crear contenido abusivo y violento.
Shane Jones dijo que descubrió una vulnerabilidad de seguridad en el último modelo generador de imágenes DALL-E de OpenAI que le permitió evadir las barreras de seguridad que impiden que la herramienta cree imágenes dañinas. El modelo DALL-E está integrado en muchas de las herramientas de IA de Microsoft, incluido Copilot Designer.
Jones dijo que informó sus hallazgos a Microsoft y "insistió repetidamente" a la empresa con sede en Redmond, Washington, que "retirara Copilot Designer del uso público hasta que se pudieran implementar mejores salvaguardias", según una carta enviada a la FTC el miércoles y revisada por Bloomberg.
“Aunque Microsoft está promocionando públicamente a Copilot Designer como un producto de IA seguro para ser utilizado por todos, incluidos los niños de cualquier edad, internamente la empresa es consciente de problemas sistémicos en los que el producto está creando imágenes perjudiciales que podrían resultar ofensivas e inapropiadas para los consumidores”, escribió Jones. “Microsoft Copilot Designer no incluye las advertencias o divulgaciones necesarias del producto que los consumidores necesitan conocer estos riesgos”.
En la carta a la FTC, Jones dijo que Copilot Designer tenía la tendencia de generar aleatoriamente “una imagen inapropiada y sexualizada de una mujer” en algunas de las imágenes que crea. También dijo que la herramienta de IA creaba “contenido perjudicial en diversas categorías, que incluyen: sesgo político, consumo de alcohol y drogas por menores, uso indebido de marcas comerciales y derechos de autor, teorías de conspiración y religión, por nombrar algunas”.
La FTC confirmó que recibió la carta pero se negó a hacer más comentarios.
El ataque frontal refleja las crecientes preocupaciones sobre la tendencia de las herramientas de IA a generar contenido perjudicial. La semana pasada, Microsoft dijo que estaba investigando informes de que su chatbot Copilot estaba generando respuestas perturbadoras, incluidos mensajes contradictorios sobre el suicidio. En febrero, el producto de IA emblemático de Alphabet Inc., Gemini, recibió críticas por generar escenas históricamente inexactas cuando se le solicitaba crear imágenes de personas.
Jones también escribió al Comité de Políticas Públicas Sociales y Ambientales de la junta directiva de Microsoft, que cuenta con Penny Pritzker y Reid Hoffman como miembros. "No creo que debamos esperar una regulación gubernamental para garantizar que seamos transparentes con los consumidores acerca de los riesgos de la IA", dijo Jones en la carta. "Dado nuestros valores corporativos, deberíamos divulgar de forma voluntaria y transparente los riesgos conocidos de la IA, especialmente cuando el producto de IA se está comercializando activamente para niños".
CNBC informó sobre la existencia de las cartas anteriormente.
Microsoft y OpenAI no respondieron de inmediato a las solicitudes de comentarios, pero Microsoft le dijo a CNBC que estaba "comprometido con abordar todas las inquietudes que los empleados tienen de acuerdo con nuestras políticas corporativas, y estamos agradecidos por los esfuerzos de los empleados para estudiar y probar nuestras últimas tecnologías para mejorar su seguridad".
Jones dijo que expresó sus preocupaciones a la empresa varias veces en los últimos tres meses. En enero, escribió a las senadoras demócratas Patty Murray y Maria Cantwell, quienes representan el estado de Washington, y al representante Adam Smith. En una carta, pidió a los legisladores que investigaran los riesgos de las “tecnologías de generación de imágenes de IA y las prácticas de gobernanza corporativa y de IA responsables de las empresas que construyen y comercializan estos productos”.
Los legisladores no respondieron de inmediato a las solicitudes de comentarios.
Lea más en Bloomberg.com
