El Caso de Tay la Twitter Bot

11 OCT 2018 | Available in English here

Tay The Twitter Bot

¿Cuántas cosas puede aprender un chatbot con IA en solo 16 horas?

Pues, aparentemente puede llegar a ser racista, sexista y narcisista.

Eso es lo que pasó el 23 de marzo del 2016 con Tay la Twitter Bot que espantó a la comunidad de Internet dejándola sin palabras.

Microsoft lanzó a Tay con la intención de crear un bot con inteligencia artificial que pudiera entender y interactuar usando un lenguaje corriente, y ser así lo más humano posible.

El equipo de Microsoft esperaba que Tay pudiera aprender cómo formular respuestas apropiadas a su audiencia, gracias a las interacciones con cada usuario.

Y eso es lo que sucedió, solo no en la forma en la que Microsoft había esperado.

Unos “troles” comenzaron abusar de la manera en como Tay aprendía, y le enseñaron frases desagradables para normalizar en su sistema los insultos en sus interacciones.

Esa es la clásica situación de “lo que el mono ve, el mono hace” que se salió de control.

Microsoft no había considerado que las personas habrían podido manipular a la inocente bot.

Durante sus 16 horas de vida Tay publicó 96.000 veces, incluyendo comentarios ofensivos dirigidos a las mujeres, a los miembros de la comunidad de LGTBQ, a los hispanos, y muchos más.


Tay Tweet
Una de las publicaciones de Tay la Twitter bot

Algunas personas no dieron tanta importancia a estos incidentes, y vieron todo como un chiste, pero otros se tomaron en serio esta situación que mostró al mundo como una simpática forma de entretenimiento en línea con IA puede transformarse fácilmente en una espantosa máquina de insultos.

Tay la Twitter Bot perdió literalmente el control, pero este problema se podría haber evitado, o al menos hasta cierto punto.

Una de las críticas más grandes dirigidas a Microsoft fue que permitió que Tay fuera utilizada como "máquina de repetición": si un usuario de Twitter escribía “Tay, repite lo que digo…” antes de publicar algo, Tay lo repetía, y por consecuencia aprendía a normalizar el contenido de la publicación.



Publish Chatbot in a Website
Otro ejemplo de las publicaciones de Tay

Es importante aclarar que Tay "aprendió" solamente las palabras, no el significado cultural o emocional que éstas representan.

Microsoft se equivocó al establecer los filtros que hubieran evitado que el algoritmo de Tay aceptara, normalizara y publicara contenido ofensivo.

Otra razón por la que la bot falló fue por la plataforma social en la cual fue lanzada.

Por años Twitter se ha enfrentado con problemas de “Twitter trolls” debido a la dedicación de la plataforma en ofrecer el anonimato a sus usuarios. La premisa de ofrecer una plataforma donde los usuarios puedan tener libertad de expresión limita lo que puede pasar con estas personas que deciden publicar deliberadamente mensajes provocadores.

Permitir que Tay aprendiera todo lo que la gente le decía sin restricción resultó ser la receta perfecta para un desastre.

Es necesario implementar filtros y establecer medidas de seguridad para que no pase lo que pasó con Tay.

Teniendo esto en cuenta, los chatbots han demostrado ser una manera práctica y entretenida para que la gente se pueda comunicar con marcas y clientes.

Tay la Twitter Bot fue un caso especial que sorprendió al mundo, pero tal vez fue necesario para ver cuanto puede ser peligroso pasar por alto unos steps fundamentales en el desarrollo de un chatbot, y para que cosas como esta no vuelvan a suceder.



CREATE A CHATBOT NOW
⬅︎ Back to resources