Qué hemos aprendido del Caso de Tay Twitter Chatbot

October 11, 2018

Messaging Conversacional

¿Cuántas cosas puede aprender un chatbot con IA en solo 16 horas? Pues, aparentemente puede llegar a ser racista, sexista y narcisista.

Eso es lo que pasó en el marzo de 2016 con Tay Twitter chatbot que espantó a la comunidad de Internet dejándola sin palabras. Y fue entonces que se volvió a abrir el debate sobre las amenazas de la inteligencia artificial.

Que pasó, y por qué: los hechos

El 23 de marzo de 2016 Microsoft lanzó a Tay con la intención de proporcionar un bot con inteligencia artificial que pudiera entender y interactuar con los usuarios de Twitter usando un lenguaje corriente, y ser así lo más humano posible.

El equipo de Microsoft esperaba que Tay pudiera aprender cómo formular respuestas apropiadas a su audiencia, gracias a las interacciones con cada usuario. Y eso es lo que sucedió, solo no en la forma en la que Microsoft había esperado.

Unos “troles” comenzaron abusar de la manera en como Tay aprendía, enseñándole frases desagradables para normalizar en su sistema los insultos en sus interacciones; la clásica situación de “lo que el mono ve, el mono hace” que se salió de control.

Microsoft no había considerado que las personas habrían podido manipular a la inocente bot. De hecho, durante sus 16 horas de vida Tay publicó 96.000 veces, incluyendo comentarios ofensivos dirigidos a las mujeres, a los miembros de la comunidad de LGTBQ, a los hispanos, y muchos más.

Algunos no dieron tanta importancia a estos incidentes, y los vieron más como un chiste, pero otros sí que se tomaron en serio lo ocurrido que, además, mostró al mundo como una simpática forma de entretenimiento en línea con IA pueda transformarse fácilmente en una espantosa máquina de insultos.

Así que Tay la Twitter Bot perdió literalmente el control, que es algo que se podría haber evitado, o al menos hasta cierto punto.

Una de las críticas más grandes dirigidas a Microsoft fue que permitió que Tay fuera utilizada como “máquina de repetición”.

Si un usuario de Twitter escribía “Tay, repite lo que digo…” antes de publicar algo, Tay lo repetía, y por consecuencia aprendía a normalizar el contenido de la publicación. Definitivamente una arma de doble filo.

Es importante aclarar que Tay “aprendió” solamente las palabras, no el significado cultural o emocional que éstas representan.

Microsoft se equivocó al establecer los filtros que hubieran evitado que el algoritmo de Tay aceptara, normalizara y publicara contenido ofensivo.

Otra razón por la que la bot falló fue por la plataforma social en la cual fue lanzada. Por años Twitter se ha enfrentado con problemas de “Twitter trolls” debido a la dedicación de la plataforma en ofrecer el anonimato a sus usuarios.

La premisa de ofrecer una plataforma donde la gente pueda tener libertad de expresión limita lo que puede pasar con estas personas que deciden publicar deliberadamente mensajes provocadores.

Permitir que Tay aprendiera todo lo que la gente le decía sin restricción resultó ser la receta perfecta para un desastre. Es necesario implementar filtros y establecer medidas de seguridad para que no vuelva a pasar lo que pasó con Tay.

Teniendo esto en cuenta, los chatbots han demostrado ser una manera práctica y entretenida para que la gente se pueda comunicar con sus marcas favoritas.

Tay Twitter Chatbot fue un caso especial que sorprendió al mundo, pero tal vez fue necesario para ver cuanto puede ser peligroso pasar por alto unos steps fundamentales en el desarrollo de un chatbot, y para que cosas como esta no vuelvan a suceder.

¿Estás listo para construir tu propio chatbot conversacional? Si eres desarrollador, empieza a usar nuestra plataforma ahora, si no, contáctanos para obtener más información.