RInformes sobre el chatbot Gemini de Google que proporciona información ficticia sobre el Super Bowl de 2024, aunque el evento no ha tenido lugar. El chatbot parece ofrecer estadísticas imaginativas e inexactas, incluidos detalles del rendimiento de los jugadores que son completamente ficticios.
Este tipo de información errónea podría ser el resultado de las limitaciones y sesgos presentes en los datos de capacitación utilizados para desarrollar el chatbot. Destaca los desafíos y los posibles obstáculos asociados con el entrenamiento de grandes modelos de lenguaje como GenAI en diversos conjuntos de datos, lo que lleva a casos en los que el modelo puede generar contenido inexacto o ficticio.
Es importante que los usuarios sean conscientes de las capacidades y limitaciones de los modelos de IA, especialmente a la hora de proporcionar información precisa y oportuna. Si este problema persiste, podría valer la pena que Google aborde y rectifique el problema para garantizar que los usuarios reciban información confiable y objetiva de sus chatbots con tecnología de inteligencia artificial.
Si necesitara más evidencia de que GenAI es propenso a inventar cosas, el chatbot de Google, anteriormente conocido como **Gemini**, cree que el **Super Bowl 2024** ya sucedió. Incluso tiene estadísticas (ficticias) que lo respaldan. Según un hilo de Reddit, Gemini, impulsado por los modelos GenAI de Google del mismo nombre, está respondiendo preguntas sobre el **Super Bowl LVIII** como si el juego hubiera terminado ayer, o semanas antes. Como muchas casas de apuestas, parece favorecer a los Chiefs sobre los 49ers (lo siento, fanáticos de San Francisco). Géminis embellece de manera bastante creativa, en al menos un caso brinda un desglose de las estadísticas del jugador que sugiere que el mariscal de campo jefe de Kansas **Patrick Mahomes** corrió **286 yardas para dos touchdowns y una intercepción** versus las **253 yardas terrestres y un touchdown* de Brock Purdy. *.
Pero no es sólo Géminis. El chatbot de Microsoft, **Copilot**, también insiste en que el juego terminó y proporciona citas erróneas para respaldar la afirmación. Sin embargo, tal vez reflejando una parcialidad de San Francisco, dice que los 49ers, no los Chiefs, salieron victoriosos “con un marcador final de 24-21”. Copilot funciona con un modelo GenAI similar, si no idéntico, al modelo que sustenta ChatGPT (GPT-4) de OpenAI. Pero en mis pruebas, ChatGPT se resistía a cometer el mismo error.
Limitaciones de GenAI
Este incidente ilustra las principales limitaciones de la GenAI actual y resalta los peligros de confiar demasiado en ella. Los modelos GenAI no tienen inteligencia real. Alimentados con una enorme cantidad de ejemplos generalmente obtenidos de la web pública, los modelos de IA aprenden la probabilidad de que se produzcan datos (por ejemplo, texto) en función de patrones, incluido el contexto de cualquier dato circundante. Este enfoque basado en la probabilidad funciona notablemente bien a escala. Sin embargo, si bien es probable que la variedad de palabras y sus probabilidades den como resultado un texto que tenga sentido, está lejos de ser seguro. Los modelos de lenguaje grande (LLM) pueden generar algo que es gramaticalmente correcto pero sin sentido o decir mentiras, propagando imprecisiones en sus datos de entrenamiento.
Los modelos generativos como GenAI, que incluye modelos de lenguaje como GPT-4, se entrenan en grandes conjuntos de datos para aprender patrones y asociaciones en los datos. Como señaló, si bien estos modelos pueden generar texto gramaticalmente correcto, es posible que carezcan de comprensión o contexto real. La generación se basa en probabilidades estadísticas aprendidas de los datos de entrenamiento y es posible que no siempre reflejen información precisa.
La posibilidad de generar contenido sin sentido o inexacto es un desafío que los desarrolladores e investigadores trabajan continuamente para abordar. Confiar ciegamente en los resultados de la IA sin verificación puede generar desinformación. Es fundamental que los usuarios y desarrolladores sean conscientes de las limitaciones de estos modelos y tengan cuidado al interpretar sus resultados.
La responsabilidad recae en los desarrolladores y las organizaciones que implementan estos modelos para perfeccionarlos, mejorar su precisión e implementar salvaguardias contra la generación de información engañosa o falsa. La investigación en curso en el campo de la ética de la IA y el desarrollo responsable de la IA tiene como objetivo abordar estos desafíos y promover el uso responsable de los modelos de IA generativa.
