Una nueva prueba podría ayudar a eliminar el texto generado por IA
Imagina que estás ayudando a juzgar un concurso de escritura en tu escuela. Quieres asegurarte de que todos hayan hecho su propio trabajo. Si alguien usó un modelo de inteligencia artificial (IA) como ChatGPT para escribir una entrada, eso no debería contar. Pero, ¿cómo puedes saber si algo fue escrito por IA? Una nueva investigación revela una forma sencilla de comprobar si una persona escribió algo o no. Solo tienes que pedirle a un bot que lo reescriba.
“Si le pides a una IA que reescriba un contenido escrito por ella misma, hará muy pocos cambios”, afirma Chengzhi Mao. Cuando una IA reescribe el texto de una persona, normalmente hace muchos más cambios.
Mao, Junfeng Yang y sus colegas diseñaron una herramienta llamada Raidar, un detector que utiliza la reescritura de IA para detectar texto generado por bots. Mao es investigador del Laboratorio de Sistemas de Software de la Universidad de Columbia en Nueva York. Yang dirige este laboratorio.
Separar el lenguaje de los robots del de las personas es “muy importante”, dice Yang. Muchos escritos sobre IA ya han inundado las redes sociales y las reseñas de productos, lo que ha alimentado la aparición de sitios web de noticias falsas y libros basura. Algunos estudiantes utilizan la IA para hacer trampa en los deberes y los exámenes. Herramientas como Raidar podrían ayudar a exponer a los tramposos y mentirosos que utilizan la IA.
Los creadores de Raidar compartieron la herramienta en la Conferencia Internacional sobre Representaciones de Aprendizaje, que tuvo lugar el 7 de mayo en Viena, Austria.
Educadores y padres, regístrense para recibir la hoja de referencia
Actualizaciones semanales para ayudarte a utilizar Noticias científicas exploran En el entorno de aprendizaje
Eliminando la IA
Mao usa ChatGPT con regularidad para mejorar su propia redacción. Por ejemplo, a veces le pide al bot que reescriba y mejore un correo electrónico. Se dio cuenta de que este bot puede hacer un buen trabajo la primera vez que reescribe algo que él escribió. Pero si le pide que mejore un correo electrónico nuevamente (revisando su propia redacción), entonces no cambiará mucho.
“Así fue como nos motivamos”, dice Mao. Se dio cuenta de que la cantidad de ediciones que hace un robot a un texto puede indicar algo sobre cómo se escribió el texto original.
“Es una idea bastante buena”, dice Amrita Bhattacharjee. “A nadie se le había ocurrido antes”. Bhattacharjee es estudiante de doctorado en la Universidad Estatal de Arizona en Tempe. Ha investigado la detección de texto generada por IA, pero no participó en el desarrollo de Raidar.
¿Tienes alguna pregunta sobre ciencias? ¡Podemos ayudarte!
Envíe su pregunta aquí y es posible que la respondamos en un próximo número de Noticias científicas exploran
Raidar es una herramienta que determina si es probable que un texto haya sido generado por IA o no. Para probar Raidar, el equipo recopiló muestras de textos de personas y de varios chatbots diferentes. Lo hicieron con algunos tipos de textos, incluidas noticias, reseñas de Yelp, ensayos de estudiantes y código informático. Luego, el equipo hizo que varios modelos de IA reescribieran todas las muestras escritas por humanos y por bots.
A continuación, los investigadores utilizaron un sencillo programa informático para calcular la cantidad de cambios entre la versión original y la editada de cada muestra de texto. Este paso no requiere ninguna IA. En función de la cantidad de cambios en una revisión, Raidar pudo clasificar las muestras de texto en generadas por humanos y generadas por IA. Esto funcionó bien incluso si la IA que hizo la reescritura era diferente de la IA que escribió la muestra original.
La clasificación de Raidar no es perfecta. La herramienta a veces identifica un texto humano como de IA, o viceversa. Pero funciona mejor que otras herramientas diseñadas para detectar texto escrito por IA, descubrieron los investigadores.
La mayoría de las demás herramientas utilizan modelos de IA y estadísticas para aprender a reconocer el tipo de texto que producen los bots. Estas herramientas suelen funcionar mejor con pasajes de texto más largos. Es posible que no funcionen en absoluto con fragmentos breves, como los que se encuentran en las redes sociales o en las tareas escolares. Pero Raidar funciona bien incluso con textos de tan solo 10 palabras.
Una bandera roja
El equipo de Yang y Mao está trabajando para convertir Raider en una herramienta en línea que cualquiera pueda usar. Cuando esté lista, la gente podrá enviar mensajes de texto a través de la herramienta y averiguar si es probable que hayan sido generados por IA o no.
Hasta entonces, la idea detrás de Raidar es fácil de usar para cualquier persona, dice Yang. «No hace falta ser un informático o un científico de datos». Por ejemplo, un profesor desconfiado podría pedirle a cualquier chatbot que reescribiera el trabajo de un estudiante. Si el bot hace muy pocas modificaciones, eso podría ser una señal de alerta de que el estudiante puede haber usado IA.
Bhattacharjee señala que los profesores no deberían tomar medidas basándose únicamente en los resultados de Raidar. “El juicio final no debería basarse únicamente en esta herramienta”, afirma. Esto se debe a que Raidar no siempre tiene razón. Además, algunos estudiantes pueden tener buenas razones para usar IA. Por ejemplo, la IA puede ayudar a mejorar la gramática.
Mientras tanto, Yang está pensando en cómo un sistema como Raidar podría marcar otros tipos de contenido generado por IA. Ahora está estudiando qué sucede si se le pide a un modelo de IA que revise una imagen, un video o un clip de audio. Si el modelo hace muchas ediciones, eso podría indicar que se trata de un trabajo humano original.
