ChatGPT, en pocas semanas ha sobrepasado los 100 millones de usuarios, y el mundo ahora está cautivado y emocionado con la Inteligencia Artificial (IA). La gente lo está aprovechando para escribir chistes e historia infantiles, para redactar correos electrónicos y muchos otros usos.
Especial de Laszlo Beke
Para las preguntas que se le hacen, la IA genera respuestas que parecen sorprendentemente humanas. Los modelos actuales de IA trabajan sobre la base de la predicción de la próxima palabra (más probable) en una oración, pero no tienen ninguna idea si lo que escriben es correcto o falso. Adicionalmente presentan con total confianza la información como verdadera, aun cuando no lo sea. La magia y el peligro de estos grandes modelos de lenguaje es que crean la ilusión de corrección y de exactitud
Investigaciones realizadas han indicado que la gente encuentra que los artículos con noticias falsas generadas por GPT-2, son creíbles el 66% del tiempo. Por ello, ChatGPT, y los otros productos de IA que aparezcan, presentan un importante problema: ¿Cómo sabremos si aquello que se lee en Internet o en otros documentos, fue escrito por un ser humano o por una máquina?
Por ello, es clave la aparición de nuevas herramientas para identificar el origen de los textos escritos.
El texto generado por IA, a través de herramientas como ChatGPT, está comenzando a afectar nuestras vidas. Tenemos maestros probándolas en lecciones en el salón de clases, así como personal de mercadeo evaluando la posibilidad de usarlo para reemplazar a los pasantes. Hay períodistas preocupados por ser desplazados de su trabajo. Con las herramientas de IA generativo ahora asequibles en forma pública, es más factible encontrar contenido más sintético durante la navegación en Internet. En algunos casos, ese será contenido benigno, en otros casos puede ser más siniestro, como campañas sofisticadas provenientes de gobiernos rivales o enemigos. Los potenciales problemas que puede generar texto falso originado por IA pueden ser muy graves. Como ejemplo, el uso de IA por parte de los programadores, ya representa un componente significativo de su forma de trabajo cotidiano. La preocupación es que un código generado por IA, sin ser apropiadamente revisado, pueda terminar haciendo daño en aplicaciones críticas.
Stack Overflow, un servicio donde los codificadores pueden buscar ayuda, recientemente anunció prohibiciones a las explicaciones y soluciones posteadas en forma directa. Este servicio ha asignado moderadores para examinar los miles de reportes presentados por la comunidad de miembros, a través de un conjunto de herramientas incluyendo modelos heurísticos (tanteo y error) y de detección. Adicionalmente, en esa búsqueda de mecanismos y herramientas de detección del origen del material escrito, se necesita estar consciente que los modelos de detección via software, simplemente no pueden mantener el ritmo de las mejoras de ChatGP.
Algunos datos
- Los algoritmos que imitan los patrones de la escritura natural existen desde el año 2019, cuando Harvard y el MIT-IBM Watson AI Lab liberaron una herramienta experimental que escaneaba el texto y resaltaba las palabras en función de su nivel de aleatoriedad.
- Un generador de texto IA es fundamentalmente una máquina mística de patrones: extraordinaria en la mímica, endeble en el lanzamiento de curvas.
- OpenAI, el fabricante de ChatGPT, acepta su eficacia limitada más allá del idioma inglés.
- El objetivo de los investigadores y fabricantes de IA es acercar, tanto como sea posible. el texto de máquina al texto humano. Ello dificulta la labor de los detectores de diferencias entre texto generado por humanos y por las máquinas.
- Se denomina como data radioactiva un nuevo método, en el cual se le hacen cambios imperceptibles a una data, de manera que cualquier modelo que sea entrenado con ella tendrá una marca identificable. La detección de texto generado por IA genera un dilema único, ya que pareciera que aun con el uso de data de entrenamiento radioactivo, detectar texto sintético será mucho más difícil que la detección de una imagen sintética o de contenido de video. La data radioactiva es un concepto difícil de trasponer de las imágenes a las combinaciones de palabras.
Herramientas de detección de texto generado por IA
Existen múltiples caminos que los investigadores y los emprendedores están tomando para detectar texto generado por IA:
- El uso de software – para analizar diferentes caracteristicas del texto, por ejemplo su fluidez, la frecuencia de aparición de ciertas palabras o el hecho que existan patrones en la puntuación o en la longitud de las oraciones.
- Texto limpio y palabras comunes – por cuanto los grandes modelos de lenguaje trabajan sobre la base de la predicción de la próxima palabra en un texto, ellos tienden a usar con frecuencia palabras comunes como “la o el” o “es” en lugar de palabras raramente usadas. Las participantes humanos tienden a pensar que este tipo de texto “límpio”, que luce mejor y el cual contiene menos errores, seguramente fue escrito por un humano. Sin embargo, lo escrito por los humanos generalmente tiene equivocaciones de letras y es increíblemente variado, incorporando diferentes estilos y jerga popular, mientras que los modelos de lenguaje rara vez cometen errores de letras y parecen más “perfectos”.
- Grandes modelos de lenguaje como detectores – un modelo puede ser entrenado en textos creados por humanos y por máquinas, de manera que aprenda a diferenciar entre ambos.
- Marcas de agua – aplicadas en textos más largos de texto generado por IA y se está pensando en crearlos con señales secretas e indetectables.
- Detección humana – las personas deben ser mejor entrenadas para detectar texto generado por IA. Las personas al analizar muchos textos generativos detectan características y patrones, así como aseveraciones improbables.
Un ejemplo reciente es el de un estudiante de Princeton, quién produjo una herramienta experimental (denominada GPTZero) enfocada hacia los educadores y que se viralizó. Ella mide la probabilidad que un contenido haya sido generado por ChatGPT, basado en su “perplejidad” (o aleatoriedad) y “explosividad” (o varianza).
Todas las soluciones técnicas vienen acompañadas de muchas advertencias y salvedades. Por ahora ChatGPT y los otros productos no son tan aleatorios como el ser humano. Por ello, la mayoría de las soluciones técnicas que han sido creadas para productos existentes, probablemente no funcionarían con las nuevas generaciones de modelos de lenguaje de IA. La mayoría de estas herramientas de detección funcionan mejor cuando hay mucho texto disponible, pero son menos eficientes en casos, como chatbots o asistentes de correo, los cuales se basan en conversaciones más cortas y disponen de menos data para analizar. Entrenando el ojo humano
Un modelo de detección solo no será la respuesta infalible para detectar texto sintético, en la misma forma que un filtro de seguridad tampoco es la solución para mitigar sesgos. Es necesario proveer mayor transparencia cuando los seres humanos interactúan con IA, y la gente necesitará aprender a detectar las señales de las oraciones escritas con IA
Investigadores en Harvard e IBM han desarrollado una herramienta llamada Giant Language Model Test Room (GLTR) que apoya a los seres humanos resaltando los pasajes que pudieran haber sido generados por programas de computación. Asimismo, sería conveniente que apareciera un plug en los navegadores de Internet, que le haga saber al usuario que el texto generado por IA que es generado por las máquinas.
Se hace referencia a How to Detect AI-Generated Text, According to Researchers y How to spot AI-generated text . También aparece en mi Portal https://tinyurl.com/ypkcstv7. La imagen es cortesía de DALL-E .