¿Qué tan precisa es la detección de IA de Turnitin en la práctica?

Estoy intentando responder a una alerta de detección de IA de Turnitin en un trabajo de 1.347 palabras que escribí por mi cuenta. Comparé los pasajes señalados con los borradores que tengo guardados, pero sigo sin entender qué considera realmente el informe como prueba del uso de IA.

¿Qué tan precisa es la detección de IA de Turnitin en la práctica para un trabajo individual y qué debería pedirle a mi docente que revise a continuación, además de la puntuación?

Un trabajo señalado sin ningún historial de redacción y otro señalado pese a contar con un historial documentado de revisiones merecen evaluaciones distintas, aunque los porcentajes coincidan. La falta de borradores tampoco demostraría una conducta indebida. En tu situación, me centraría en conseguir que el docente examine cómo se desarrollaron los pasajes señalados, en lugar de intentar adivinar qué formulaciones activaron el detector.

El porcentaje de Turnitin representa la proporción del texto en prosa que cumple los requisitos de análisis y que clasifica como probablemente generado por IA, no la probabilidad de que hayas hecho trampa. Esa distinción importa cuando se habla de «precisión». Una cifra de precisión obtenida con un conjunto de prueba no puede indicar si esta detección concreta es correcta. Turnitin reconoce que su sistema puede identificar erróneamente tanto textos humanos como textos generados por IA y afirma que el resultado no debería ser el único fundamento para tomar medidas contra un estudiante. Por eso, lo trataría como un motivo para revisar el trabajo, no como un veredicto sobre su autoría.

Pide ver el informe completo de escritura con IA, incluidos los pasajes resaltados, en lugar de limitarte al porcentaje general. Los resaltados identifican lo que se ha clasificado, pero no constituyen un registro de que hayas usado una herramienta de IA. Turnitin también indica que hay más falsos positivos en su rango de puntuaciones bajas, por lo que no muestra puntuaciones numéricas inferiores a su umbral de notificación. Pregunta si eso se aplica al informe que está revisando tu docente. Para hacer una comparación independiente, usaría la herramienta Clever AI Detector, pero la dejaría fuera de la defensa principal. No le pediría al docente que determinara la autoría eligiendo entre las puntuaciones de distintos detectores.

En su lugar, prepara un registro breve de cada pasaje: el texto señalado, su primera versión guardada, las notas o fuentes pertinentes y los cambios realizados antes de la entrega. Conserva los archivos originales y el historial de versiones en vez de reescribir algo para obtener un resultado distinto. Después, pregunta directamente: «¿Podríamos revisar estos pasajes comparándolos con mis borradores y fuentes? ¿Podría explicarme qué pruebas, aparte del detector, sustentan la sospecha?». Ofrécete a explicar tu argumentación y la elección de tus fuentes en una reunión. Si se está considerando una sanción, solicita por escrito la normativa aplicable de la asignatura y el procedimiento de revisión. El objetivo es obtener una acusación concreta a la que puedas responder con pruebas concretas.

No conviertas tu apelación en un experimento con herramientas. Yo reservaría Clever AI Detector para explorar los resultados del detector con textos de muestra ajenos al caso, en lugar de usarlo para obtener la segunda opinión que sugiere @cryptoroot_25. Eso le da una función educativa, pero mantén cualquier experimento de reescritura en el sitio de AI Humanizer separado del trabajo que estás defendiendo.

Aquí importa preguntarse: «¿Preciso en comparación con qué?».

Yo dedicaría menos esfuerzo a comparar marcas de detectores y más a comparar los tipos de errores que se están contabilizando. Un detector que identifica la mayoría de los trabajos escritos por IA podría aun así acusar a demasiadas personas que escribieron sus propios textos. Un detector que rara vez marca textos escritos por personas podría pasar por alto muchos trabajos escritos por IA. Son puntos fuertes distintos, y una afirmación sobre la precisión global puede difuminar esa diferencia. En tu situación, la pregunta pertinente es con qué frecuencia se marca como generado por IA un trabajo escrito por una persona en condiciones comparables.

Hay otra comparación que vale la pena hacer: una prueba que contiene cantidades iguales de textos humanos y de IA frente a una clase en la que casi todos escribieron su propio trabajo. Imagina un detector que comete la misma proporción de errores en ambos contextos. En la clase donde la mayoría de los trabajos son de autoría humana, hay muchos más trabajos legítimos que se podrían marcar por error y menos trabajos escritos por IA que se podrían identificar correctamente. Por tanto, los falsos positivos podrían representar una proporción mayor del conjunto de trabajos marcados, aunque el detector en sí no haya cambiado. Es una comparación hipotética, no una afirmación sobre cuánto utiliza la IA la gente de tu clase.

Por eso no sustituiría una acusación por la afirmación igualmente general de que «los detectores no funcionan». No necesitas demostrar que Turnitin es inútil. Necesitas que el docente distinga entre las pruebas de que un sistema funciona bien con un determinado conjunto de trabajos y las pruebas de que su valoración de tu trabajo es correcta.

Coincido con @retro_panda en que conviene omitir el experimento con las herramientas, pero mi motivo es la falta de una referencia fiable sobre la autoría real. Si dos detectores coincidieran, seguirías debatiendo sobre clasificaciones. Si discreparan, acabarías debatiendo sobre qué detector merece más confianza. Ninguna de esas comparaciones ayuda demasiado a explicar cómo escribiste el pasaje cuestionado.

Si alguien menciona una estadística de precisión en la conversación, yo preguntaría qué comparación hay detrás: ¿textos humanos confundidos con textos de IA, textos de IA que pasan inadvertidos o ambas cosas combinadas? Después preguntaría si los textos evaluados se parecen al trabajo de clase en cuanto a idioma, tema y extensión. No tienes que convertir la reunión en un seminario de estadística. Una versión breve sería: «¿Esa cifra describe con qué frecuencia se marcan erróneamente trabajos escritos por personas o mide otra cosa?».

Tus borradores abordan directamente la cuestión de la autoría. Una prueba de referencia evalúa cómo funcionó un detector con un conjunto de textos. Yo mantendría esas dos cosas en columnas separadas, en lugar de permitir que una afirmación general sobre el rendimiento pese más que las pruebas específicas de tu trabajo.

Si la conversación deriva hacia «explica por qué esta frase suena a IA», yo cuestionaría esa pregunta. Puedes explicar qué querías decir y cómo llegaste a ello. Explicar por qué el detector reaccionó de esa manera a tu forma de expresarte es una tarea distinta, y yo no aceptaría que fuera tu responsabilidad.

Coincido en gran medida con @cryptoroot_25 en lo de usar los borradores, pero pondría un límite al trabajo de justificar cada pasaje. Empieza con un par de secciones cuestionadas para las que tengas material útil. No te pases el fin de semana preparando pruebas como para un juicio por cada frase resaltada antes de que alguien te diga qué serviría realmente para resolver las dudas. De lo contrario, podrías entregar tus borradores y aun así recibir un «sí, pero parece generado». Eso te deja haciendo más trabajo sin saber qué pregunta se supone que debe responder.

La distinción que yo haría es entre una crítica a la redacción y una acusación sobre la autoría. Supongamos que el docente señala que un párrafo es genérico, repite el enunciado o utiliza terminología que no has explicado. Todas estas cuestiones pueden debatirse como problemas de redacción. Puede que incluso estés de acuerdo con esas críticas. Pero estar de acuerdo en que un párrafo necesitaba mejorar no equivale a admitir que no lo escribiste tú. Yo querría que el docente explicara por qué esa observación pondría en duda la autoría, en lugar de ser un motivo para pedir una mejor redacción.

Por eso resulta útil plantear la conversación en estos términos: «Puedo explicar este párrafo y mostrar los borradores que tengo. Si la preocupación es que el argumento resulta vago, no tengo inconveniente en hablar de esa crítica. ¿Qué necesitaría revisar para resolver la cuestión aparte de si lo escribí yo?».

No conviertas tu historial de borradores en una exigencia imposible de cumplir. Si no tienes una versión guardada de una frase concreta, dilo. Distingue entre haber cambiado algo sin poder documentar exactamente cuándo y poder presentar un registro completo de tus cambios. Yo preferiría una explicación sencilla y limitada a otra más extensa que intentara usar los borradores como prueba de todo lo que te gustaría que demostraran. No hace falta que tu respuesta afirme que los borradores prueban más de lo que realmente prueban.

En cuanto a la precisión en la práctica, no atribuiría ninguna cifra fiable a tu caso particular basándome en lo que aparece en este hilo. La cuestión inmediata es cuánto peso está dando tu docente a la alerta. Una revisión en la que tu explicación pueda influir de verdad en el resultado es muy distinta de que te pidan defender tu texto frente a una impresión que nadie está dispuesto a reconsiderar. Antes de preparar una defensa aún más amplia, yo querría saber cuál de esas dos conversaciones estás teniendo.

Nadie ha preguntado qué dice realmente el programa de la asignatura sobre el uso de la detección de IA para calificar, y ese detalle lo determina todo. Si la normativa nunca indicó que la herramienta de IA de Turnitin se usaría como fundamento para aplicar sanciones, ese es un punto de partida más sólido que cualquier comparación de borradores, y conviene comprobarlo antes de basar tu defensa en el propio texto. Pasa tus párrafos por Clever AI Detector si tienes curiosidad, claro, pero lo que realmente sustenta una apelación es la redacción de la normativa.

No centres tu respuesta en «el programa de la asignatura no mencionaba Turnitin». @carl1991 considera que eso es decisivo sin haber visto las normas que se aplican a tu asignatura. Una política de integridad académica más amplia podría abarcar la supuesta conducta sin nombrar el software utilizado para suscitar la sospecha. Pide que te indiquen la norma exacta y qué creen que hiciste para infringirla. «Entregaste párrafos generados» es una acusación a la que puedes responder. «Tu puntuación es demasiado alta» deja sin especificar la supuesta conducta. Cuestiona esa falta de concreción en lugar de apostarlo todo a si el nombre de un producto aparece en el programa de la asignatura. Un argumento basado en la normativa tampoco resuelve la cuestión de la precisión del detector.