Ganancias:
- Capacidad para redactar mediciones de corpus como frecuencia de palabras, colocación, riqueza de vocabulario y palabras clave con inteligencia artificial.
- Saber que la inteligencia artificial no es confiable en el conteo exacto y poder verificar cada conteo con una herramienta separada
- Capacidad para comprender que un número por sí solo no dice nada y que la interpretación lingüística que establece el significado pertenece al ser humano.
Los estudios de literatura y lengua no son sólo "comentarios"; También tiene un aspecto medible y contable. Cuántas palabras diferentes usa un autor, qué palabras le gusta usar con qué palabras, qué palabras se vuelven comunes en un período: todo esto se investiga a través de la lingüística (la ciencia que estudia el sonido, la estructura, el significado y el uso del lenguaje) y especialmente la lingüística de corpus. Un corpus es una colección de textos, como las obras completas de un autor, el archivo anual de un periódico o los poemas de una época. El análisis de corpus busca patrones numéricos en este fragmento.
En esta unidad, aprenderemos a utilizar la IA como asistente de análisis de corpus: extrayendo rápidamente métricas como la frecuencia de las palabras (el número de veces que aparece una palabra en el texto), la colocación (pares de palabras que aparecen juntas con frecuencia, por ejemplo, "negro" + "mi fortuna"), riqueza de vocabulario y variación estacional. Pero una advertencia desde el principio: la IA puede cometer errores al contar sola; Se necesitan herramientas especiales para conteos grandes y precisos, y usted es el lingüista que establece el significado de cada número.
¿Dónde es fuerte la IA y dónde es débil en el análisis de corpus?
Sus puntos fuertes son: Reconocer patrones en textos pequeños y medianos, generar hipótesis sobre el vocabulario de un texto, sugerir candidatos para colocaciones, interpretar un resultado, describir una metodología. AI pregunta “¿qué frases destacan en este autor?” Da un comienzo rápido a la pregunta.
Debilidad: Conteo preciso. La IA es un modelo de lenguaje, no una calculadora; Puede dar una respuesta aproximada y a veces incorrecta a la pregunta "cuántas veces ha ocurrido" en un texto extenso. Para obtener una frecuencia precisa, estadísticas de colocación exactas o escaneo de corpus grandes de miles de palabras, se utiliza software especializado (por ejemplo, herramientas de corpus como AntConc o una hoja de cálculo). La IA es valiosa para interpretar el resultado de estas herramientas; Pero no le obligues a realizar el conteo a ciegas.
Consejo: si necesita un número exacto, utilice dos formas: haga que una herramienta cuente en texto pequeño y que la IA lo interprete; O hacer que la IA cuente y verificarlo de otra forma. Nunca utilices la frase "AI dijo que ocurre 47 veces" sin confirmación.
Un estudio de corpus paso a paso
- Haz una pregunta. “¿Cómo se distribuyen las palabras de color en este poeta?” Contar no tiene sentido sin una pregunta clara como:
- Definir el corpus. ¿Qué textos? ¿Qué edición? ¿Qué período? La frontera debe estar clara.
- Seleccione la medida. ¿Frecuencia, colocación, riqueza del vocabulario?
- Medir y verificar. Haga el recuento y luego confirme una segunda forma.
- Comentario. El número por sí solo no dice nada; Es su comentario el que hace significativo el hallazgo de que "las palabras de colores se duplicaron en el segundo período".
Una medida de riqueza de vocabulario utilizada con frecuencia es la relación entre el número de palabras diferentes y el número total de palabras (proporción tipo/token). Si esta proporción es alta, el texto es de variedad de palabras, y si es baja, significa que es repetitivo. Pero esta proporción se ve afectada por la longitud del texto; Tenga cuidado al comparar directamente textos cortos y largos.
tres mini casos
Caso 1: la colocación demostró un estilo. Un investigador examinó las parejas de adjetivo y sustantivo en tres novelas de un novelista. AI sugirió que la palabra “pálido” coincide con 5 sustantivos diferentes; El investigador verificó 4 de los textos y eliminó 1 por ser inventado. El patrón confirmado se convirtió en una tesis sobre el estilo descriptivo del autor.
Caso 2: Se detectó un error de conteo. Un estudiante preguntó a AI cuántas veces aparecía la palabra “noche” en un texto de 2.000 palabras; La IA dijo "23". Cuando el estudiante metió el texto en una hoja de cálculo y lo hizo contar, el número real fue 17. Ha quedado claro que el conteo bruto de la IA no es confiable.
Caso 3: El cambio periódico generó controversia. Un grupo comparó la proporción de palabras abstractas en los primeros y últimos poemas de un poeta. El primer borrador de AI sugirió una tendencia; Cuando el grupo volvió al texto y verificó el recuento, la tendencia resultó ser real, pero las "causas" sugeridas por la IA eran especulaciones no verificables y fueron eliminadas.
Cuatro plantillas copiables
1) Esquema de frecuencia de palabras (con verificación):
Enumere las 15 palabras de contenido que aparecen con más frecuencia (excluyendo palabras funcionales como conjunciones y preposiciones) en el texto a continuación, con sus frecuencias aproximadas. ADVERTENCIA: Tenga en cuenta que los recuentos PUEDEN NO ser precisos y tenga en cuenta que "para ser precisos, deben verificarse con una herramienta de recuento independiente". Texto: [pegue el texto aquí]
2) Candidatos a la colocación:
Sugiera pares de palabras (colocaciones) que aparezcan juntas con frecuencia en el texto siguiente. Da al menos una cita del texto para cada par. Doble fabricación que no tiene equivalente en el texto; Si no está seguro, márquelo como "necesita verificación".Texto: [pegar texto]
3) Comparación de vocabulario:
Te daré dos textos. Para cada uno: total aproximado de palabras, observaciones sobre diferentes variedades de palabras y dominios de palabras destacados (por ejemplo, color, naturaleza, emoción). Indica que los números son aproximados. Deje la interpretación de la comparación a mi verificación. Texto A: [...] Texto B: [...]
4) Interpretación de resultados:
Obtuve los siguientes resultados de una herramienta de conteo: [pegar resultados]. Genere 2 o 3 hipótesis sobre lo que estos números podrían significar lingüísticamente. Marque cada hipótesis como "requiere evidencia" y dígame cómo puedo probarla. Evite comentarios excesivos.
Aviso débil / Aviso fuerte
Débil: "¿Qué palabra aparece más en este texto?"
Fuerte: "Enumere las palabras de contenido más frecuentes en este texto con su frecuencia aproximada; excluya las palabras funcionales. Deje en claro que los números no son exactos y deben verificarse con una herramienta separada. Dé una oración de ejemplo para cada palabra".
El poderoso mensaje hace que la IA acepte el límite de conteo y le indica de antemano que se requiere verificación. En el mensaje débil, la IA da un solo número y no sabes si podría estar equivocado.
Tabla de medidas y fiabilidad
medida
que muestra
IA sola
camino correcto
frecuencia de palabras
palabras frecuentes
Acerca de, arriesgado
Contador + comentario de IA
colocación
los que pasaron juntos
Produce candidatos
Confirmación del texto.
Relación tipo/token
Diversidad verbal
Puede ser engañoso
Cuenta con herramienta
cambio estacional
Tendencia a lo largo del tiempo
genera hipótesis
Medir y verificar
Comentario final
Significado
Potente pero exagerado
juicio humano
Conceptos de palabras clave y n-gramas
Dos conceptos facilitan su trabajo en el análisis de corpus. La primera es la palabra clave (palabra clave en inglés: la palabra que aparece en un texto o autor con mucha más frecuencia de lo esperado en comparación con el lenguaje general, lo que le da a ese texto su "carácter"). Las palabras clave de un autor revelan sus intereses y estilo; Por ejemplo, si "mar" y "separación" aparecen con más frecuencia de lo esperado en un poeta, esta protuberancia estadística se convierte en el punto de partida de una interpretación. Para identificar palabras clave, es necesario comparar las frecuencias de un texto con las frecuencias de un corpus de referencia (un cuerpo de texto grande y general utilizado para comparar); Esta comparación es un trabajo de herramienta definitivo, es un cálculo que la IA no puede realizar de manera confiable por sí sola.
El segundo es n-grama (una secuencia de n palabras consecutivas en un texto; una secuencia de dos palabras se llama "bigrama", una secuencia de tres palabras se llama "trigrama"). El análisis de N-gramas revela las expresiones formuladas de un autor y las frases de uso frecuente. Por ejemplo, si un escritor utiliza frases como "tipo de" o "sin embargo" con mucha frecuencia, esto indica su hábito de formar oraciones. La IA puede sugerir estas frases como candidatas; pero para conocer la frecuencia real y la significación estadística es necesario volver a la herramienta de conteo.
Sugerencia: Dígale a la IA: "Enumere las frases notables (dos o tres palabras) en este texto como candidatas y dé un ejemplo del texto para cada una". Tome la lista de candidatos y mida la frecuencia real con una herramienta independiente. Coloque a la IA como el "observador", al agente como el "contador" y a usted mismo como el "intérprete".
Errores comunes
- Confiando en el conteo bruto de la IA. La IA no es una calculadora; Verifique el número exacto con una herramienta separada.
- Presentando el número sin comentarios. "Aprobado 47 veces" no dice nada; Tú creas el significado.
- Ignorando la longitud del texto. Las tasas de diversidad lírica son sensibles a la duración.
- Hacer tesis sin verificar la colocación. Las parejas que no son AI pueden sugerir; Confirmar desde el texto.
- Comentario extremo. No acepte las "razones" sugeridas por la IA sin pruebas.
En resumen
El análisis de corpus abre la faceta contable de la literatura: frecuencia, colocación, vocabulario, cambio periódico. La IA es poderosa en esta área para reconocer patrones e interpretar resultados; pero no es confiable en el conteo absoluto. Verifique el número con la herramienta independiente, confirme las colocaciones del texto y establezca usted mismo el significado de cada número. El número no es evidencia, es la puerta a la evidencia.
Tarea de aplicación
Elija un texto breve (500-1000 palabras). Identifique una palabra de contenido (por ejemplo, "noche" o "camino"). Primero, cuéntate a ti mismo en el texto. Luego haz que la IA lo cuente. Compare los dos resultados; Si hay una diferencia, investigue el motivo. Luego escribe un comentario de un párrafo sobre la función de esa palabra en el texto: convertir el número en significado.
lista de verificación
- [ ] Planteo una pregunta lingüística clara.
- [ ] Definí los límites del corpus (texto, edición, período).
- [] Verifiqué el recuento de IA de una segunda manera.
- [] Confirmé las colocaciones del texto.
- [ ] No dejé el número sin comentarios; Yo mismo creé el significado.