Texto en desarrollo

La primera etapa de nuestra investigación sobre la lira consistió en la transcripción nuestro corpus de la “Lira Popular” publicada en la década del ’50 en periódicos por Inés Valenzuela y Diego Muñoz y se apoyó en la contribución desinteresada de muchas buenas personas que realizaron la transcripción de los documentos digitales que les entregábamos, a continuación hacían la transcripción que luego se revisaba y se ponía en el sitio www.lirapopular.cl. Pueden ver sus nombres y contribuciones acá.

En ese período me interesé un buscar una forma que permitiera realizar la transcripción de gran cantidad de versos de manera simple ya que el proyecto había sido rechazado en los concursos a los que postulé y carecía de fondos. La modalidad seleccionada fue un éxito gracias a todas esas contribuciones desinteresadas pero muy entusiastas.

Mientras se desarrollaba esta etapa, investigué en opciones computacionales para desarrollar el proyecto: Sistemas de presentación de las imágenes y sobre la aplicación de inteligencia artificial (IA) que permitiera transcribir y avanzar en el material de mejor calidad, dejando solo lo problemático al ojo y mente humana.

En cuanto a la presentación de la información preferí usar WordPress, ya que es una herramienta gratuita con las principales opciones que se necesitaban. Otras opciones muy especializadas como Omeka o Mirador, a pesar que entregaban prestaciones más especializadas requerían un soporte financiero que no tenía.

El primer intento de transcripción con tecnología informática fue aplicar OCR, Optical Character Recognition. Pero no fue eficiente, ya que solo reconoce lo que está nítido. Las liras al ser muy antiguas y con sistemas básicos de impresión tienen mucho daño, además de errores humanos. OCR entregaba grandes listados de texto irreconocible. Era necesario un sistema que pudiera trabajar con alternativas y deducir.

Así me acerqué al HTR, Handwriting Text Recognition, este sistema basado en IA está diseñado para que una máquina aprenda a reconocer el texto escrito a mano, es decir analiza un texto en el cual hay una inmensa cantidad de variantes para cada caracter. La investigación de HTR está avanzando rápidamente por la necesidad de conservar textos antiguos, como aprender a leer la cursiva antigua alemana o el epistolario abundante en toda cultura. Será un gran aporte el desarrollo de un sistema que permita la lectura de manuscritos tanto de personajes importantes como aquellos que muestran la vida cotidiana en una esquela, o un documento burocrático, las pequeñas historias.

Veamos un ejemplo de su posible aplicación en Chile. El Archivo Nacional tiene bodegas llenas de documentos manuscritos creados por los tribunales desde la Independencia. Toneladas de documentos sin ninguna posibilidad de estudiarlos estructuradamente. Son solo hojas sueltas en las que cualquier descubrimiento se producirá principalmente por la casualidad. Si estos documentos fueran procesados saldría a la luz una parte importante de nuestra historia, ya que sería simple indexarlos en profundidad y realizar búsquedas por cualquier término. Pero ahí yacen amontonados esperando su HTR.

Hay varias instituciones que desarrollan proyectos de HTR, pero opté por uno que es gratuito y tiene el respaldo de una importante universidad de Austria: El Proyecto Transkribus de la Universidad de Innsbruck.

Comencé a probar el sistema mientras avanzábamos con las transcripciones de las liras de la década de los ’50. Lo hice en especial en una libreta de versos del poeta Juan Escobar de Limache. Era más complejo ya que es un manuscrito, pero me impresionó cómo aprendía el servidor. El resultado de la primera transcripción es bastante cercana al OCR, pero al hacerle las correcciones en la segunda ocasión es notorio que comenzó el proceso de aprendizaje de parte del servidor.

El sistema

La Inteligencia Artificial utiliza máquinas con un sistema neuronal que imita el pensamiento humano. Por esta razón no se habla de programar sino de entrenar. Al servidor se le va explicando por medio de las correcciones a fin de que aprenda la variedad de trazos presentes en el texto.

Por esta razón es necesaria una larga etapa de preparación (yo transcribí aproximadamente 100 liras en esta etapa, aproximadamente 100.000 palabras). Completado esto se me asignó un servidor entrenado para mi investigación y que al especializarse en un proyecto en particular, cada vez que hace una nueva transcripción aumenta su precisión.

Como en este caso estoy trabajando con texto impreso, la variedad de caracteres es inferior lo cual facilita el aprendizaje,

La transcripción

En esta etapa estoy trabajando con la Colección Lira Popular de la Universidad de Chile. Lamentablemente hay mucha lira mal digitalizada y seguramente esas van a tener que ser transcritas por colaboradores.

La transcripción es interesante ya que el período presenta, como explico en otro artículo, un idioma particular con reglas diferentes a las actuales. Además está la mala calidad de los documentos: mucha falta ortográfica o simplemente mala calidad de la imprenta que dejó mucho error. Esto impide utilizar un diccionario, ya que el sistema podría corregir dichas diferencias de escritura.

A pesar de esto el nivel de la transcripción es muy bueno y con algo muy especial e importante. Al ser hecha por una máquina no la afectan cambios que una persona modificaría sin darse cuenta, por costumbre.

Los errores de un transcriptor humano son lógicos, los de una máquina son diferencias por no ver algo bien o confundirse.

Un humano va a olvidar de vez en cuando poner tilde a “fue”, que en esta época llevaba o hacer lo mismo con palabras terminadas en -on, que en esa época no llevan tilde. Son errores lógicos y entendibles, pero que posibilitan que tanto el transcriptor como el revisor los pasen por alto.

Los errores computacionales son diferentes. Son principalmente confusiones con una elemento poco claro: tipo invertido, tipo roto, tipo sucio, mancha en el papel. Un ejemplo de estas confusiones es que en estas liras es frecuente encontrar tipos invertidos. He preferido no destacar esto (usar unicode para poner la alternativa invertida: Ɐ (U+2C6F)). La opción más frecuente es que el sistema confundió con “n” y “u” ya que se usó invertida¹. Como yo comencé a reemplazar la variante invertida por la correcta, el sistema se confundió y comenzó a invertirlas incluso cuando estaban bien. Por esa razón, si ahora encuentro “uua” en vez de “una” no lo puedo corregir, para evitar que el sistema aprenda mal.

Transkribus

No es simple el sistema de trabajo, pero lo hace más complicado la casi pobreza de los manuales para aprender el uso. Una larga etapa de acierto-error va aclarando poco a poco cómo debiera hacerse la investigación.

Da la impresión que al ser de una universidad está pensado para formar equipos de trabajo con profesores que ya lo conocen y dentro del curso enseñarán las funciones, no se me ocurre otra explicación a esos manuales con tan poca información.

Pero es posible llegar a utilizarlo y sorprenderse cada vez que muestra un detalle producto de su aprendizaje, como leer líneas que incluso para uno eran confusas.

______
1 Esto muestra de desprolijidad de la imprenta, preocupada más de terminar rápido el trabajo que de hacerlo bien, ya que los tipos tienen una muesca para evitar ponerlo invertido. Una mirada rápida y se nota que hay un tipo mal puesto. Pero no había un tiempo de control de calidad.