Archivo de la etiqueta: big data

Los nuevos vehículos de la memoria

Con ese título, el viernes pasado participamos en una mesa en el contexto del XLIII Coloquio de Antropología e Historia Regionales, “Las batallas por la historia y la memoria,” coordinado por mi colega del CEH-COLMICH, el Dr. Martín López Ávalos.

La experiencia fue muy interesante, desde el armado de la mesa –que me fue delegado coordinar por Martín–, hasta la experiencia de juntarnos las personas que hablamos en el evento. Así, pudimos intercambiar ideas y puntos de vista cara a cara después de algún tiempo de tratarnos vía Internet.

Gracias al coloquio, pude invitar a Stefania Gallini, de la Facultad de Ciencias Humanas de la Universidad Nacional de Colombia (sede Bogotá), quien compartió una ponencia titulada “Memorias ambientales y retos para una historia ambiental”. Stefania casi que no necesita presentación pues una de las principales impulsoras de la humanidades digitales en América Latina. También participó Adriana Álvarez Sánchez, del Colegio de Historia ~ Facultad de Filosofía y Letras de la Universidad Nacional Autónoma de México con la ponencia “Digitalización y nuevas prácticas en la investigación histórica.” Adriana tampoco necesita mucha presentación ya que ha sido una persona muy activa en el grupo que impulsa las humanidades digitales desde la UNAM. Por su parte, mi colega y compañero de andanzas en estas cosas digitales, Jairo Melo, de la UNAM-CUAIEED, expuso el texto “La memoria del Big Data”, mientras que yo leí una pequeña reflexión sobre “Límites y retos para una historia digital en América Latina”. Y bueno, casi que fue la última mesa del coloquio antes de la conferencia magistral de Jean Meyer.

El desarrollo de la mesa Los nuevos vehículos de la memoria con las cuatro ponencias puede seguirse en este video en el canal de YouTube de El Colegio de Michoacán y, espero, pronto estén disponibles en una publicación con las memorias del coloquio.

Y bueno, también hubo oportunidad de tomar algún aperitivo…

Digitalizar la cultura jurisdiccional

En algún momento del año, Anaclet Pons y Matilde Eiroa nos invitaron a Jairo Melo y a mi a escribir un artículo para la revista Culture & History en el que dejásemos constancia del proyecto que hemos imaginado acerca del análisis de la cultura y la memoria a través de análisis digital de un corpus, en este caso, el de la cultura jurisdiccional. Un proyecto, si no imposible, por el momento muy difícil de realizar dados los pocos avances en los procesos de digitalización robusta de las fuentes. No obstante su intangibilidad –por ahora–, nos resultó un excelente ejercicio de imaginación teórica y metodológica de lo que podría ser un estudio de historia digital en el ámbito hispanohablante y, sobre todo, de interés para un amplio grupo de historiadoras e historiadores en ambos lados del Atlántico.

El resultado acaba de ser publicado para alegrarnos este fin de año, en forma de un texto denso, “Jurisdictional Culture and Memory Digitization of the ‘Government of Justice.’ Data Modeling and Digital Approach for the Legal History of Ibero-America” (Cultura jurisdiccional y digitalización de la memoria del “gobierno de justicia.” Modelado de datos y enfoque digital para la historia del derecho de Iberoamérica), que puede consultarse en su versión original en inglés siguiendo su número DOI: https://doi.org/10.3989/chdj.2018.017

La premisa fue la siguiente: “¿Puede una máquina recuperar el significado cultural de un corpus de fuentes? Este artículo aborda el alcance y las restricciones que representan la digitalización, la transcripción y el modelado de datos para las lecturas automatizadas de registros legales e históricos, en particular aquellos derivados del contexto cultural del imperio hispano. Compara la dicotomía entre la ambigüedad característica de los textos legales del antiguo régimen y la precisión requerida para la legibilidad automatizada. Además, problematiza la lectura corporal, la estrategia de lectura distante y las visualizaciones como un modelo para la interpretación de la gran mayoría de los datos textuales. Se propone un modelo de segmentación y modelado de datos que aborde la lógica textual de los registros legales del antiguo régimen con base en su jerarquización, interrelación con fuentes no judiciales (teológicas, históricas, filosóficas, entre otras), su segmentación interna, la lógica de lectura no lineal de la normativa, así como los argumentos de autoridad requeridos en compilaciones y trabajos legales relevantes. Concluye que las ventajas de la automatización están asociadas a la capacidad de manipular archivos sin distorsionar el significado original de los textos, por lo tanto, propone la necesidad de desarrollar vocabularios estandarizados que ayuden a evitar enfoques anacrónicos con respecto a las fuentes legales de la Edad Moderna.”

Para armar el texto, Jairo y yo nos propusimos hacer algunos borradores con propuestas para la digitalización del corpus, mismas que se pueden ver en el repositorio de proyecto en GitHub: corpusnormae/CNHID

Ideas para un corpus digital DH2018-CDMX

Hoy por la mañana me tocó exponer una idea para un proyecto de historia digital en el que se podría analizar la cultura jurisdiccional de la monarquía hispánica. Como seguramente no tendrá mayor difusión que la presentación verbal en el contexto del DH2018, dejo aquí el amplio resumen por si alguien tiene interés en intercambiar ideas.

Corpus Jurídico Hispano Indiano Digital: Análisis de una Cultura Jurisdiccional

DH2018 – SP08 – Text Analysis, Cultural Studies

El proyecto Corpus de derecho castellano-indiano / digital es una propuesta colectiva e interdisciplinaria que abarca la compilación, digitalización, procesamiento, macroanálisis y publicación anotada en línea del conjunto de los textos jurídicos vigentes en el marco de la monarquía castellana entre el siglo XIII y principios del XIX. El núcleo principal del proyecto es la construcción de un modelo para el macroanálisis de estos textos jurídicos y, en consecuencia, la generación de herramientas analíticas y de consulta del corpus que permitan comprender la interrelación entre sus distintos elementos semánticos y conceptuales y su transformación a través de los siglos y así proponer una interpretación de cómo es que posiblemente funcionaban en el contexto del discurso y la práctica en el orden jurídico tradicional de la cultura jurisdiccional, tanto en el ámbito de la doctrina, del ejercicio de la potestad normativa como en el del actuar cotidiano del aparato de gobierno e impartición de justicia.

El proyecto implica diversas conexiones y diálogos en distintos ámbitos. En el ámbito interdisciplinario, entre los historiadores de la corriente crítica (cultural) del derecho, lingüistas, humanistas digitales y programadores; en el ámbito teórico y metodológico, entre dos posturas acaso antagónicas en apariencia: la lectura densa y cercana de los textos jurídicos hecha por la historia cultural del derecho a lo largo de varias décadas y la lectura distante. Lo anterior nos obliga a discutir ciertos principios teóricos, como lectura densa, tomada por la historia cultural del derecho de la idea de descripción densa (Geertz, 1973), como sistema capaz de ser leído como texto en relaciones contextuales, o un nivel más complejo (Genette, 1992) y su noción de transtextualidad. Varios historiadores del derecho han aplicado incluso algo parecido a la lectura cercana del criticismo literario (Clavero, 1991). Esto interesa al estudiar el derecho de antiguo régimen frente a la posibilidad de aplicación de metodologías computacionales enfocadas, generalmente, a una lectura distante (Moretti, 2013) en la búsqueda de estructuras formales mediante el análisis de grandes cantidades de texto/data. Es justamente necesario pensar en la posibilidad de ensayar no sólo una minería de texto cuantitativa sino en aspectos más cualitativos, modelando campos semánticos que se transforman históricamente.

Cabe aclarar que el criterio de selección de fuentes para la conformación del corpus es complejo y presenta muchos problemas. Responde a una historiografía que ha definido el campo de lo jurídico en el antiguo régimen hispánico como algo más allá del texto jurídico normativo (entendido como ley). Incluye la doctrina de los juristas y de los teólogos por considerarse que la cultura jurídica tiene una estrecha relación con la doctrina católica. El corpus completo abarcaría tanto normas como doctrina y costumbre y se consideran textos jurídicos producidos tanto en Castilla como en los territorios americanos de la monarquía. Por lo tanto, no se trata de un corpus reunido de antemano en su propia época, sino de un corpus compuesto por el conjunto de la comunidad de historiadores dado que se ha analizado su utilización práctica a lo largo de los siglos y en un contexto cultural determinado (Castilla y sus dominios ultramarinos entre los siglos XIII y XIX). Tener claro cómo suponemos que se definía un texto jurídico en el antiguo régimen es de suma importancia ya que el interés del proyecto es generar una comunidad colaborativa de investigación interdisciplinario que determine sus elementos semánticos necesarios para poder caracterizar digitalmente este tipo de textos. Esto es primordial puesto que son textos completamente distintos de los literarios o de otra índole que se han considerado, por ejemplo, en la iniciativa TEI. Dicho de otra forma, el nodo fundamental del problema es cómo se construye un corpus histórico jurídico particular para que sea útil en las humanidades digitales.

Como la reunión del corpus completo es un proyecto a muy largo plazo, en una etapa piloto consideramos que trabajar con los textos normativos puede ser suficiente para ensayar la propuesta de un modelo flexible y escalable. Además, para el caso de los textos normativos ya existe un ordenamiento y un proceso de digitalización previo de esa parte del corpus. De unas 35,355 normas referenciadas se han puesto en línea, de manera digital básica, 26,831 por un grupo de académicos españoles que viene trabajando al respecto desde la década de 1970 y en el que se han ya recogido la mayor parte de las normas legisladas entre el año 1020 y 1868. Por tanto, el objetivo de esta ponencia es discutir los diferentes ejes de nuestra propuesta teórica: 1) el aspecto de su realidad digital, es decir, cuáles son los requisitos para una digitalización óptima de fuentes jurídicas que se presentan en la realidad de maneras diversas –manuscritas, impresas, cuyos contenidos varían ortográfica y semánticamente a lo largo de los siglos-, 2) el problema de qué se concibe como texto propio de la cultura jurisdiccional en el orden jurídico tradicional –no sólo los obviamente jurídicos en apariencia-, y, en consecuencia, 3) los retos que implica el diseño de herramientas digitales propias que permitan el macroanálisis de los textos como datos masivos. Esto, a su vez, implica un problema mayor y de fondo que es el de la conexión entre un necesario abordaje hermenéutico de los textos jurídicos (lectura densa) en una perspectiva de larga duración –desde la baja edad media hasta el fin de la edad moderna– para entender su contexto cultural de sentido, y el reto de procesar dichos textos entendidos como corpus y en forma de datos masivos mediante computadora (lectura distante), no sólo en procesos de segmentación del corpus para su visualización (nubes de palabras, frecuencias relativas y absolutas, KWIC), sino la posibilidad de ensayar, sobre todo, un modelado tópico semántico con objeto de reflexionar sobre cuál sería un modelo de macroanálisis adecuado para este tipo de corpus. Finalmente, proponer un modelo particular para la edición digital del corpus de los textos jurídicos propios de la cultura jurisdiccional del orden jurídico tradicional.

Referencias

Clavero, B. (1991). Antidora: antropología católica de la economía moderna. Milano: Giuffrè
Geertz, C. (1973). The Interpretation of Cultures: Selected Essays. New York: Basic Books.
Genette, G. (1992). The architext : an introduction. Berkeley: University of California Press.
Moretti, F. (2013). Distant Reading. London: Verso.

¿Por qué aprender a programar?

El jueves de la semana pasada lanzamos públicamente la versión en español de un sitio web bastante conocido por los historiadores digitales: The Programming Historian. Tras unos meses de arduo trabajo colaborativo, la publicación en español es una versión bastante ligera, con una pequeña parte del conjunto de lecciones y tutoriales sobre herramientas digitales, técnicas y flujos de trabajo que se pueden encontrar en el sitio original. Había que comenzar por algo.

No obstante lo incompleto, The Programming Historian en español merece mucho la pena ser visitado porque contiene -por ahora solamente-, la Introducción a Python, un conjunto de tutoriales pensados para estudiarse de manera seriada que permite a los historiadores aprender los rudimentos de ese lenguaje de programación de alto nivel multipropósito. Muchos colegas historiadores y humanistas se preguntarán aquí, «¿para qué nos sirve saber esas cosas que les competen a los encargados de cómputo de mi institución?»

No podemos negar que nuestro quehacer académico se ha digitalizado a un grado superlativo en las últimas décadas. Nos hemos percatado que manipular datos digitalmente nos ofrece la posibilidad de ampliar nuestros horizontes de investigación. Hace tiempo que los historiadores trabajamos con bases de datos de diverso tipo, hacemos análisis de redes sociales auxiliados de programas de cómputo especializado, recurrimos a sistemas de información geográfica para el análisis espacial y para generar representaciones cartográficas, o usamos hojas de cálculo para tabular datos seriales para hacer historia económica o demografía histórica, obteniendo gráficas muy interesantes de tendencias de crecimiento. Pero también, entre otras muchas cosas, los historiadores podemos trabajar con conjuntos de datos masivos (big data), y es ahí donde radica la importancia de aprender un lenguaje de programación que nos permita sacarle provecho a una cantidad ingente de datos.

Los historiadores generalmente acudimos a documentos en los que quedó, en forma de texto, algún registro de los acontecimientos, de las ideas de una persona o de un grupo de personas, así como de las formas culturales de estructurar los discursos. Esos son algunos de los datos con los que trabajamos. Cuando leemos un documento lo interpretamos, es decir, diseccionamos y reorganizamos su discurso de tal manera que los datos nos ofrezca un significado. En otras palabras: manipulamos los datos de diversas maneras a través de un sinnúmero de operaciones de por medio. A veces, con un conjunto de textos, realizamos una serie de operaciones cuantitativas en busca de respuestas cualitativas. Por ejemplo, contamos la frecuencia (concordancia) con la que aparece una palabra o una frase, elaboramos la hipótesis de que esta palabra resulta clave para determinada época, así que buscamos el contexto en el que se encuentra ese término para reconstruir redes semánticas que nos ayuden a comprender un corpus documental mayor. También ponemos atención a las interrelaciones entre un concepto y otro, vemos cuáles juegan un papel intercambiable en el complejo contexto del discurso que nos ofrecen los documentos. Además, ponemos énfasis en las relaciones de intertextualidad entre un tipo de documentos y otros, para intentar reconstruir y explicarnos el contexto cultural en el que se produjeron.

Podemos hacer todo esto de manera más o menos sencilla cuando nos enfrentamos a un corpus documental restrigido, de cien, quinientos o mil quinietos expedientes de archivo… e, incluso, ahí comienzan nuestros peores dolores de cabeza: tenemos que organizar nuestros glosarios de términos, nuestras redes de interrelaciones conceptuales.

Ahora imaginemos que Internet pone a nuestra disposición la transcripción de la impresionante cantidad de ¡197,745! juicios criminales llevados a cabo frente a un tribunal londinense entre 1674 y 1913. Para un historiador solitario, tal cantidad de documentos resulta imposible de procesar y analizar, ya ni se diga de imaginar. Pero, de tener las herramientas, ¿no estaríamos tentados a hacer algunos análisis cuantitativos de esos documentos? ¿No sería maravilloso buscar algunas series de conceptos, sus interrelaciones, los contextos en los que se ubican y sus cambios a lo largo de varias décadas o siglos? La herramienta para hacerlo es posible, está en nuestra propia computadora y solamente es necesario aprender un poco de programación para echarla a funcionar.

En términos de la ciencia de la computación, de la información, de la data, una palabra es una secuencia de caracteres específica, es decir, una cadena de caracteres (string) organizada de una forma determinada que nos ofrece cierto significado, pero que para una computadora es un conjunto de datos procesables carentes de significado. Las frases son una secuencia de palabras interrelacionadas de cierta manera, es decir, cadenas de caracteres de mayor longitud. Un párrafo, el contenido escrito de un documento, el de un expediente, el de un legajo, el de todo un ramo del acervo de un archivo, contiene grandes series diferenciadas de cadenas de caracteres, de datos susceptibles de ser procesados y manipulados por computadora. Los programas de ofimática que utilizamos, como los procesadores de texto, ofrecen cierta capacidad de manipular esos datos, pero es una manipulación elemental y que nunca controlamos a nuestro gusto. En el procesador de texto podemos buscar una palabra determinada (una cadena de caracteres) y obtener un informe de las veces que aparece en el texto. Pero es imposible sacarle más jugo al asunto si queremos incluir las variables de esa palabra y obtener su concordancia en los diversos contextos en las que se encuentra, o construir modelos tópicos. Además, sería imposible trabajar con 197 mil expedientes en ese tipo de programas, por ejemplo, en un solo archivo de MS-Word.

Una de las bondades de Python es que es un lenguaje de programación muy sencillo en su sintaxis a la vez que poderoso (por ser un lenguaje interpretado de alto nivel). Ello facilita el uso del conjunto de funciones orientadas para operar sobre cadenas de caracteres, entre las que se incluyen comparación, búsquedas boleanas, organización por diccionarios, aprendizaje máquina, construcción de n-gramas, modelado tópico y otras más cuya utilización es muy eficaz para analizar datos masivos y generar, con la ayuda de otras herramientas, visualizaciones de los datos que nos permitan encontrar secuencias o tendencias a nivel macro que no podríamos detectar de otra manera; por ejemplo, cómo cambia la relación de sustantivos y adjetivos vinculados con la palabra «asesinato» a lo largo de 150 años, o encontrar, como lo hizo Fred Gibbs, cuál era el método preferido por los criminales londinenses para envenenar a sus víctimas a lo largo de varias décadas. Podemos también construir, estadísticamente, el conjunto de temas predominantes en un conjunto de documentos.

Veamos el ejemplo en el que se basan los tutoriales de Python en The Programming Historian. El proyecto de publicación en Internet de los expedientes criminales londinenses, The Proceedings of the Old Bailey, puso en línea 197,745 transcripciones de juicios criminales, es decir, cerca de 127 millones de palabras registradas a lo largo de 239 años de fuentes históricas capaces de ser analizadas. Esto supuso un reto para los historiadores digitales que generó varios proyectos de desarrollo de herramientas informáticas para proponer un macroanálisis de esto que, en términos de la práctica del historiador, es un conjunto de datos masivos. Entre los diversos proyectos se puede consultar el resultado de Data Mining with Criminal Intent, un proyecto multinacional; Exploring Big Historical Data: The Historian’s Macroscope, y el origen del sitio de tutoriales para historiadores digitales cuya primera versión escribieron WJ Turkel y A MacEarchen The Programming Historian version 1.

Parece que, de ahora en adelante, para los historiadores que se enfrentan de lleno al contexto digitalizado en su práctica cotidiana, saber programar, es decir, escribir código para hacer programas y extraer datos de sus documentos, es muy recomendable. En un mundo donde tenemos acceso a cantidades increíbles de datos, si se permite la comparación, será lo mismo que saber paleografiar.

¿Big data en la investigación histórica?

¿Análisis de big data en la investigación histórica? John Mashey, el científico informático que popularizó el término big data en los años 1990, seguramente moriría de risa si le dijéramos que quienes nos dedicamos a la historia podríamos procesar nuestros datos históricos digitalizados con métodos y técnicas utilizados para el análisis de grandes conjuntos de datos (big data sets). Big data es lo que procesan las grandes empresas de análisis de datos. Se calcula que Google manejaba unos 20 Petabytes de datos diariamente en 2008 (20 X 1,0005 bytes), mientras que toda la información de una investigación histórica no debe rebasar unos cuantos GB.

Sin embargo, los autores del libro Exploring Big Historical Data: The Historian’s Macroscope (2016) recurren al viejo proverbio inglés y argumentan, con razón que: “big is in the eye of the beholder”, algo así como que “el color depende del cristal con que se mire”. Porque en la investigación histórica hay tareas que parecen irrealizables para una sola persona investigadora o para un equipo, como la de procesar en un sólo estudio los 197,752 extractos de juicios criminales digitalizados que contiene el sitio The Procedings of the Old Bailey, la corte criminal de la ciudad de Londres entre 1674 y 1913.

Sobre este libro, la revista Virtualis. Revista de cultura digital del Tecnológico de Monterrey, México, acaba de publicar una reseña mía que puedes encontrar aquí y descargar el texto en PDF.

El libro fue escrito de manera colaborativa por Shawn Graham, Ian Milligand y Scott B. Weingart y es, en realidad, un manual de metodologías, técnicas y herramientas digitales para el procesamiento de datos, mayoritariamente aquellas diseñadas para el tratamiento de lenguaje natural. Por ello, está muy estrechamente vinculado al proyecto The Programming Historian y al ya clásico libro de Cohen y Rosenzweig Digital history: a guide to gathering, preserving, and presenting the past on the Web.

Si hay una forma amable de introducción a la historia digital para estudiantes de grado y posgrado, son esos tres caminos.

Referencias

  • Cohen, D. J., & Rosenzweig, R. (2006). Digital history: A guide to gathering, preserving, and presenting the past on the Web. University of Pennsylvania Press. http://chnm.gmu.edu/digitalhistory/
  • Gayol, V. (2016). Exploring big historical data. The historian’s macroscope. Virtualis, 7(13), 102–105.
  • Graham, S., Milligan, I., & Weingart, S. (2016). Exploring big historical data: The historian’s macroscope. Imperial College Press. http://www.themacroscope.org/2.0/

Hacer historia en la era digital: big data

Hace justo unos tres años apareció un video en el canal de PHD Comics acerca del trabajo de tesis doctoral de Adam Crymble, uno de los principales animadores del proyecto The Programming Historian.

Con el reto de ¿Puedes contar tu tesis en dos minutos?, el video muestra la utilización de las nuevas tecnologías aplicadas a la investigación histórica, en este caso, la historia de la migración irlandesa a Londres de principios del siglo XIX. Este tipo de investigaciones es posible gracias a la gran cantidad de fuentes de archivo digitalizadas (por lo general, en los países anglosajones), que permiten la aplicación de métodos, técnicas y herramientas informáticas para el análisis del lenguaje natural.

Sin más, comparto el video y dejo abajo la transcripción, hecha por Jairo Melo para el proyecto Historia abierta.

Transcripción

¿Puedes describirnos tu tesis en dos minutos?

Muchas personas piensan que los historiadores gastan todo su tiempo en las bibliotecas leyendo libros y ciertamente no están tan equivocados sin embargo, recientemente las bibliotecas se han vuelto muy grandes, demasiado grandes, y se están creciendo a una velocidad impresionante.

Eso es porque millones de documentos han sido digitalizados y están disponibles actualmente en línea. Los historiadores se enfrentan ahora a más material del que pueden esperar leer en un vida o incluso en cien vidas.

Mi investigación aborda un típico problema histórico: ¿Cómo fueron tratados los Inmigrantes irlandeses en Londres, Inglaterrra al inicio de la revolución industrial?

Pero, en lugar de encerrarme en una biblioteca utilicé mi ordenador para aprovechar uno de los mejores trucos de la informática llamado Lectura Distante («Distant Reading»).

La lectura distante significa básicamente saber qué dice algo sin leerlo realmente. Es el tipo de clasificación que usa Google cuando quieres buscar la receta de un pastel de manzana. Google tiene una gran cantidad de páginas web pero ellos crearon un programa que les ayuda a buscar la información.

Yo estoy haciendo lo mismo, pero en lugar de buscar pasteles me hago preguntas como:
¿qué documentos se refieren a los irlandeses?

Como Google, tuve que desarrollar un programa que sistematizara la búsqueda de información y me ayudara a saber cuál es relevante y cual no lo cual es importante cuando estás trabajando con bases de datos que contienen cientos de millones de palabras.

Pero encontrar información relevante no es todo lo que puedes hacer en la era del Internet.

Los ordenadores también me han permitido evidenciar aspectos en los cuales la vida cotidiana de los irlandeses del siglo XIX se diferenciaba de la de los demás londinenses

Por ejemplo, puedo decirte que un irlandés tenía cuatro veces más posibilidades de ser llevado a juicio de las que tenía un londinense en toda su vida.

No hay manera en la que hubiese encontrado este hecho de no ser por la «lectura distante». Vivimos en un mundo sobre-informado y manejar la información correctamente puede representar la diferencia entre encontrar lo que necesitas o naufragar en un mar de datos. Hay mucho por leer, así que hay que encontrar una nueva manera para hacerlo.

Mi nombre es Adam Crymble estoy estudiando en el Kings College London del Reino Unido y el título de mi tesis es: «Entendiendo la experiencia del inmigrante irlandés en Londres a través de un análisis textual de larga-escala, 1801-1820»