Núcleo de Metadatos Documentales

El ISTAC presenta en las JECAS 2010 su núcleo de metadatos documentales de recursos de información estadística.

 

El Núcleo de Metadatos Documentales de los Recursos de Información Estadística del Instituto Canario de Estadística (ISTAC) establece el conjunto de metadatos que comparten todos los resultados estadísticos de una operación estadística, independientemente de su tipo o formato.

Definimos como operación estadística base al conjunto de tareas estadísticas que tienen como objetivo la obtención de resultados estadísticos inéditos y su posterior publicación. Por lo tanto, tales operaciones son las columnas sobre las que se sostiene el sistema de información estadística pública. El principal resultado de una operación estadística base es la matriz de microdatos estadísticos y a partir de los mismos, a través de métodos de agregación, se pueden  obtener otros resultados que denominamos macrodatos estadísticos. Estos macrodatos los podemos clasificar en:

1. Matrices de macrodatos
2. Cubos estadísticos
3. Tablas estadísticas

Y a partir de ellos se obtienen representaciones visuales sintéticas, tales como gráficos o mapas. Asimismo, una publicación estadística se constituye por la agrupación, ordenación y análisis de diversos resultados estadísticos. Y una noticia estadística no es más que una información sintética surgida de una publicación estadística y que nace con vocación de comunicación generalista.

                                     

Definimos pues como recurso de información estadística tanto a los resultados estadísticos como a las publicaciones y noticias estadísticas. En definitiva, el núcleo establece el conjunto de metadatos documentales que comparten los siguientes recursos de información estadística:

Recursos estadísticos

Tipo	Tipo DCMI (1)	Código
DATASET	Dataset	DS
DATASET > matriz de datos	Dataset	DSM
DATASET > cubo	Dataset	DSC
DATASET > tabla	Dataset	DST
FIGURA	Image	F
FIGURA > gráfico	Image	FG
FIGURA > mapa	Image	FM
COLECCIÓN DE DATOS Y FIGURAS	Colecction	P
COLECCIÓN > datos detallados	Colecction	PDD
COLECCIÓN > análisis y descripción de datos	Colecction	PAD
NOTICIA	Collecction	N
NOTICIA > estadística	Collecction	NE

Recordemos que el Código de Buenas Prácticas de las Estadísticas Europeas en su principio número 15, sobre accesibilidad y claridad, establece que “Las estadísticas europeas deberían presentarse de forma clara y comprensible, difundirse de forma adecuada y conveniente y estar disponibles, asimismo se debería permitir el acceso a las mismas de forma imparcial, con metadatos y orientación de apoyo”.

Una definición utilizada con frecuencia nos dice que los metadatos son "datos sobre datos", en general un objeto que describe o dice algo sobre otro objeto de información. De manera formal podríamos decir que un metadato es un dato que se encarga de mantener un registro sobre el significado, contexto o propósito de un objeto informativo, con la pretensión de poder descubrir, entender, extraer y administrar dicho objeto.

Estándares de referencia

En la definición del núcleo de metadatos se han tenido en consideración los siguientes estándares:

1. Dublin Core¸ como estándar genérico para la documentación de recursos, en su versión extendida de elementos refinados compuesta por 40 tipos de metadatos. 

2. Data Documentation Initiative (DDI), tanto en su versión 2 como en su versión 3. 

3. PC-Axis, en su versión 2008.

Los metadatos del núcleo

El núcleo de metadatos documentales de los recursos de información estadística del ISTAC lo componen 70 metadatos organizados en los siguientes bloques:

›         Versiones

›         Identificadores

›         Idiomas         

›         Clasificadores temáticos del contenido

›         Descriptores de contenido

›         Descriptores de clase de recurso

›         Descriptores de producción de un recurso

›         Descriptores de publicación de un recurso

›         Descriptores de relaciones entre recursos

›         Descriptores de propiedad intelectual

›         Descriptores de interacción con los usuarios

Un ejemplo de uso: el buscador web

 

El uso más frecuentemente mencionado sobre metadatos es la refinación de consultas en buscadores. En ese sentido, el nuevo buscador de la página Web del ISTAC (actualmente en desarrollo) aprovecha el núcleo de metadatos para facilitar a los usuarios sus búsquedas.

Bibliografía básica de referencia

DATA DOCUMENTATION INICIATIVE (2008), Technical Specification – Version 3.0. Part I: Overview.

DATA DOCUMENTATION INICIATIVE (2008), Technical Specification – Version 3.0. Part II: User Guide.

DATA DOCUMENTATION INICIATIVE, Technical Information -Version 2.1: Information on the DTD Elements.

DATA DOCUMENTATION INICIATIVE, Mapping DDI 2.1 – Dublin Core.

DATA DOCUMENTATION INICIATIVE, Mapping DDI 2.1 – DDI 3.0.

DATA INFORMATION SPECIALISTS COMMITTEE – UK (2009), Policy-making for Research Data in Repositories: A Guide.

DUBLIN CORE METADATA INICIATIVE, DCMI Type Vocabulary.

INSTITUTO CANARIO DE ESTADÍSTICA (2009), Manual de metadatos PC-Axis.

INSTITUTO CANARIO DE ESTADÍSTICA (2009), Normas básicas de premigración de tablas a PC-Axis.

THE LONDON SCHOOL OF ECONOMICS AND POLITICAL SCIENCE (2008), Version Toolkit for authors, researchers and repository staff.

¿Qué es el DATA AUDIT FRAMEWORK?

Cuatro pasos para la gestión eficiente de los datos.

Para administrar eficazmente los fondos de datos y aprovechar plenamente su potencial, una organización debe primero ser consciente de la ubicación, estado y valor de estos activos. En ese sentido el Data Audit Framewok (DAF) proporciona a las instituciones los instrumentos necesarios para identificar, localizar, describir y evaluar cómo se están administrando sus datos. 

El Data Audit Framewok en un proyecto liderado por HATII en la Universidad de Glasgow en colaboración con el Digital Curation Center, y ha sido desarrollado con la financiación de JISC.

Una auditoría de datos debe ser capaz de identificar la duplicación de esfuerzos y señalar las áreas que requieren inversiones adicionales con el objetivo final de permitir a una organización aprovechar al máximo todos sus recursos. También pondrá de relieve las deficiencias en la generación de  datos y en el archivo de los mismos; proponieno cambios en las políticas de gestión con la finalidad de disminuir los riesgos de pérdida o infrautilización. Asimismo, una organización que es conocedora de sus datos se pone en una buena posición para aumentar el valor de sus colecciones a través de su uso continuo. Por lo tanto, en términos generales, una auditoría de datos aporta tres ventajas principales:

1. Facilita la priorización de recursos, mejorando la eficiencia de la organización;
2. Aumenta la capacidad para gestionar los riesgos asociados a las pérdidas de datos y a su irrecuperabilidad;
3. Revaloriza los datos, mejorando su acceso y reutilización. 

Ahora bien, las organizaciones necesitan orientaciones sobre qué información debe ser recopilada en una auditoría de datos, dónde puede encontrar la información y cómo podrían aprovechar tanto la información como los datos una vez que han sido recopilados. El DAF se ha desarrollado con estas necesidades en mente, abordando cinco preguntas básicas:

1. ¿Qué datos existen en la actualidad?
2. ¿Dónde están localizados esos datos?
3. ¿Cómo han sido administrados hasta la fecha?
4. ¿Cuáles se deben mantener a largo plazo?
5. ¿Cuáles son las prácticas actuales que colocan esos datos en riesgo?

Para ello, el DAF aporta una metodología y una herramienta on-line para facilitar a los auditores recopilar esta información; ayudando a garantizar que los datos se conserven y permanezcan accesibles a largo plazo.  La metodología de trabajo se organiza en cuatro etapas:

1. La primera etapa es la de planificación de la auditoría de datos.
2. La segunda esta es la identificación y clasificación de las colecciones de datos.
3. La tercera etapa investiga el ciclo de vida de generación de las colecciones de datos, identifcando puntos débiles en la producción y conservación de los mismos.
4. La cuarta etapa sintentiza la información recopilada y realiza recomendaciones para mejorar la gestión de las colecciones de datos.

 

Las cuatro etapas del DAF

En definitiva, el DAF proporciona un método simple de obtención y utilización de información sobre la producción y conservación de datos; proporcionado una imagen clara de la organización general de los ficheros de datos, su estado de conservación actual, así como acerca de la sensibilización del personal responsable de la producción de datos sobre la conservación y reutilización de los mismos. Por lo tanto el DAF ofrece a las organizaciones un buen instrumento para mejorar la gestión de los datos existentes. 

 

Para saber más: 

• Metodología del DAF (PDF - Inglés)
• Guía de implementeación del DAF  (PDF - Inglés)
• Página principal del DAF (Inglés)

Eventos de interés en Octubre 2010

SDMX Technical Workshop
From the SDMX Information Model to the development of reusable software components

Lugar: Czech Statistical Office (Praga)
Fecha: 30 Septiembre – 1 Octubre 2010
Más información: http://circa.europa.eu/Public/irc/dsis/sdmxdevelopment/library?l=/technical_workshop_1/sdmx-technical-workshop-/_EN_1.0_&a=d


The Digital Preservation Training Programme

Lugar: University of London Computer Centre
Fecha: Octubre 4-6, 2010
Más información: http://www.dptp.org/


Lucene/Solr Revolution Conference

Lugar: Boston (EE.UU.)
Fecha: Octubre 5-8, 2010
Más información: http://lucenerevolution.org/


Dagstuhl Seminar to Focus on DDI and Longitudinal Data

Lugar: Schloss Dagstuhl in Wadern (Alemania)
Fecha: Octubre 17-22, 2010
Más información: http://www.dagstuhl.de/en/programm/kalender/evhp/?semnr=10422

International Conference on Dublin Core and Metadata Applications

Lugar: Pittsburgh (EE.UU.)
Fecha: Octubre 20-22, 2010
Más información: http://www.asis.org/Conferences/DC2010/

Jornadas de Estadística de las Comunidades Autónomas (JECAS)

Lugar: Cáceres (España)

Fecha: Octubre 20-23, 2010

Más información: http://www.jecas.org/

Workshop: Using DDI 3 to Support Production, Management, Dissemination, and Preservation Systems for Data in the Social Sciences and Economics

Lugar: Schloss Dagstuhl in Wadern (Alemania)
Fecha: Octubre 25-29, 2010
Más información: http://www.gesis.org/en/research/events/workshops/ddi-workshop/

Cómo incorporar inteligencia a los datos difundidos en PDF

Nuevas oportunidades con XMP (Extensible Metadata Platform)

La difusión de datos en formatos tradicionales tales como hojas de cálculo, texto plano, documentos de procesadores de texto, o en el fomato PDF (Portable Document Format) de Adobe, no son nada recomendables para su difusión, pues no aportan información sobre la estructura de los mismos, lo que impide el correcto procesamiento automático por parte de las herramientas de software.

Por esa razón, el año 1991 Statistics Sweden (Suecia) propuso un formato sencillo conocido como PC-Axis, que si bien no deja de ser un documento de texto (txt) incorpora a los datos un cojunto de metadatos estructurales y documentales que facilitan su gestión e interpretación, y permiten que aquéllos sean más facilmente procesables. Posteriomente durante esta década, cinco grandes organismos internacionales conscientes del problema de la difusión de datos en los formatos antes mencionados proponen un nuevo estándar basado en XML que es conocido como SDMX (Statistical Data and Metadata Exchange).

Sin embargo, aún son muchos los Organismos Públicos y Oficinas de Estadísticas que siguen publicando datos en los formatos tradicionales. Entre todos ellos los más usados son las hojas de cálculo Excel (XLS) y los PDF. Posiblemente este último es el peor de los formatos para la distribución de datos; además también se utiliza para la difusión de publicaciones estadísticas que contienen en su interior un importante conjunto de tablas estadísticas, gráficos o mapas.

Renunciando a la capacidad del procesamiento automático de esa información, la posibilidad que nos queda es incorporar a los PDF ciertos metadatos que documenten el contenido de los datos que contienen; para facilitar la búsqueda de los datos en ellos presentes. Para ello, Adobe XMP (Extensible Metadata Platform) facilita la captura, preservación e intercambio de metadatos.

XMP usa XML para describir los metadatos. Dado que está diseñada para existir con cualquier formato de archivo, XMP proporciona una solución flexible para gestionar de forma inteligente los PDF. Al ser completamente personalizable y ampliable, XMP permite que los grupos de trabajo y las organizaciones personalicen los metadatos necesarios para potenciar su producción y flujos de trabajo de publicación.  Adobe XMP permite:

1. Gestionar y automatizar más eficazmente los medios al permitir que los grupos de trabajo definan los metadatos en función de sus necesidades.
2. Expresar los metadatos en XML, lo que permite que los usuarios y sistemas que dependen de este lenguaje lo puedan comprender.
3. Mantener los metadatos a lo largo del curso del flujo de trabajo.

Tal como señalé anteriormente XMP permite incorporar a los PDF el conjunto de metadatos que se desee, pero también se pueden incorporar por defecto los metadatos de algunos estándares tales como Dublin Core.

Para saber más: 

• Extensible Metadata Platform (Inglés)
• Especificaciones, herramientas y tutoriales (Inglés)

¿Qué es y para qué sirve un sistema de metadatos estadísticos?

Los metadatos permiten que los datos estadísticos sean bien entendidos, compartidos y explotados de manera eficaz por todo tipo de usuarios a lo largo del tiempo; y se utilizan para poder identificar, acceder y usar los datos.

 

El Código de Buenas Prácticas de las Estadísticas Europeas en su principio número 15, sobre accesibilidad y claridad, establece que “Las estadísticas europeas deberían presentarse de forma clara y comprensible, difundirse de forma adecuada y conveniente y estar disponibles, asimismo se debería permitir el acceso a las mismas de forma imparcial, con metadatos y orientación de apoyo”.

Una definición utilizada con frecuencia nos dice que los metadatos son "datos sobre datos", en general un objeto que describe o dice algo sobre otro objeto de información. De manera formal podríamos decir que un metadato es un dato que se encarga de mantener un registro sobre el significado, contexto o propósito de un objeto informativo, con la pretensión de poder descubrir, entender, extraer y administrar dicho objeto.

De acuerdo con la definición anterior de metadatos, podríamos afirmar que un Sistema de Metadatos Estadísticos ofrece información sobre las colecciones de objetos estadísticos y la relación entre ellos, así como sobre los procesos en los que están involucrados, describiendo cada uno de los eventos, sus componentes y cada una de las restricciones que se les aplican.

Asimismo, los metadatos de la información estadística informan a los usuarios sobre los datos existentes describiendo: los conceptos, las fuentes, la calidad, su distribución, el formato, restricciones de seguridad, frecuencia de actualización, etcétera; de tal manera que sirven para describir un conjunto de datos estadísticos, contestando a las preguntas: “de qué”, “de cuándo”, “de dónde”, “de quién son”, “de dónde son” y “el cómo” se han generado los datos.

Por tanto, los metadatos estadísticos constituyen la información que permite que los datos estadísticos sean bien entendidos, compartidos y explotados de manera eficaz por todo tipo de usuarios a lo largo del tiempo; y se utilizan para poder identificar, acceder y usar los datos. Algunos de los objetivos que se persiguen con la creación de los metadatos son los siguientes:

1) Que se puedan buscar y encontrar los conjuntos de datos, es decir, saber qué datos existen para una determinada zona, referencia temporal y para un tema determinado; de acuerdo con las características específicas que el usuario demanda.

2) Facilitar la utilización de los datos, mediante la descripción de todas las características técnicas relevantes de los mismos de un modo objetivo, amplio y completo. Haciendo posible su explotación y ayudando a los usuarios tanto en la obtención de resultados como en su mantenimiento y actualización.

3) Que se pueda valorar la calidad del conjunto de datos.

4) Que se pueda elegir cuál es el conjunto de datos más idóneo para las necesidades de los usuarios.

5) Evitar la duplicidad de trabajo, informando sobre la información existente, su ubicación y su disponibilidad. 

Para saber más: Statistical Metadata in a Corporate Context (Inglés)