Buscar en este blog y otros asociados

sábado, 18 de septiembre de 2010

SDMX Cross-domain Code Lists

Las normas técnicas de SDMX son lo suficientemente genéricas como para permitir que las Oficinas Estadísticas puedan adoptar y aplicar cualquier representación específica de metadatos y vocabularios comunes. Sin embargo, el uso común de listas de códigos normalizadas permite a los usuarios trabajar de forma más eficaz, ya que facilita el mantenimiento y reduce la necesidad de recodificaciones o traducciones de códigos. Por ello, optar por las listas de códigos estándares tiene una gran impacto en la eficacia del intercambio de datos. Estas listas de códigos se pueden utilizar en varias capas:

 
  • Difusión e intercambio de datos y metadatos entre organizaciones;
  • Producción y presentación de informes estadísticos;
  • Uso interno (dentro de una institución)

 
SDMX se centra en las dos primeras capas y por ello SDMX Cross-domain Code Lists recomienda distintas listas básicas de códigos para varios conceptos claramente definidos y ampliamente utilizados en la difusión e interacambio de datosEl objetivo final es conseguir que las listas de códigos recomendadas en SDMX se puedan utilizar en todas las etapas del ciclo de vida de datos  por lo que la intención es recomendar más listas para otros conceptos adicionales. En ese sentido podemos distinguir dos grupos de listas de códigos:

 
1. Codificaciones básicas

 
El primer grupo está compuesto por nueve codificaciones básicas asociadas a conceptos claramente definidos y de validez internarcional. Estos códigos están relacionados con los siguientes conceptos: estado de la observación, estado de la confidencialidad, número de decimales, frecuencia, sexo (F-Female, M-Male, U-no especificado o desconocido, N-no aplicable, T-total), formato de hora, multiplicador de unidad, área y moneda. 

 
2. Codificaciones adicionales

 
El segundo grupo está compuesto por códigos adicionales que aún no pueden ser normalizados internacionalemte, porque su definición es específica de un dominio, una organización o una etapa del ciclo de vida de datos (por ejemplo, unidades de medida, sectores institucionales, estado civil). Estos códigos generalmente se usan en el intercabio de datos producto de acuerdos bilaterales, o en organizaciones pertenecientes a un área geográfica específica como pueden ser los usados por Eurostat y la Oficinas Estadísticas del Sistema Estadístico Europeo. SDMX espera que con el tiempo algunos de estos códigos se muevan hacia la categoría de códigos básicos recomendados.

 
Evidentemente los códigos utilizados exclusivamente en una sola institución no se consideran en el documento SDMX Cross-domain Code Lists. Asimismo SDMX considera que es altamente recomendable que para nuevas implementaciones se haga un esfuerzo especial para utilizar tantos elementos como sea posible de las listas recomendadas.

 
Para saber más:

En el blog:

lunes, 13 de septiembre de 2010

Principios básicos del OPEN DATA (datos abiertos)

La iniciativa Open Government Data definió ya hace algún tiempo y con bastante acierto los principios básicos de la apertura de datos. Veamos cuáles son y una justificación de los mismos:

1. DATOS COMPLETOS
Todos los datos deben estar disponibles.

Principio
Todos los datos públicos deben ponerse a disposición de los ciudadanos. Esto incluye cualquier dato que no este sujeto a una lógica privacidad, a la seguridad o a alguna limitación en cuanto a sus derechos.
La razón

Necesitamos ver la foto completa. El cuadro que forman todos los gastos educativos o la actividad que genera la contratación pública. Necesitamos poder comparar la información de una comunidad con la de otra para ver tendencias y progresiones. Necesitamos tener un conjunto extenso que permita obtener la visión a vista de pájaro que es necesaria para poder tomar visiones estratégicas como sociedad.

2. DATOS PRIMARIOS
Los datos disponibles deber estar con máximo nivel de detalle.

Principio
Los datos deben ser recogidos en y por la fuente, con el mayor nivel posible de detalle, y no de forma agregada o modificada.
La razón

La única manera de proporcionar una nivel de agregación flexible a todas las personas que deseen utilizar los datos es proveerlos al nivel más bajo posible y dejar que sea cada proyecto/uso el que determine el nivel de agregación que quiere usar. Podemos decidir visualizar 4 datos agrupados en 2 grupos de 2 elementos o en 1 solo grupo de 4 elementos. Pero si los datos aparecen agregados desde el principio no es posible ahondar en ellos.

Por otra parte y por razones de objetividad y transparencia obvias es necesario que no exista modificación alguna sobre los datos una vez capturados por el organismo correspondiente.

3. PUNTUALIDAD
Datos disponibles a tiempo

Principio
Los datos deben ser accesibles tan rápidamente como sea posible para preservar el valor de los mismos.
La razón

Es cierto que a veces nos puede interesar la vertiente de análisis más histórica de los datos para ver, por ejemplo, las razones por las que nos encontramos en la situación actual. Sin embargo tan interesante o más que esto es poder tener unos datos cercanos para usarlos hoy.

4. ACCESIBLES

Principio
 Los datos deben estar disponible para el más amplio espectro de usuarios y para el más amplio rango de propósitos.
La razón

Vivimos en un mundo cada vez más complejo y esto genera infinitas oportunidades (y problemáticas) a todos los niveles: social, económico, cultural… Abrir los datos a todo tipo de agentes -individuos, compañías, asociaciones, otras entidades públicas- amplia y promueve las posibilidades de que se generen nuevas ideas e iniciativas en este caldo de cultivo.

5. PROCESABLES

 Principio
Los datos deben estar razonablemente estructurados para permitir el procesado automático de los mismos por parte de programas y scripts de software.
La razón

Los desarrolladores necesitan de una estructura mínima para poder ordenar, categorizar y dar sentido a los datos. Sin ella la dificultad y el coste de su tratamiento aumenta exponencialmente.

6. NO DISCRIMINATORIOS

Principio
Los datos están disponibles para cualquiera, sin necesidad de ningún tipo de registro ni licitación.
La razón

En algunos servicios públicos es necesario registrarse (gratuitamente o no) para acceder a datos que son recolectados y tratados de manera pública. Cada uno de estos registros no es si no una barrera más para la distribución de contenidos.

7. NO PROPIETARIOS

Principio
Los datos deben estar disponibles en un formato sobre el que ninguna entidad tenga control exclusivo.
La razón

Los formatos libres permiten que se genere software para su uso en cualquier plataforma o sistema y habitualmente son más fáciles de tratar y de analizar debido a su naturaleza abierta. Adicionalmente posibles problemas de seguridad en los mismos pueden ser inspeccionados de manera global por decenas de miles de expertos y no requieren de la contratación de los servicios de un proveedor concreto para su uso.

8. LIBRES DE LICENCIA

Principio
Los datos no deben estar sujetos a ningún copyright, patente, marca comercial o regulación de secretos comerciales. Aunque de acuerdo con el primer punto puede haber restricciones lógicas por razones de privacidad, seguridad o derechos.
La razón

Las licencias y derechos de copyright son a veces el mayor inconveniente para la redistribución de contenidos: da igual como de difícil o fácil sea a nivel técnico distribuir los datos… si es ilegal da igual el esfuerzo que sea necesario: es ilegal.

 PARA SABER MÁS:

 Larry Lessig on the Open Government Data Principles


ENLACES RELACIONADOS:

jueves, 9 de septiembre de 2010

La Comisión Europea emprende una consulta sobre la reutilización de los datos del sector público

La Comisión Europea ha abierto una consulta pública sobre la Directiva de la UE relativa a la reutilización de la información del sector público (ISP). El concepto de ISP abarca todo tipo de datos generados por organismos públicos (mapas e información meteorológica, jurídica, financiera, económica y sobre tráfico) que pueden ser utilizados por terceros en productos innovadores como los sistemas de navegación para automóviles, las previsiones meteorológicas y las aplicaciones de información sobre viajes que pueden descargarse en los teléfonos inteligentes. Según un estudio de 2006, los datos públicos reutilizados (de forma gratuita o previo pago de una tarifa) generan en la Unión un volumen de negocios de mercado cifrado en un mínimo de 27 000 millones de euros. Las contribuciones a la citada consulta se integrarán en la revisión de la Directiva ISP que forma parte de la Agenda Digital para Europa, cuya finalidad es contribuir a alcanzar los objetivos de aumento de la competitividad, la innovación y la creación fijados por la Unión. La consulta estará abierta hasta el 30 de noviembre de 2010.

Neelie Kroes, Vicepresidenta de la Comisión y responsable de la Agenda Digital, afirmó que «el uso más eficaz y frecuente de la información del sector público encierra un gran potencial para la creación de actividad económica y puestos de trabajo y para ofrecer a los consumidores una mayor gama de productos con una mejor relación calidad-precio. El mercado de las aplicaciones para móviles, basado parcialmente en datos derivados de la ISP, podría aumentar su valor hasta 15 000 millones de euros de aquí a 2013. No obstante, una gran proporción de la ISP europea está infraexplotada o sin explotar. No podemos desperdiciar esta oportunidad, por lo que hemos de estudiar la forma de modificar las normas de la UE sobre reutilización de la ISP a fin de liberar plenamente su potencial económico».

La Comisión Europea invita a todos los interesados a enviar su contribución sobre los aspectos clave de la reutilización de la ISP y, específicamente, sobre las posibles modificaciones de las disposiciones de la Directiva vigente en lo relativo a cuestiones como el ámbito de aplicación, el pago de tasas y la certificación de datos, a medidas prácticas como la necesidad de organizar campañas de información a través de portales web nacionales y a las repercusiones de los cambios que ya se han producido o de los obstáculos que aún persisten.

La revisión de la Directiva ISP es una de las iniciativas clave de la Agenda Digital para Europa (véanse los documentos IP/10/581, MEMO/10/199 y MEMO/10/200). En su estrategia, la Comisión subrayaba que los gobiernos pueden estimular los mercados de contenidos digitales mediante la publicación de la información del sector público en condiciones de transparencia, eficacia y no discriminación. He ahí una importante fuente de crecimiento potencial de los servicios innovadores en línea.

Contexto

La Directiva ISP de la UE se adoptó el 17 de noviembre de 2003. En ella se regula la actuación de los organismos púbIicos que participan en el mercado de reutilización de datos públicos y se anima a los Estados miembros de la UE a emprender políticas proactivas de reutilización de la ISP. La Directiva ha contribuido a eliminar algunas de las trabas que entorpecían esa reutilización, como las posiciones monopolísticas de los organismos públicos o la falta de transparencia del mercado de datos públicos reutilizables.

En 2009, la Comisión revisó la aplicación de las reglas correspondientes a la ISP en la UE, proceso durante el que se confirmó la creciente reutilización de esa información y la adopción de medidas de fomento de la misma por parte de los Estados miembros y los organismos públicos. La Directiva de 2003 tuvo repercusiones positivas en varios campos, como el geográfico y el meteorológico. No obstante, la Comisión también advirtió a los Estados miembros de que la plena explotación del potencial de la ISP para la economía de la UE requeriría la eliminación de los obstáculos que dificultaban la mencionada reutilización, entre los que se contaban la discriminación entre usuarios potenciales, el cobro de tarifas excesivas por la reutilización de la información del sector público y la aplicación de dificultosas políticas de certificados. Además, señalaba problemas prácticos como el desconocimiento de qué información del sector público se halla disponible y la falta de conciencia, dentro de los organismos públicos, del potencial económico de sus datos.

Tras concluir que, en su forma actual, la Directiva de 2003 no ha surtido sus plenos efectos, la Comisión decidió proceder a una nueva revisión antes del final de 2012, fecha para la que se dispondrá de más datos sobre la incidencia, los efectos y la aplicación de las normas de la UE sobre información del sector público. Esa revisión figura entre las iniciativas clave de la Agenda Digital para Europa. Los resultados de la consulta se integrarán en la revisión.

Para saber más:

Enlaces relacionados:

Standard Code Lists Project de Eurostat

 

En Diciembre de 2009 el Consejo de Administración de Eurostat encarga a la unidad B6 de "Bases de datos de referencia y metadatos" la armonización de las listas de códigos utilizadas en el conjunto del Eurostat. A continuación se explican los antecedentes, las reglas y los procesos seguidos por dicha unidad en el mencionado trabajo de armonización.

¿Qué son las listas de códigos para fines estadísticos?

Las listas de códigos son metadatos estructurales asociados a los conceptos estadísticos utilizados en las tablas multidimensionales de la Web de Eurostat. En general estas listas se basan en las clasificaciones estadísticas oficiales, tales como NACE Rev. 2 y CIUO, pero también existen otras listas de códigos asociadas a conceptos tales como el sexo, la edad, el tiempo, etc. Actualmente existen alrededor de 500 listas de códigos en la base de datos Eurostat.

¿Por qué tienen que estar armonizadas las listas de códigos?

La gran mayoría de las listas de códigos utilizadas en las bases de datos de Eurostat, tanto en difusión como en producción, no están armonizadas en la actualidad. Esto significa que se utilizan a veces diferentes códigos para el mismo concepto estadístico (por ejemplo, para el concepto fabricación se utilizan los códigos "Dr", "B0200", "SE0_4" y "TOT_MANUF"  en cuatro bases de datos de producción diferentes, mientras que el código estándar para esta sección NACE es "D" en referencia a la industria).

Esta situación no es muy satisfactoria, tanto para los productores de datos como para los usuarios de los mismos , ya que implica realizar trabajos extra que suponen una fuente permanente de errores. Por ello la Unidad B6 de Eurostat, se ha embarcando en la elaboración, lanzamiento y gestión de listas de códigos estadísticos estandarizadas; el uso homogéneo de estas listas estandarizadas en todas las estadísticas y en todas las etapas del Ciclo de Vida de los Datos, facilita la administración de datos y su intercambio.

¿Cuáles son las normas utilizadas para armonizar las listas de códigos?

Los criterios utilizados por Eurostat para armonizar las listas de códigos son los siguientes:
  1. Se basan en las clasificaciones estadísticas oficiales o en el uso de estándares siempre que sea posible.
  2. Se utilizan sólo caracteres alfanuméricos, así como el "-" (guión) y el "_" (subrayado), con la finalidad de evitar los problemas relacionados con el uso de los códigos en  las aplicaciones de software. El guión "-" se utiliza para definir intervalos, y el subrayado "_" para la agregación de dos códigos.
  3. Para evitar problemas con los 'ceros' se utiliza un acrónimo como prefijo antes de los códigos numéricos.
  4. Para los agregados se insertan códigos adicionales en las listas estandarizadas siempre que éstos sean necesarios para la producción de datos y su difusión.
  5. Las listas de códigos deben ser directamente utilizables y cubrir la variedad de bases de datos de referencia.
¿Quién hace qué?

La unidad B6 de Eurostat elabora y mantiene las listas de códigos estandarizadas, basándose en la labor realizada por las unidades de producción y en estrecha colaboración con los administradores de los dominios de información estadística. Los códigos nuevos se envían a la unidad B6 por las unidades de producción y los administradores de dominios, para incluirlos en las revisiones regulares de las listas si la solicitud está justificada.

La unidad B6 difunde estas listas a través del servidor de metadatos de Eurostat, denominado RAMON, donde se publican clasificaciones, conceptos y definiciones, así como glosarios. Esto significa que las listas de códigos estandarizas también están disponibles para los usuarios externos. En el futuro, tras el desarrollo de nuevas aplicaciones en Eurostat, las listas de códigos estandarizadas se cargarán en su gestor de metadatos.

¿Cómo se deben utilizar estas listas de código estandarizadas?

Las listas armonizadas son o serán utilizadas en las Base de datos de referencia de Eurostat (NewCronos en la actualidad, y Eurobase en el futuro), así como en el entorno de difusión de estadísticas. Además los administradores de los dominios estadísticos deben utilizarlos, siempre que sea posible, en sus bases de datos de producción y en sus formatos de transmisión de datos. Incluso si a veces no es posible ninguna aplicación inmediata en el nivel de base de datos de producción, los administradores de dominio tienen que usarlos siempre que surja la oportunidad. La adopción de los códigos armonizados en la cadena de producción de datos permitirá reducir la necesidad de transcodification y el riesgo de errores.

Estos códigos armonizados podrían ampliarse también a los Estados miembros ya sea directamente o cada vez que éstos participan en los formatos de transmisión de datos definidos por Eurostat.

Para saber más:

jueves, 2 de septiembre de 2010

¿Qué es GENERICODE?

GENERICODE es un proyecto para definir un formato estándar de descripción de listas de códigos (también conocido como enumeraciones o vocabularios controlados). El proyecto tiene como objetivo proporcionar lo siguiente:
  1. Un modelo estándar y la representación XML del contenido de una lista de códigos.
  2. Un modelo estándar y la representación XML de los datos asociados con los elementos de una lista de códigos.
  3. Un modelo estándar y la representación XML de cómo nuevas listas se derivan de las listas existentes.
Este último punto distingue a GENERICODE de soluciones que no ofrecen más que una instantánea estática de los contenidos de una versión determinada de una lista de códigos. Por lo tanto, GENERICODE no sólo ofrece una representación de los elementos de una lista de códigos, también permite relacionar esa lista con las versiones anteriores de la misma, o con otras listas. Esto simplifica el esfuerzo para entender cómo una nueva versión de una lista difiere de la versión anterior y simplifica el cálculo de los efectos del cambio en los sistemas y procesos existentes.

GENERICODE ahora es una de las especificaciones OASIS (Organization for the Advancement of Structured Information Standards), y en ese sentido el OASIS Code List Representation TC está trabajando en una versión estandarizada de GENERICODE. Actualmente la especificación 1.0 de OASIS GENERICODE incluye las partes de la representación estática de la propuesta original del proyecto.

 
Asimismo, es importante señalar que GENERICODE es una de las especificaciones utilizadas dentro del estándar DDI (Data Documentation Initiative) para la descripción de listas de códigos en ficheros de datos, tal como consta en la DDI Technical Specification, April 2008, part I, section 4.3: Controlled Vocabularies. Asociado a estas especificacioens técnicas, se puede consultar el documento sobre buenas prácticas en la elaboración de Vocabularios Controlados preparado por uno de los grupos de trabajo de la DDI-Alliance en una sesión en la Schloss Dagstuhl, en Wadern (Alemania), en Noviembre de 2008.
   
Para saber más: