Buscar en este blog y otros asociados

jueves, 31 de enero de 2019

Algunos apuntes para un debate maduro sobre el modelo de organización de la estadística pública en Canarias y en defensa del modelo unificado-descentralizado

Modelos de organización de un sistema estadístico público

En la primera versión del Manual de organización estadística[1], publicada en 1954 por Naciones Unidas, se considera que la institución única es uno de los tipos de sistema estadístico:
“Un servicio de esta naturaleza se caracteriza por la existencia de una oficina dentro de la administración pública que se encarga de organizar y aplicar en todo el país un programa de estadísticas sociales y económicas coordinadas. Esta oficina reúne, elabora y publica información estadística (...), y además colabora con los ministerios para preparar estadísticas administrativas y especiales”.
En el Manual de 1980, la descripción de este tipo de sistema es más general, incluyendo el concepto de unificación descentralizada de la actividad estadística:
“El Servicio nacional de estadística está centralizado si la administración y las operaciones de los programas estadísticos son predominantemente responsabilidad de un solo organismo gubernamental autónomo, dirigido por el estadístico principal del país. La centralización puede incluir el destacar personal a otros departamentos o la delegación de algunas funciones en dependencias separadas geográficamente que, sin embargo, siguen subordinadas a la autoridad central
Desde el punto de vista práctico sin embargo nos encontramos con diversos tipos de modelos que se mueven entre el claro-oscuro de la centralización y la descentralización. Una relación no completa de estos tipos de modelos es la siguiente:

Ventajas de la unificación-descentralizada de la actividad estadística según Naciones Unidas

Las ventajas que atribuye el Manual de 1954 y 1980 a esta forma de organización son las siguientes:
  1. Concentración de mano de obra especializada y escasa en un centro único.
  1. Coordinación de los programas en una oficina única.
  1. Concentración del escaso equipo y de los conocimientos especializados sobre su funcionamiento.
  1. Fácil reconocimiento de la institución con el fin de garantizar la calidad, la imparcialidad y la independencia del poder político.
  1. A los usuarios les resulta cómodo y eficaz obtener materiales estadísticos en varias esferas de una sola fuente.
  1. A los informantes de censos y encuestas les resulta más cómodo contar con una sola oficina, especialmente si sospechan que existen duplicaciones.
  1. Un mecanismo de organización centralizado facilita la creación de tabulaciones específicas y ordenaciones horizontales, que a veces son necesarias según las necesidades de los usuarios.
  1. La protección de la confidencialidad de los datos que ingresan y que egresan es más fácil y creíble si está a cargo de un único organismo y no de varios.
  1. Finalmente, se afirma que para una oficina de este tipo debería ser más sencillo mantener el equilibrio de prioridades de cada campo estadístico, es decir, coordinar todo el servicio.
En el análisis posterior se hace hincapié en la necesidad de un sistema integrado de estadísticas sociales y económicas; suponiendo que ambos sistemas cuenten con un financiamiento suficiente y un liderazgo capaz, esto puede resultar más fácil si los problemas de coordinación son internos y no externos.
Por otra parte el Manual señala dos ventajas de los modelos descentralizados:
  1. La primera es que el organismo de estadística está próximo, tanto física como intelectualmente, a la entidad política correspondiente. En este caso es más probable que el organismo de estadística tenga una mayor capacidad de respuesta a las necesidades en materia de política y esté más al corriente de los requisitos futuros.
Sin embargo en un modelo de unificación descentralizada de la actividad estadística, como se plantea en el Anteproyecto de Ley Estadística de Canarias, esta ventaja se sigue manteniendo.
  1. La segunda tiene que ver con el jefe de estadística. Como se señala en el Manual, el jefe de estadística desempeña un papel fundamental en la definición de la filosofía de gestión de la institución y en el liderazgo intelectual y ético. En un sistema descentralizado, una elección desafortunada del director de un organismo o institución determinado no afectará directamente la filosofía de gestión de otros organismos.
Este riesgo se puede corregir con diversas medidas, algunas incluidas en el Anteproyecto de Ley, tales como:
  1. Asignando la planificación, organización y evaluación de la actividad estadística a órganos colegiados superiores.
  1. Facilitando la participación del poder legislativo, de ejecutivos locales y de agentes sociales en la planificación estadística.
  1. Favoreciendo el control externo y la evaluación de la actividad estadística por algún órgano independiente.
  1. Asignando la elección del jefe de estadística al Parlamento.  
El tema de la centralización y la descentralización es objeto de una gran controversia en la comunidad estadística. A modo de resúmen el Manual de Organización fija algunas pautas para aclarar dicho debate desde el punto de vista de la eficiencia del mismo:
  1. Cuanto mayor sea la capacidad de coordinación en el centro del sistema, tanto mayores serán las posibilidades de integrar las estadísticas en forma eficaz.
  1. Las estadísticas integradas (por definición, conceptualmente y mediante el uso de nomenclaturas y clasificaciones armonizadas) son mucho más eficaces que las estadísticas obtenidas en un marco no armonizado.
  1. Si la oficina que se encarga de la coordinación está respaldada por los datos, por la facultad jurídica para aplicar los instrumentos de coordinación y por un presupuesto adecuado, su capacidad de coordinación es correlativamente mayor que la de una oficina que carezca de estos atributos.
  1. En un sistema que carece de los instrumentos suficientes de coordinación y gestión[2], es fundamental que el jefe de estadística tenga una categoría adecuada, los contactos necesarios con instancias superiores y la capacidad para ofrecer perspectivas de ascenso a los funcionarios inteligentes, competentes y motivados.
  1. La proximidad física con los analistas políticos puede ser importante para los estadísticos que deban determinar las necesidades en materia de políticas. Sin embargo, existen ejemplos de sistemas centralizados en los que se ha logrado dar respuesta a las necesidades de los funcionarios encargados de la formulación de políticas.
  1. En los sistemas centralizados, las posibilidades concretas de ascenso son tanto mayores cuanto más grande sea la organización. Los institutos de estadística pequeños, con un número reducido de puestos profesionales, dan la sensación de que las posibilidades de ascenso son limitadas.
  1. Las economías de escala permiten al jefe de estadística administrar el presupuesto de que dispone con mayor flexibilidad.
  1. Cualesquiera sean los mecanismos institucionales, los analistas de políticas y los encargados de la adopción de decisiones en las actividades más especializadas deben tener la certeza de que pueden hacer participar a los estadísticos en forma directa en la búsqueda de información cuantitativa más pertinente y confiable.
Pese a estos argumentos, en el Manual de 1980 se reconoce que es preciso dar respuesta al grado de centralización, sobre el cual se afirma:
Parece existir consenso en el sentido de que una de las oficinas estadísticas de entre todas las responsables de la recopilación y difusión de estadísticas debería “(...) estar encargada de los censos de población, encuestas por hogares, estadísticas demográficas y una amplia gama de estadísticas económicas que incluyen censos y encuestas de establecimientos y empresas, así como precios, comercio internacional, cuentas nacionales y otras actividades generales. Parece haber menos consenso con respecto (...) a la esfera social —educación, sanidad, delincuencia, etc.— en la cual las estadísticas se basan en considerable medida en registros administrativos reunidos por otros departamentos oficiales.
Sin embargo, tal como se indica en diferentes documentos de NNUU, como por ejemplo en el manual “Using Administrative and Secondary Sources for Official Statistics: A Handbook of Principles and Practices”, el aprovechamiento de las fuentes administrativas para fines estadísticos y la creación de registros estadísticos basados en ficheros administrativos; dando lugar a un sistema estadístico altamente basado en fuentes secundarias como ocurre con los Países Nórdicos, requiere necesariamente de sistemas altamente centralizados y normalizados.

La unificación descentralizada como respuesta a los retos de la sociedad datificada del Siglo XXI

La sociedad de finales de Siglo XX y principios del Siglo XXI está cambiando rápidamente en muchos aspectos, entre ellos los vinculados al mundo de la información. Vivimos en la época SMAC (Social, Mobile, Analytics, Cloud) donde las personas, muchas de ellas denominadas nativas digitales, no conciben su vida sin un dispositivo móvil a través del que se relacionan con el mundo. Este estilo de vida, al que ya se llama digital, genera un tsunami de cambios y una verdadera montaña de datos en flujo constante.
A esto se suma lo que Kevin Ashton denominó Internet de las Cosas (IoT, por sus siglas en inglés), concepto que se refiere a la interconexión digital de objetos cotidianos con internet. La idea subyacente es que los objetos se equipan con sensores, que generan datos que se comunican por Internet. La Internet de las Cosas tiene una fuerte demandante de equipos conectados en las ciudades inteligentes, en las que los sistemas de iluminación, la señalización y otros servicios públicos automatizados representarán millones de objetos conectados a Internet.
El nacimiento de estos nuevos fenómenos es producto del advenimiento de las computadoras, que trajo consigo equipos de medida y almacenaje que hicieron sumamente más eficiente el proceso de datificación. La incorporación de ordenadores a las empresas y a las administraciones públicas extendió el almacenamiento y tratamiento de datos durante los años ochenta y noventa del siglo pasado, dando lugar a la inteligencia de negocios aplicada tanto a la empresa como al sector público (Business Intelligence), y dando lugar también a implicaciones en la estadística pública con el surgimiento de la estadística basada en registros administrativos[3]. Este avance también se facilitó gracias al tratamiento y análisis matemático de datos, permitiendo descubrir su valor oculto y dando lugar a términos comerciales como Data Mining que describe el uso de la estadística y de métodos matemáticos en el análisis de los datos empresariales.
Por lo tanto las empresas vienen desarrollando desde hace años sistemas de extracción, tratamiento y análisis de datos de sus sistemas de gestión. Además con el tiempo se ha extendido el acceso y la disponibilidad de datos, convirtiéndose en la base de nuevos modelos de negocio más allá del negocio tradicional -como por ejemplo el proyecto Smart Step de Telefónica[4]-,  de negocios nuevos basados en datos a cambio de servicios -Google sería el ejemplo paradigmático-, o de negocios fundamentados en datos abiertos de origen público o privado -PriceStat[5] sería un buen ejemplo-.
Por otra parte, la puesta en valor de los datos para fines económicos o democráticos ha dado lugar a que la sociedad exija a sus Gobiernos a poner a disposición de ciudadanos y empresas los datos de los que dispone. Los gobiernos han reaccionado a las exigencias mediante la formulación de políticas sobre datos abiertos y de disponibilidad de información del sector público. En la Unión Europea se ha traducido en la promulgación de la Directiva relativa a la reutilización de la información del sector público[6] en la que especifica que los documentos elaborados por los organismos del sector público de los Estados miembros constituyen un conjunto amplio, diverso y valioso de recursos que pueden beneficiar a la economía del conocimiento:
“Las políticas de apertura de la información, que propician la disponibilidad y la  reutilización generalizadas de la información del sector público con fines privados o comerciales, con restricciones mínimas o nulas de carácter jurídico, técnico o económico, y que favorecen la circulación de la información no solo para los agentes económicos, sino también para el público, pueden desempe­ñar una función importante a la hora de impulsar el desarrollo de nuevos servicios basados en formas novedosas de combinar y utilizar esa información, estimular el crecimiento económico y promover el compromiso social.”
La nueva era de la datificación masiva, junto con el aumento de la potencia de procesamiento y capacidad de almacenamiento de datos, ha sido descrita por muchos autores, entre ellos por Mayer-Schönberger and Cukier (2013)[7]:
“Nos hallamos inmersos en un gran proyecto de infraestructura que, de alguna manera, rivaliza con los del pasado: de los acueductos romanos a la Encyclopédie de la Ilustración. No llegamos a advertirlo con claridad porque el proyecto de hoy es demasiado nuevo, porque estamos en mitad de él, y porque, a diferencia del agua que fluye por los acueductos, el producto de nuestras labores es intangible. El proyecto es la datificación. Como aquellos otros avances infraestructurales, traerá consigo cambios fundamentales en la sociedad.”
En este contexto tecnológico surge el término Big Data, entendido como como el análisis y la gestión de enormes volúmenes de datos que no pueden ser tratados de manera convencional, ya que superan los límites y capacidades de las herramientas de software habitualmente utilizadas para la captura, gestión y procesamiento de datos. Y a los datos procedentes de estos nuevos procesos de datificación se les conoce como datos de fuentes Big Data a los que se les asocia nuevas características: volumen, velocidad y variedad.
El cambio de contexto en el mundo de la información, que hemos señalado en el apartado anterior, tiene implicaciones directas en la Oficinas de Estadística. Entre ellas encontramos muchas cuestiones prácticas, pero también existe una importante y estratégica: ¿Qué posición quieren ocupar las Oficinas de Estadística en el futuro sociedad de la información? En esta nueva situación surgen diversas cuestiones fundamentales para una Oficina de Estadística y el futuro de la estadística pública:
  1. ¿Cómo garantizar que las Oficinas de Estadística aportan valor añadido único en el futuro? y en ese sentido ¿las Oficinas de Estadística deben seguir haciendo estadísticas para las que existe una alternativa de mercado?
  1. ¿Pueden las Oficinas de Estadística asumir nuevas funciones o capacidades, en base a su posición institucional y a los conocimientos que han acumulado? Por ejemplo ¿se puede garantizar el acceso a fuentes de datos de propiedad privada?
  1. ¿Sería mejor cambiar el papel de las Oficinas de Estadística pasando de la producción de información estadística hacia la validación de la información producida por los demás?
Desde un punto de vista práctico también surgen preguntas importantes respecto al uso potencial de las fuentes Big Data:
  1. ¿En qué medida son útiles las fuentes Big Data para la producción y la mejora de las estadísticas públicas actuales? y ¿qué nueva información puede producir una Oficina Estadística mediante el uso de estas nuevas fuentes de datos?
  1. ¿Cuál debe ser el marco jurídico de acceso a las fuentes Big Data para fines estadísticos? y si se tuviera acceso ¿cuáles son los riesgos de usar datos sobre los que no se controla su generación por parte de las Administraciones Públicas? además de ¿cómo asegurar la seguridad y confidencialidad de dichos datos?
  1. ¿Cuáles son los requerimientos metodológicos y tecnológicos para el uso de fuentes Big Data?
  1. El uso de estas fuentes ¿significa cambios de procedimientos? ¿es necesario aumentar la velocidad de producción/difusión de datos para aprovechar una de las principales características de estas fuentes?
El primer documento (UNECE, 2013) que estudia el problema Big Data en la estadística pública What Does ‘Big Data’ Mean for Official Statistics?[8] lo define como una variante de la propuesta de Douglas Laney:
“Big Data son las fuentes de datos que generalmente pueden ser descritas como de alto volumen, velocidad y variedad, que requieren formas rentables e innovadoras de procesamiento con el fin de mejorar los análisis y de apoyar las tomas de decisiones”
En este documento se enumeran algunos de los retos derivados de las características señaladas: (1) Legislativo, p.e. respecto al acceso y uso de los datos (2) Privacidad, p.e. gestión de la confianza pública para la aceptación del uso de esas fuentes y su enlace con otras fuentes de datos (3) Financiero, p.e. coste-beneficio potencial de acceso a las fuentes de datos (4) Gestión, p.e. políticas y directivas sobre la gestión y protección de los datos (5) Metodológico, p.e. calidad de los datos e idoneidad de los métodos estadísticos (6) Tecnológico, p.e. temas relacionados con la tecnología de la información.
Es evidente que el desafío del uso de datos de fuentes Big Data dentro de la estadística pública significa necesariamente la modernización de las Oficinas Estadísticas. Ese desafío requiere al abordaje de diferentes retos. Retos que, como señala el Manual de Organización de NNUU, son más viables desde el Oficinas Estadísticas Centralizadas y que sintéticamente podemos resumir en los siguientes puntos:
Estrategia: Es necesario definir cómo integrar las nuevas fuentes Big Data en la actividad de las Oficinas Estadísticas. Esta estrategia puede estar dirigida tanto a la integración de las nuevas fuentes en la producción habitual de las Oficinas, como en la identificación de nueva información estadística basada en dichas fuentes.
Acceso: Existe un debate intenso sobre los datos, su propiedad y el derecho de acceso para fines públicos. Si bien la legislación estadística puede obligar a facilitar el acceso a las Oficinas Estadísticas, esta capacidad tendrá que convivir en la tensión de intereses público-privado contrapuestos; tensión que necesitará de espacios de cooperación con los proveedores.
Privacidad: La datificación de buena parte de nuestras vidas genera actitudes diversas en la opinión pública sobre el derecho a la intimidad. Sin embargo cuando se trata de gran acumulación de datos por parte del Estado la confidencialidad, proporcionalidad y fin de los mismos pasan a ser una importante preocupación ciudadana. En ese sentido existe el peligro de que entre la sociedad se genere una visión de las Oficinas de Estadísticas como instituciones orwellianas.
Por otra parte, la generación de gran cantidad de datos a gran velocidad pone sobre la mesa nuevos retos tecnológicos para cumplir el mandato del deber de secreto estadístico, que impide que a través de la información publicada por las Oficinas Estadísticas se pueda identificar directa o indirectamente a las unidades de análisis.
Calidad: La dimensiones de evaluación de la calidad de las fuentes Big Data para su integración en la actividad de las Oficinas Estadísticas deben ser identificadas, especialmente debido a que son datos recopilados para fines no estadísticos.
Metodología: Con las fuentes Big Data nos encontramos ante la dificultad de datos recopilados para fines no estadísticos, por lo tanto estamos ante problemas similares a los planteados con los registros administrativos, al menos en lo que respecta a los conceptos usados en la recolección de datos y su relación con las definiciones internacionalmente armonizadas. Además algunas de las fuentes Big Data son muestras, con el problema añadido de ser muestras no probabilísticas y posiblemente sesgadas por el método o por las cuotas de mercado del agente recolector.
Tecnología: La incorporación de fuentes Big Data a la actividad estadística requerirá de la incorporación de tecnología Big Data a las Oficinas Estadísticas. Definir arquitecturas, hardware y software requeridos es uno de los retos que debe ser abordado.
Formación: El desarrollo de las capacidades y habilidades necesarias para explorar con eficacia los Big Data es esencial para su incorporación a la actividad de la Oficinas Estadísticas. Esto requiere esfuerzos sistemáticos, como cursos de formación adecuados y el establecimiento de comunidades de intercambio de experiencias y buenas prácticas.

Casos de centralización de actividad estadística

Centralización de la actividad estadística en una única oficina:
  1. Oficina Estadística de la Comisión Europea (Eurostat)
  2. Oficina Estadística de Canadá
  3. Oficina Estadística de Australia
  4. Oficina Estadística de Nueva Zelanda
Centralización de actividad estadística y geográfica en un oficina
  1. Oficina Estadística de la Comisión Europea (Eurostat)
  2. Instituto Nacional de Estadística y Geografía (INEGI) -México-
  3. Instituto de Estadística y Cartografía de Andalucía (IECA)

Conclusión

Teniendo en cuenta las consideraciones presentadas por Naciones Unidas, se estima que un modelo de unificación descentralizada como el propuesto en el Anteproyecto de Ley Estadística de Canarias; que se beneficia de las ventajas señaladas para el modelo centralizado y que a su vez corrige los riesgos anunciados por la comunidad estadística internacional, es el mejor modelo posible para el abordaje de la estadística de interés de la Comunidad Autónoma de Canarias durante las próximas décadas del Siglo XXI.

[1] United Nations. Manual de Organización Estadística. El Funcionamiento y la Organización de una Oficina de Estadística. New York: United Nations Publications, 2005. http://www.cepal.org/publicaciones/xml/7/15497/lcw6e.pdf.
[2] Referidos a los instrumentos de coordinación enumerados en el Anexo B del Capítulo II del Manual de organización estadística.
[3] Wallgren, Anders, and Britt Wallgren. Register-Based Statistics: Administrative Data for Statistical Purposes. Wiley Series in Survey Methodology. Chichester, England ; Hoboken, NJ: John Wiley & Sons Ltd, 2007.
[4] http://dynamicinsights.telefonica.com/blog/488/smart-steps-2
[5] http://www.pricestats.com/
[6] Unión Europea. Directiva 2013/37/EU del Parlamento Europeo y del Consejo de 26 de Junio, por la que se modifica la Directiva 2003/98/EC relativa a la reutilización de la información del sector público, n.d.
[7] Mayer-Schönberger, Viktor, and Kenneth Cukier. Big Data: A Revolution That Will Transform How We Live, Work, and Think. Boston: Houghton Mifflin Harcourt, 2013.
[8] Conference of European Statisticians. “What Does ‘Big Data’ Mean for Official Statistics?” UNECE, March 10, 2013.