El IMD, una herramienta clave de evaluación y mejora continua

reto

como podemos medir el grado de madurez digital de un ente y de un territorio para que cualquier administración pueda acelerar su transformación ¿para conseguir mejorar la vida de las personas?

problemática 

La transformación digital de un ente es un proceso complejo que requiere una evaluación constante de los avances realizados. Ahora bien, desarrollar un instrumento que permita medir el grado de madurez digital supone una serie de dificultades:

• no existe una definición precisa del concepto de gobierno digital que determine de forma inequívoca sus dimensiones y los indicadores que lo definen;
• los procesos de recolección e integración de los datos necesarios para la elaboración de estos indicadores presentan dificultades;
• no siempre se dispone de datos suficientes o de calidad, lo que lleva a tener que descartar algunos indicadores del análisis;
• debe satisfacer las necesidades de todos los ayuntamientos por igual y permitir establecer comparaciones, independientemente de su tamaño. Esto no es trivial, puesto que la población condiciona el conjunto de servicios a prestar y el volumen potencial de actividad de los servicios digitales que presta.

A la complejidad que comporta medir el grado de transformación digital de un ente, se suma que la mayoría de los municipios de Cataluña son pequeños o medios y tienen limitaciones de todo tipo para afrontar este reto, como:

1. recursos económicos muy limitados;
2. dificultades de acceso a los datos;
3. falta de capacidades sobre cómo definir y generar los indicadores clave digitales;
4. imposibilidad de poder realizar comparaciones con otras administraciones similares por dificultad de acceso a los datos y falta de estándares de datos; y
5. trabajadores públicos sin habilidades analíticas avanzadas.

Las administraciones locales necesitan, pues, una solución "llave en mano" que les permita evaluar su proceso de cambio con un mínimo esfuerzo y tomar decisiones lo más acertadas posibles basándose en datos. Para dar respuesta a esta necesidad, la AOC ha creado el Índice de Madurez Digital (en adelante IMD), una herramienta que evalúa el grado de transformación digital de las administraciones locales catalanas y permite a las administraciones compararse entre ellas.

solución propuesta

El IMD es una herramienta que nos aporta conocimiento para diseñar una estrategia de transformación digital para el conjunto de las APC, así como planificar las actuaciones necesarias a realizar.

No es un indicador más. Es un sistema de información (“relaciona indicadores”) que permite:

• Conocer el grado de digitalización de un ente público (puntos fuertes y puntos débiles de cada ente) y comprender el avance de su proceso de transformación.
• Comparar y tomar perspectiva. La madurez digital de cada ente se hace más evidente cuando se compara (se contrasta) con los demás. Además permite conocer el grado de madurez digital de un territorio, ya sea toda Cataluña, una provincia o una comarca.
• Obtener una visión de conjunto (quien encabeza y necesita ayuda) y entender el contexto de la digitalización del sector público (puntos fuertes y ámbitos de mejora).
• Otros: crear una cultura basada en los datos, identificar las mejores prácticas, poner en valor el trabajo realizado.

Además, es especialmente útil para los organismos que deben prestar apoyo en la transformación digital de las entidades locales (¡como la AOC!), ya que permite identificar los objetivos sobre los que actuar y facilita el diseño y análisis de la efectividad de las políticas de digitalización.

Hasta 2018, la AOC calculaba el grado de digitalización de los entes locales a partir de los  indicadores del Mapa de Administración Electrónica. Estos indicadores se obtenían a partir de los datos de implantación de los servicios AOC y del análisis de las webs municipales. Todos eran indicadores de tipo “atributo”, es decir, indican cualidades o estados que el ente analizado puede cumplir o no (p. ej. dispone de carpeta del ciudadano, sede-e, perfil del contratante…; ofrece trámites online (envía notificaciones-e, acepta facturas-e…; intercambia datos con otras administraciones, es entidad de registro T-CAT o idCAT, ha aprobado normativa en materia de administración-e, se ha adherido al servicio FUE, etc.) . Con el tiempo fuimos constatando que la adopción de servicios digitales por parte de los entes locales se iba generalizando y que evaluar el grado de implantación no era suficiente. Había que buscar nuevos indicadores que reflejaran el avance en la transformación digital, como el uso que les hacían de estos servicios digitales.

En 2018 se introdujeron los indicadores de actividad, es decir, “variables” que se pueden cuantificar, como:

• Consultas en Via Oberta
• Trámites EACAT (o Trámites SIR)
• Trámites e-TRAM (incluyendo el envío genérico y el canal FUE)
• Facturas e-FACT
• Notificaciones e-NOTUM
• Uso de las T-CAT (Validador)
• Publicaciones en el e-TABLERO
• Publicaciones en el perfil del Contratante (licitaciones electrónicas)
• Publicaciones/actualizaciones en el portal de transparencia
• Envíos del IVTM y/o TESTRA

Ahora bien, en un contexto tan cambiante como el actual, la forma de evaluar el gobierno electrónico debe evolucionar continuamente para seguir siendo efectiva e incorporar nuevos aspectos que respondan a la realidad del momento, basados ​​en la evidencia empírica. El proyecto de los informes y mapas sobre la e-Administración entró así en una nueva fase a finales de 2019 y fue sustituido por un índice que bautizamos como elÍndice de Madurez Digital.

Gracias a la implantación de la analítica de negocio (Business Analytics) en la gestión de los servicios AOC, se pudo automatizar la recogida e integración de los indicadores de actividad del índice y presentar la información mediante una visualización interactiva de los datos. Además, en la edición 2020 se realizó una mejora significativa en la evaluación del uso de los servicios digitales: en vez de valorar el uso de un servicio digital a partir del número absoluto de transacciones, empezamos a medir la digitalización asociada al uso del servicio; es decir, el cálculo como el número de transacciones digitales respecto al número de transacciones total, incluyendo las presenciales (por ejemplo, las entradas electrónicas respecto a las entradas totales, o los contratos licitados electrónicamente respecto a los contratos licitados totales).

El IMD, una herramienta colaborativa en constante evolución

Para que el IMD sea útil e informativo debe tenerse siempre presente que sólo deben incluirse los indicadores más relevantes del momento en que nos encontramos, los que marcan la diferencia entre un ente que consideramos digitalmente maduro y uno otro que no lo es. Y es necesario determinar con mucho cuidado las ponderaciones de cada atributo o variable dentro del índice. Para dotar al IMD de una metodología de cálculo rigurosa y flexible (capaz de adaptarse al momento presente), se creó un grupo de trabajo de personas expertas en gestión pública y el resultado se compartió y debatió con las diputaciones , consejos comarcales y ayuntamientos.

Además, periódicamente se organizan actividades y encuentros de personal del mundo local para revisar y hacer evolucionar el IMD, como el taller que se llevó a cabo en el Congreso Gobierno Digital 2021, en los que participaron más de 50 representantes de administraciones locales catalanas y donde se recogieron propuestas de mejora, algunas de las cuales ya hemos incorporado al IMD del 2023, o el taller celebrado en noviembre de 2023 con representantes de ayuntamientos y diputaciones, para revisar y mejorar el IMD.

Por tanto, el IMD es el resultado del trabajo colaborativo, aplicando siempre un enfoque de mejora continua con los comentarios del personal público y la inversión continua en la creación de un datawarehouse que integra los datos provenientes de diferentes fuentes.

Metodología de cálculo del IMD 

El IMD es un índice o indicador compuesto formado por más de 30 indicadores organizados en tres dimensiones y nueve subdimensiones que se agregan de forma ponderada para obtener un valor comparable. Actualmente se calcula para 947 ayuntamientos y 41 consejos comarcales.

El IMD se divide conceptualmente en tres dimensiones:

- derechos digitales. Evaluamos la disponibilidad de servicios públicos digitales que permiten a la ciudadanía ejercer sus derechos digitales y el cumplimiento de la normativa que regula estos derechos.

- Actividad de los servicios digitales. Evaluamos el uso de los servicios digitales por parte de la ciudadanía, empresas, asociaciones y empleados públicos. Concretamente, medimos la digitalización en la relación con las personas usuarias, la digitalización de los procesos internos y la interoperabilidad entre administraciones públicas.

- Gobierno abierto. Evaluamos la aplicación práctica de los principios de gobierno abierto: transparencia, derechos de acceso, datos abiertos y participación ciudadana.

La siguiente figura muestra de forma esquemática las tres dimensiones del IMD, así como sus subdimensiones y los indicadores que las componen:

El IMD es la suma ponderada de los valores de los indicadores en cada una de las tres dimensiones:

Cada indicador tiene asignada un peso y puntuación máxima en función de su importancia. Los distintos pesos se han asignado para 1) reconocer (o penalizar) las dimensiones y subdimensiones que contribuyen en mayor (o menor) medida a la transformación digital, en opinión de personas; y 2) reflejar la calidad estadística de los datos.

Véase ANEXO. Fuentes de datos y tipos de indicadores.

Presentación de resultados

El IMD se presenta mediante un conjunto de cuadros de mando e informes destinados a los distintos perfiles implicados en la toma de decisiones de un ente local.

• El salpicadero «Hacemos un país digital» muestra los indicadores clave de un territorio concreto de forma agregada (toda Cataluña, una provincia o una comarca). Además de los indicadores propios del IMD, muestra otros que se derivan, como el porcentaje de entes que tramitan electrónicamente o que disponen de portal de transparencia.

• El salpicadero «Tu ente – Visión global» proporciona una visión rápida y clara del estado de cada ente con el objetivo de que los cargos electos municipales puedan tomar decisiones basadas en datos. Además de la puntuación total del IMD y sus dimensiones, muestra el valor de los indicadores clave y los compara con el valor medio de las entidades locales de la propia franja de población.

• El informe «Tu ente – Visión detallada» proporciona la fotografía completa del IMD. Muestra el valor de todos los indicadores de un ente local y también los sitúa en el contexto de los municipios de su franja de población. Está destinado a personal directivo y personal técnico municipal para que identifiquen los puntos fuertes y áreas de mejora sobre las que actuar.

• El informe “Comparativa general” ofrece una visión global del grado de madurez digital de un territorio. Permite a los entes supramunicipales identificar dónde es necesario desplegar políticas de transformación digital para cada una de las tres dimensiones principales del índice.

Reconocimientos Administración Abierta

Utilizamos la puntuación obtenida en el IMD para otorgar cada año los Reconocimientos Administración Abierta a las administraciones líderes en transformación digital, divididas en siete categorías según el rango de población.

Más información sobre los Reconocimientos Administración Abierta.

Conclusiones

La sostenibilidad de esta iniciativa se basa en promover que toda la información requerida para elaborar el Índice esté disponible en formatos de datos abiertos basados ​​en estándares, de forma que puedan obtenerse e integrarse fácilmente. Actualmente, el 95% de la información necesaria cumple estos requisitos.

El IMD es una iniciativa colaborativa en la que participan diferentes niveles de gobierno. Las cuatro diputaciones de Cataluña y todos los consejos comarcales catalanes participan en la validación de la metodología y resultados del MD. La buena gobernanza es esencial en este proyecto. Por lo que se refiere a la utilidad del IMD, hemos comprobado que la publicación de los resultados, y especialmente los reconocimientos anuales, sirven de estímulo a las administraciones locales para identificar sus ámbitos de mejora y avanzar en el proceso de transformación digital.

Estado del proyecto (en producción)

Cada año, desde 2019, la AOC analiza la madurez digital de los entes públicos locales aplicando la metodología IMD. El resultado se puede consultar en la página web delÍndice de Madurez Digital.

Más información

• Artículo "Índice de madurez digital de las Administraciones locales: una herramienta clave de evaluación y mejora continua” publicado en la Revista Vasca de Gestión de Personas y Organizaciones Públicas del IVA (diciembre 2022)
• Metodología de los Reconocimientos Administración Abierta: https://www.aoc.cat/reconeixements-administracio-oberta-metodologia/
• Informes de e-administración (de 2010 a 2018):  https://www.aoc.cat/indicadors/informes-d-eadministracio-a-catalunya/

ANEXO. Fuentes de datos y tipos de indicadores

Fuentes de datos

El IMD se calcula a partir de datos públicos, objetivables y contrastables obtenidos de las siguientes fuentes de información:

• Las páginas web de las propias administraciones locales.
• Los datos de actividad de los servicios digitales de la AOC disponibles en Portal Datos Abiertos de la AOC.
• Los datos de actividad de los servicios de la AGE disponibles en el portal Data OBSAE del Observatorio de Administración Electrónica (Secretaría General de Administración Digital).
• Los datos de actividad de servicios digitales facilitados por las propias entidades locales y por los proveedores de plataformas de mercado, sometidos a un proceso de revisión para contrastar su calidad.
• Los datos del Índice Infoparticipa de la Universidad Autónoma de Cataluña y del Índice de Exposición de Ciberseguridad de la Agencia de Ciberseguridad de Cataluña.
• Los datos publicados en el buscador de información y documentación oficial de la Diputación de Barcelona (CIDO).
• Los datos de contratación facilitados por la Junta Consultiva de Contratación de Catalunya.
• Los datos de participación ciudadana facilitados por los prestamistas de plataformas de participación electrónica públicas (Diputaciones de Barcelona y Girona) y de mercado (empresas proveedoras).

En el caso de datos carentes, se utilizan variables intermedias (por ejemplo, en caso de no disponer del número total de entradas de registro de un Ayuntamiento, obtenemos el dato a partir del número de habitantes y un coeficiente de correlación) . Todos los métodos de imputación de datos que faltan utilizados se han validado a partir de sus propiedades estadísticas.

Indicadores del IMD

A continuación se detalla qué se analiza y cómo se obtiene la puntuación de cada uno de los indicadores:

derechos digitales

• Carpeta ciudadana:
  • Si el ente dispone de carpeta ciudadana
  • 2,44 puntos si el ente dispone y 0 puntos en caso contrario
• Buscador municipal:
  • Si el ente dispone de buscador en su web municipal
  • 1,63 puntos si el ente dispone y 0 puntos en caso contrario
• Instancia online:
  • Si el ente dispone de una instancia genérica para realizar trámites online
  • 4,07 puntos si el ente lo ofrece y 0 puntos de lo contrario
• Padrón online:
  • Si el ente permite realizar consultas de interoperabilidad en su padrón
  • 4,07 puntos si el ente lo ofrece y 0 puntos de lo contrario
• Visor cartográfico:
  • Si el ente dispone de visor cartográfico en la web municipal
  • 0,81 puntos si el ente dispone y 0 puntos en caso contrario
• Visor urbanístico:
  • Si el ente dispone de visor urbanístico en la web municipal
  • 0,81 puntos si el ente dispone y 0 puntos en caso contrario
• ER idCAT:
  • Si el ente es entidad de registro idCAT
  • 2,44 puntos si el ente es entidad de registro y ha emitido certificados idCAT durante el año de cálculo del índice, y 0 puntos en caso contrario
• FUE:
  • Si el ente dispone de Ventanilla Única Empresarial
  • 1,63 puntos si el ente ofrece el número máximo de trámites y la puntuación proporcional de lo contrario
• MUX:
  • Si el ente está integrado con el servicio MUX Registro de la AOC
  • 2,44 puntos si el ente está integrado con MUX Registro y 0 puntos de lo contrario
• Hub carpeta ciudadana:
  • Si el ente está integrado con Mi espacio
  • 2,44 puntos si el ente ha integrado su gestor de expedientes con Mi espacio, 0,81 si tiene integrados los servicios AOC y 0 puntos si no tiene ninguna integración
• Buzón Accesibilidad:
  • Si el ente dispone de un buzón de tramitación electrónica por temas de accesibilidad
  • 0,81 puntos si el ente dispone y 0 puntos en caso contrario
• Sello Accesibilidad:
  • Si el ente ha publicado una declaración de accesibilidad en la web municipal
  • 0,81 puntos si el ente lo ha publicado en la web municipal y 0 puntos en caso contrario
• ENI:
  • Si el ente ha publicado un certificado de cumplimiento del ENI en la web municipal
  • 2,44 puntos si el ente ha publicado un certificado de cumplimiento del ENI y 0 puntos en caso contrario
• ENS:
  • Si la plataforma de administración electrónica dispone de un certificado de cumplimiento del ENS en la web municipal o en el Centro Criptológico Nacional
  • 2,44 puntos si el ente ha publicado un certificado de cumplimiento del ENS y 0 puntos en caso contrario
• Ordenanza reguladora:
  • Si el ente ha aprobado una ordenanza de administración electrónica
  • 1,63 puntos si el ente lo ha aprobado y 0 puntos de lo contrario
• Vulnerabilidad ciberseguridad:
  • Puntuación del Nivel de vulnerabilidad calculado por la Agencia de Ciberseguridad de Catalunya.
  • 2,44 puntos si el indicador es 1 (nivel de exposición nulo) y la puntuación proporcional de lo contrario (la relación entre el nivel de exposición calculado por la ACC y el valor del indicador en el IMD es la siguiente: nulo =1, bajo = 0,75, medio = 0,5, alto = 0,25 y crítico = 0)
• Delegado de protección de datos:
  • Si el ente dispone de delegado de protección de datos y lo ha comunicado a la APDCat.
  • 0,81 si el ente dispone de delegado de protección de datos y lo ha comunicado a la APDCat y 0 en caso contrario
• Representa:
  • Si el ente dispone de registro de apoderamientos
  • 0,81 si el ente dispone de registro de apoderamientos y 0 en caso contrario

Actividad de los servicios

• Digitalización entrada:
  • Porcentaje de entradas electrónicas respecto al número de entradas total (Trámites online e-TRAM (o sistema propio) + Facturas-e e-FACT + Envíos EACAT recibidas / entradas totales)
  • 8,10 puntos si el porcentaje es del 80% y la puntuación proporcional de lo contrario
• Digitalización salida:
  • Porcentaje de salidas electrónicas respecto al número de salidas total (Notificaciones-e e-NOTUM + Envíos EACAT enviados/salidas totales)
  • 5,40 puntos si el porcentaje es del 100% y la puntuación proporcional de lo contrario
• Firmas-e internas:
  • Ratio de firmas de trabajador público respecto al número de entradas
  • 6,75 puntos si el ratio está en el percentil más alto de la franja de población del ente y la puntuación proporcional de lo contrario (por cada franja de población se establecen 10 percentiles)
• Consultas Vía Abierta:
  • Ratio de consultas realizadas en Via Oberta por habitante
  • 12,60 puntos si el ratio de consultas de Via Oberta está en el percentil más alto de la franja de población del ente y la puntuación proporcional de lo contrario (por cada franja de población se establecen 10 percentiles)
• Servicios de Vía Abierta:
  • Porcentaje de servicios de Via Oberta activos respecto al obligatorio
  • 5,40 puntos si el porcentaje es del 100% y la puntuación proporcional de lo contrario.
• Licitaciones-e:
  • Porcentaje de licitaciones electrónicas de contratos abiertos respecto al total
  • 4,05 puntos si el seno el porcentaje es del 100% y la puntuación proporcional en caso contrario
• Publicaciones en el Perfil del Contratante:
  • Ratio de publicaciones en el perfil del contratante por habitante
  • 2,03 puntos si el ratio está en el percentil más alto de la franja de población del ente y la puntuación proporcional de lo contrario (por cada franja de población se establecen 3 percentiles)
• Publicaciones en el Registro de Contratos:
  • Ratio de publicaciones en el registro público de contratos por habitante
  • 0,68 puntos si el ratio está en el percentil más alto de la franja de población del ente y la puntuación proporcional de lo contrario (por cada franja de población se establecen 3 percentiles)

Gobierno Abierto

• Cumplimiento de transparencia:
  • Puntuación recibida en Infoparticipa
  • 8,13 puntos si la puntuación de infoparticipa es del 100% y la puntuación proporcional de lo contrario
• Datos Abiertos:
  • Si el ente publica datos abiertos propios
  • 1,63 puntos si el ente publica y 0 puntos en caso contrario
• Participación ciudadana:
  • Número de procesos de participación ciudadana por medios electrónicos realizados por el ente
  • 1,63 puntos si el ente ha hecho más de 7 procesos participativos, 0,98 si ha hecho entre 4 y 6 procesos, 0,49 si ha hecho entre 1 y 3 procesos y 0 si no ha hecho ninguno
• Voto electrónico:
  • Si el ente ha utilizado el voto electrónico en algún proceso de participación ciudadana
  • 0,49 puntos se el ente lo ha utilizado y 0 puntos de lo contrario
• Portal transparencia:
  • Si el ente dispone de portal de transparencia
  • 3,25 puntos se el ente dispone y 0 en caso contrario
• Tablero electrónico:
  • Si el ente dispone de tablón de anuncios electrónico
  • 0,81 puntos si el ente dispone y 0 en caso contrario
• Canal de alertas:
  • Si el ente dispone de un canal de alertas internas.
  • 2,44 puntos si el ente dispone y 0 en caso contrario
• Acceso a la información pública:
  • Si el ente dispone de un trámite electrónico específico de solicitudes de acceso a la información pública
  • 1,63 si el ente dispone de un trámite electrónico específico de solicitudes de acceso a la información pública.