O IMD, uma ferramenta fundamental para avaliação e melhoria contínua

Desafio

Como podemos nós medir o grau de maturidade digital de uma entidade e de um território para que quase qualquer administração possa acelerar a sua transformação para melhorar a vida das pessoas?

Problemático 

A transformação digital de uma organização é um processo complexo que exige uma avaliação constante dos progressos alcançados. Contudo, desenvolver um instrumento para medir o grau de maturidade digital envolve uma série de dificuldades:

• não existe uma definição precisa do conceito de governo digital que determine inequivocamente as suas dimensões e os indicadores que o definem;
• os processos de recolha e integração dos dados necessários ao desenvolvimento destes indicadores apresentam dificuldades;
• nem sempre estão disponíveis dados suficientes ou de qualidade, o que leva a ter que descartar alguns indicadores da análise;
• deve atender igualmente às necessidades de todos os conselhos e permitir comparações, independentemente do seu tamanho. Isto não é trivial, uma vez que a população condiciona o conjunto de serviços a prestar e o volume potencial de atividade dos serviços digitais que presta.

Além da complexidade que envolve a medição do grau de transformação digital de uma entidade, soma-se o facto de a maioria dos municípios da Catalunha serem pequenos ou médios e terem todo o tipo de limitações para enfrentar este desafio, tais como:

1. recursos financeiros muito limitados;
2. dificuldades de acesso aos dados;
3. falta de capacidades sobre como definir e gerar indicadores-chave digitais;
4. impossibilidade de fazer comparações com outras administrações semelhantes devido à dificuldade de acesso aos dados e à falta de padrões de dados; eu
5. funcionários públicos sem habilidades analíticas avançadas.

As administrações locais necessitam, portanto, de uma solução “chave na mão” que lhes permita avaliar o seu processo de mudança com o mínimo esforço e tomar as decisões mais corretas possíveis com base em dados. Para responder a esta necessidade, a AOC criou o Índice de Maturidade Digital (doravante IMD), uma ferramenta que avalia o grau de transformação digital das administrações locais catalãs e permite que as administrações se comparem entre si.

Solução proposta

O IMD é uma ferramenta que nos fornece conhecimento desenhar uma estratégia de transformação digital para todas as APCs, bem como planejar as ações necessárias que deverão ser realizadas.

Não é apenas mais um indicador. É um sistema de informação (“relaciona indicadores”) que permite:

• Conhecer o grau de digitalização de um órgão público (pontos fortes e fracos de cada órgão) e compreender o andamento do seu processo de transformação.
• Compare e obtenha perspectiva. A maturidade digital de cada um de nós torna-se mais evidente quando é comparada (contrastada) com outras. Além disso, permite conhecer o grau de maturidade digital de um território, seja ele toda a Catalunha, uma província ou um concelho.
• Obtenha uma visão geral (quem está liderando o caminho e quem precisa de ajuda) e compreenda o contexto da digitalização do setor público (pontos fortes e áreas para melhoria).
• Outros: criar uma cultura baseada em dados, identificar melhores práticas, valorizar o trabalho realizado.

Além disso, é particularmente útil para organizações que devem apoiar na transformação digital de entidades locais (como a AOC!), pois permite identificar os objectivos sobre os quais actuar e facilita o desenho e análise da eficácia de políticas de digitalização.

Até 2018, o AOC calculava o grau de digitalização dos órgãos locais a partir do  indicadores do Mapa de Administração Eletrônica. Estes indicadores foram obtidos a partir dos dados de implementação dos serviços AOC e da análise dos sites municipais. Todos eram indicadores do tipo “atributo”, ou seja, indicam qualidades ou estados que a entidade analisada pode ou não cumprir (ex. tem pasta de cidadão, endereço de e-mail, perfil de contratante...; oferece procedimentos online ). Com o tempo, percebemos que a adoção de serviços digitais pelas entidades locais estava a tornar-se mais generalizada e que avaliar o grau de implementação não era suficiente. Foi necessário procurar novos indicadores que refletissem o progresso na transformação digital, como a utilização que fizeram destes serviços digitais.

Em 2018 foram introduzidos indicadores de atividade, ou seja, “variáveis” quantificáveis, tais como:

• Consultas na Via Oberta
• Procedimentos EACAT (ou Procedimentos SIR)
• Procedimentos e-TRAM (incluindo a transferência genérica e o canal FUE)
• faturas eletrônicas FACT
• notificações e-NOTUM
• Uso de T-CATs (Validador)
• Publicações no e-TAULER
• Publicações sobre o perfil do Contratante (concursos eletrónicos)
• Publicações/atualizações do portal de transparência
• Submissões do IVTM e/ou TESTRA

Contudo, num contexto tão mutável como o atual, a forma de avaliar o governo eletrónico deve evoluir continuamente para permanecer eficaz e incorporar novos aspetos que respondam à realidade do momento, com base em evidências empíricas. O projeto de relatórios e mapas de Governo Eletrónico entrou assim numa nova fase no final de 2019 e foi substituído por um índice que nomeámos deÍndice de maturidade digital.

Graças à implementação de business analytics (Business Analytics) na gestão dos serviços AOC, foi possível automatizar a recolha e integração dos indicadores de atividade do índice e apresentar a informação através de uma visualização interativa dos dados. Além disso, na edição de 2020 foi feita uma melhoria significativa na avaliação da utilização de serviços digitais: em vez de avaliar a utilização de um serviço digital com base no número absoluto de transações, passámos a medir a digitalização associada à utilização de o serviço; isto é, o cálculo como o número de transações digitais em relação ao número total de transações, incluindo transações presenciais (por exemplo, entradas eletrónicas em relação ao total de entradas, ou contratos de licitação eletrónica em relação ao total de contratos de licitação).

O IMD, uma ferramenta colaborativa em constante evolução

Para que o IMD seja útil e informativo é preciso ter sempre presente que apenas devem ser incluídos os indicadores mais relevantes do momento em que nos encontramos, aqueles que marcam a diferença entre uma entidade que consideramos digitalmente madura e um outro que não é. E os pesos de cada atributo ou variável dentro do índice devem ser determinados com muito cuidado. Para dotar o IMD de uma metodologia de cálculo rigorosa e flexível (capaz de se adaptar ao momento atual), foi criado um grupo de trabalho de especialistas em gestão pública e o resultado foi partilhado e debatido com as deputações, câmaras municipais e câmaras municipais.

Além disso, atividades e reuniões de pessoal do mundo local são organizadas periodicamente para revisar e evoluir o IMD, como o workshop que aconteceu no Congresso Governo Digital 2021, em que participaram mais de 50 representantes das administrações locais catalãs e onde foram recolhidas propostas de melhoria, algumas das quais já incorporamos no IMD 2023, ou no workshop realizado em novembro de 2023 com representantes de câmaras e câmaras municipais, para revisar e melhorar o IMD.

Portanto, o IMD é o resultado de um trabalho colaborativo, aplicando sempre uma abordagem de melhoria contínua com feedback dos funcionários públicos e investimento contínuo na criação de um datawarehouse que integre dados de diferentes fontes.

Metodologia de cálculo do IMD 

O IMD é um índice ou indicador composto composto por mais de 30 indicadores organizados em três dimensões e nove subdimensões que são agregadas de forma ponderada para obter um valor comparável. Atualmente é calculado para 947 concelhos e 41 concelhos.

O IMD é conceitualmente dividido em três dimensões:

- Direitos digitais. Avaliamos a disponibilidade de serviços públicos digitais que permitem aos cidadãos exercer os seus direitos digitais e o cumprimento da regulamentação que rege esses direitos.

- Atividade de serviços digitais. Avaliamos a utilização de serviços digitais por cidadãos, empresas, associações e funcionários públicos. Especificamente, medimos a digitalização na relação com os utilizadores, a digitalização dos processos internos e a interoperabilidade entre as administrações públicas.

- Governo aberto. Avaliamos a aplicação prática dos princípios do governo aberto: transparência, direitos de acesso, dados abertos e participação dos cidadãos.

A figura seguinte apresenta esquematicamente as três dimensões do IMD, bem como as suas subdimensões e os indicadores que as compõem:

O IMD é a soma ponderada dos valores dos indicadores em cada uma das três dimensões:

A cada indicador é atribuído um peso e uma pontuação máxima com base na sua importância. Os diferentes pesos foram atribuídos para 1) reconhecer (ou penalizar) as dimensões e subdimensões que contribuem mais (ou menos) para a transformação digital, de acordo com a opinião das pessoas; e 2) refletem a qualidade estatística dos dados.

Vejo APÊNDICE Fontes de dados e tipos de indicadores.

Apresentação dos resultados

O IMD é apresentado através de um conjunto de dashboards e relatórios destinados aos diferentes perfis envolvidos na tomada de decisão de um órgão local.

• O painel “Fazemos um país digital” mostra os principais indicadores de um território específico de forma agregada (toda a Catalunha, uma província ou um condado). Além dos indicadores próprios do IMD, apresenta outros que dele decorrem, como a percentagem de entidades que processam eletronicamente ou que possuem portal de transparência.

• O dashboard “A sua entidade – Visão global” proporciona uma visão rápida e clara do estado de cada entidade com o objetivo de permitir que os governantes eleitos municipais tomem decisões baseadas em dados. Além da pontuação total do IMD e das suas dimensões, mostra o valor dos indicadores-chave e compara-os com o valor médio das entidades locais na mesma faixa populacional.

• O relatório “Seu Ens – Visão Detalhada” fornece o panorama completo do IMD. Mostra o valor de todos os indicadores de um órgão local e também os situa no contexto dos municípios da sua faixa populacional. Destina-se a quadros dirigentes e técnicos municipais para que possam identificar os pontos fortes e áreas de melhoria onde actuar.

• O relatório “Comparação geral” oferece uma visão global do grau de maturidade digital de um território. Permite aos órgãos supramunicipais identificar onde as políticas de transformação digital precisam de ser implementadas para cada uma das três dimensões principais do índice.

Reconhecimentos Administração Aberta

Utilizamos a pontuação obtida no IMD para atribuir anualmente o Open Administration Awards às administrações líderes na transformação digital, divididas em sete categorias de acordo com a classificação da população.

Mais informações sobre o Reconhecimentos Administração Aberta.

Conclusões

A sustentabilidade desta iniciativa baseia-se na promoção de que toda a informação necessária à produção do Índice esteja disponível em formatos de dados abertos baseados em padrões, para que possam ser facilmente obtidos e integrados. Atualmente, 95% das informações exigidas atendem a esses requisitos.

O IMD é uma iniciativa colaborativa que envolve diferentes níveis de governo. Os quatro Conselhos Provinciais da Catalunha e todos os conselhos regionais catalães participam na validação da metodologia e dos resultados do DM. A boa governação é essencial neste projecto. Quanto à utilidade do IMD, verificamos que a publicação dos resultados, e especialmente dos reconhecimentos anuais, servem de estímulo para que as administrações locais identifiquem as suas áreas de melhoria e avancem no processo de transformação digital.

Status do projeto (em produção)

Todos os anos, desde 2019, o AOC analisa a maturidade digital do organismo público local que aplica o Metodologia IMD. O resultado pode ser consultado no site daÍndice de maturidade digital.

Mais Informações

• Artigo "Índice de maturidade digital das administrações locais: uma ferramenta fundamental para avaliação e melhoria contínua”publicado no Revista Basca de Gestão de Pessoas e Organizações Públicas do IVA (dezembro de 2022)
• Metodologia de reconhecimento de administração aberta: https://www.aoc.cat/reconeixements-administracio-oberta-metodologia/
• Relatórios de administração eletrônica (de 2010 a 2018):  https://www.aoc.cat/indicadors/informes-d-eadministracio-a-catalunya/

APÊNDICE Fontes de dados e tipos de indicadores

Fontes de dados

O IMD é calculado a partir de dados públicos, objetivos e verificáveis ​​obtidos das seguintes fontes de informação:

• As páginas web das próprias administrações locais.
• Os dados de atividade dos serviços digitais do AOC disponíveis em Portal de Dados Abertos da AOC.
• Os dados de atividade dos serviços AGE disponíveis no portal Dados OBSAE do Observatório da Administração Eletrónica (Secretaria Geral da Administração Digital).
• Os dados de atividade dos serviços digitais prestados pelas próprias entidades locais e pelos fornecedores de plataformas de mercado, os quais são sujeitos a um processo de revisão para contrastar a sua qualidade.
• Dados do Índice Infoparticipa da Universidade Autônoma da Catalunha e do Índice de Exposição à Cibersegurança da Agência de Cibersegurança da Catalunha.
• Os dados publicados no motor de busca oficial de informação e documentação da Diputació de Barcelona (CIDO).
• Os dados de recrutamento fornecidos pelo Conselho Consultivo de Recrutamento Catalão.
• Dados de participação cidadã fornecidos por fornecedores de plataformas públicas de participação eletrónica (Diputações de Barcelona e Girona) e de mercado (empresas fornecedoras).

No caso de dados faltantes, são utilizadas variáveis ​​intermediárias (por exemplo, se não tivermos o número total de inscrições cadastrais de uma Câmara Municipal, obtemos os dados a partir do número de habitantes e um coeficiente de correlação). Todos os métodos de imputação de dados faltantes utilizados foram validados com base em suas propriedades estatísticas.

Indicadores IMD

Abaixo está um detalhamento do que é analisado e como cada indicador é pontuado:

Direitos digitais

• Pasta Cidadão:
  • Se estiver disponível para nós na pasta do cidadão
  • 2,44 pontos se tivermos e 0 pontos caso contrário
• Motor de busca municipal:
  • Se estiver disponível para nós como um mecanismo de pesquisa no site do seu município
  • 1,63 pontos se tivermos e 0 pontos caso contrário
• Instância on-line:
  • Se os EUA tiverem uma instância genérica para fazer procedimentos online
  • 4,07 pontos se ele nos oferecer e 0 pontos caso contrário
• Cadastro on-line:
  • Se você nos permitir realizar consultas de interoperabilidade em seu cadastro
  • 4,07 pontos se ele nos oferecer e 0 pontos caso contrário
• Visualizador de mapa:
  • Se você possui um visualizador cartográfico no site municipal
  • 0,81 pontos se tivermos e 0 pontos caso contrário
• Visualizador urbano:
  • Se estiver disponível para nós no visualizador de planejamento urbano no site municipal
  • 0,81 pontos se tivermos e 0 pontos caso contrário
• IDCAT:
  • Se formos uma entidade de registro idCAT
  • 2,44 pontos se a agência for entidade registradora e tiver emitido certificados idCAT durante o ano de cálculo do índice, e 0 pontos caso contrário
• era:
  • Se estiver disponível para nós na Janela Única Empresarial
  • 1,63 pontos se for oferecido pelo número máximo de procedimentos e a pontuação proporcional caso contrário
• MUX:
  • Se o sistema estiver integrado ao serviço MUX Register do AOC
  • 2,44 pontos se o sistema estiver integrado ao MUX Registry e 0 pontos caso contrário
• Pasta do cidadão central:
  • Se estiver integrado com El meu espai
  • 2,44 pontos se o seu gerenciador de arquivos o tiver integrado ao El meu espai, 0,81 se tiver serviços AOC integrados e 0 pontos se não tiver integração
• Acessibilidade da caixa de correio:
  • Se tivermos uma caixa postal de processamento eletrônico para questões de acessibilidade
  • 0,81 pontos se tivermos e 0 pontos caso contrário
• Selo de Acessibilidade:
  • Se uma declaração de acessibilidade tiver sido publicada no site municipal
  • 0,81 pontos se tiver sido publicado no site municipal e 0 pontos caso contrário
• ENI:
  • Se um certificado de conformidade da ENI tiver sido publicado no site municipal
  • 2,44 pontos se um certificado de conformidade ENI tiver sido emitido para nós e 0 pontos caso contrário
• EN:
  • Caso a plataforma de administração eletrónica possua certificado de conformidade com a ENS no site municipal ou no Centro Criptográfico Nacional
  • 2,44 pontos se a ENS tiver publicado um certificado de conformidade e 0 pontos caso contrário
• Portaria regulamentadora:
  • Se tiver sido aprovado por portaria de administração eletrônica
  • 1,63 pontos se tiver sido aprovado por nós e 0 pontos caso contrário
• Vulnerabilidade de segurança cibernética:
  • Pontuação do Nível de Vulnerabilidade calculada pela Agência de Cibersegurança da Catalunha.
  • 2,44 pontos se o indicador for 1 (nível de exposição zero) e a pontuação proporcional caso contrário (a relação entre o nível de exposição calculado pelo ACC e o valor do indicador no IMD é a seguinte: nulo =1, baixo = 0,75, médio = 0,5 , alto = 0,25 e crítico = 0)
• Responsável pela Proteção de Dados:
  • Se nos for disponibilizado pelo delegado de proteção de dados e o tiver comunicado à APDCat.
  • 0,81 se a empresa tem delegado de proteção de dados e o comunicou à APDCat e 0 caso contrário
• Representa:
  • Se estiver disponível para nós no registro de procurações
  • 0,81 se a empresa possui registro de procuração e 0 caso contrário

Atividade de serviço

• Digitalização de entrada:
  • Percentual de lançamentos eletrônicos em relação ao número total de lançamentos (procedimentos on-line e-TRAM (ou sistema próprio) + faturas eletrônicas e-FACT + remessas EACAT recebidas / total de lançamentos)
  • 8,10 pontos se o percentual for 80% e a pontuação proporcional caso contrário
• Digitalização de saída:
  • Percentual de saídas eletrônicas em relação ao número total de saídas (Notificações e transmissões e-NOTUM + EACAT enviadas / total de saídas)
  • 5,40 pontos se o percentual for 100% e a pontuação proporcional caso contrário
• Assinaturas eletrônicas internas:
  • Proporção de assinaturas de funcionários públicos em relação ao número de inscrições
  • 6,75 pontos se o rácio estiver no percentil mais alto da faixa populacional da entidade e a pontuação proporcional caso contrário (são estabelecidos 10 percentis para cada faixa populacional)
• Consultas via Open:
  • Proporção de consultas realizadas na Via Oberta por habitante
  • 12,60 pontos se a taxa de consulta da Via Oberta estiver no percentil mais alto da faixa populacional da entidade e a pontuação proporcional caso contrário (são estabelecidos 10 percentis para cada faixa populacional)
• Através de serviços abertos:
  • Percentual de serviços ativos da Via Oberta em relação aos obrigatórios
  • 5,40 pontos se o percentual for 100% e a pontuação proporcional caso contrário.
• Concursos eletrônicos:
  • Percentual de licitações eletrônicas para contratos abertos em relação ao total
  • 4,05 pontos se o percentual for 100% e a pontuação proporcional caso contrário
• Publicações sobre o perfil do contratante:
  • Taxa de publicações sobre o perfil do contratante por habitante
  • 2,03 pontos se o rácio estiver no percentil mais alto da faixa populacional da entidade e a pontuação proporcional caso contrário (são estabelecidos 3 percentis para cada faixa populacional)
• Publicações no Cadastro de Contratos:
  • Taxa de publicações no registo público de contratos por habitante
  • 0,68 pontos se o rácio estiver no percentil mais alto da faixa populacional da entidade e a pontuação proporcional caso contrário (são estabelecidos 3 percentis para cada faixa populacional)

Governo Aberto

• Conformidade com a transparência:
  • Pontuação recebida no Infoparticipa
  • 8,13 pontos se a pontuação do infoparticipa for 100% e pontuação proporcional caso contrário
• Dados abertos:
  • Se você publicar seus próprios dados abertos para nós
  • 1,63 pontos se publicarmos e 0 pontos caso contrário
• Participação cidadã:
  • Número de processos de participação cidadã por meio eletrônico realizados pela entidade
  • 1,63 pontos se foram realizados mais de 7 processos participativos, 0,98 se foram realizados entre 4 e 6 processos, 0,49 se foram realizados entre 1 e 3 processos e 0 se nenhum foi realizado
• Voto eletrônico:
  • Se o voto eletrônico tiver sido utilizado em algum processo de participação cidadã
  • 0,49 pontos se tiver sido utilizado por nós e 0 pontos caso contrário
• Portal de transparência:
  • Se você tem um portal de transparência
  • 3,25 pontos se estiver disponível para nós e 0 caso contrário
• Placa eletrônica:
  • Se você tiver um quadro de avisos eletrônico
  • 0,81 pontos se tivermos e 0 caso contrário
• Canal de alerta:
  • Se tivermos um canal de alerta interno.
  • 2,44 pontos se tivermos e 0 caso contrário
• Acesso à informação pública:
  • Se tivermos um procedimento eletrônico específico para solicitações de acesso à informação pública
  • 1,63 se a instituição possuir procedimento eletrônico específico para solicitações de acesso a informações públicas.