AOC

Desafio

Como extrair mais informações e conhecimento dos conteúdos audiovisuais do Congresso de Governo Digital e como torná-los mais acessíveis aos usuários.

Problemas atuais

As conferências, seminários, workshops e outras atividades informativas organizadas pela AOC para promover a transformação digital e a inovação das administrações públicas catalãs geram um grande quantidade de conteúdo audiovisual que nem sempre é bem utilizado para extrair informação e conhecimento.

Este facto foi agravado pela pandemia que nos obrigou a mudar os nossos hábitos, rotinas e formas de nos relacionarmos da noite para o dia, de modo que, em pouco tempo, o número de atividades em linha (reuniões, conferências e congressos) se multiplicou exponencialmente e agora temos uma quantidade enorme de vídeos, notas de voz e textos que não temos tempo de processar.

Além da pandemia, há outros fatores que aceleraram o processo de digitalização de eventos e atividades:

  • Facilidade de acesso a reuniões, o conforto e a redução dos custos de organização graças a uma logística muito mais simples.
  • Avanços tecnológicos que tornam a experiência do usuário online cada vez melhor, permitindo análises precisas de audiência e controle de dados.
  • A redução das emissões de carbono como resultado de evitar os deslocamentos dos participantes.

Tanto que em 2021 o Congresso de Governo Digital organizado pela AOC a cada dois anos, passou de 100% presencial para um formato híbrido, com apresentadores e palestrantes no palco e plateia virtual.

Imediatamente percebemos que uma simples plataforma de "Vídeo sob Demanda", como o YouTube, não seria suficiente para aproveitar a grande quantidade de conteúdo audiovisual que seria gerado antes, durante e após o congresso, nem para tornar o conhecimento mais acessível . Houve também um desafio que foi a recolha de dados dos utilizadores e dos seus interesses com base na sua navegação, de forma a compreender melhor as suas necessidades e expectativas e poder redesenhar o programa de conteúdos para eventos futuros.

Assim, partimos para descobrir se existia alguma ferramenta ou serviço de mercado capaz de processar e analisar vídeos, notas de voz e textos, utilizando técnicas de inteligência artificial, para extrair informação e conhecimento e torná-lo mais acessível.

Solução proposta

A solução aplicada veio da Omnios, uma startup tecnológica catalã nascida em Barcelona em 2019 que desenvolveu um serviço de processamento de informação inteligente que torna acessíveis grandes quantidades de conteúdo audiovisual; Winnow por Omnios: A plataforma inteligente de vídeo sob demanda.

O que é Winnow?

Uma plataforma de vídeo inteligente que ajuda você a navegar pelo seu conteúdo de mídia. Os vídeos e apresentações neles contidos são pré-processados ​​usando técnicas de inteligência artificial como reconhecimento de voz e pessoa, mineração de texto e categorização de conteúdo; para dele extrair conhecimento e poder estabelecer relações entre os conceitos discutidos.

Principais funcionalidades:

A plataforma oferece:

  • Mapas inteligentes de conhecimento

    Quando um vídeo é carregado, o sistema gera automaticamente mapas interativos. Esses mapas são a extração do conteúdo e podem ser usados ​​tanto para comparar o que cada palestrante disse, quanto para navegar comparando os vídeos e temas. O tamanho do círculo depende basicamente da frequência e importância do conceito em relação ao vídeo, e as setas significam uma relação direta entre falantes e conceitos. Os mapas podem ser explorados de acordo com Palavras-chave | Marcas ou entidades | Locais | pessoas

O que são mapas de conhecimento do Winnow?

Gráficos interativos que ajudam a entender o conhecimento que o Winnow extrai automaticamente do conteúdo que processa (vídeos e apresentações). O sistema entende como diferentes artigos se relacionam, encontra ligações entre conceitos e pessoas e explora conexões novas e mais profundas.

Também oferece:

  • Un buscador inteligente poder pesquisar, por meio de palavras-chave, o momento exato em que um tema específico é discutido, economizando tempo ocioso pesquisando em partes do vídeo que não são de seu interesse.
  • Reconhecimento de voz dos falantes: Usando inteligência artificial, a plataforma é capaz de reconhecer quem está falando em um determinado momento e isso permite que a fala seja segmentada e cada peça atribuída a uma pessoa específica.
  • Baixe a transcrição do vídeo em diferentes idiomas. A plataforma tem a capacidade de entender o vídeo ou a nota de veu i permite descarregar totalmente a transcrição em català, castellà i anglès, en format de document ou mitjançant subtítols.
  • Classificação inteligente de todos os vídeos e "tagging" automático.
  • Análise de conteúdo e usuário (pelo Google Analytics): podem ser usados ​​para conhecer melhor os usuários com base em sua navegação; entender o que eles pedem e querem.

Prova de conceito e piloto

O Consórcio AOC lançou um projeto piloto para testar as vantagens e benefícios da IA ​​aplicada ao conteúdo audiovisual do CGD2021, enquanto processa os vídeos e apresentações resultantes do congresso com o serviço Winnow.

Foram processados ​​162 conteúdos, incluindo vídeos das sessões (80) e documentos de suporte das apresentações em formato pdf.

Em 25/11/2021, o acesso ao serviço Winnow foi habilitado através do plataforma CGD 2021 que funcionou por 6 meses.

resultados

Durante o tempo em que o piloto esteve operacional, eles acessaram a plataforma 167 usuários únicos, um número modesto considerando que o número de pessoas inscritas para o congresso foi de 2.000.

El número de conteúdos visualizados foi de 354.

El gráfico 1 mostra como, uma vez anunciado o acesso à plataforma Winnow, 150 usuários únicos a utilizaram no primeiro dia, atingindo um total de Visitas 874 nos primeiros três meses.

Gráfico 1

Al gráfico 2 podemos observar como o tempo médio que os usuários passam navegando na plataforma é de aproximadamente 4 minutos. Com essas informações podemos confirmar que o objetivo de otimizar ao máximo o tempo de busca em um vídeo e reduzir o tempo ocioso foi alcançado, já que os usuários vão diretamente ao vídeo de seu interesse e conseguem ir ao ponto que contém as informações relevantes rapidamente .

Gráfico 2

El gráfico 3 mostra o número de usuários que usaram a barra de pesquisa da plataforma.

Gráfico 3

As palavras-chave mais pesquisadas na barra de pesquisa inteligente mudaram ao longo do tempo. Durante os primeiros 3 meses do piloto a palavra mais pesquisada foi "inteligência artificial". Ao final do piloto a palavra mais pesquisada foi "dados".

Conclusões

As métricas obtidas mostram que a aplicação de inteligência artificial aos conteúdos multimédia de um evento permite:

  • Facilite a navegação dentro dos conteúdos e para que os usuários encontrem o que procuram rapidamente
  • Automatize resumos em conteúdo audiovisual
  • Colete dados do usuário para analisar seu comportamento e entender seus interesses

No entanto, a plataforma onde o conteúdo está hospedado também deve ser de fácil acesso para todos, sejam pessoas que desejam assistir a um determinado vídeo novamente ou aquelas que não puderam comparecer ao congresso e querem nem uma visualização “inteligente”.

No nosso caso, o acesso à plataforma Winnow teve que ser registrado (a pedido da Omnios, a startup desenvolvedora) e acreditamos que isso desencorajou o uso do serviço porque as pessoas não lembram de senhas, ainda menos se souberem o que o conteúdo está disponível no Youtube, um site de fácil acesso que todos conhecem.

Outra desvantagem que encontramos ao extrair conhecimento do conteúdo audiovisual do congresso é a linguagem. O idioma majoritário do congresso é o catalão, mas a plataforma Winnow ainda está em processo de aprimoramento dos algoritmos de interpretação de linguagem natural desse idioma. Pudemos verificar que os dicionários e taxonomias de inglês e espanhol estão muito mais desenvolvidos.

Portanto, a experiência piloto com o serviço Winnow foi positiva, mas a falta de filmagem em catalão e o pouco uso que foi feito do serviço não nos permitiu coletar dados suficientes dos usuários para fazer uma análise abrangente de seu comportamento para entender suas necessidades e interesses e poder redesenhar o programa de conteúdo do próximo Congresso de Governo Digital 2023.

Status do projeto

Piloto concluído

Mais Informações