AOC

reto

Cómo extraer más información y conocimiento de los contenidos audiovisuales del Congreso Gobierno Digital y cómo hacerlos más accesibles a los usuarios.

problemática actual

Las jornadas, seminarios, talleres y otras actividades de carácter divulgativo que organiza la AOC para promover la transformación digital y la innovación de las administraciones públicas catalanas genera una gran cantidad de contenido audiovisual que no siempre se aprovecha bien para extraer información y conocimiento.

Este hecho se ha visto agravado por la pandemia que nos ha obligado a cambiar de un día para otro nuestros hábitos, rutinas y formas de relacionarnos, de forma que, en poco tiempo, el número de actividades en línea (reuniones, conferencias y congresos) se ha multiplicado exponencialmente y ahora disponemos de una cantidad ingente de vídeos, notas de voz y textos que no tenemos tiempo de procesar.

Además de la pandemia, existen otros factores que han acelerado el proceso de digitalización de los eventos y actividades:

  • La facilidad de acceder a los reuniones, la comodidad y la reducción de costes de organización gracias a una logística mucho más simple.
  • Los avances tecnológicos que hacen que la experiencia de usuario online sea cada vez mejor, permitiendo hacer un análisis preciso de la audiencia y tener los datos controlados.
  • La reducción de emisiones de carbono a consecuencia de evitar los desplazamientos de los asistentes.

Da igual que en el 2021 el Congreso Gobierno Digital que organiza la AOC cada dos años, pasó de ser 100% presencial en un formato híbrido, con presentadores y ponentes en plató y audiencia virtual.

Enseguida nos dimos cuenta de que una simple plataforma de “Video on Demand”, como Youtube, no sería suficiente para sacar provecho de la gran cantidad de contenido audiovisual que se generaría antes, durante y después del congreso, ni para hacer el conocimiento más accesible. También había un reto que era la recogida de datos de los usuarios y de sus intereses a partir de su navegación, a fin de poder entender mejor sus necesidades y expectativas y poder rediseñar el programa de contenidos de cara a futuros eventos.

Así pues, pusimos manos a la obra para descubrir si existía alguna herramienta o servicio de mercado capaz de procesar y analizar vídeos, notas de voz y textos, mediante técnicas de inteligencia artificial, para extraer información y conocimiento y hacer -lo más accesible.

solución propuesta

La solución aplicada vino de la mano de Omnios, una startup catalana tecnológica nacida en Barcelona en 2019 que ha desarrollado un servicio de procesamiento inteligente de la información que hace accesibles grandes cantidades de contenido audiovisual; Winnow by Omnios: The inteligente Video On Demand platform.

¿Qué es Winnow?

Una plataforma de vídeo inteligente que te ayuda a navegar por el contenido multimedia. Los vídeos y presentaciones que contiene se procesan previamente mediante técnicas de inteligencia artificial como el reconocimiento de voz y personas, la minería de textos y la categorización de contenidos; a fin de extraer conocimiento y poder establecer relaciones entre los conceptos de los que se habla.

Principales funcionalidades:

La plataforma ofrece:

  • Mapas inteligentes conocimientos.

    Cuando se sube un vídeo, automáticamente el sistema genera mapas interactivos. Estos mapas son la extracción del contenido y pueden servir tanto para comparar lo dicho por cada ponente, como para navegar comparando los vídeos y las temáticas. El tamaño del círculo depende básicamente de la frecuencia e importancia que el concepto tiene respecto al vídeo, y las flechas significan una relación directa entre ponentes y conceptos. Los mapas se pueden explorar según Palabras clave | Marcas o entidades | Ubicaciones | Personas.

¿Qué son los Mapas de Conocimiento de Winnow?

Gráficos interactivos que ayudan a entender el conocimiento que Winnow extrae automáticamente de los contenidos que procesa (vídeos y presentaciones). El sistema comprende cómo diferentes ponencias se relacionan entre sí, encuentra vínculos entre conceptos y personas, y explora conexiones nuevas y más profundas.

También ofrece:

  • Un buscador inteligente para poder buscar, a través de palabras clave, el momento exacto en el que se habla de un tema en concreto, ahorrando así tiempo ocioso buscando en partes del vídeo que no interesan.
  • Reconocimiento de voz de los ponentes: Mediante la inteligencia artificial, la plataforma es capaz de reconocer a quien habla en cada momento y esto permite segmentar el discurso y asignar cada trozo a una persona determinada.
  • Descarga de la transcripción del vídeo en diferentes lenguas. La plataforma tiene la capacidad de entender el vídeo o nota de voz y permite descargar toda la transcripción en catalán, castellano e inglés, en formato de documento o mediante subtítulos.
  • clasificación inteligente de todos los vídeos y “tagging” automático.
  • Analíticas de contenido y usuarios (by Google Analytics): se pueden utilizar para conocer mejor a los usuarios a partir de su navegación; entender lo que piden y quieren.

Prueba de concepto y piloto

El Consorci AOC puso en marcha un proyecto piloto para comprobar las ventajas y beneficios de la IA aplicada a los contenidos audiovisuales del CGD2021, procesando los vídeos y presentaciones resultantes del congreso con el servicio Winnow.

Se procesaron un total 162 contenidos, entre vídeos de las sesiones (80) y documentos de soporte de las presentaciones en formato pdf.

El 25/11/2021 se habilitó un acceso al servicio Winnow a través de la plataforma del CGD 2021 que estuvo operativo 6 meses.

Resultados

Durante el tiempo que el piloto ha estado operativo han accedido a la plataforma 167 usuarios únicos, una cifra modesta teniendo en cuenta que el número de inscritos en el congreso fue de 2.000.

El número de contenidos visualizados ha sido de 354.

El gráfico 1 muestra cómo, una vez publicitado el acceso a la plataforma Winnow, 150 usuarios únicos la utilizaron el primer día, consiguiendo un total de visitas 874 en los primeros tres meses.

Gráfico 1

Al gráfico 2 podemos observar cómo el tiempo medio que los usuarios pasan navegando en la plataforma es de 4 minutos aproximadamente. Con esta información podemos corroborar que se ha conseguido el objetivo de optimizar al máximo el tiempo de búsqueda en un vídeo y reducir el tiempo ocioso, ya que los usuarios van directamente al vídeo que les interesa y logran ir al punto que contiene la información relevante rápidamente.

Gráfico 2

El gráfico 3 muestra el número de usuarios que han utilizado la barra de búsqueda de la plataforma.

Gráfico 3

Las palabras clave que más se han buscado a través de la barra de búsqueda inteligente han cambiado con el tiempo. Durante los 3 primeros meses del piloto la palabra más buscada fue "inteligencia artificial". Al final del piloto la palabra más buscada ha sido "datos".

Conclusiones

Las métricas obtenidas demuestran que la aplicación de inteligencia artificial a los contenidos multimedia de un evento permite:

  • Facilitar la navegación dentro de los contenidos y que los usuarios encuentren lo que buscan rápidamente
  • Automatizar resúmenes dentro del contenido audiovisual
  • Recoger datos de los usuarios para analizar su comportamiento y entender sus intereses

Ahora bien, la plataforma donde se alojan los contenidos también debe ser de fácil acceso para todo el mundo, ya sean las personas que quieran volver a ver un vídeo concreto o bien aquellas que no pudieron asistir al congreso y quieren hacerlo un visionado “inteligente”.

En nuestro caso, el acceso a la plataforma Winnow debía ser alquilado (por requerimiento de Omnios, la startup desarrolladora) y creemos que esto desincentivó el uso del servicio porque la gente no recuerda los passwords, menos si sabe que los contenidos están disponibles en Youtube, una web de fácil acceso y que todo el mundo conoce.

Otro handicap que nos hemos encontrado a la hora de extraer conocimiento de los contenidos audiovisuales del congreso es la lengua. La lengua mayoritaria del congreso es el catalán, pero la plataforma Winnow está todavía en fase de mejorar los algoritmos de interpretación de lenguaje natural de esta lengua. Hemos podido comprobar que los diccionarios y taxonomías de inglés y español están bastante más desarrollados.

Por tanto, la experiencia piloto con el servicio Winnow ha sido positiva, pero la falta de rodaje del catalán y el escaso uso que se ha hecho del servicio no nos ha permitido recoger suficientes datos de los usuarios para realizar un análisis exhaustivo del suyo comportamiento a fin de entender sus necesidades e intereses y poder rediseñar el programa de contenidos del próximo Congreso Gobierno Digital 2023.

Estado del proyecto

Piloto finalizado

Más información