Resumen Paquetes

El objetivo de este paquete de trabajo es la realización de las bases técnicas (modelado del sistema tanto físico como lógico, arquitectura basada en "cloud computing", definir los escenarios futuros de explotación y las necesidades de privacidad, seguridad e interoperabilidad) que permitan a los siguientes paquetes de trabajo poder alcanzar sus objetivos de investigación y sentar las bases de los nuevos paradigmas tecnológicos necesarios para el éxito del proyecto.

El PT2 será el nexo de unión entre el resto de actividades dentro de Buscamedia, uniendo requisitos y desarrollos, y asegurando la homogenización técnica necesaria para el éxito del proyecto

Más concretamente el paquete de trabajo realizará el modelado y definirá la arquitectura del sistema completo mediante:

1. Una definición a alto nivel de la clasificación y la semántica, con el objetivo de delimitar los módulos presentes en la arquitectura. Esta definición permitirá posteriormente en el PT3 realizar una clasificación semántica multimedia (especialmente adaptada a la lengua española y lenguas co-oficiales, y con traducción directa al inglés). Además, gracias a esta clasificación se podrá definir tanto un marco común como unas directrices de búsqueda de información multimedia partiendo de cualquiera de los tipos de información multimedia (texto, audio, video) o una combinación de ellos para obtener la información multimedia que el usuario desee.
2. La definición de la gestión adaptada de contenidos para permitir su búsqueda y adaptación y personalización al usuario y terminal, y útil para la evolución hacia los nuevos paradigmas semánticos multimedia.
3. La propia definición y el diseño de la arquitectura distribuida del sistema basada en el paradigma "clould computing" para permitir realizar la búsqueda de manera rápida y eficiente, y de las interfaces y el modelo de datos de BUSCAMEDIA. Además se adaptará esta arquitectura a las redes avanzadas de distribución identificadas (p.ej. overlay P2P) y al paradigma "User Centric Media".
4. Definir los escenarios futuros de explotación de los resultados del proyecto, que sirvan como base para la realización de activos de experimentación.
5. Definir la privacidad, seguridad e interoperabilidad del sistema para que cada uno de los paquetes de trabajo sepa cómo implementar estas características de sistema.

El objetivo fundamental de esta tarea es la investigación de los modelos formales de representación de información multimedia, de cara a ser utilizada por parte del buscador multimedia semántico BUSCAMEDIA.

El PT3 tiene como objetivo del desarrollo de una Ontología M3, multilingüe, multidominio y multimedia, que asegure el avance tecnológico requerido de un proyecto ambicioso como Buscamedia

La utilización de dicho enfoque semántico permitirá:

1. El modelado y descripción de toda información multimedia, independientemente del formato en el que se encuentra disponible (vídeo, imagen, audio, texto o combinaciones). Dicho modelo permitirá la producción y explotación del contenido digital de manera independiente a la plataforma, de manera que los objetos multimedia sean reusables en cualquier circunstancia. Este enfoque facilitará la inter-relación entre objetos multimedia gracias a la meta-información y anotación utilizada para describir el contenido.
2. La utilización de distintos niveles de representación de la información multimedia que permita aliviar el salto semántico, desde información no visual que está relacionada con la imagen pero que no es explícita en su apariencia (por ejemplo, el precio asociado a una pintura), hasta la información sintáctica y semántica audiovisual (por ejemplo, el color, textura, formas, estructuras u otra información sintáctica que se puede extraer de la imagen, así como objetos, escenas, y relaciones concretas identificadas que aporten información semántica).
3. Identificar el rol de la información de dominio en la resolución del salto semántico. Por ejemplo, en un dominio concreto la variabilidad de las características es limitado y predecible (por ejemplo, en el dominio concreto de retratos, aunque cada cara es única y existe un grado de posibles detalles diferentes, existen claras restricciones que gobiernan el dominio). Por otro lado, un dominio abierto eleva las posibilidades del contenido multimedia de manera ilimitada (por ejemplo, en un archivo fotográfico de carácter general).
4. Acceder a dicha información utilizando cualquiera de las lenguas oficiales del Estado.

Este paquete de trabajo está centrado en la investigación de diversos aspectos de la anotación e indexación semántica y automática de los contenidos multimedia. Este objetivo se abordará desde 3 perspectivas:

• Desde la indexación semántica que permita entender y modificar automáticamente las partes lingüísticas de cualquier tipo de documento archivado en la base de datos de BUSCAMEDIA.
• Desde la perspectiva clásica del reconocimiento automático de patrones en contenidos audiovisuales (sea gracias a la visión avanzada por ordenador y al procesamiento de imágenes, sea gracias a las tecnologías para la anotación automática de sonidos que permitan crear y explotar bases de datos de sonidos).
• Como también desde una perspectiva más novedosa basada en la fusión multimodal de las anteriores 3 disciplinas.

En el PT4 se abordará la investigación relacionada con la anotación e indexación semántica y automática, dando un salto de calidad al actual estado del arte

El análisis de las escenas de video es esencial y básico si queremos desarrollar un sistema que realice búsquedas semánticas precisas de contenido audiovisual de una forma avanzada y que además supere la brecha semántica entre hombre y computadora. No se trata tan sólo de enriquecer los metadatos que caracterizan y describen estos contenidos media para facilitar posteriores búsquedas, sino también de establecer los mecanismos para poder recuperar contenidos media mediante búsquedas que no son textuales. Así, la extracción automática de metadatos y la anotación de contenido permitirán crear los metadatos más elaborados de forma automática o semi-automática, así como calificar los contenidos en base a la ontología BUSCAMEDIA, cara todo ello a permitir búsquedas textuales avanzadas con el motor semántico M3. Por otro lado, la recuperación de imágenes basada en contenidos (e.j., un fragmento de audio o una imagen como ejemplo) será la clave para poder, por un lado prescindir de la necesidad de realizar la búsqueda con texto, y por el otro, permitir al usuario realizar búsquedas más intuitivas, eficientes, y humanas.

Realizar un profundo análisis del tratamiento de expresiones de búsqueda en el lenguaje natural, de forma que se posibilite la interacción con el sistema de manera no forzada. Se trata de la intermediación entre el usuario del sistema y el buscador multimedia, facilitando la interacción al usuario. La posibilidad de emplear lenguaje natural permitiría interactuar con el sistema de búsqueda sin necesidad de aprender ninguna sintaxis de consulta, ya fuese ésta escrita o gráfica.

El PT3 facilitará el desarrollo de la interacción hombre-máquina, haciéndola más natural y abordando conceptos futuristas para conseguirlo

En este paquete de trabajo se tomará como punto de partida una expresión en lenguaje natural que podría provenir de distintas fuentes: es un texto escrito por el usuario a través de una interfaz o es la transcripción escrita de un fichero de audio o una pista de vídeo que el usuario desea emplear para interactuar con el sistema o es un texto proveniente de alguno de los metadatos asociados a un elemento multimedia. La obtención de las transcripciones se realizará mediante técnicas de conversión de voz a texto. Atendiendo al origen de las expresiones en lenguaje natural y a su forma, se realizarán tratamientos de información mediante ontologías (construidas en el PT3), sistemas de búsqueda de respuesta, técnicas de recuperación de información y posibilidades de combinaciones entre dichos sistemas y técnicas.

El objetivo es la investigación y el desarrollo de tecnologías que permitan generar automáticamente contenidos M3 (multilingüe, multidominio y multimedia) adaptados a las necesidades de nuevas experiencias de consumo audiovisual de los usuarios.

Para ello, se centrará la investigación en los siguientes ejes:

• Generación de discurso y narrativa multimedia y multilingüe
• Generación de audio sintético adaptable y emocional
• Generación de vídeo
• Adaptación de contenidos multimedia al dispositivo y entorno de consumo (adaptación narrativa, audiovisual y tecnológica)

En el marco del PT6 se pretende desarrollar una generación automática de contenidos, viendo alcanzable el objetivo de la generación automática de la narrativa audiovisual

El estudio y el desarrollo realizado en estas tecnologías permitirían a la plataforma BUSCAMEDIA dar respuestas multimedia adaptadas a los contextos de usuario. El retorno de una consulta, por ejemplo, podría ser un resumen audiovisual que explique los principales resultados de una búsqueda. Todas estas tecnologías podrán ser utilizadas por usuarios finales (por ejemplo, en TV interactiva la integración de estas tecnologías permitirá la creación en tiempo real de contenidos inteligentes que respondan a las búsquedas del usuario) o por usuarios profesionales durante la etapa de producción de contenido (estos tendrán capacidad de creación/administración de nuevos patrones de generación automática y de nuevas plantillas narrativas para la presentación de los resultados).

El objetivo de este paquete de trabajo es la realización de un modelado de los perfiles de usuario necesarios que permitan la personalización de las búsquedas en base a las preferencias/consumos de los usuarios del sistema, ya sean profesionales o no, y determinando el contenido relevante al usuario y su contexto personal. La personalización señalada permite que los usuarios obtengan mejores resultados y que a su vez el sistema BUSCAMEDIA se vea realimentado por datos útiles que le permitan mejorar las técnicas utilizadas y las ontologías entre tipos de información. Uno de los objetivos de esta tarea, y del proyecto BUSCAMEDIA en general, será mejorar la experiencia de búsqueda del usuario al realizar búsquedas multimedia. Dado que se pretende facilitar el acceso a diferentes tipos de recursos (audio, video o texto), la implementación de paradigmas de interacción y visualización eficientes que exploten la información semántica, textual y audiovisual indexada resultará un aspecto muy relevante e innovador para el proyecto.

Buscando un futuro exigente, en el PT7 se investigará en los sistemas necesarios dentro de Buscamedia para la personalización y contextualización de las respuestas al propio usuario

Así mismo, la explotación del conocimiento aportado por la interacción de los usuarios en el sistema en entornos Web 2.0 en forma de comentarios, opiniones, etiquetas o bookmarks, así como el contexto social del usuario (por ejemplo, amigos o contactos) facilita la recomendación de contenidos relacionados con una búsqueda concreta basados, no solamente en una proximidad semántica y/o probabilística entre los contenidos, sino en los gustos o experiencias que otros usuarios han tenido previamente, así como la implementación de paradigmas de navegación frente a los paradigmas consulta-lista de resultados más clásicos en este tipo de sistemas.