Equipe Sémiotique Cognitive et Nouveaux Médias
Rechercher
 
La problématique de l’hypertextualité dans le  traitement de corpus audiovisuels et/ou multimédias numériques

Peter Stockinger (Paris, INaLCO 2006 - 2007)

   

 

Turku
Finlande 2006
© E. de Pablo
 
IV/ Notre problématique

Les quatre problématiques principales

Voici les quatre problématiques qui motivent nos travaux de R&D à l'ESCoM et dans le cadre du programme des AAR:

1/ Problématique I: permettre une localisation aussi précise que possible de l’information cherchée dans un corpus audiovisuel et/ou multimédia.

2/ Problématique II: contribuer à une bonne appropriation et exploitation du « contenu » du corpus.

3/ Problématique III: ouvrir le contenu spécialisé à un public multilingue et culturellement différent.

4/ Problématique IV: valoriser les fonds audiovisuels et/ou multimédias de nos sites.

La localisation de l'information dans un corpus audiovisuel et/ou multimédia

Cette problématique concerne, d'une manière générale, la satisfaction d'un besoin (intérêt, désir, ...) cognitif de l'utilisateur (lecteur, spectateur, ...) d'une archive (bibliothèque, espace d'information, ...). Ce besoin (intérêt, désir, ...) s'exprime sous forme d'une absence, d'un manque, ... de connaissances ou encore, d'une manière moins catégorique, sous forme d'un motif de clarification, de "correction", de "mise à niveau", etc.

Ceci dit, la satisfaction d'un besoin (intérêt, désir, ...) d'information ne peut pas être réduite à la simple localisation d'une information supposée pertinente (i.e. répondant au besoin, intérêt, ... exprimé). Elle doit être comprise plutôt dans un contexte plus large d'une "veille d'information" comprenant:

1/ la localisation de l'information à proprement parler dans un espace d'information (web, bibliothèque, archive, ...);
2/ l'exploration du contexte potentiellement pertinent d'une information localisée;
3/ l'évaluation (la hiérarchisation préférentielle, i.e. appréciative) des informations pouvant répondre à un besoin (intérêt, désir, ...).

Il existe des "solutions" typiques pour répondre (d'une manière plus ou moins satisfaisante) à un tel besoin ou intérêt d'information:

moteurs de recherche;
technologies relevant du data (ou text) mining et du "knowledge management";
catalogues thématiques (thesaurus, ontologies, ...) faisant référence à un standard (tel que le Dewey, en bibliothéconomie) ou non;
sites à thème fonctionnant comme des points d'accès à un ensemble de ressources pertinentes (au thème) et souvent classifiées en quelques catégories pragmatiquement saillantes.

Les difficultés de base que se posent à une localisation pertinente d'une information dans le fonds des AAR, sont:

l'existence d'un corpus de ressources audiovisuelles quantitativement déjà assez important (environ 2300 heures de vidéos qui augmentent à raison de 25 à 35 heures de vidéos par mois);
le fait que le contenu référentiel (les "domaines de connaissance") est très diversifié et éclaté (il couvre en effet tout l'éventail de la recherche en sciences humaines et sociales);
le fait que ce contenu est monolingue (i.e. qu'il s'exprime en une langue);
le fait surtout - et finalement - que la vidéo est un document linéaire impliquant la possibilité qu'une information recherchée ne peut être abordée et traitée après une période relativement longue pendant laquelle sont traitée, dans la même vidéo, d'autres questions.

En faisant abstraction de la problématique de l'information monolingue (cf. ci-après), trois "solutions" semblent s'imposer mais chacune possède ses limites motivant ainsi la mise en place et le financement de très grands programmes de R&D aussi bien en France qu'en Europe (cf. à ce propos le site de l'ANR consacré à la problématique du corpus en SHS; le site du Programme RIAM en France et le site Information and Communication Technologies de la Communauté Européenne):

1/ La transcription du discours oral en données textuelles (technologie "speech to text") en tant que procédure préalable pour une recherche et une localisation de l'information dans le flux audiovisuel (i.e., pour être plus précis, sonore) lui-même. La qualité des résultats de la transcription semble être très variable dépendant directement de paramètres tels que le débit, l'accent, le timbre, l'émotivité, le vocabulaire/le langage utilisé, etc.

2/ Les technologies data ou text mining présupposent, dans le cadre des archives audiovisuelles, les résultats de la transcription du discours oral en données textuelles. Elles proposent des analyses statistiques de la fréquence de chaînes de caractère (termes, en cas d'un traitement terminologique des résultats "speech to text") et/ou de collocation de pairs de chaînes de caractère ("termes"). Les résultats peuvent être soit interprétés par un expert humain soit encore subir un deuxième cycle de traitement sous forme d'une analyse linguistique robuste et simple des chaînes de caractère et de leur classification thématique. Ainsi, dans le cas idéal, les informations développées dans un corpus audiovisuel sont transcrites en données textuelles, analysées au niveau statistiques et linguistiques et présentées sous forme de thèmes (topiques) représentant les connaissances du corpus. Les thèmes eux-mêmes peuvent être définis sous formes de réseaux ou graphes conceptuels ce qui permet donc, en principe, une forme de raisonnement à partir d'une requête exprimée par l'utilisateur (raisonnement pouvant s'exprimer, par exemple, sous forme de conseil, d'aide à l'exploration, d'adaptation de chemins d'exploration, etc.). Mais, dans la pratique, on est encore assez loin de cette situation idéale ...

3/ L'annotation et l'enrichissement des ressources numériques à l'aide de méta-données, i.e. de descriptions de leur "contenu" suivant un modèle ou schéma et répondant à des contextes d'utilisation (par exemple: le schéma LOM - Learning Object Modelling - pour un contexte d'enseignement/d'apprentissage; le schéma DC - Dublin Core - pour un contexte bibliothécaire; le schéma MPEG 7 - Moving Picture Experts Group 7 - pour un contexte d'usage de stockage, de gestion et d'utilisation/d'exploitation de données audiovisuelles, etc.). Outre le fait qu'il n'existe pas encore des schémas de description prenant en compte réellement la structure d'un texte (i.e. sa sémiotique), c'est surtout le travail "manuel" de description-indexation qui est énorme et n'a donc, tel quel, peu de chance à être utilisé systématiquement sur des grands corpus audiovisuels (mais aussi textuels stricto sensu). D'où le recours aux technologies text mining et knowledge management comme des outils permettant d'automatiser certains aspects de la description (segmentation, indexation, ...) thématique du contenu d'un corpus audiovisuel.

Références (au sujet de la transcription discours oral - donnée textuelle stricto sensu):
Pour plus d'informations sur le domaine de la transcription du discours oral (de la langue parlée) en donnée textuelle, cf. Groupe du Traitement du Langage Parlé du LIMSI/CNRS;
MediaSpeech, une technologie développée par la société VECSYS (et le LIMSI-Groupe du Traitement du Langage Parlé) pour l'indexation automatique de corpus audiovisuels;
La société Sail Labs Technology proposant des solutions de transcription de contenu multimédia, de l'organisation de ce contenu en des catégories thématiques et aussi des aides à la traduction (semi-automatique) des mots clés extraits lors du processus de la transcription.

Références (au sujet du data ou text mining et du knowledge management):
A consulter le site Cogitant du LIRMM (CNRS - Université de Montpellier III) et du LERIA (Université d'Angers) proposant une suite de logiciels pour la création et utilisation de graphes conceptuels - suite de logiciels utilisés dans les deux projets Saphir et Logos;
A consultez le site de la société ARISEM proposant ses solutions technologiques Kaliwatch ou Sprint;
Anette Béguin-Verbrugge (Univ. de Lille III): document enligne sur l'intérêt du KM pour le SIC (systèmes d'information et de communication)

Références (au sujet de la description de ressources audiovisuelles):
Excellent compte rendu d'une journée AFNOR/BNF (juin 2005) sur le bon usage des métadonnées dans la gestion/utilisation des ressources électroniques;
Présentation très claire du standard LOM fr (i.e. qui est une adaptation au contexte français) sur le site EducNet;
Présentation succincte de MPEG 7 par Wikipédia (pour avoir des informations détaillées sur les différents schémas MPEG 7: MPEG 7 Overview de Leonardo Chiariglioni)


L'appropriation du "contenu" d'un corpus audiovisuel

L'appropriation de l'information désigne cette pratique très complexe qui met en scène l'"utilisateur" (i.e. le lecteur, spectateur, ...) d'une ressource numérique (audiovisuelle, textuelle, ...) qui exploite celle-ci selon à la fois:

1/ ses besoins, intérêts, désirs, objectifs
2/ et ses compétences, ses références culturelles, ses valeurs, etc.

L'appropriation recouvre à la fois la lecture, l'interprétation, la réécriture (mentale ou physique) d'une ressource numérique, son adaptation (au profil - culturel - de l'utilisateur), sa re-utilisation plus ou moins "fidèle" ou libre par l'utilisateur, etc.

En d'autres termes, l'utilisateur - ou, comme on dit plutôt en sémiotique, le destinataire - devient, en s'appropriant une ressource numérique, lui-même auteur d'une nouvelle ressource qui peut être (mais ne doit pas obligatoirement l'être):

plus ou moins similaire à la ressource d'origine;
une "simple" construction mentale de l'utilisateur sans acquérir le statut d'une ressource (numérique, analogique) extériorisée et plus ou moins pérenne;
à son tour une ressource source pour des nouveaux processus d'appropriation débouchant sur la création (simplement mentale et/ou physique) de nouvelles ressources.

Cette activité d'appropriation de ressources cognitives a fait l'objet de différentes approches - sociolinguistique, sémiotique, rhétorique, cognitiviste, informatique, ... - du discours.

Pratiquement, elle renvoie:
au fait déjà mentionné plusieurs fois de la republication de données audiovisuelles (textuelles, ...) sous forme de genres de publication particuliers adaptés à des pratiques ("routines sociales") spécifiques
ainsi qu'à celui de la mise à disposition à des communautés d'utilisateurs d'outils et de procédures leurs permettant de republier selon leurs besoins et intérêts des corpus audiovisuels (textuels, ...).

Ces deux points constituent les principaux enjeux des deux projets de R&D déjà cités: Saphir et Logos.

Références:
A consultez notre enseignement dispensé à l'INALCO (Paris) pendant les années 2003, 2004 et 2005 ainsi qu'à l'Université de Cuyo à Mendoza (Argentine) sur la republication de corpus audiovisuels ainsi que les réalisations de dossiers thématiques enligne par les étudiants ayant suivi cet enseignement.
Semiotic video processing and personalised publishing. de Peter Stockinger (Conférence donnée dans le cadre d'un workshop organisé par le projet Européen Chiron à Paris 2005)

La communication d'une information dans un contexte multilingue et multiculturel

Le "contenu" du fonds audiovisuel des AAR est un contenu monolingue (comme c'est le cas de pratiquement toutes les archives audiovisuelles dans le monde). Le problème qui se pose ici est, bien sûr, comment rendre accessible un contenu monolingue à des locuteurs qui:
soit ne connaissent pas la langue "source" utilisée dans une vidéo diffusée sur le web,
soit ne possèdent que trop peu de compétence linguistique dans la langue "source" pour pouvoir évaluer le contenu proposé par rapport à leurs attentes.

Toute en gardant le principe d'une "lingua franca" telle que l'anglais (ou plutôt une forme simplifiée et "internationalisée" de l'anglais), il s'agit ici:
de produire des aides linguistiques (pas obligatoirement des traductions, stricto sensu) permettant aux intéressés potentiels d'évaluer au moins grosso modo le contenu d'une vidéo produite dans une langue qu'ils ne connaissent pas (ou peu)
et, de nouveau, de mettre à la disposition des communautés d'utilisateurs des outils simples d'annotations linguistiques de ressources numériques (audiovisuelles, textuelles, ...).

Ces aides linguistiques peuvent être accompagnées d'annotations d'ordre culturel (relatif au contenu, à l'auteur, ...) et constituer ainsi des solutions pragmatiques de médiation ("interculturelle") d'un contenu "culturellement marqué" tel que celui proposé par les AAR.

Références:
A consulter notre enseignement consacré à la republication de corpus audiovisuels en contexte multilingue et multiculturel (Lisbonne, septembre 2006) et les premières réalisations de versions bilingues enligne d'entretiens ou de conférences par les étudiants ayant suivi cet enseignement.

La valorisation d'un corpus audiovisuel

Par valorisation, on entend la "mise en valeur" des prestations d'un espace d'information comme, par exemple, les prestations en terme de contenu scientifique de la part des AAR.

Une opération de valorisation ne doit pas être comprise dans un sens étroitement commercial - elle est de nature profondément politique dans la mesure où elle doit rendre visible et "tangible" la spécificité et la "valeur ajoutée" d'un espace d'information tel que celui des AAR.

Or, une partie importante de la communication de valorisation d'un fond tel que celui des AAR repose sur l'identification des segments qui peuvent l'aider dans cette tâche: segments possédant un impact émotionnel ou psychologique fort, segments proposant une vue d'ensemble sur une question donnée, segments capables d'éveiller la curiosité de l'utilisateur, etc.

Cette problématique est, actuellement, encore peu explorer dans le cadre de nos activités de R&D mais constitue un des axes dans le cadre du projet Saphir. Via une analyse et indexation préalable d'un corpus audiovisuel, il s'agit d'y isoler des segments "valorisant" et de les publier ensuite sous forme de "bandes d'annonce" soit sur le site des AAR lui-même soit sous forme d'annonces publicitaires à distance sur d'autres sites.


 

 


Sommaire

I/ Présentation générale.

II/ Questions et interrogations.

III/ Notre contexte.

IV/ Notre problématique.

V/ La recherche de l’information dans un fonds audiovisuel - un scénario.

VI/ L’appropriation de l’information dans un fonds audiovisuel - un scénario.

VII/ L’exploitation de l’information dans un fonds audiovisuel - un scénario.

VIII/ Le cadre théorique.

IX/ Ressources, outils et références.


 

Contacts - Plan du site - Mentions légales
All rights reserved © ESCOM 2000-2007