Page Archive Bio

Quelques extraits mp3 dans notre rubrique musique (Pygmalion)

Comme cela vous chante
"Opéra Interactif"

Le projet

L'objectif n'est pas de rĂ©aliser en synthĂšse un mini-opĂ©ra traditionnel, mais de proposer une interfĂ©rence d'images, de sons, de mouvements oĂč les personnages rĂ©els: public, chef d'orchestre, chanteuse interagissent avec un environnement virtuel de danseuses, de visages et d'images de synthĂšse douĂ©s d'une certaine autonomie de comportements.

Dans l'esprit de l'opéra baroque, nous présentons les premiers éléments d'une "machine du virtuel": ensemble d'effets visuels et sonores qui devraient surprendre, par leur nature et par leur création interactive.

Interactivite

Production de" voyelles sonores":
Le public initie l'opéra dans la direction de son choix, une personne donne un thÚme par une phrase dans un microphone au début de chaque expérience. Cette phrase d'abord répétée par un ou plusieurs visages de synthÚse, déclenchera rapidement un volume sonore de chants, pour cela elle sera analysée en temps réél, produisant une suite de voyelles qui seront chantées par les visages de synthÚse, et accompagnées par la chanteuse réelle. Une autre phrase donnée par le public ou donnée par le programme, conduira à la conclusion de la scÚne.

Direction de l'ensemble :
Une baguette rĂ©alisĂ©e avec un capteur magnĂ©tique de type "flock of bird" permettra au "chef d'orchestre" de diriger chaque diffĂ©rent visage: lancer le chant ou l'arrĂȘter, dĂ©clencher ou geler des animations ou des fonds sonores.

Interaction multi-modal du ballet:
Les danseuses de synthÚse ont une double interaction: avec la musique et avec le public. Elles communiquent au moyen d'une ceinture de capteurs de mouvement, avec toute personne du public bougeant ou dansant, mais aussi avec le son, dont elles peuvent utiliser divers paramÚtres: par exemple l'amplitude, la vitesse, les fréquences.

Fiche scientifique

Le projet "Opéra Interactif" regroupe un certain nombre de recherches autour d'une thématique générale, celle de l'interaction créative et <<intelligente>> d'utilisateurs avec des personnages synthÚtiques et des contenus musicaux.
Il s'agit de dĂ©velopper un environnement virtuel, c'est Ă  dire un univers 3D, incluant des ĂȘtres artificiels de toute sorte, en particulier des acteurs de synthĂšse les plus proches possibles d'un ĂȘtre humain, capables de comprendre l'environnement, d'avoir des comportements, de parler, de chanter, de danser, d'exprimer des Ă©motions, de communiquer entre eux et avec le ou les intervenants dans la scĂšne. Un tel ensemble articule des besoins en modĂ©lisation, en simulation de mouvements, en comprĂ©hension et en reconnaissance, ainsi que des dĂ©veloppements en interactivitĂ© et temps rĂ©el, amis aussi des relations avec les sciences humaines et cognitives.

Entre rĂ©el et virtuel, il s'agit d'Ă©tablir des interfaces, de dĂ©velopper des systĂšmes qui aillent bien au-delĂ  de la simple boucle d'action-rĂ©action immĂ©diate, mais intĂšgrent des mĂ©canismes fins d'apprentissage, de reconnaissance. une recherche rĂ©cente de l'Ă©quipe, menĂ©e par Michel Bret et Marie-HĂ©lĂšne Tramus, a montrĂ© comment les rĂ©seaux neuronaux pouvaient enrichir l'interaction d'un ĂȘtre humain "utilisateur" avec une danseuse synthĂ©tique.

A l'instar de l'opéra traditionnel qui associe théùtre, danse et musique, notre équipe travaille sur l'animation faciale, l'animation du corps, le traitement de la musique et du son et son association à l'image dans le cadre d'un environnement 3D virtuel.

La voix est au cƓur du projet, dans tous ses aspects. Elle est l'Ă©lĂ©ment fĂ©dĂ©rateur de l'environnement visĂ©, de la voix captĂ©e et analysĂ©e d'un locuteur Ă  la synthĂšse d'une voix chantĂ©e, de la voix Ă  l'animation du visage, de la voix au mouvement du corps.

Ce projet croise un certain nombre de sujets de recherche:

  • du point de vue de l'animation en images de synthĂšse: l'articulation et la dĂ©formation du visage en situation d'Ă©locution normale et en situation de chant;
  • du point de vue de l'analyse/synthĂšse sonore: la synthĂšse de chant sur des voyelles, l'analyse de l'intonation d'un locuteur-spectateur;
  • du point de vue de la reconnaissance de la parole et de son traitement "intelligent": l'extraction et l'agrĂ©gation de mots-clĂ©s;
  • du point de vue de l'animation synthĂ©tique du corps: la relation du chant (en termes musicaux comme sĂ©mantiques) au mouvement;
  • la navigation dans des mondes virtuels associant formes sonores et formes visuelles, permettant de "saisir" et de manipuler des sons et des "formes" musicales.

 

Notre dĂ©marche s'attache Ă  la crĂ©ation d'interfaces entre ĂȘtres humains et ĂȘtres artificiels capables de simuler des comportements affectifs et rĂ©actifs, et de façon plus gĂ©nĂ©rale, Ă  la crĂ©ation d'environnements virtuels dans lesquels de nouvelles expĂ©rimentations sensorielles viendraient transformer notre relation Ă  l'image.

Contact: les participants au projet

Ballet : Michel Bret, Marie-HĂ©lĂšne Tramus

Visages : Hervé Huitric, Monique Nahas

Musique : Alain Bonardi, Nathalie Dazin

Livret, contact mécénat: Jocelyne Kiss

Distribution artistique
Cupidon: Jocelyne Kiss
Céphise: Bérénice Hennebois
Pygmalion:Pierre-Adam Gilardot
Harpiste: Tatiana Drogna

 

Contact Mécénat

Annie Polack, tel : 01 49 40 66 04
ou
Jocelyne Kiss, tel : 01 49 72 01 31

Fax : 01 43 40 66 96

Courrier:

DĂ©partement Arts et technologies de l'image (A.T.I)

Université Paris 8
2 rue de la liberté
93526 Saint Denis cedex 02

 

Vous pouvez également vous adresser à l'organisme indépendant du Mécénat

L'ADMICAL

16, rue Girardon
78018 Pairs
tel : 01 42 55 20 01
Fax : 01 42 55 71 32


L'opéra interactif sera présenté
Ă©galement lors de diverses expositions au palais de Tokyo, Ă  Imagina, Dresde, Linz etc...