Page Archive Bio

Quelques extraits mp3 dans notre rubrique musique (Pygmalion)

Comme cela vous chante
"Opéra Interactif"

Le projet

L'objectif n'est pas de réaliser en synthèse un mini-opéra traditionnel, mais de proposer une interférence d'images, de sons, de mouvements où les personnages réels: public, chef d'orchestre, chanteuse interagissent avec un environnement virtuel de danseuses, de visages et d'images de synthèse doués d'une certaine autonomie de comportements.

Dans l'esprit de l'opéra baroque, nous présentons les premiers éléments d'une "machine du virtuel": ensemble d'effets visuels et sonores qui devraient surprendre, par leur nature et par leur création interactive.

Interactivite

Production de" voyelles sonores":
Le public initie l'opéra dans la direction de son choix, une personne donne un thème par une phrase dans un microphone au début de chaque expérience. Cette phrase d'abord répétée par un ou plusieurs visages de synthèse, déclenchera rapidement un volume sonore de chants, pour cela elle sera analysée en temps réél, produisant une suite de voyelles qui seront chantées par les visages de synthèse, et accompagnées par la chanteuse réelle. Une autre phrase donnée par le public ou donnée par le programme, conduira à la conclusion de la scène.

Direction de l'ensemble :
Une baguette réalisée avec un capteur magnétique de type "flock of bird" permettra au "chef d'orchestre" de diriger chaque différent visage: lancer le chant ou l'arrêter, déclencher ou geler des animations ou des fonds sonores.

Interaction multi-modal du ballet:
Les danseuses de synthèse ont une double interaction: avec la musique et avec le public. Elles communiquent au moyen d'une ceinture de capteurs de mouvement, avec toute personne du public bougeant ou dansant, mais aussi avec le son, dont elles peuvent utiliser divers paramètres: par exemple l'amplitude, la vitesse, les fréquences.

Fiche scientifique

Le projet "Opéra Interactif" regroupe un certain nombre de recherches autour d'une thématique générale, celle de l'interaction créative et <<intelligente>> d'utilisateurs avec des personnages synthètiques et des contenus musicaux.
Il s'agit de développer un environnement virtuel, c'est à dire un univers 3D, incluant des êtres artificiels de toute sorte, en particulier des acteurs de synthèse les plus proches possibles d'un être humain, capables de comprendre l'environnement, d'avoir des comportements, de parler, de chanter, de danser, d'exprimer des émotions, de communiquer entre eux et avec le ou les intervenants dans la scène. Un tel ensemble articule des besoins en modélisation, en simulation de mouvements, en compréhension et en reconnaissance, ainsi que des développements en interactivité et temps réel, amis aussi des relations avec les sciences humaines et cognitives.

Entre réel et virtuel, il s'agit d'établir des interfaces, de développer des systèmes qui aillent bien au-delà de la simple boucle d'action-réaction immédiate, mais intègrent des mécanismes fins d'apprentissage, de reconnaissance. une recherche récente de l'équipe, menée par Michel Bret et Marie-Hélène Tramus, a montré comment les réseaux neuronaux pouvaient enrichir l'interaction d'un être humain "utilisateur" avec une danseuse synthétique.

A l'instar de l'opéra traditionnel qui associe théâtre, danse et musique, notre équipe travaille sur l'animation faciale, l'animation du corps, le traitement de la musique et du son et son association à l'image dans le cadre d'un environnement 3D virtuel.

La voix est au cœur du projet, dans tous ses aspects. Elle est l'élément fédérateur de l'environnement visé, de la voix captée et analysée d'un locuteur à la synthèse d'une voix chantée, de la voix à l'animation du visage, de la voix au mouvement du corps.

Ce projet croise un certain nombre de sujets de recherche:

  • du point de vue de l'animation en images de synthèse: l'articulation et la dĂ©formation du visage en situation d'Ă©locution normale et en situation de chant;
  • du point de vue de l'analyse/synthèse sonore: la synthèse de chant sur des voyelles, l'analyse de l'intonation d'un locuteur-spectateur;
  • du point de vue de la reconnaissance de la parole et de son traitement "intelligent": l'extraction et l'agrĂ©gation de mots-clĂ©s;
  • du point de vue de l'animation synthĂ©tique du corps: la relation du chant (en termes musicaux comme sĂ©mantiques) au mouvement;
  • la navigation dans des mondes virtuels associant formes sonores et formes visuelles, permettant de "saisir" et de manipuler des sons et des "formes" musicales.

 

Notre démarche s'attache à la création d'interfaces entre êtres humains et êtres artificiels capables de simuler des comportements affectifs et réactifs, et de façon plus générale, à la création d'environnements virtuels dans lesquels de nouvelles expérimentations sensorielles viendraient transformer notre relation à l'image.

Contact: les participants au projet

Ballet : Michel Bret, Marie-Hélène Tramus

Visages : Hervé Huitric, Monique Nahas

Musique : Alain Bonardi, Nathalie Dazin

Livret, contact mécénat: Jocelyne Kiss

Distribution artistique
Cupidon: Jocelyne Kiss
Céphise: Bérénice Hennebois
Pygmalion:Pierre-Adam Gilardot
Harpiste: Tatiana Drogna

 

Contact Mécénat

Annie Polack, tel : 01 49 40 66 04
ou
Jocelyne Kiss, tel : 01 49 72 01 31

Fax : 01 43 40 66 96

Courrier:

DĂ©partement Arts et technologies de l'image (A.T.I)

Université Paris 8
2 rue de la liberté
93526 Saint Denis cedex 02

 

Vous pouvez également vous adresser à l'organisme indépendant du Mécénat

L'ADMICAL

16, rue Girardon
78018 Pairs
tel : 01 42 55 20 01
Fax : 01 42 55 71 32


L'opéra interactif sera présenté
Ă©galement lors de diverses expositions au palais de Tokyo, Ă  Imagina, Dresde, Linz etc...