Campus Event Calendar
Event Entry
What and Who
Learning-Based Facial Animation
Dipl.-Inf. Robert Bargmann
Max-Planck-Institut für Informatik - D4
Promotionskolloquium
AG 1, AG 2, AG 3, AG 4, AG 5, SWS, RG1, MMCI
Public Audience
English
Note: We use this to send email in the morning.
Date, Time and Location
Friday, 28 November 2008
11:30
90 Minutes
Warning: Time has changed!
E1 4
019
Saarbrücken
Abstract
In dieser Arbeit wird ein neues Verfahren zur automatischen Erzeugung
audio-basierter 3D Sprechanimation vorgeschlagen. Ein komplettes System
wird vorgestellt, welches in 3 Phasen arbeitet. In einer ersten Phase
der Datenaufnahme werden dynamische Artikulationsbewegungen aufgenommen
und ergänzt. In einer zweiten Lernphase wird die Korrelation dieser
Bewegungen in ihrem phonetischen Kontext untersucht, um die visuelle
Natur des Sprechens zu verstehen. Schließlich wird für die Phase der
Synthese ein Algorithmus vorgeschlagen, welcher so viel vom natürlichen
Verhalten wie möglich aus den aufgenommenen Daten in die endgültige
Animation überträgt.
Die Auswahl von Bewegungssegmenten zur Synthese der Animation beruht auf
einem neuartigen Ähnlichkeitsmaß, welches auf einer Locally Linear
Embedding Repräsentation von Visemen beruht und eng verwandt mit
Kategorien von Visemen, wie sie in der Literatur über
Artikulationsphonetik definiert sind.
Neben einem allgemeinen Hierarchischen Substitutionverfahren, welches
unmittelbar auch in anderen Sprechanimationssystemen verwendet werden
kann, führt unser Algorithmus eine optimale Segment-Konkatenation durch,
um neue Äußerungsformen mit natürlichen Koartikulationseffekten zu
erzeugen.
audio-basierter 3D Sprechanimation vorgeschlagen. Ein komplettes System
wird vorgestellt, welches in 3 Phasen arbeitet. In einer ersten Phase
der Datenaufnahme werden dynamische Artikulationsbewegungen aufgenommen
und ergänzt. In einer zweiten Lernphase wird die Korrelation dieser
Bewegungen in ihrem phonetischen Kontext untersucht, um die visuelle
Natur des Sprechens zu verstehen. Schließlich wird für die Phase der
Synthese ein Algorithmus vorgeschlagen, welcher so viel vom natürlichen
Verhalten wie möglich aus den aufgenommenen Daten in die endgültige
Animation überträgt.
Die Auswahl von Bewegungssegmenten zur Synthese der Animation beruht auf
einem neuartigen Ähnlichkeitsmaß, welches auf einer Locally Linear
Embedding Repräsentation von Visemen beruht und eng verwandt mit
Kategorien von Visemen, wie sie in der Literatur über
Artikulationsphonetik definiert sind.
Neben einem allgemeinen Hierarchischen Substitutionverfahren, welches
unmittelbar auch in anderen Sprechanimationssystemen verwendet werden
kann, führt unser Algorithmus eine optimale Segment-Konkatenation durch,
um neue Äußerungsformen mit natürlichen Koartikulationseffekten zu
erzeugen.
Contact
Thorsten Thormählen
+49.681.9325.417
--email hidden
passcode not visible
logged in users only
Sabine Budde, 11/27/2008 10:10
Sabine Budde, 11/25/2008 14:57 -- Created document.
Sabine Budde, 11/25/2008 14:57 -- Created document.