Epic präsentiert eine außergewöhnlich realistische Technologie für Gesichtsanimationen, die einem Angst machen kann

26. März 2023 06:00

Auf der Game Developers Conference (GDC) 2023 hat die Firma Epic Games in ihrer State of Unreal Keynote ein neues Tool namens MetaHuman Creator vorgestellt. Mit diesem Tool sollen Entwickler in der Lage sein, ihre eigenen MetaHumans zu erstellen und diese sogar mit einem iPhone zu animieren. Das MetaHuman Creator Tool ist eine Software, die es Entwicklern ermöglicht, realistisch aussehende und hochdetaillierte Charaktere zu erstellen und zu animieren. Die Charaktere können dann in verschiedenen Spielen, Filmen oder anderen Medien eingesetzt werden.

Bisher war die Erstellung von solchen Charakteren ein aufwändiger und zeitraubender Prozess, der meist von spezialisierten Teams durchgeführt wurde. Das neue Tool von Epic Games soll diese Hürden nun abbauen und es auch einzelnen Entwicklern ermöglichen, eigene Charaktere zu erstellen und zu animieren. Dabei soll die Benutzeroberfläche einfach und intuitiv zu bedienen sein, um möglichst vielen Entwicklern einen Zugang zu ermöglichen. Besonders interessant ist dabei, dass man das Tool sogar mit einem iPhone nutzen kann, um die Charaktere zu animieren. Insgesamt könnte das neue MetaHuman Creator Tool von Epic Games dazu beitragen, die Erstellung von Charakteren in der Spiele- und Filmindustrie zu revolutionieren und mehr Menschen einen Zugang zu diesem Bereich zu ermöglichen.

In einer Ankündigung wurde ein Video gezeigt, das die Leichtigkeit für Entwickler demonstriert, mit dem iPhone aufgenommenes Videomaterial zur Animation von Figuren zu verwenden. Das Video zeigt die beeindruckenden Ergebnisse des Animationstools, das realistische Bewegungen mit subtiler Mimik, Augenverfolgung und Grafikqualität zeigt. Es ist erstaunlich, wie einfach es für Entwickler ist, das Videomaterial in das Tool zu importieren und es dann für die Animation zu verwenden.

Die realistischen Bewegungen der Figuren lassen darauf schließen, dass das Tool über eine fortschrittliche Technologie verfügt, um Bewegungen und Ausdrücke auf eine realistische Weise zu reproduzieren. Die subtile Mimik und Augenverfolgung machen die Figuren lebendiger und fügen ein weiteres Element der Authentizität hinzu. Insgesamt zeigt das Video, wie leistungsstark und einfach das Animationstool ist, und wie es Entwicklern ermöglicht, beeindruckende Ergebnisse zu erzielen, ohne viel Zeit und Mühe investieren zu müssen.

In einem beeindruckenden technologischen Durchbruch hat Epic Games kürzlich gezeigt, was mit der neuesten Technologie möglich ist, indem sie einen Clip von Ninja Theorys kommendem Spiel Senua’s Saga: Hellblade II veröffentlichten. In diesem Clip spielte die Performance-Capture-Künstlerin Melina Jürgens, die den Hauptcharakter des Spiels darstellt, eine Szene nach, die dann in eine großartige Animation umgewandelt wurde. Diese Technologiedemonstration wurde mit teuren Motion-Capture-Kameras in einem speziellen Studio aufgenommen, was zu einem beeindruckenden Endergebnis führte.

Die Verwendung von Motion-Capture-Technologie ermöglicht es, menschliche Bewegungen und Ausdrücke auf sehr genaue und realistische Weise zu erfassen. Dies ist ein wichtiger Schritt in der Entwicklung von Videospielen und der Filmindustrie, da es eine nahtlose Integration von realen Schauspielern in animierte Charaktere ermöglicht. Durch die Verwendung von teuren Kameras und speziellen Studios können Motion-Capture-Künstler noch präzisere Ergebnisse erzielen und so Charaktere zum Leben erwecken, die aufgrund ihrer menschenähnlichen Bewegungen und Ausdrücke viel realistischer wirken.

Die Aufnahmen wurden dann in eine beeindruckende Animation umgewandelt, die die Charaktere zum Leben erweckt und den Spielern ein unglaublich realistisches und immersives Spielerlebnis bietet. Insgesamt zeigt diese Technologiedemonstration von Epic Games, dass Motion-Capture-Technologie ein wichtiger Schritt in der Entwicklung von Videospielen und der Filmindustrie ist. Es ermöglicht eine nahtlose Integration von realen Schauspielern in animierte Charaktere und schafft so eine viel realistischere und immersive Erfahrung für die Zuschauer und Spieler. Obwohl die Verwendung von teuren Kameras und speziellen Studios notwendig ist, um die besten Ergebnisse zu erzielen, wird diese Technologie zweifellos in Zukunft noch weiterentwickelt werden und damit noch beeindruckendere Ergebnisse liefern.

Die Technologie, die hinter dem MetaHuman Animator steht, ermöglicht es Low-Budget-Indie-Entwicklern, ihre Spielfiguren einfach zu animieren, indem sie Animationen aus Aufnahmen von fast jeder Kamera erstellt. Diese Technologie wird durch eine Art künstliche Intelligenz oder Algorithmus für maschinelles Lernen angetrieben, wie Vladimir Mastilovic, VP of Digital Humans Technology bei Epic, erklärt hat. Der MetaHuman Animator wurde mit einer “großen, vielfältigen, hochgradig kuratierten Datenbank” von Gesichtsaufnahmen gefüttert, die es ihm ermöglicht, realistische Animationen zu generieren.

Die Funktionsweise des MetaHuman Animator basiert auf maschinellem Lernen, einem Prozess, bei dem der Algorithmus kontinuierlich aus Daten lernt, um Entscheidungen zu treffen oder Aufgaben auszuführen. In diesem Fall hat der Algorithmus Zugriff auf eine große Anzahl von Gesichtsaufnahmen, die sorgfältig ausgewählt wurden, um eine breite Palette von Gesichtsformen, -strukturen und -bewegungen abzudecken. Durch die Analyse dieser Daten kann der MetaHuman Animator die Bewegungen des Gesichts in Echtzeit verfolgen und diese Bewegungen auf die Spielfigur übertragen.

Dies ermöglicht es den Entwicklern, realistische Animationen zu erstellen, ohne einen Animator einzustellen oder teure Motion-Capture-Technologien zu verwenden. Der vorliegende Datensatz wurde höchstwahrscheinlich durch die Übernahme mehrerer Motion-Capture-Firmen wie Cubic Motion, 3Lateral und Hyprsense durch das Unternehmen Epic Games gesammelt. Epic Games hat auf seiner MetaHuman-Website angegeben, dass alle übernommenen Firmen ihre Technologie weiterentwickelt haben, um jetzt in Echtzeit zu arbeiten.

Das bedeutet, dass die Motion-Capture-Technologie nun in der Lage ist, Bewegungen in Echtzeit zu erfassen und sofort in digitale Charaktere zu übertragen, ohne dass eine zeitaufwendige Nachbearbeitung notwendig ist. Diese verbesserte Technologie verspricht ein enormes Potenzial für die Erstellung von realistischen und detaillierten digitalen Charakteren für die Film-, Spiele- und Virtual-Reality-Industrie. Wenn man ein Entwickler ist und daran interessiert ist, die Fähigkeiten von MetaHuman Animator zu erkunden, gibt es gute Nachrichten. Es wurde angekündigt, dass das Programm im Sommer auf den Markt kommen wird. Das bedeutet, dass Interessierte bald die Möglichkeit haben werden, Ihre kreativen Visionen und Ideen mithilfe der fortschrittlichen Technologie von MetaHuman Animator zum Leben zu erwecken.

Quelle: YouTube, TweakTown

14 Antworten

Zeige alle Kommentare an

Kommentar

Lade neue Kommentare

Brxn

Veteran

257 Kommentare 72 Likes

#1 Mar 26, 2023

Ich freu mich schon drauf, Joe Biden das erste mal fehlerfrei ne "improvisierte / freie Rede" sprechen zu sehen ^^

An sich ist es aber schon cool für Devs und Indies , das ganze spart enormen Zeitaufwand. Nicht jeder kann alles gleich gut und so wird es einem "erspart" sich in die zusätzliche Materie einzuarbeiten, wenn man an nem Spiel oder Filmprojekt arbeitet.

Mal gucken, was der Spaß dann kosten wird..

Einen schönen Sonntag @all 🖖

Antwort 1 Like

Gregor Kacknoob

Urgestein

544 Kommentare 453 Likes

#2 Mar 26, 2023

Schon spannend anzusehen. Naja, ist ja wie die tausendste Akkurevolution. Wird pompös angekündigt, sieht klasse aus und kommt dann doch nie. Aber auf die Fortsetzung von Hellblade freue ich mich auf jeden Fall :)

Antwort 1 Like

MeinBenutzername

Veteran

215 Kommentare 76 Likes

#3 Mar 26, 2023

Ich erinnere mich, da gab es mal eine Software zur Charaktererstellung bei der man sich anmelden und animierte Personen erschaffen konnte. Aber ob dies EPIC war weiß ich nicht mehr. Es würde mich aber nicht verwundern, wenn dies hier mit implementiert wurde. Das sollte die Geschwindigkeit merklich voran treiben. Schön zu sehen, wie sich das alles entwickelt.

Antwort Gefällt mir

grimm

Urgestein

3,230 Kommentare 2,168 Likes

#4 Mar 28, 2023

Senua's Saga ist für mich auch most wanted. Der erste Teil hatte spielerische Mängel, aber das Charakter-Design und einige Wendungen waren wirklich einzigartig.

Antwort Gefällt mir

Supie

Veteran

161 Kommentare 37 Likes

#5 Mar 28, 2023

Ich sehe hier eine Zukunft die es nicht mehr zulassen wird, das menschliche Schauspieler jemals wieder so bekannt / Erfolgreich / und gut bezahlt sein werden, wenn sich das hier erstmal durch gesetzt hat.

Solch reiche Sänger wie Madonna wirds ja wohl auch kaum jemals wieder geben (1 Mrd. $ verdient, damals noch zum grössten Teil mit Tonträgern).
Da hat die IT (spotify etc... ja den Erlös auch schon gedrückt - zu den Labels verschoben).

Man kann dann komplett realistische Charaktere erstellen, und die, die die Motion capture Aufnahmen machen, sind anonyme nicht mehr zu erkennende Helfer. Quasi das Equivalent zu heutigen Comparsen / Standman.
Man muss ihnen (den Chars) "nur" noch Biographien erstellen und Hypen. Ein paar echte Menschen hällt man sich noch für Events "Oskar" und so.

Da sind die Studiobosse sicherlich schon ganz geil drauf. Kosten für die Darsteller schmelzen wie "Butter" in der Sonne = Reingewinn extrem gesteigert, damit wäre wohl z.B. auch Black Adam noch profitabel =).

Bin gespannt obs so kommt. All das erinnert mich an eine alte Serie.....kennt hier noch jemand "Max Headroom"? =)

Grüsse.

Antwort Gefällt mir

Klicke zum Ausklappem

grimm

Urgestein

3,230 Kommentare 2,168 Likes

#6 Mar 28, 2023

Das Theater wird einen neuen Aufschwung erleben. Und du wirst sehen, dass es im Charakterfach auch weiterhin große Schauspieler geben wird, die Emotion besser rüber bringen, als die CGI-Engines.
Im AAA-Blockbuster Fach á là Marvel ist es doch heute schon ein Thema: Rumgehampel vor Blue- oder Greenscreen. Ich mache mir da ehrlich gesagt in absehbarer Zeit keine Sorgen um die Zunft.

Antwort Gefällt mir

Supie

Veteran

161 Kommentare 37 Likes

#7 Mar 28, 2023

Ich weiss nicht ob ichs verständlich gemacht habe, wir reden hier von einer ganz neuen Qualität mit der Figuren in einen Film integriert werden können, was ich in dem Video sah, wenn es so dargestellt werden kann, wo ist da noch der grosse Unterschied zu einem Menschen?

Blue / Grenscreen ersetzt heute schon statischen Hintergrund, aber Menschen, das haste bisher immer noch gut sehen können wenn se aus dem PC kamen, diesmal sah ich, so sehr ich auch geguckt habe keinen Unterschied mehr, und sag mir, wenn die also dann rein theoretisch einen Film ohne Schauspieler drehen können, so das man es nicht merkt, was sollte die davon abhalten?

Ein PC Programm verlangt keine Millionengage, das ist in meinen Augen genug um es auf jeden Fall zu versuchen...... obs das Publikum annehmen wird, wenn es diese Programme natürlich nicht anhimmeln kann (existieren ja nicht), das wird in meinen Augen der einzige Knackpunkt sein, ob das so kommt oder nicht.
Verkauft es sich noch ohne menschliche Schauspieler? Das, und nix anders, wird mehr zählen. Ich sehe: Tests incomming......

Grüsse.

Antwort Gefällt mir

grimm

Urgestein

3,230 Kommentare 2,168 Likes

#8 Mar 28, 2023

Hast du den Film gesehen? Da werden die Gesichtszüge von einer Schauspielerin gescannt und gecaptured.

Antwort Gefällt mir

Supie

Veteran

161 Kommentare 37 Likes

#9 Mar 29, 2023

Ja, genau, und kann man die Schauspielerin noch als sie selbst erkennen? Das sage ich doch, nur noch Motion Capture Hiwies, und das wars, weil man sie nicht mehr erkennen kann wenns die Filmfirma nicht will.

Ist doch mit z.B. Smaug auch nicht so viel anders, wenn man nicht weiss das es Coumberbatch ist, was siehst du dann in dem Drachen?
Er ist da schon ziemlich gut unkenntlich gemacht, er hat ja schon eine Namen, sonst wäre der job auch annonym gegangen.

Und die Figur im Video hatte eigentlich nicht mehr so viel mit der aufgenommenen Schauspielerin gemein finde ich.
Und das ist jetzt gerade mal der Anfang.......

Morphen kann man die Gesichtszüge sicher noch zusätzlich falls man noch was erkennen kann.

Edit:
Ich habe nochmal von Min. 0,28 direckt auf den Schluss geguckt zum Vergleich. Vil. irritiert mich auch das grüne Licht.

Antwort Gefällt mir

grimm

Urgestein

3,230 Kommentare 2,168 Likes

#10 Mar 29, 2023

Im Text heißt es: "Die Verwendung von Motion-Capture-Technologie ermöglicht es, menschliche Bewegungen und Ausdrücke auf sehr genaue und realistische Weise zu erfassen. Dies ist ein wichtiger Schritt in der Entwicklung von Videospielen und der Filmindustrie, da es eine nahtlose Integration von realen Schauspielern in animierte Charaktere ermöglicht. Durch die Verwendung von teuren Kameras und speziellen Studios können Motion-Capture-Künstler noch präzisere Ergebnisse erzielen und so Charaktere zum Leben erwecken, die aufgrund ihrer menschenähnlichen Bewegungen und Ausdrücke viel realistischer wirken."

Es geht darum, menschliche Schauspielerinnen und Schauspieler 1:1 mit ihrer Mimik in ein Spiel zu bringen. Und damit den Charakter zu animieren. Ohne Schauspieler sind wir wieder beim "normalen" Figurenmodell, dass mal mehr, mal weniger überzeugt. Die feiern hier nicht das Ersetzen von Menschen ab, sondern die Übertragung der Mimik eines Menschen in ein Spiel.

Antwort Gefällt mir

Supie

Veteran

161 Kommentare 37 Likes

#11 Mar 29, 2023

Lass uns bitte wieder friedlich sein, mir geht es darum das ich weiter nach vorne sehe. Bis dato brauchte man ein teures Studio allein für diese Aufnahmen, und ich denke es hat sich nicht gerechnet einen NPC zu erschaffen, und dann die Aufnahmen zu machen, ein I-Phone aber ist doch relativ dazu eine spottbillige Voraussetzung.....Mit der zugleich wohl auch wirklich jeder nach Einarbeitung ein brauchbares Ergebnis erhällt.

So vehement wie du argumentierst - ist es in deinen Augen ausgeschlossen, das man diese Mimik etc.... dann auf PC generierte
Gesichter überträgt?
Die Antwort gibts du doch schon selber ganz deutlich: nahtlose Integration von realen Schauspielern in animierte Charaktere ermöglicht.

Und wo geht aus deinen Ausführungen hervor, das diese animierten Charaktäre noch wie die Schauspieler aussehen müssen, die die Mimik etc... spendieren?

Setz einen kreativen an einen PC mit entsprechenden Vorraussetzungen, und er macht dir ein überirdisch schönes Phantasiegesicht (wenn er schlau ist baut er kleinste Makel ein, dann wirkt es realistischer, weil man sich damit identifizieren kann) dann überträgt man die Motion capture Aufnahmen vom I-Phone und fertig, der "Fisch ist geputzt", wo ist mein Gedankengang so abwegig, das er unrealistisch wird?

Ganz im Gegenteil, es ist spottbillig und geht "realtiv" schnell.

Und genau dann s.o.....wer braucht dann noch viele Schauspieler, die in den Blockbustern einen megahaufen Kohle einschieben?
Vergleich Herr der Ringe mit dem kleinen Hobbit, im ersteren (Helms Klamm) gabs noch einen haufen Komparsen, weil die PCs noch nicht so weit waren, die sparte man im Hobbit "kurzer Hand" ein.........Für die Hauptdarsteller in Nahaufnahme taugte die Technik noch nicht........ aber mit dieser Qualität an Animationen, die nun - ich wiederhole, mit im Vergleich einfachsten Mitteln zu Verfügung steht?
Hast du bei der "Schlacht der 5 Heere" irgend einen Menschen vermisst? Ob da tausende Komparsen oder NPC kämpfen war doch egal. Und nun übertrage das mal auf alle Schauspieler in einem Film......

Man braucht auch keine teure Versicherung mehr etc..... keine Marotten und Launen auf die man mehr Rücksicht nehmen muss, Terminprobleme, gesparte Arbeitszeit - wenn kein Makeup mehr nötig ist, vor allem - keine x-Wiederholungen weil die Schauspieler es nicht richtig hinbekommen wie der Regesieur es sich vorstellt, Menschen verstehen nicht auf Anhieb, sind manchmal unkonzentriert......im weiteren Verlauf liessen sich sogar Reisen zu den orginal Schauplätzen fast komplett ersetzen - wird ja schon gemacht........muss ich weiter reden?

Wenn es gewollt ist, sage ich weiterhin, das man den Motion capture Hiwie nicht mehr erkennen können muss, somit kann er auch keine riesen Kohle mehr verlangen wie wenn es SEIN Gesicht ist, das die Leute ins Kino holt.........
Cumberbatch und Serkis (Gollum), wieviele Motion capture Artists kennst du noch? Würdest du erkennen können bei animierten Wesen?

So wie heute die Syncronsprecher. Die kennste auch nur von der Stimme her, und die verdienen im Vergleich zu den "Gesichtsträgern" auch "kaum was", ist das echt so schwer zu verstehen, das ich von der, in meinen Augen wahrscheinlichen ZUKUNFT rede?

Es wurde zu allen Zeiten versucht Kosten zu sparen und zu rationalisieren, warum sollte es hier anders sein?

Abschliessend, wo spielt es bei meinen Überlegungen eine Rolle, was die JETZT abfeiern?

Antwort Gefällt mir

Klicke zum Ausklappem

Brxn

Veteran

257 Kommentare 72 Likes

#12 Mar 29, 2023

Joar, ich seh das ähnlich wie @Supie.

Ist doch klar, das animierte "Schauspieler" ihre Vorteile haben, Supie hat sie aufgezählt. Und genau wegen diesen Vorteilen wird diese Technik auch immer intensiver benutzt und verfeinert/erweitert werden. Wozu man heute vielleicht noch Gesichtsakrobaten wie JimCarrey braucht, das wird in ein paar Jahren nicht mehr so sein. Maschinelles Lernen und riesen Bibliotheken an MotionCaptureScanz machen den guten JimCarrey Stück für Stück überflüssig.

Mit Kreativität und diesen Bibliotheken kann man so vorzüglich neue "Wesen" erschaffen, die dann glaubhaft über den Bildschirm hüpfen. Zu erkennen was noch real und was nicht mehr real ist, das würde ich in Games und Filmen sogar befürworten. Aber nun kommen wir dahin, worum es mir in dieser ganzen Sache geht.

In meinem vorherigen Beitrag (der allererste unter der News) erwähnte ich JoeBiden. Ich will jetzt gar keine politischen Diskussionen hier sehen, aber auch das Selensky bekanntermaßen vor GreenScreens herum turnt, um Eindrücke zu erwecken zeigt die Tendenz die es zu betrachten gilt.

Ich will technischen Fortschritt gar nicht aufhalten oder übermäßig schlecht reden, aber wohin kann es führen, wenn wir das was uns in der Tagesschau oder sonstigen "VideoBeweisen" vorgesetzt wird nicht mehr ohne weiteres Vertrauen können/sollten/müssen. Die Stichworte FakeNewz und Desinformation werden ja nicht erst ein Thema wenn beschriebene Zukunft eintritt sondern sind es schon jetzt.

Grüße 🖖

Antwort 1 Like

Klicke zum Ausklappem

Supie

Veteran

161 Kommentare 37 Likes

#13 Mar 29, 2023

@Brxn,
du hast recht, daran habe ich noch garnicht gedacht, überzeugende DeepFakes sind doch auch schon die ersten in Filmen drin, denk ab Prinzessin Lea am Ende von Rouge One, als man die Szene zeigte wie sie, wissend um die Gefahr durch Darth Vader R2 das Hologram einprogrammierte, das dann Episode 4 einläutete....... (der allererste Star Wars Film).

Ich fand den natlosen Übergang fasszinierend. Würde man danach Episode 4 gucken und die schlechtere Quali ausblenden, wärs fast so als wenn Kerrie Fischer direkt die Szenen zur damaligen Zeit gedreht hätte..........

Antwort Gefällt mir

grimm

Urgestein

3,230 Kommentare 2,168 Likes

#14 Mar 29, 2023

Ich bin garnicht unfriedlich bzw es tut mir leid, wenn das so rüberkam. Ich wollte nur drauf hinweisen, dass es um Motion Capture im Vergleich zu "man braucht keine Schauspieler mehr" geht. Da scheint bei euch was durcheinander zu gehen. Mir ist hier nicht so ganz klar, was die bahnbrechende Neuigkeit sein soll. Der Clou scheint zu sein, dass man jetzt eben auch in Echtzeit Effekte dazu rendern kann. Ansonsten ist man immer noch auf Schauspieler bzw eine Schauspielerin angewiesen.

Anders verhält es sich bei dem Beispiel mit Prinzessin Leia:
Hier hat man das alte Filmmaterial mit Carrie Fisher genutzt und damit den Computer "gefüttert", der daraus dann ein sehr realistisches Modell gerendert hat. Grundsätzlich sollte man bereits heute eine KI mit Filmszenen diverser Charakterdarsteller trainieren können. Und diese dann beauftragen, eine Rendersequenz mit einem komplett generierten Gesicht zu erstellen.

Dass es ganz ohne Vorlage geht, zeigen Pixar & Co. jedes Jahr aufs Neue. Auch die aktuelle "Resident Evil"-Serie ist sehr nah am Realfilm.

Antwort Gefällt mir

Alle Kommentare lesen unter igor´sLAB Community →

Danke für die Spende

Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.