Latest news

Epic unveils exceptionally realistic facial animation technology that can scare you

At the Game Developers Conference (GDC) 2023, Epic Games introduced a new tool called MetaHuman Creator in its State of Unreal keynote. With this tool, developers should be able to create their own MetaHumans and even animate them with an iPhone. MetaHuman Creator Tool is a software that allows developers to create and animate realistic looking and highly detailed characters. The characters can then be used in various games, movies or other media.

Until now, the creation of such characters was a laborious and time-consuming process, usually carried out by specialized teams. The new tool from Epic Games should now remove these hurdles and also enable individual developers to create and animate their own characters. At the same time, the user interface should be easy and intuitive to use in order to provide access to as many developers as possible. What’s particularly interesting is that you can even use the tool with an iPhone to animate the characters. Overall, Epic Games’ new MetaHuman Creator tool could help revolutionize character creation in the gaming and film industries and give more people access to the field.

Source: YouTube

In an announcement, a video was shown demonstrating the ease for developers to use video footage captured with the iPhone to animate characters. The video shows the impressive results of the animation tool, which displays realistic movements with subtle facial expressions, eye tracking and graphics quality. It’s amazing how easy it is for developers to import the video footage into the tool and then use it for animation.

The realistic movements of the characters suggest that the tool has advanced technology to reproduce movements and expressions in a realistic way. The subtle facial expressions and eye tracking make the characters more vivid and add another element of authenticity. Overall, the video shows how powerful and simple the animation tool is, and how it allows developers to achieve impressive results without having to invest a lot of time and effort.

In an impressive technological breakthrough, Epic Games recently showed what’s possible with the latest technology by releasing a clip of Ninja Theory’s upcoming game Senua’s Saga: Hellblade II. In this clip, performance capture artist Melina Juergens, who portrays the main character of the game, acted out a scene, which was then turned into a great animation. This technology demonstration was shot with expensive motion capture cameras in a special studio, resulting in an impressive final result.

The use of motion capture technology makes it possible to capture human movements and expressions in a very accurate and realistic way. This is an important step in the evolution of video games and the film industry, as it allows seamless integration of real actors into animated characters. Using expensive cameras and specialized studios, motion capture artists can achieve even more precise results, bringing to life characters that look much more realistic because of their human-like movements and expressions.

The footage was then transformed into stunning animation that brings the characters to life, giving players an incredibly realistic and immersive gaming experience. Overall, this technology demonstration by Epic Games shows that motion capture technology is an important step in the development of video games and the film industry. It allows seamless integration of real actors with animated characters, creating a much more realistic and immersive experience for viewers and players. Although the use of expensive cameras and specialized studios is necessary to achieve the best results, this technology will undoubtedly evolve in the future to provide even more impressive results.

The technology behind MetaHuman Animator allows low-budget indie developers to easily animate their game characters by creating animations from footage from almost any camera. This technology is powered by a type of artificial intelligence or machine learning algorithm, as explained by Vladimir Mastilovic, VP of Digital Humans Technology at Epic, which fed MetaHuman Animator with a “large, diverse, highly curated database” of facial images that allows it to generate realistic animations.

The way MetaHuman Animator works is based on machine learning, a process in which the algorithm continuously learns from data to make decisions or perform tasks. In this case, the algorithm has access to a large number of facial images carefully selected to cover a wide range of facial shapes, structures and movements. By analyzing this data, MetaHuman Animator can track facial movements in real time and transfer these movements to the game character.

This allows developers to create realistic animations without hiring an animator or using expensive motion capture technologies. The present dataset was most likely collected through Epic Games’ acquisition of several motion capture companies such as Cubic Motion, 3Lateral, and Hyprsense. Epic Games stated on its MetaHuman website that all acquired companies have evolved their technology to now work in real time.

This means that motion capture technology is now capable of capturing motion in real time and instantly translating it into digital characters without the need for time-consuming post-processing. This improved technology promises tremendous potential for creating realistic and detailed digital characters for the film, gaming and virtual reality industries. If you are a developer and interested in exploring MetaHuman Animator’s capabilities, there is good news. It was announced that the program will be launched in the summer. This means that those interested will soon have the opportunity to bring their creative visions and ideas to life using MetaHuman Animator’s advanced technology.

Source: YouTube, TweakTown

 

 

 

 

 

Kommentar

Lade neue Kommentare

Brxn

Veteran

256 Kommentare 71 Likes

Ich freu mich schon drauf, Joe Biden das erste mal fehlerfrei ne "improvisierte / freie Rede" sprechen zu sehen ^^

An sich ist es aber schon cool für Devs und Indies , das ganze spart enormen Zeitaufwand. Nicht jeder kann alles gleich gut und so wird es einem "erspart" sich in die zusätzliche Materie einzuarbeiten, wenn man an nem Spiel oder Filmprojekt arbeitet.

Mal gucken, was der Spaß dann kosten wird..

Einen schönen Sonntag @all 🖖

Antwort 1 Like

Gregor Kacknoob

Urgestein

524 Kommentare 442 Likes

Schon spannend anzusehen. Naja, ist ja wie die tausendste Akkurevolution. Wird pompös angekündigt, sieht klasse aus und kommt dann doch nie. Aber auf die Fortsetzung von Hellblade freue ich mich auf jeden Fall :)

Antwort 1 Like

MeinBenutzername

Veteran

209 Kommentare 74 Likes

Ich erinnere mich, da gab es mal eine Software zur Charaktererstellung bei der man sich anmelden und animierte Personen erschaffen konnte. Aber ob dies EPIC war weiß ich nicht mehr. Es würde mich aber nicht verwundern, wenn dies hier mit implementiert wurde. Das sollte die Geschwindigkeit merklich voran treiben. Schön zu sehen, wie sich das alles entwickelt.

Antwort Gefällt mir

grimm

Urgestein

3,081 Kommentare 2,034 Likes

Senua's Saga ist für mich auch most wanted. Der erste Teil hatte spielerische Mängel, aber das Charakter-Design und einige Wendungen waren wirklich einzigartig.

Antwort Gefällt mir

S
Supie

Veteran

161 Kommentare 37 Likes

Ich sehe hier eine Zukunft die es nicht mehr zulassen wird, das menschliche Schauspieler jemals wieder so bekannt / Erfolgreich / und gut bezahlt sein werden, wenn sich das hier erstmal durch gesetzt hat.

Solch reiche Sänger wie Madonna wirds ja wohl auch kaum jemals wieder geben (1 Mrd. $ verdient, damals noch zum grössten Teil mit Tonträgern).
Da hat die IT (spotify etc... ja den Erlös auch schon gedrückt - zu den Labels verschoben).

Man kann dann komplett realistische Charaktere erstellen, und die, die die Motion capture Aufnahmen machen, sind anonyme nicht mehr zu erkennende Helfer. Quasi das Equivalent zu heutigen Comparsen / Standman.
Man muss ihnen (den Chars) "nur" noch Biographien erstellen und Hypen. Ein paar echte Menschen hällt man sich noch für Events "Oskar" und so.

Da sind die Studiobosse sicherlich schon ganz geil drauf. Kosten für die Darsteller schmelzen wie "Butter" in der Sonne = Reingewinn extrem gesteigert, damit wäre wohl z.B. auch Black Adam noch profitabel =).

Bin gespannt obs so kommt. All das erinnert mich an eine alte Serie.....kennt hier noch jemand "Max Headroom"? =)

Grüsse.

Antwort Gefällt mir

Klicke zum Ausklappem
grimm

Urgestein

3,081 Kommentare 2,034 Likes

Das Theater wird einen neuen Aufschwung erleben. Und du wirst sehen, dass es im Charakterfach auch weiterhin große Schauspieler geben wird, die Emotion besser rüber bringen, als die CGI-Engines.
Im AAA-Blockbuster Fach á là Marvel ist es doch heute schon ein Thema: Rumgehampel vor Blue- oder Greenscreen. Ich mache mir da ehrlich gesagt in absehbarer Zeit keine Sorgen um die Zunft.

Antwort Gefällt mir

S
Supie

Veteran

161 Kommentare 37 Likes

Ich weiss nicht ob ichs verständlich gemacht habe, wir reden hier von einer ganz neuen Qualität mit der Figuren in einen Film integriert werden können, was ich in dem Video sah, wenn es so dargestellt werden kann, wo ist da noch der grosse Unterschied zu einem Menschen?

Blue / Grenscreen ersetzt heute schon statischen Hintergrund, aber Menschen, das haste bisher immer noch gut sehen können wenn se aus dem PC kamen, diesmal sah ich, so sehr ich auch geguckt habe keinen Unterschied mehr, und sag mir, wenn die also dann rein theoretisch einen Film ohne Schauspieler drehen können, so das man es nicht merkt, was sollte die davon abhalten?

Ein PC Programm verlangt keine Millionengage, das ist in meinen Augen genug um es auf jeden Fall zu versuchen...... obs das Publikum annehmen wird, wenn es diese Programme natürlich nicht anhimmeln kann (existieren ja nicht), das wird in meinen Augen der einzige Knackpunkt sein, ob das so kommt oder nicht.
Verkauft es sich noch ohne menschliche Schauspieler? Das, und nix anders, wird mehr zählen. Ich sehe: Tests incomming......

Grüsse.

Antwort Gefällt mir

grimm

Urgestein

3,081 Kommentare 2,034 Likes

Hast du den Film gesehen? Da werden die Gesichtszüge von einer Schauspielerin gescannt und gecaptured.

Antwort Gefällt mir

S
Supie

Veteran

161 Kommentare 37 Likes

Ja, genau, und kann man die Schauspielerin noch als sie selbst erkennen? Das sage ich doch, nur noch Motion Capture Hiwies, und das wars, weil man sie nicht mehr erkennen kann wenns die Filmfirma nicht will.

Ist doch mit z.B. Smaug auch nicht so viel anders, wenn man nicht weiss das es Coumberbatch ist, was siehst du dann in dem Drachen?
Er ist da schon ziemlich gut unkenntlich gemacht, er hat ja schon eine Namen, sonst wäre der job auch annonym gegangen.

Und die Figur im Video hatte eigentlich nicht mehr so viel mit der aufgenommenen Schauspielerin gemein finde ich.
Und das ist jetzt gerade mal der Anfang.......

Morphen kann man die Gesichtszüge sicher noch zusätzlich falls man noch was erkennen kann.

Edit:
Ich habe nochmal von Min. 0,28 direckt auf den Schluss geguckt zum Vergleich. Vil. irritiert mich auch das grüne Licht.

Antwort Gefällt mir

grimm

Urgestein

3,081 Kommentare 2,034 Likes

Im Text heißt es: "Die Verwendung von Motion-Capture-Technologie ermöglicht es, menschliche Bewegungen und Ausdrücke auf sehr genaue und realistische Weise zu erfassen. Dies ist ein wichtiger Schritt in der Entwicklung von Videospielen und der Filmindustrie, da es eine nahtlose Integration von realen Schauspielern in animierte Charaktere ermöglicht. Durch die Verwendung von teuren Kameras und speziellen Studios können Motion-Capture-Künstler noch präzisere Ergebnisse erzielen und so Charaktere zum Leben erwecken, die aufgrund ihrer menschenähnlichen Bewegungen und Ausdrücke viel realistischer wirken."

Es geht darum, menschliche Schauspielerinnen und Schauspieler 1:1 mit ihrer Mimik in ein Spiel zu bringen. Und damit den Charakter zu animieren. Ohne Schauspieler sind wir wieder beim "normalen" Figurenmodell, dass mal mehr, mal weniger überzeugt. Die feiern hier nicht das Ersetzen von Menschen ab, sondern die Übertragung der Mimik eines Menschen in ein Spiel.

Antwort Gefällt mir

S
Supie

Veteran

161 Kommentare 37 Likes

Lass uns bitte wieder friedlich sein, mir geht es darum das ich weiter nach vorne sehe. Bis dato brauchte man ein teures Studio allein für diese Aufnahmen, und ich denke es hat sich nicht gerechnet einen NPC zu erschaffen, und dann die Aufnahmen zu machen, ein I-Phone aber ist doch relativ dazu eine spottbillige Voraussetzung.....Mit der zugleich wohl auch wirklich jeder nach Einarbeitung ein brauchbares Ergebnis erhällt.

So vehement wie du argumentierst - ist es in deinen Augen ausgeschlossen, das man diese Mimik etc.... dann auf PC generierte
Gesichter überträgt?
Die Antwort gibts du doch schon selber ganz deutlich: nahtlose Integration von realen Schauspielern in animierte Charaktere ermöglicht.

Und wo geht aus deinen Ausführungen hervor, das diese animierten Charaktäre noch wie die Schauspieler aussehen müssen, die die Mimik etc... spendieren?

Setz einen kreativen an einen PC mit entsprechenden Vorraussetzungen, und er macht dir ein überirdisch schönes Phantasiegesicht (wenn er schlau ist baut er kleinste Makel ein, dann wirkt es realistischer, weil man sich damit identifizieren kann) dann überträgt man die Motion capture Aufnahmen vom I-Phone und fertig, der "Fisch ist geputzt", wo ist mein Gedankengang so abwegig, das er unrealistisch wird?

Ganz im Gegenteil, es ist spottbillig und geht "realtiv" schnell.

Und genau dann s.o.....wer braucht dann noch viele Schauspieler, die in den Blockbustern einen megahaufen Kohle einschieben?
Vergleich Herr der Ringe mit dem kleinen Hobbit, im ersteren (Helms Klamm) gabs noch einen haufen Komparsen, weil die PCs noch nicht so weit waren, die sparte man im Hobbit "kurzer Hand" ein.........Für die Hauptdarsteller in Nahaufnahme taugte die Technik noch nicht........ aber mit dieser Qualität an Animationen, die nun - ich wiederhole, mit im Vergleich einfachsten Mitteln zu Verfügung steht?
Hast du bei der "Schlacht der 5 Heere" irgend einen Menschen vermisst? Ob da tausende Komparsen oder NPC kämpfen war doch egal. Und nun übertrage das mal auf alle Schauspieler in einem Film......

Man braucht auch keine teure Versicherung mehr etc..... keine Marotten und Launen auf die man mehr Rücksicht nehmen muss, Terminprobleme, gesparte Arbeitszeit - wenn kein Makeup mehr nötig ist, vor allem - keine x-Wiederholungen weil die Schauspieler es nicht richtig hinbekommen wie der Regesieur es sich vorstellt, Menschen verstehen nicht auf Anhieb, sind manchmal unkonzentriert......im weiteren Verlauf liessen sich sogar Reisen zu den orginal Schauplätzen fast komplett ersetzen - wird ja schon gemacht........muss ich weiter reden?

Wenn es gewollt ist, sage ich weiterhin, das man den Motion capture Hiwie nicht mehr erkennen können muss, somit kann er auch keine riesen Kohle mehr verlangen wie wenn es SEIN Gesicht ist, das die Leute ins Kino holt.........
Cumberbatch und Serkis (Gollum), wieviele Motion capture Artists kennst du noch? Würdest du erkennen können bei animierten Wesen?

So wie heute die Syncronsprecher. Die kennste auch nur von der Stimme her, und die verdienen im Vergleich zu den "Gesichtsträgern" auch "kaum was", ist das echt so schwer zu verstehen, das ich von der, in meinen Augen wahrscheinlichen ZUKUNFT rede?

Es wurde zu allen Zeiten versucht Kosten zu sparen und zu rationalisieren, warum sollte es hier anders sein?

Abschliessend, wo spielt es bei meinen Überlegungen eine Rolle, was die JETZT abfeiern?

Antwort Gefällt mir

Klicke zum Ausklappem
Brxn

Veteran

256 Kommentare 71 Likes

Joar, ich seh das ähnlich wie @Supie.

Ist doch klar, das animierte "Schauspieler" ihre Vorteile haben, Supie hat sie aufgezählt. Und genau wegen diesen Vorteilen wird diese Technik auch immer intensiver benutzt und verfeinert/erweitert werden. Wozu man heute vielleicht noch Gesichtsakrobaten wie JimCarrey braucht, das wird in ein paar Jahren nicht mehr so sein. Maschinelles Lernen und riesen Bibliotheken an MotionCaptureScanz machen den guten JimCarrey Stück für Stück überflüssig.

Mit Kreativität und diesen Bibliotheken kann man so vorzüglich neue "Wesen" erschaffen, die dann glaubhaft über den Bildschirm hüpfen. Zu erkennen was noch real und was nicht mehr real ist, das würde ich in Games und Filmen sogar befürworten. Aber nun kommen wir dahin, worum es mir in dieser ganzen Sache geht.

In meinem vorherigen Beitrag (der allererste unter der News) erwähnte ich JoeBiden. Ich will jetzt gar keine politischen Diskussionen hier sehen, aber auch das Selensky bekanntermaßen vor GreenScreens herum turnt, um Eindrücke zu erwecken zeigt die Tendenz die es zu betrachten gilt.

Ich will technischen Fortschritt gar nicht aufhalten oder übermäßig schlecht reden, aber wohin kann es führen, wenn wir das was uns in der Tagesschau oder sonstigen "VideoBeweisen" vorgesetzt wird nicht mehr ohne weiteres Vertrauen können/sollten/müssen. Die Stichworte FakeNewz und Desinformation werden ja nicht erst ein Thema wenn beschriebene Zukunft eintritt sondern sind es schon jetzt.

Grüße 🖖

Antwort 1 Like

Klicke zum Ausklappem
S
Supie

Veteran

161 Kommentare 37 Likes

@Brxn,
du hast recht, daran habe ich noch garnicht gedacht, überzeugende DeepFakes sind doch auch schon die ersten in Filmen drin, denk ab Prinzessin Lea am Ende von Rouge One, als man die Szene zeigte wie sie, wissend um die Gefahr durch Darth Vader R2 das Hologram einprogrammierte, das dann Episode 4 einläutete....... (der allererste Star Wars Film).

Ich fand den natlosen Übergang fasszinierend. Würde man danach Episode 4 gucken und die schlechtere Quali ausblenden, wärs fast so als wenn Kerrie Fischer direkt die Szenen zur damaligen Zeit gedreht hätte..........

Antwort Gefällt mir

grimm

Urgestein

3,081 Kommentare 2,034 Likes

Ich bin garnicht unfriedlich bzw es tut mir leid, wenn das so rüberkam. Ich wollte nur drauf hinweisen, dass es um Motion Capture im Vergleich zu "man braucht keine Schauspieler mehr" geht. Da scheint bei euch was durcheinander zu gehen. Mir ist hier nicht so ganz klar, was die bahnbrechende Neuigkeit sein soll. Der Clou scheint zu sein, dass man jetzt eben auch in Echtzeit Effekte dazu rendern kann. Ansonsten ist man immer noch auf Schauspieler bzw eine Schauspielerin angewiesen.

Anders verhält es sich bei dem Beispiel mit Prinzessin Leia:
Hier hat man das alte Filmmaterial mit Carrie Fisher genutzt und damit den Computer "gefüttert", der daraus dann ein sehr realistisches Modell gerendert hat. Grundsätzlich sollte man bereits heute eine KI mit Filmszenen diverser Charakterdarsteller trainieren können. Und diese dann beauftragen, eine Rendersequenz mit einem komplett generierten Gesicht zu erstellen.

Dass es ganz ohne Vorlage geht, zeigen Pixar & Co. jedes Jahr aufs Neue. Auch die aktuelle "Resident Evil"-Serie ist sehr nah am Realfilm.

Antwort Gefällt mir

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Samir Bashir

Werbung

Werbung