Gehypte AI-App 21.09.2023, 11:30 Uhr

Web-Tipp: HeyGen KI-Übersetzungs-App

HeyGen lässt Sie lippensynchron in diversen Sprachen sprechen. PCtipp hat den gehypten KI-Übersetzer getestet.
HeyGen Startseite (Desktop)
(Quelle: Screenshot/PCtipp.ch)
Der Ausgangstext wird in (Schrift-)Deutsch gesprochen und soll ins Englische übersetzt werden.

Preise

Nach der Registrierung benötigt man sogenannte Credits, um Videos erstellen zu können. Es gibt eine Free-Version, bei der man einen Gratis-Credit erhält. Ideal, um die App auszuprobieren. Darin enthalten ist eine maximale einminütige Videodauer und 1 Space Seat. Im Gratis-Abo sind unter anderem über 120 öffentliche Avatare und über 300 öffentliche Stimmen verfügbar. Wer HeyGen regelmässig nutzen möchte, kann den Dienst kostenpflichtig ab 48 USD pro Monat mieten.
Wer das ausprobieren möchte, hat einen Versuch mit der Free-Version
Quelle: Screenshot/PCtipp.ch
Wie HeyGen funktioniert, erfahren Sie auf der nächsten Seite.

So funktioniert HeyGen

PCtipp hat es für Sie ausprobiert. Sie benötigen ein Konto (alternativ kann man sich mit Google-Login anmelden). Die Autorin hat die Free-Version verwendet.
HeyGen nach dem Einloggen (Free-Version)
Quelle: Screenshot/PCtipp.ch
Die Web-Applikation kann auch auf dem Smartphone verwendet werden, doch nach einem Login empfiehlt HeyGen selbst, dass der Einsatz via Desktop-Browser eher empfohlen sei, für eine bessere Nutzererfahrung.
Browsen Sie am PC/Laptop auf app.heygen.com/ und nach der Registrierung melden Sie sich an. Links sehen Sie die Menüpunkte Home, Template, Avatar, Video und Asset. Ganz unten gibts den Bereich Tutorial, falls Sie Hilfe brauchen (nur in Englisch).

Eigenes Video verwenden

Wir haben ein 20-sekündiges Video erstellt, in dem die Autorin Folgendes sagt: «Ich heisse Claudia Maag und bin Redaktorin beim PCtipp. Für den PCtipp schreibe ich über Wearables, Gadgets, verfasse Konsumententipps oder berichte zum Thema Nachhaltigkeit. Manche der Gadgets sind zudem ausprobiert und genehmigt vom Redaktionshund Cody.»
Nach der Anmeldung auf der Webseite app.heygen.com haben wir uns registriert und die kostenlose Version verwendet (Achtung, Sie haben nur 1 Credit zur Verfügung). Wenn Sie bereits ein Video haben, klicken Sie auf Asset, dort auf Upload Asset und wählen Sie Ihr zuvor aufgezeichnetes Video hoch. Pasten Sie den Text ins Text Script oder nehmen Sie den Text auf bei Audio Script.
Unser hochgeladenes Video und das Text Script
Quelle: Screenshot/PCtipp.ch
Klicken Sie auf Preview, um sich das Ganze anzusehen bzw. anzuhören. Bearbeiten Sie es, (z. B. Speed), bis Sie zufrieden sind. Wir haben den Speed testweise reduziert und zum Beispiel Englisch (Bella - Friendly) ausgewählt. Wenn Sie zufrieden sind, klicken Sie auf Submit. Das Bearbeiten dauerte weniger als 10 Minuten.
Nachdem die Bearbeitung fertig ist, können Sie das Video herunterladen.
Hinweis: Dies kostet 0.5 von 1 verfügbaren Credits.
Unser Video ist in Bearbeitung
Quelle: Screenshot/PCtipp.ch
Das Videoprojektli ist fertig
Quelle: Screenshot/PCtipp.ch

AI-Avatar erstellen

HeyGen nach dem Einloggen (Free-Version)
Quelle: Screenshot/PCtipp.ch
Unter Home können Sie entweder auf Generate TalkingPhoto klicken oder ein zuvor aufgezeichnetes Video per Klick auf Upload TalkingPhoto (JPG/PNG) klicken. Die Autorin hat ersteres gewählt. Folgen Sie der Anleitung, um Ihren Avatar zu erstellen (dauert ein paar Sekunden). Sie können im Textfeld in Englisch Ihr ideales TalkingPhoto beschreiben. Zudem ist es möglich, links des Textfeldes zwischen Close-Up und Half-Body wählen. Wenn Sie zufrieden sind, wählen Sie ein AI-Talking-Photo aus und tippen Sie auf Save. Anschliessend gehen Sie zurück zu Home. Ihre Avatare werden nun angezeigt.
Vor der Nutzung können Sie Ihren Avatar bearbeiten. Standardmässig ist die Sprache Englisch, doch Sie können dies auf Deutsch ändern
Quelle: Screenshot/PCtipp.ch
Fahren Sie mit der Maus über einen Avatar. Via Drei-Punkte-Symbol oben können Sie ihn anpassen (oder draufklicken und auf Edit Avatar).
Hinweis: Die können die Sprache bzw. die Stimme (männlich oder weiblich) anpassen, standardmässig ist diese in Englisch, doch Deutsch ist auch verfügbar.
Sie können die Sprache und das Geschlecht der Stimme anpassen
Quelle: Screenshot/PCtipp.ch
Klicken Sie bei Voice auf die Version Jenny - Professional (in unserem Fall). Im Bereich Public Voice finden Sie die Drop-Down-Auswahl für die Sprache und das Geschlecht (Gender). Ändern Sie dies in die gewünschte Sprache bzw. Ihr Geschlecht. Anschliessend wählen Sie eine Stimme aus. Für Schweizer (Frauen) gibt es Leni - Friendly (für Männer: Jan - Natural). Klicken Sie darauf. Via Listen to the Sound können Sie sich die Stimme anhören. Klingt tatsächlich nach Schweizer Akzent. Oben klicken Sie auf Save as New. Ihr Talking-Photo können Sie umbenennen und als Favorit markieren.
TalkingPhoto der Autorin
Quelle: Screenshot/PCtipp.ch

HeyGen: Video erstellen anhand von schriftlichem Text

Um ein Video aufzuzeichnen, fahren Sie mit der Maus über Ihr TalkingPhoto. In der Mitte des Bildes erscheint ein Play-Button. Wenn Sie mit der Maus über Create Video fahren, können Sie das Format auswählen (Landscape, Portrait). Alternativ gibts denselben Create Video-Button ganz oben in der App.
Hier können Sie Ihr TalkingPhoto auswählen und das Video erstellen. Alternativ gibt es unter Avatar Pro realistisch aussehende Avatare
Quelle: Screenshot/PCtipp.ch
Klicken Sie auf der linken Seite auf Text. Wir möchten folgenden Text übersetzen lassen: «Ich heisse Claudia Maag und bin Redaktorin beim PCtipp. Für den PCtipp schreibe ich über Wearables, Gadgets, verfasse Konsumententipps oder berichte zum Thema Nachhaltigkeit. Manche der Gadgets sind zudem ausprobiert und genehmigt vom Redaktionshund Cody.»
Klicken Sie auf Preview, um es sich anzuhören und auf Submit, wenn Sie zufrieden sind. Das beschriebene kostet uns 0,5 von den vorhandenen 1 Credits.

PCtipp meint

Ganz so easy, wie das teilweise erwähnt wird, ist das Tool nicht. Man muss sich ein wenig damit beschäftigen. Bei einem schnellen Versuch war die Lippen-Synchronizität nicht wirklich überzeugend. Dies wird verbessert, indem man ein Audio Script separat aufnimmt, doch das Tempo sollte stimmen. Wer wenig Zeit und Lust zum Basteln hat, dürfte von der Übereinstimmung der Worte und den Lippenbewegungen nicht so überzeugt sein. Beim Schweizerdeutsch-Avatar war ein charmanter Akzent zu vernehmen. In Deutsch kam die Stimme nicht mit englischen Ausdrücken klar und buchstabierte den Namen PCtipp, anstatt ihn flüssig auszusprechen. Beispielsweise die englische Ausgabe überzeugte mich nicht, da einige Worte entweder buchstabiert wurden (i-c-h statt I) oder nicht übersetzt, sondern in Deutsch gesagt wurden.
Bei einem Versuch mit Französisch konnten wir mangels restlicher Credits nur die Vorschau verwenden. Die Stimme wechselte zwischen Französisch und Deutsch mit französischem Akzent. Auch hier stimmte das Timing nicht.
Doch wer sich damit etwas beschäftigt, hat viele Möglichkeiten in einem nutzerfreundlichen Tool. Schade, hat man in der Gratis-Version nur einen Credit zur Verfügung.



Kommentare
Avatar
Tobias Claren
07.03.2024
Also hat man einmalig 2 Credits für 2 Minuten? Keine neuen Credits durch warten wie bei der Bild-AI Leonardo? Wollte YouTube nicht solch eine Technik zur kostenlosen Nutzung anbieten? Der Vorteil für YouTube wären viel mehr Zuschauer auf Videos in Englisch durch nichtenglischsprechende Zuschauer, die sich solche Videos sonst nicht ansehen, und natürlich umgekehrt die vielen Videos die dann auch in Englisch für die ganze Welt verfügbar wären. Wichtig wären aber auch soweit möglich AI-Programme, die das auf dem eigenen Rechner machen. Möglichst auch als Freeware. Ja, auch ohne "ethische" Kontrolle durch die KI, die ist schon bei Chat-GPT mitunter dreist bevormundend. Versucht mal im grenzwissenschaftlichen Bereich (keine Esoterik) einen Text erstellen zu lassen, ohne dass da ein Absatz etc. mit Hinweis auf "umstritten" etc. kommt. Ich habe sogar ausdrücklich darum gebeten es nicht zu machen. Und was "Kennzeichnung" angeht, die darf natürlich nicht sichtbar sein.