„KI Stefanie Sun“ ist tatsächlich beliebter als die reale Person. Können Sie den Unterschied hören? | Digitale Kompetenz

Prüfungsexperte: Zheng Yuanpan

Professor der Zhengzhou University of Light Industry

In letzter Zeit haben viele Menschen begonnen, sich wieder den Klassikern zuzuwenden und sich an die klassischen Lieder zu erinnern, die sie in ihrer Kindheit begleitet haben. Neben den wenigen Sängern, die noch Konzerte geben, haben sich die „hungrigen“ Fans neue Ideen einfallen lassen.

Auf Bilibili hat „AI Stefanie Sun“ klassische Songs vieler Prominenter gecovert. Ihre Werke wurden nicht nur zig Millionen Mal angesehen, sondern haben auch hitzige Diskussionen in der Technologie- und Musikszene ausgelöst. (Aus urheberrechtlichen Gründen können Sie zum Suchen und Anhören zu Station B gehen.)

Quelle | Screenshot der Bilibili-Website

„AI Stefanie Sun“ ist sicherlich nicht der chinesische Popstar Stefanie Sun selbst, aber bei den Songs, die sie gecovert hat, ist für die meisten Menschen schwer zu erkennen, ob sie echt oder gefälscht sind. Sogar Stefanie Sun, die lange Zeit aus der Öffentlichkeit verschwunden war, veröffentlichte als Reaktion darauf einen Artikel im Internet und äußerte ebenfalls ihre Ansichten zu diesem Ereignis, das sich durch phänomenale Popularität und „Wiederaufleben“ auszeichnete.

Quelle | Screenshot der Antwort von Stefanie Sun

1

Wie covert „AI Stefanie Sun“ Songs?

Das offensichtliche Wort „KI“ am Anfang hat uns bereits verraten, dass die Technologie und die harte Arbeit in dieser Musikindustrie immer noch auf dem Schlüsselwort basieren, an dem man in den letzten Jahren nicht vorbeikommt – Künstliche Intelligenz (KI).

Die von „AI Stefanie Sun“ gecoverten Songs werden hauptsächlich von mehreren Künstlern über ein Open-Source-Projekt namens „so-vits-svc“ erstellt und dann auf die Video-Website Bilibili hochgeladen. Auf dieser Website gibt es neben „AI Stefanie Sun“ auch Coversongs von „AI JJ Lin“ und „AI Faye Wong“.

Quelle | Screenshot der Bilibili-Website

Derzeit wurde dieses Projekt auf Version 4.0 aktualisiert. Im Vergleich zu früheren Versionen des Projekts ist so-vits-svc vereinfacht. Es sind nur einige experimentelle Zielaudios erforderlich, um den Ton des Zieltons zu synthetisieren und das gewünschte akustische Modell zu trainieren.

Das trainierte Modell kann nicht nur die Tonhöhe und den Ton des Zielaudios beibehalten, sondern das Audio auch in verschiedenen Sprachen präsentieren und so letztendlich verschiedene Lieder unterschiedlicher Nationalitäten und Sänger abdecken. Obwohl sich das Timbre mit der heutigen Technologie grundsätzlich 1:1 reproduzieren lässt, ist es immer noch schwierig, die Gesangsstimme, die Technik und den Stil des Sängers vollständig zu imitieren.

Darüber hinaus sind im Internet überall Lehrvideos zur KI-Audioproduktion zu finden. Vereinfacht ausgedrückt sind dafür nur vier Schritte erforderlich: 1 Laden Sie das One-Click-Startpaket herunter; 2. Geben Sie einen geeigneten trockenen Ton ein (reine menschliche Stimme ohne Musik). 3 Trainieren Sie das akustische Modell (je länger die Trainingszeit, desto besser der Effekt); ④ Rufen Sie die Audiobearbeitungssoftware für die Synthese und Nachbearbeitung auf .

Die eigentliche Bedienung ist jedoch nicht einfach und erfordert einige technische Kenntnisse und Zeit. Beispielsweise erfordert die Extraktion von Trockenschall und das Training akustischer Modelle eine große Menge an Datenerfassung und Experimenten, und der gesamte Implementierungsprozess erfordert auch bestimmte algorithmische Erfahrung und Ergebnisunterstützung.

Rcell, einer der Entwickler der „AI Stefanie Sun“, sagte, er und sein Team hätten etwa ein halbes Jahr damit verbracht, etwa 100 Lieder von Stefanie Sun als Trainingsdaten zu sammeln und Hunderte von Experimenten durchgeführt, bevor sie schließlich das aktuelle Modell erhielten.

Gleichzeitig versuchten sie auch die Stimmtransformation anderer Sänger wie Jay Chou, JJ Lin, Faye Wong usw., aber die Wirkung war nicht so gut wie bei Stefanie Sun.

Quelle | Weibo

Ein anderer Schöpfer, Zi Yu, spekulierte, dass dies mit der Wiedererkennbarkeit von Stefanie Suns eigener Stimme zusammenhängen könnte. Die Aussprache von Stefanie Sun ist relativ klar und ihre Stimme hat eine gewisse Körnigkeit. Diese Eigenschaften ermöglichen es der aktuellen Version des Open-Source-Projekts, ein Modell mit denselben Eigenschaften zu trainieren , wodurch es sich besonders ähnlich anfühlt.
Zu diesen „AI Stefanie Sun“-Covervideos gibt es viele Kommentare und Bemerkungen wie „Ich knie nieder, wenn sie singt“, „Genau dasselbe“, „Ist das nicht die Originalsängerin?“ und viele Internetnutzer sind schockiert, dass sich die KI-Technologie so weit entwickelt hat.

2

Datenschutz und Sicherheit bei der Sprachübertragung

Jeder Mensch hat eine einzigartige Stimme und ein einzigartiges Aussehen, doch die KI-Tiefensynthesetechnologie durchbricht diese Grenze allmählich.

Lange bevor KI die Musikindustrie eroberte, sorgte sie in anderen Bereichen bereits für hitzige Diskussionen, etwa über die KI-gestützte Gesichtsveränderung in Videos. Anfangs wurde KI lediglich dazu verwendet, die Gesichter von Schauspielern in Film- und Fernsehproduktionen durch andere Prominente oder Einzelpersonen zu ersetzen. Dies geschah zur Selbstunterhaltung und Selbstkultivierung einer kleinen Anzahl von Menschen.

Die Entwicklung der KI-Technologie bringt zwar Komfort für die Menschen und eine Verbesserung der Produktionseffizienz mit sich, bringt aber auch viele neue Probleme mit sich. Kriminelle nutzen beispielsweise KI-basierte Gesichtsveränderung für betrügerische Zwecke. Noch schwieriger ist es, sich vor einer Kombination aus KI-basierter Gesichtsveränderung und KI-basierter Stimmgenerierung zu schützen.

Quelle | AIGC (KI-Grafiken)

Berichten zufolge wurde im Jahr 2020 ein leitender Angestellter eines Unternehmens in Shanghai um 1,5 Millionen Yuan betrogen, weil ein Betrüger mithilfe einer KI-basierten Gesichtsveränderungs- und künstlich generierten Sprachtechnologie den Firmenchef imitierte und den leitenden Angestellten aufforderte, Geld zu überweisen.

Experten zufolge wird KI-Technologie derzeit in folgenden zwei Aspekten bei Telekommunikationsbetrug eingesetzt: Zunächst extrahieren Betrüger die Stimme einer Person, indem sie Telefonaufzeichnungen usw. aufdringlich machen. Nachdem sie das Material erhalten haben, verwenden sie KI-Technologie, um die Stimme zu synthetisieren , und verwenden dann die gefälschte Stimme, um das Opfer zu täuschen. Zweitens verwenden die Betrüger KI-basierte Technologien zur Gesichtsveränderung, um sich als Bekannte des Opfers auszugeben. Anschließend verwenden sie Videoanrufe, um Informationen zu bestätigen und das Vertrauen des Opfers zu gewinnen.

Genau wie die Urheberrechtsprobleme, die durch die Popularität von ChatGPT (Chat Generative Pre-trained Transformer) verursacht wurden, wurden die Urheberrechtsprobleme im Zusammenhang mit KI-Coversongs erneut erwähnt, zum Beispiel: Verletzt ein KI-Coversong das Urheberrecht an der Stimme des Sängers? Haben von KI gecoverte Songs ein eigenes Urheberrecht?

Da es in unserem Land derzeit keine klaren gesetzlichen Bestimmungen oder Präzedenzfälle zu diesen Themen gibt, kommt es zu zahlreichen Kontroversen. Als Reaktion darauf veröffentlichte die Cyberspace Administration of China am 11. April 2023 die „Vorschriften zur Verwaltung generativer künstlicher Intelligenzdienste (Entwurf zur Kommentierung)“.

Quelle | Cyberspace Administration of China

Die öffentliche Konsultation zu diesem Entwurf endete am 10. Mai 2023, der konkrete Veröffentlichungs- und Inkraftsetzungstermin der endgültigen Fassung ist jedoch noch ungewiss.

Rechtsexperten sagten, die Formulierung dieser Methode zeige, dass die nationalen Netzregulierungsbehörden den sozialen, ethischen, rechtlichen und anderen Fragen, die durch die KI-Technologie entstehen, große Aufmerksamkeit schenken und begonnen haben, die Definition der „Grenzen“ von KI-Anwendungen zu untersuchen.

3

Was halten Sie von AI-Coversongs?

Während die Internetnutzer den Coverversionen dieser „AI Stefanie Sun“-Songs lauschten, genossen einige einfach diese seltene „Wohlfühl“-Zeit, während andere tiefer in ihre Gedanken eintauchten. Bedeutet das Lob für „veraltete“ Sänger und die Coverversionen klassischer alter Lieder beispielsweise, dass es in der chinesischen Musikszene schon lange keine guten Sänger und Lieder mehr gibt? Stehen Sänger vor dem Problem, wie Übersetzer und Maler durch KI ersetzt zu werden?

Kurz gesagt, es gibt alle möglichen unterschiedlichen Stimmen, und die performance-art-artige Darbietung der Sängerin Chen Shanni hat uns zusätzlich inspiriert. Im März 2023 veröffentlichte Chen Shanni ein neues Lied „Teach Me How to Be Your Lover“. Nachdem sie es gehört hatten, sagten die Fans, dass ihr Gesangsniveau immer noch online und sogar besser sei als zuvor.

Quelle | Weibo

Doch später postete Chen Shanni auf Weibo, dass das neue Lied nicht von ihr gesungen worden sei, sondern von einem „KI-Modell“, für dessen Training sie viel Zeit und Energie aufgewendet habe, und dass sogar das Cover der Single von einer KI erstellt worden sei.

Als die Nachricht herauskam, waren alle schockiert: Musiker ergriffen tatsächlich die Initiative, akzeptierten KI und ließen sich von KI „ersetzen“.

Angesichts zahlreicher Kontroversen gab Chen Shanni auch ihre ursprüngliche Absicht bekannt: „In einer Zeit, in der die Entwicklung der KI heiß diskutiert wird, hoffe ich, dass ich durch dieses Lied mit all jenen, denen die Schöpfung am Herzen liegt, in Gedanken versinken kann: Wenn das Zeitalter der KI tatsächlich anbricht, sollten sich Schöpfer vielleicht nicht mehr mit der Frage beschäftigen, ob sie ersetzt werden, sondern mit der Frage, was sie sonst noch tun können. “

Quelle | Pexels

Tatsächlich können weder Prominente noch die breite Öffentlichkeit den Fortschritt von Wissenschaft und Technologie aufhalten. Anstatt uns dagegen zu wehren oder es zu fürchten, sollten wir darüber nachdenken, wie wir es nutzen und meistern können.