KI-Technologie und die Steuerung von „Cybergewalt“: Wie geht künstliche Intelligenz mit Cybergewalt um?

Was die Bekämpfung von Cyber-Gewalt angeht, nutzt das Land aktiv rechtliche Perspektiven, um Cyber-Gewalt zu kontrollieren, indem es rote Karten zeigt und rote Linien zieht, um den Cyberspace zu säubern. Einige Unternehmen haben auch damit begonnen, die Anwendung künstlicher Intelligenz in der Verarbeitung natürlicher Sprache zur Analyse von Cybergewalt zu untersuchen.

Was ist „Cybermobbing“?

Unter „Cyber-Gewalt“ versteht man die Verwendung von Texten, Bildern, Videos usw., um andere im Internet zu verleumden und zu diffamieren, den Ruf oder die Privatsphäre anderer zu schädigen usw. und bei den Beteiligten psychischen Stress und psychische Traumata zu verursachen. Es handelt sich um eine Ausweitung der gesellschaftlichen Gewalt im Internet. Die häufigsten Formen der Cybergewalt treten auf Weibo, in Videos, Nachrichten und Foren auf.

Die Ursachen der „Cyber-Gewalt“ sind: erstens die Anonymität des Internets, die einerseits die Privatsphäre schützt, andererseits Rechtsverletzern unbedachte Äußerungen ermöglicht; zweitens verwenden einige Medien im Streben nach Traffic und Aufmerksamkeit eine einseitige Berichterstattung und verzerren absichtlich Fakten, um die Aktualität zu erhöhen; Drittens neigen Einzelpersonen bei der Bildung einer öffentlichen Meinung dazu, den Gruppenwerten zu folgen und ihre eigene Fähigkeit zum rationalen Denken zu ignorieren.

Natural Language Processing (NLP) und „Cybermobbing“

Cybergewalt in sozialen Medien wird hauptsächlich in Form von Kommentaren, Nachrichtenangriffen usw. verbreitet. Zur Analyse unstrukturierter Sprachdaten wie Kommentaren und Nachrichtenangriffen wird als KI-Kerntechnologie hauptsächlich die Verarbeitung natürlicher Sprache verwendet. Die Technologie zur Verarbeitung natürlicher Sprache basiert auf Methoden des maschinellen Lernens und des Deep Learning, die es Maschinen ermöglichen, automatisch Sprachmerkmale zu erlernen und dadurch die Fähigkeit zu erlangen, die menschliche Sprache zu verstehen. Derzeit wird diese Technologie häufig in der Textklassifizierung, automatischen Zusammenfassung, in Frage-Antwort-Systemen, der maschinellen Übersetzung, der Stimmungsanalyse usw. eingesetzt. Im wirklichen Leben sind gängige Sprachassistenten und das seit kurzem beliebte ChatGPT gängige Anwendungen der Technologie zur Verarbeitung natürlicher Sprache. Im Hinblick auf die Governance von „Cybergewalt“ werden außerdem folgende Richtungen einbezogen:

Textentitätsextraktion:

Das Ziel von „Cybermobbing“ ist in der Regel eine bestimmte Person oder ein bestimmtes Ereignis. Daher müssen wir zunächst Kommentare zu einem bestimmten Cybermobbing-Vorfall aus den riesigen Kommentardaten herausfiltern, wobei hauptsächlich der Named Entity Recognition Algorithm (NER) zum Einsatz kommt. NER-Algorithmen werden hauptsächlich in regelbasierte Methoden, statistische Methoden, Deep-Learning-Methoden usw. unterteilt.

Abbildung 1: Named Entity Recognition-Methode

Textstimmungsanalyse:

Mithilfe der Stimmungsanalyse können Sie einem Kommentar eine positive/negative Bewertung zuweisen, ermitteln, ob die Semantik verschiedene Arten emotionaler Details enthält, und auf intelligente Weise Schlüsselwörter extrahieren, die den größten Einfluss auf die Gesamtstimmung des Textes haben. Dadurch können wir die Gefühlsverteilung der Internetnutzer hinter zig Millionen Kommentaren verstehen und sogar die Gefühle verschiedener Gruppen gegenüber verschiedenen Ereignissen nach Zeitperiode, Region und Geschlecht analysieren. So können wir negative und gewalttätige Gefühle gegenüber den Ereignissen umgehend in den Griff bekommen und gleichzeitig anhand von Polaritätswörtern weiteres potenzielles Cyber-Gewaltverhalten aufdecken.

,

Abbildung 2 Verschiedene Emotionsklassifikationen

Bei den technischen Punkten handelt es sich hauptsächlich um Textklassifizierung und Polarity Word Mining mittels maschinellem Lernen (SVM usw.) oder Deep Learning (CNN). Der Gesamtprozess ist in der Abbildung dargestellt:

Abbildung 3 Lösung zur Sentimentanalyse auf Satzebene

Textähnlichkeitsanalyse:

Durch die Ähnlichkeitsanalyse von Kommentaren zum gleichen Ereignis können wir die öffentlichen Meinungstrends zu Ereigniskommentaren erkennen. Indem wir eine Ähnlichkeitsanalyse der Kommentare zu verschiedenen Ereignissen durchführen, können wir Kommentare finden, die ähnliche Wörter oder Ausdrücke enthalten wie die von „Cybermobbing“-Benutzern verwendeten, und die aktuelle positive/negative öffentliche Meinung zu einem bestimmten Ereignis/einer bestimmten Person herausfinden. Derzeit gibt es zwei Hauptparadigmen des Deep Learning für die Ähnlichkeitsanalyse, wie in der folgenden Abbildung dargestellt:

Abbildung 4 Zwei Paradigmen der Ähnlichkeitsanalyse

Das erste Paradigma extrahiert zunächst den Darstellungsvektor des Kommentarinhalts über ein tiefes neuronales Netzwerk und berechnet dann die Ähnlichkeit zwischen den beiden über eine einfache Distanzfunktion des Darstellungsvektors (z. B. die euklidische Distanz). Diese Methode zum Extrahieren von Darstellungsvektoren wird normalerweise mithilfe eines Zwillingsnetzwerks implementiert. Zu den gängigen Modellen dieser Kategorie gehören DSSM, CNTN usw.

Das zweite Paradigma besteht darin, übergreifende Merkmale des Kommentarinhalts mithilfe eines tiefen Modells zu extrahieren, passende Signaltensoren zu erhalten und diese dann zu Ähnlichkeitsbewertungen zusammenzufassen.

Syntaktische/lexikalische Analyse:

Durch syntaktische und lexikalische Analyse können wir die gemeinsamen syntaktischen und lexikalischen Gewohnheiten einer großen Anzahl von „positiven“ Kommentaren und „Cybermobbing“-Kommentaren herausfinden und so die Rhetorik und Wörter zusammenfassen, die von „Cybermobbing“-Benutzern in der aktuellen Online-Umgebung häufig verwendet werden, sowie die sprachlichen Merkmale, die von verschiedenen Benutzern verwendet werden, wenn sie die Polarität ihrer Meinungen zum Ausdruck bringen.

Mithilfe der syntaktischen Strukturanalyse werden Subjekt, Prädikat, Objekt, Attribut, Adverbial und Komplement eines Satzes identifiziert und die Beziehung zwischen den Komponenten analysiert. Es basiert im Allgemeinen auf den RNN- und LSTM-Sequenzmodellen des Deep Learning.

Die Aufgabe der lexikalischen Analyse besteht darin, die eingegebene Kommentarinhaltszeichenfolge in eine Wortfolge umzuwandeln und die Wortart jedes Wortes zu markieren. Dabei kommt hauptsächlich die Sequenzmarkierungstechnologie zum Einsatz. Zu den spezifischen Algorithmen gehören Conditional Random Field (CRF), RNN+CRF usw.

Abbildung 5 Beispiel für eine lexikalische Analyse

Zusammenfassen

Die Existenz von „Cybergewalt“ gefährdet nicht nur direkt die Rechte und Interessen der Opfer, sondern wirkt sich auch negativ auf die Netzwerksicherheit und den sozialen Frieden aus. Gestützt auf seine technischen Kenntnisse in den Bereichen Deep Learning, Bilderkennung, natürliche Sprachverarbeitung, OCR usw. hat das China Mobile Smart Home Operation Center Produkte zum Schutz der Inhaltssicherheit auf den Markt gebracht, die Sicherheitstests für mehrdimensionale Inhalte wie Pornografie, Gewalt und Terrorismus, Politik, Glücksspiel, Bild-OCR, Gesichtserkennung usw. in Bildern, Texten, Videos und Audio durchführen können.

Mit der Entwicklung der KI-Technologie wird die auf technischen Mitteln basierende Gewaltkontrolle im Internet zunehmend eine wichtige Rolle spielen. Das Smart Home Operations Center von China Mobile wird in diesem Szenario weiterhin fortschrittliche Technologien erforschen, modernste Technologien der Branche kombinieren, um den Aufbau eines Content-Ökosystems zu unterstützen, aktiv auf die Reihe „Clear and Bright“ von Sondermaßnahmen der Cyberspace Administration of China reagieren und zu einer klaren und hellen Netzwerkumgebung beitragen.

Verweise

【1】Zhihu-Enzyklopädie: Cybermobbing, https://www.zhihu.com/topic/19592480/intro

【2】 Umfassende Interpretation der Textstimmungsanalyse, https://zhuanlan.zhihu.com/p/270399396

【3】Natural Language Processing (NLP) (6) – Lexikalische Analyse, https://blog.csdn.net/echoKangYL/article/details/87912509

Autor: Xu Jingyang

Einheit: China Mobile Smart Home Operation Center