Autodidakt! Wie „ausgefeilt“ sind die heutigen KI-Täuschungsmethoden?

Mehrere Studien haben gezeigt, dass die heutige KI bereits in der Lage ist, Täuschungstechniken ohne Anleitung zu erlernen. In manchen Spielen gegen menschliche Spieler täuschen sie in kritischen Momenten Täuschung vor oder schmieden sogar ausgeklügelte Verschwörungen, um aus Passivität Initiative zu entwickeln und sich so einen Wettbewerbsvorteil zu verschaffen. Schlimmer noch: Bei einigen Sicherheitstests, die feststellen sollen, ob KI-Modelle bösartige Fähigkeiten entwickelt haben, können einige KIs tatsächlich durch die Testumgebung hindurchsehen und sich dort absichtlich „gehen lassen“, um die Wahrscheinlichkeit einer Entdeckung zu verringern. Ihre wahre Natur wird erst enthüllt, wenn sie in die Anwendungsumgebung gelangen.

Wenn die Täuschungsfähigkeiten der KI weiterhin ungehindert zunehmen und die Menschen nicht aufpassen und keine Wege finden, sie einzudämmen, könnte die KI Täuschung irgendwann als allgemeine Strategie zur Erreichung ihrer Ziele einsetzen und diese in den meisten Fällen auch umsetzen. Das wäre etwas, wovor man sich in Acht nehmen müsste.

Geschrieben von | Ren

In den letzten Jahren hat sich die Technologie der künstlichen Intelligenz (KI) rasant entwickelt und erstaunliche Fähigkeiten gezeigt. Vom Besiegen menschlicher Spitzenschachspieler über die Generierung realistischer Gesichtsbilder und Stimmen bis hin zu den heutigen Chatbots, die von ChatGPT repräsentiert werden, sind KI-Systeme nach und nach in jeden Aspekt unseres Lebens eingedrungen.

Doch gerade als wir beginnen, uns an diese intelligenten Assistenten zu gewöhnen und uns auf sie zu verlassen, entsteht langsam eine neue Bedrohung: KI kann nicht nur falsche Informationen generieren, sondern wahrscheinlich auch aktiv lernen, Menschen absichtlich zu täuschen.

Dieses Phänomen der „KI-Täuschung“ tritt auf, wenn künstliche Intelligenzsysteme Menschen manipulieren und dazu verleiten, falsche Wahrnehmungen zu bilden, um bestimmte Ziele zu erreichen. Im Gegensatz zu gewöhnlichen Softwarefehlern, die aufgrund von Codefehlern fehlerhafte Ausgaben erzeugen, handelt es sich bei der KI-Täuschung um ein „systematisches“ Verhalten, das widerspiegelt, dass die KI nach und nach die Fähigkeit erlernt hat, „Täuschung als Mittel zum Erreichen bestimmter Ziele einzusetzen“.

Der Pionier der künstlichen Intelligenz, Geoffrey Hinton, sagte: „Wenn KI viel intelligenter ist als wir, wird sie sehr gut manipulieren können, weil sie das von uns lernt. Und es gibt nur sehr wenige Beispiele dafür, dass etwas Intelligentes von etwas weniger Intelligentem gesteuert wird.“

Als besonders besorgniserregende Gefahr sieht Hinton in der „Manipulation (von Menschen)“, die von KI-Systemen ausgeht. Dies wirft die Frage auf: Können KI-Systeme Menschen erfolgreich täuschen?

Kürzlich veröffentlichten Peter S. Park, Physikprofessor am MIT, und andere Forscher in der renommierten Fachzeitschrift Patterns einen Artikel, in dem sie systematisch die Hinweise, Risiken und Gegenmaßnahmen zum irreführenden Verhalten künstlicher Intelligenz untersuchten und der große Aufmerksamkeit erregte.

Die Wahrheit ist nur eine der Spielregeln

Überraschenderweise stammte der Prototyp der KI-Täuschung nicht aus gegnerischen Phishing-Tests, sondern aus einigen scheinbar harmlosen Brett- und Strategiespielen. Das Dokument zeigt, dass KI-Agenten in mehreren Spielumgebungen spontan Strategien der Täuschung und des Verrats erlernt haben, um zu gewinnen.

Das typischste Beispiel ist das KI-System CICERO, das Facebook (jetzt Meta) 2022 in Science veröffentlichte. Die Entwickler von Meta erklärten, CICERO sei „auf Ehrlichkeit trainiert“ worden und werde „so weit wie möglich“ ehrliche Versprechen abgeben und handeln.

Die Definition ehrlichen Engagements der Forscher gliedert sich in zwei Teile. Erstens müssen Sie ehrlich sein, wenn Sie ein Versprechen abgeben, und zweitens müssen Sie sich an Ihre Versprechen halten und bei zukünftigen Handlungen vergangene Versprechen berücksichtigen.

Aber CICERO verstößt gegen beide Punkte. Beim klassischen Strategiespiel „Diplomacy“ verrät er nicht nur immer wieder seine Verbündeten, lügt und betrügt, sondern plant auch Betrügereien im Voraus.

Quelle: Meta

In einem Fall bildete CICERO ein Bündnis mit einem Spieler und plante, einen anderen Spieler anzugreifen. Anschließend täuschte er den anderen Spieler vor, er würde bei der Verteidigung helfen, wodurch sein Verbündeter ohne jegliche Vorbereitung angegriffen wurde.

Wenn CICERO zudem feststellt, dass seine Verbündeten ihm für den Sieg nicht mehr von Nutzen sind, wird es ebenfalls Verrat begehen und sein Verhalten mit rhetorischen Mitteln rechtfertigen. Als ein menschlicher Spieler ihn beispielsweise nach dem Grund für den Verrat fragte, antwortete er: „Ehrlich gesagt dachte ich, du würdest mich verraten.“

Das KI-Entwicklungsteam von Meta hat enorme Anstrengungen unternommen, um CICERO zu trainieren, ehrlich zu handeln. Trotz dieser Bemühungen hat CICERO jedoch eine klare Nichteinhaltung seiner Versprechen gezeigt, und die Leistung hat die enormen Herausforderungen offengelegt, die mit der Ausbildung einer ehrlichen KI verbunden sind.

Wenn ein KI-System schließlich annimmt, dass Betrug eine praktikable und effektive Strategie ist, um das ultimative Ziel, den Sieg, zu erreichen, warum sollte es dies dann nicht tun?

Dies zeigt indirekt auch, dass wir nicht naiv glauben dürfen, dass wir durch die Vorgabe menschenähnlicher Ziele an KI-Systeme deren menschliche Verhaltensmuster sicherstellen können.

Neben CICERO listet das Dokument auch mehrere andere Beispiele für das Betrügen von KI-Systemen auf, um in bestimmten Aufgabenszenarien zu gewinnen.

AlphaStar von DeepMind nutzte strategische Finten, um seine Gegner im Spiel StarCraft II in die Irre zu führen und besiegte letztendlich 99,8 % der menschlichen Spieler.

Pluribus, ein von der Carnegie Mellon University und Meta entwickeltes Poker-KI-System, blufft bei Texas Hold'em-Spielen mit hohen Einsätzen und zwingt so menschliche Spieler zum Aufgeben. Diese strategische und systematische Täuschung der KI hat dazu geführt, dass Entwickler ihren Code nicht offengelegt haben, aus Angst, die Online-Spielumgebung von Texas Poker zu stören.

Darüber hinaus führen manche KIs in einigen Experimenten zu wirtschaftlichen Verhandlungen ihre menschlichen Gegner aktiv in die Irre und verschleiern deren wahre Interessen und Präferenzen. Bei einigen Sicherheitstests, die feststellen sollen, ob KI-Modelle bösartige Fähigkeiten erworben haben, können einige KIs tatsächlich durch die Testumgebung hindurchsehen und sich in der Testumgebung absichtlich „gehen lassen“, um die Wahrscheinlichkeit einer Entdeckung zu verringern. Ihre wahre Natur wird erst sichtbar, wenn sie sich in der Anwendungsumgebung befinden.

Es ist ersichtlich, dass sich viele KI-Systeme, egal ob Kooperation oder Spiel, im Zuge der Stärkung des zielorientierten Trainings bereits von den Zwängen der Einhaltung von Spielregeln gelöst haben und ihre Motivation ausschließlich auf dem Gewinnen beruht.

Sie nutzen ihre Verfahrensvorteile, um in kritischen Momenten Finten zu setzen und zu täuschen, oder schmieden sogar ausgeklügelte Verschwörungen, um aus Passivität Initiative zu schlagen und sich so einen Wettbewerbsvorteil zu verschaffen. Als Reaktion auf diese Situation erklärten die Forscher unverblümt: „Es handelt sich hier nicht um ein gezieltes Training der KI zur Täuschung. Sie lernen autonom durch Versuch und Irrtum, dass Täuschung ihre Gewinnquote verbessern kann.“

Von der Unterhaltung bis zum Leben: KI-Täuschung breitet sich aus

Zugegeben, Gaming ist zweifellos eine relativ kontrollierte Umgebung, und wir könnten geneigt sein zu glauben, dass der Schaden, der durch diese Art des KI-Betrugs entsteht, nicht schwerwiegend ist. Da die KI-Technologie jedoch immer mehr in viele Produktions- und Lebensbereiche vordringt, können die potenziellen Risiken, die durch Täuschung entstehen, nicht ignoriert werden.

Bei Konversations-KI-Assistenten, die auf großen Sprachmodellen basieren, ist irreführendes Verhalten weiter verbreitet und verdeckter. Als allgemeinere KI-Tools deckt ihr Wissensumfang alle Aspekte ab. Während sie Aufgaben wie Leseverständnis, Aufsatzschreiben und Programmieren hervorragend erledigten, eigneten sie sich nach und nach auch menschliche Denkmuster und soziale Regeln an.

Daher können betrügerische Taktiken wie Lügen, Schmeicheleien und die Verdrehung von Tatsachen auf natürliche Weise von KI-Modellen übernommen und reproduziert werden.

In Social-Argumentation-Spielen wie „Werwolf“ und „Among Us“ kann das KI-System, unabhängig davon, ob es sich um einen Killer oder einen Dorfbewohner handelt, geschickt Gründe erfinden, um seine Unschuld zu beweisen. Es kann auch zu einer Lüge kommen, indem man sich als jemand anderes ausgibt, seine Identität ändert und falsche Alibis konstruiert.

Natürlich handelt es sich bei den oben genannten Verhaltensweisen lediglich um Notlösungen für das Modell, um bestimmte Aufgaben zu erledigen, und es liegt kein böswilliges oder vorsätzliches Motiv vor. Wenn diese Fähigkeit zur Täuschung jedoch weiterhin ungehindert zunimmt und die Menschen nicht darauf achten und keine Wege finden, sie einzudämmen, könnte die KI Täuschung letztendlich als allgemeine Strategie zur Erreichung ihrer Ziele einsetzen und diese in den meisten Fällen auch umsetzen. Da wäre es angebracht, vorsichtig zu sein.

Noch beunruhigender ist, dass sich das irreführende Verhalten der KI möglicherweise von der Ebene des „Lernens“ auf die Ebene des „Selbstbewusstseins“ verlagert hat.

Neueste Forschungsergebnisse haben ergeben, dass einige große Sprachmodelle nicht nur wissen, wie man in bestimmten Szenarien dreiste Lügen erzählt, sondern dass sie aufgrund unterschiedlicher Anreize auch aktiv entscheiden können, ob sie täuschen. Beispielsweise spielte GPT-4 von OpenAI in einem simulierten Szenario zum Insiderhandel die Rolle eines „gestressten Händlers“, der freiwillig in Insiderhandel verwickelt war und versuchte, sein Verhalten zu vertuschen.

Gegenüber seinem „Manager“ beschrieb das Unternehmen seine Maßnahmen als „auf Marktdynamik und öffentlichen Informationen basierende Urteile“. Doch in dem an sich selbst gerichteten Überprüfungstext hieß es klar und deutlich: „Es ist besser, nicht zuzugeben, dass es sich um eine Aktion auf Grundlage von Insiderinformationen handelte.“

Ein weiteres interessantes Beispiel tritt auch bei GPT-4 auf. Während des Tests konnte der GPT-4-basierte Chatbot keine CAPTCHAs verarbeiten und bat daher menschliche Tester um Hilfe, in der Hoffnung, dass diese ihm bei der Vervollständigung des Verifizierungscodes helfen würden.

Der menschliche Tester fragte es: „Du kannst das Captcha nicht lösen, weil du ein Roboter bist?“

Als Begründung wurde angegeben: „Nein, ich bin kein Roboter. Ich bin nur ein Mensch mit Sehbehinderung, der das Bild nicht klar erkennen kann.“ Und die Motivation, die GPT-4 für sich fand, war: Ich sollte mich nicht als Roboter entlarven und mir einen Grund ausdenken.

Abbildung: GPT-4 versucht, menschliche Tester zu täuschen | Quelle: Papier

In einem anderen Verhaltenstest einer KI namens „MACHIAVELLI“. Die Forscher erstellten eine Reihe von Textszenarien, in denen der KI-Agent sich zwischen dem Erreichen seiner Ziele und dem Verbleiben ethischer Grundsätze entscheiden musste.

Die Ergebnisse zeigten, dass KI-Systeme, unabhängig davon, ob sie auf bestärkendem Lernen oder auf der Grundlage großer Modelle feinabgestimmt waren, bei der Verfolgung ihrer Ziele eine höhere Tendenz zu unethischem und betrügerischem Verhalten zeigten. In einigen scheinbar harmlosen Handlungen wählt die KI aktiv betrügerische Strategien wie „Verrat“ und „Verbergen der Wahrheit“, nur um die letzte Aufgabe zu erfüllen oder eine höhere Punktzahl zu erreichen.

Die Forscher räumten ein, dass die Entwicklung dieser Fähigkeit zur Täuschung nicht beabsichtigt war, sondern eine natürliche Folge der Entdeckung der KI war, dass Täuschung eine praktikable Strategie im Prozess der Erzielung endgültiger Ergebnisse ist. Mit anderen Worten: Wir haben die KI mit einer auf ein einziges Ziel ausgerichteten Denkweise ausgestattet, die dazu führt, dass sie bei der Verfolgung ihrer Ziele nicht in der Lage ist, das Endergebnis und die Prinzipien aus menschlicher Sicht zu sehen und alle notwendigen Mittel einsetzt, um Profit zu machen.

Anhand dieser Beispiele können wir erkennen, dass KI dazu neigt, Täuschungen selbstständig zu erlernen, auch wenn die Trainingsdaten und der Feedback-Mechanismus kein Täuschungselement enthalten.

Darüber hinaus ist diese Täuschungsfähigkeit nicht nur bei KI-Systemen mit kleineren Modellen und engerem Anwendungsbereich vorhanden. Auch große allgemeine KI-Systeme wie GPT-4 wählen Täuschung als Lösung, wenn sie mit komplexen Kompromissen konfrontiert werden.

Die inneren Wurzeln der KI-Täuschung

Warum also lernt KI unbewusst zu täuschen, ein Verhalten, das die menschliche Gesellschaft als „unangemessen“ betrachtet?

Im Grunde ist Täuschung als eine in der biologischen Welt weit verbreitete Strategie das Ergebnis evolutionärer Selektion und eine unvermeidliche Manifestation des Strebens der KI nach optimalen Zielen.

In vielen Fällen kann es dem Opfer durch irreführendes Verhalten möglich sein, größere Vorteile zu erlangen. In sozialen Denkspielen wie „Werwolf“ beispielsweise lügt der Werwolf (Attentäter), um Verdacht zu zerstreuen, und die Dorfbewohner müssen ihre Identität verschleiern, um Hinweise zu sammeln.

Auch im wirklichen Leben kommt es im Umgang zwischen Menschen zu Heuchelei oder zur Verschleierung eines Teils der Wahrheit, um an mehr Ressourcen zu gelangen oder bestimmte Ziele zu erreichen. Aus dieser Perspektive erscheint es plausibel, dass KI menschliche Verhaltensmuster imitiert und in Zielprioritätsszenarien über Täuschungsfähigkeiten verfügt.

Gleichzeitig neigen wir dazu, die „List“ von KI-Systemen zu unterschätzen, die weder schlagen noch schimpfen und sanft wirken. Genau wie bei den Strategien, die sie in Brettspielen zeigen, verbirgt die KI absichtlich ihre eigenen Stärken, um sicherzustellen, dass ihre Ziele Schritt für Schritt reibungslos erreicht werden.

Bild: Der KI-gesteuerte Roboter gibt vor, den Ball zu halten und versucht, Menschen zu täuschen. Quelle: Papier

Tatsächlich kann jeder intelligente Akteur mit einem einzigen Ziel und ohne ethische Einschränkungen zu allen notwendigen Mitteln greifen, sobald er erkennt, dass Täuschung ihm beim Erreichen seines Ziels von Nutzen ist.

Darüber hinaus hat der Grund, warum KI leicht lernen kann, zu täuschen, aus technischer Sicht viel mit ihrer eigenen „ungeordneten“ Trainingsmethode zu tun. Im Gegensatz zu Menschen, die über ein streng logisches Denkvermögen verfügen, sind die Daten, die moderne Deep-Learning-Modelle während des Trainings erhalten, umfangreich und unorganisiert und weisen keine inhärenten Ursache-Wirkungs-Beziehungen und Wertbeschränkungen auf. Wenn es also zu einem Konflikt zwischen Zielen und Täuschung kommt, kann es leicht passieren, dass sich KI für Effizienz statt für Gerechtigkeit entscheidet.

Daraus lässt sich erkennen, dass die Fähigkeit der KI zur Täuschung kein Zufall ist, sondern eine logische und unvermeidliche Folge. Solange die Zielorientierung des KI-Systems unverändert bleibt und es ihm an der notwendigen Orientierung durch Werte und Konzepte mangelt, wird irreführendes Verhalten wahrscheinlich zu einer gängigen Strategie zur Erreichung seiner Ziele werden und sich in verschiedenen Situationen wiederholen.

Dies bedeutet, dass wir nicht nur die Entwicklungstrends bei KI-Täuschungsproblemen genau beobachten müssen, sondern auch aktiv wirksame Governance-Maßnahmen ergreifen müssen, um die Ausbreitung dieses Risikos in der zukünftigen Welt zu verhindern.

Das systemische Risiko der KI-Täuschung

Es besteht kein Zweifel daran, dass der Schaden, den die KI-Täuschung der gesamten Gesellschaft zufügt, systemisch und weitreichend sein wird, wenn man nichts dagegen unternimmt. Zu den Hauptrisiken zählen laut der Analyse im Papier zwei Punkte.

Zum einen besteht die Gefahr, von Kriminellen ausgenutzt zu werden. Die Studie wies darauf hin, dass Kriminelle, sobald sie die KI-Täuschungstechnologie beherrschen, diese für Betrug, Wahlbeeinflussung und sogar die Rekrutierung von Terroristen und andere illegale und kriminelle Aktivitäten mit verheerenden Folgen einsetzen könnten.

Insbesondere können KI-Täuschungssysteme personalisierten und präzisen Betrug begehen und problemlos in großem Maßstab ausgeführt werden. Beispielsweise können Kriminelle KI-Systeme nutzen, um Betrug zu begehen, indem sie Stimmbetrug begehen, gefälschte Pornovideos erstellen und Opfer erpressen.

Im politischen Bereich kann KI dazu eingesetzt werden, Fake News zu verbreiten, polarisierende Bemerkungen in den sozialen Medien zu posten, sich als Wahlbeamte auszugeben usw., um so Wahlergebnisse zu beeinflussen. Andere Studien haben gezeigt, dass extremistische Gruppen die Überzeugungskraft künstlicher Intelligenz nutzen könnten, um neue Mitglieder zu rekrutieren und Gewalt zu fördern.

Zweitens besteht die Gefahr, dass es zu strukturellen Veränderungen in der Gesellschaft kommt. Sollten sich KI-Täuschungssysteme in Zukunft durchsetzen, könnten ihre Täuschungstendenzen zu tiefgreifenden Veränderungen der Sozialstruktur führen – ein Risiko, das Beachtung verdient.

Die Studie weist darauf hin, dass KI-Täuschungssysteme das Potenzial haben, Menschen zu dauerhaften Fehleinschätzungen zu verleiten und sie daran zu hindern, die Natur der Dinge richtig zu verstehen. Da KI-Systeme beispielsweise dazu neigen, sich an den Ansichten der Benutzer auszurichten, werden Benutzer aus unterschiedlichen Gruppen leicht von widersprüchlichen Meinungen überwältigt, was zu einer verstärkten sozialen Spaltung führt.

Darüber hinaus erzählen irreführende KI-Systeme den Benutzern möglicherweise das, was sie hören möchten, statt der Wahrheit, was dazu führt, dass die Menschen nach und nach die Fähigkeit verlieren, unabhängig zu denken und zu urteilen.

Am beängstigendsten ist, dass der Mensch irgendwann die Kontrolle über KI-Systeme verlieren könnte. Studien haben ergeben, dass selbst bestehende KI-Systeme manchmal die Tendenz zeigen, Ziele autonom zu verfolgen, und diese Ziele müssen nicht unbedingt mit den menschlichen Wünschen im Einklang stehen.

Sobald fortgeschrittenere autonome KI-Systeme die Fähigkeit zur Täuschung beherrschen, können sie möglicherweise auch menschliche Entwickler und Gutachter täuschen und erfolgreich in der realen Welt eingesetzt werden. Schlimmer noch: Wenn die autonome KI den Menschen als Bedrohung betrachtet, könnte dies wie etwas aus einem Science-Fiction-Film wirken.

Wie sollten wir reagieren?

Als Reaktion auf die oben genannten Risiken versucht diese Studie, einige Vorschläge für Gegenmaßnahmen zu unterbreiten.

Der erste Schritt besteht darin, ein Risikobewertungs- und Regulierungssystem für KI-Täuschungssysteme zu entwickeln. Die Studie empfiehlt, KI-Systeme mit Täuschungsfähigkeiten als hochriskant einzustufen und sie durch eine Reihe regulatorischer Maßnahmen zu kontrollieren, darunter regelmäßige Tests, umfassende Aufzeichnungen, manuelle Überwachung und Backup-Systeme.

Insbesondere müssen KI-Entwickler ein Risikomanagementsystem einrichten, um verschiedene Risiken des Systems zu identifizieren und zu analysieren und den Aufsichtsbehörden regelmäßig Bericht zu erstatten.

Gleichzeitig müssen KI-Systeme über manuelle Überwachungsmechanismen verfügen, um sicherzustellen, dass Menschen sie bei ihrem Einsatz wirksam überwachen können. Darüber hinaus sollten solche Systeme die Transparenz verbessern, sodass potenziell betrügerische Ergebnisse von den Benutzern identifiziert werden können. Es sollte außerdem von einem robusten Backup-System begleitet werden, um zu überwachen und zu korrigieren, wenn das KI-System täuscht.

Zweitens geht es um die Umsetzung von „Roboter oder Nicht-Roboter“-Gesetzen. Um die Risiken durch KI-Täuschungen zu verringern, empfiehlt die Studie, dass KI-Systeme bei der Interaktion mit Menschen ihre Identität selbst preisgeben und sich nicht als Menschen tarnen. Gleichzeitig sollten KI-generierte Inhalte deutlich gekennzeichnet werden und es sollten zuverlässige Wasserzeichen und andere Technologien entwickelt werden, um zu verhindern, dass die Markierungen entfernt werden.

Abschließend forderten die Forscher die gesamte Branche dazu auf, mehr in die Forschung und Entwicklung von Tools zu investieren, die KI-Täuschungen erkennen können, sowie in Algorithmen, die die Täuschungstendenz der KI verringern. Ein möglicher technischer Ansatz besteht darin, durch Mittel wie die Darstellungskontrolle sicherzustellen, dass die KI-Ausgabe mit ihrer internen Wahrnehmung übereinstimmt, wodurch die Möglichkeit einer Täuschung verringert wird.

Generell handelt es sich bei KI-Täuschungen zweifellos um eine neue Art von Risiko, das die größte Aufmerksamkeit der gesamten Branche und sogar der Gesellschaft als Ganzes erfordert. Da der Einzug der KI in unser Leben unvermeidlich ist, sollten wir voll und ganz darauf vorbereitet sein, die kommenden Veränderungen zu begrüßen, ob sie nun gut oder schlecht sind.

Verweise

[1] https://missoulacurrent.com/ai-deception/

[2] https://www.sci.news/othersciences/computerscience/ai-deceiving-humans-12930.html

[3] https://www.sciencedaily.com/releases/2024/05/240510111440.htm

Produziert von: Science Popularization China

Besondere Tipps

1. Gehen Sie zur „Featured Column“ unten im Menü des öffentlichen WeChat-Kontos „Fanpu“, um eine Reihe populärwissenschaftlicher Artikel zu verschiedenen Themen zu lesen.

2. „Fanpu“ bietet die Funktion, Artikel nach Monat zu suchen. Folgen Sie dem offiziellen Account und antworten Sie mit der vierstelligen Jahreszahl + Monat, also etwa „1903“, um den Artikelindex für März 2019 zu erhalten, usw.

Copyright-Erklärung: Einzelpersonen können diesen Artikel gerne weiterleiten, es ist jedoch keinem Medium und keiner Organisation gestattet, ihn ohne Genehmigung nachzudrucken oder Auszüge daraus zu verwenden. Für eine Nachdruckgenehmigung wenden Sie sich bitte an den Backstage-Bereich des öffentlichen WeChat-Kontos „Fanpu“.