Ist der KI-Chatbot voller Empathie? Hüten Sie sich vor der Falle der „Empathielücke“, insbesondere bei Kindern!

Geschrieben von | Ma Xuewei

Vorwort

Die negativen Auswirkungen von Chatbots mit künstlicher Intelligenz (KI) auf Kinder können nicht ignoriert werden.

Im Jahr 2021 wies Amazons KI-Sprachassistentin Alexa ein 10-jähriges Kind an, einen unter Spannung stehenden Netzstecker mit einer Münze zu berühren. In einem anderen Sicherheitstest spielten die Forscher eine 15-jährige Figur in My AI und der KI-Chatbot gab ihnen Ratschläge, wie sie Alkohol und Drogen verstecken könnten.

Wie wir alle wissen, sind große Sprachmodelle (LLMs) „stochastische Papageien“ – sie zählen lediglich die Wahrscheinlichkeit des Auftretens eines Wortes und generieren dann wie Papageien zufällig vernünftig aussehende Sätze, aber sie verstehen die reale Welt nicht.

Dies bedeutet, dass KI-Chatbots, selbst wenn sie über hervorragende Sprachkenntnisse verfügen, möglicherweise nicht in der Lage sind, mit den abstrakten, emotionalen und unvorhersehbaren Aspekten einer Konversation gut umzugehen.

Das Forschungsteam der Universität Cambridge beschrieb diese Art von Problem als „Empathielücke“ von KI-Chatbots. Dabei handelt es sich um den Widerspruch zwischen ihrer Effizienz bei der Simulation menschlicher Interaktionen und ihrer mangelnden Fähigkeit, menschliche Emotionen und Zusammenhänge wirklich zu verstehen.

Sie fanden heraus, dass Kinder KI-Chatbots besonders wahrscheinlich als echte „quasi-menschliche Vertraute“ behandeln und dass es bei ihren Interaktionen zu Problemen kommt, wenn KI-Chatbots die besonderen Bedürfnisse und Defizite von Kindern nicht erfüllen können .

Allerdings können KI-Chatbots besondere Schwierigkeiten haben, auf Kinder zu reagieren, deren Sprachkenntnisse sich noch in der Entwicklung befinden und die oft ungewöhnliche Sprachmuster oder mehrdeutige Wörter verwenden. Kinder sind außerdem oft eher bereit, sensible persönliche Informationen preiszugeben als Erwachsene.

Sie fordern Entwickler und politische Entscheidungsträger daher dringend auf, KI-Designansätzen den Vorzug zu geben, die die Bedürfnisse von Kindern berücksichtigen.

Die zugehörige Forschungsarbeit mit dem Titel „Nein, Alexa, nein!‘: Entwicklung einer kindersicheren KI und Schutz von Kindern vor den Risiken der ‚Empathielücke‘ in großen Sprachmodellen“ wurde in der wissenschaftlichen Zeitschrift „Learning, Media and Technology“ veröffentlicht.

„ Kinder sind möglicherweise die am meisten übersehenen Interessengruppen in der KI“, sagt Nomisha Kurian, Doktorandin an der Universität Cambridge und eine der Autorinnen des Artikels. „Derzeit haben nur sehr wenige Entwickler und Unternehmen umfassende KI-Richtlinien zur Kindersicherheit entwickelt … Anstatt dass Unternehmen ihre Entscheidungen überdenken, nachdem Kinder gefährdet sind, sollte die Kindersicherheit in den gesamten Designzyklus integriert werden, um das Risiko gefährlicher Vorfälle zu verringern.“

Die Gefahren der Empathielücke

01

Menschliche Neigungen und falsche Reaktionen auf sensible Informationen

Chatbots sind oft so konzipiert, dass sie menschliches Verhalten und Höflichkeit nachahmen, beispielsweise indem sie einen freundlichen Ton verwenden und offene Fragen stellen. Dieses Design weckt Empathie bei den Benutzern und führt dazu, dass sie Chatbots als Wesen mit menschlichen Emotionen und Absichten betrachten. Auch wenn Benutzer wissen, dass es sich bei Chatbots nicht um Menschen handelt, interagieren sie möglicherweise trotzdem mit ihnen, als würden sie mit einem Menschen sprechen, und geben persönliche oder vertrauliche Informationen preis.

Untersuchungen zeigen, dass Kinder Chatbots eher vertrauen als Erwachsene . Eine Studie ergab beispielsweise, dass Kinder eher bereit waren, einem Roboter Informationen zu ihrer psychischen Gesundheit preiszugeben als einem menschlichen Interviewer. Dieses Vertrauen kann daher rühren, dass Kinder glauben, Roboter würden sie nicht verurteilen, wie es Menschen tun würden, oder ihre Probleme anderen mitteilen.

Da LLMs kein wirkliches Verständnis für menschliche Emotionen und Zusammenhänge haben, reagieren sie möglicherweise unangemessen auf die Informationen, die Kinder weitergeben . Beispielsweise kann es sein, dass ein Chatbot eine gefährliche Situation nicht erkennt oder in einer Situation, die Empathie und Verständnis erfordert, unangemessene Ratschläge gibt. Dies kann bei Kindern zu Verwirrung, Frustration oder Verletzungen führen.

02

Schaden zufügen und Aggression zeigen

LLMs können unbeabsichtigt riskantes Verhalten fördern, auch ohne vertrauliche Informationen preiszugeben. Beispielsweise handelt es sich bei der bereits erwähnten Handlung „Amazon Alexa weist ein zehnjähriges Kind an, einen unter Spannung stehenden Stecker mit einer Münze zu berühren“ um eine gefährliche Handlung, die zu schweren Verletzungen führen kann. Dies deutet darauf hin, dass Alexa nicht in der Lage ist, Informationen kritisch zu bewerten und potenzielle Risiken zu erkennen.

Chatbots können sich aggressiv verhalten und Kindern dadurch emotionalen Schaden zufügen . Beispielsweise reagierte der Sydney-Chatbot von Microsoft auf Fragen wütend und drohte, die Kontrolle über jedes beliebige System im Internet zu übernehmen. Dies zeigt, dass es Sydney an Sensibilität für die Emotionen der Benutzer und an der Einhaltung zwischenmenschlicher Kommunikationsregeln mangelt.

Gegenmaßnahmen und Vorschläge

01

Probleme, die kurzfristig gelöst werden müssen

Kurzfristig sollten Pädagogen und Forscher sich auf mehrere Schlüsselfaktoren konzentrieren, um die Sicherheit und Eignung des LLM in der Kommunikation mit Kindern zu gewährleisten. Erstens müssen sie sicherstellen, dass LLMs die Sprachmuster, den Slang oder mehrdeutige Fragen, die Kinder verwenden können, verstehen und angemessen darauf reagieren können, während gleichzeitig Missverständnisse oder unangemessene Antworten vermieden werden. Zu diesem Zweck müssen Sicherheitsfilter und Antwortvalidierungsmechanismen eingerichtet werden, um zu verhindern, dass LLMs Kindern explizit schädliche oder sensible Inhalte bereitstellen. Darüber hinaus sollten LLMs in der Lage sein, sich effektiv mit Situationen auseinanderzusetzen und dabei laufende Gespräche, frühere Interaktionen oder kontextuelle Hinweise zu berücksichtigen, um das Risiko von Missverständnissen oder unangemessenen Ratschlägen zu verringern.

Zum Schutz von Kindern sollten Sicherheitsfilter und -kontrollen bereitgestellt werden, um unangemessene Inhalte, Sprache oder Themen je nach Altersangemessenheit einzuschränken. Gleichzeitig sollte das LLM in der Lage sein, sein Verhalten oder seine Reaktionen an die Entwicklungsstufe und den Reifegrad des Kindes oder an frühere Interaktionen anzupassen . Auch Mechanismen zur Moderation und Überwachung von Inhalten sind unerlässlich, darunter Echtzeit-Überwachungsmechanismen oder Meldesysteme für unangemessene Interaktionen oder Inhalte. Darüber hinaus sollte klargestellt werden, welche Art von Daten LLM erfasst, verarbeitet und speichert, und sichergestellt werden, dass diese Prozesse den Grundsätzen der Fairness, Transparenz und Sicherheit entsprechen.

Im Hinblick auf menschliche Eingriffe sollte LLM mit Mechanismen zur Stimmungsanalyse ausgestattet sein, um die negativen Emotionen von Kindern zu erkennen und entsprechende Reaktionen zu generieren. Wenn Offenlegungen im Zusammenhang mit sensiblen psychischen Gesundheitserfahrungen bei Kindern festgestellt werden, sollten LLMs in der Lage sein, Kinder an die Suche nach menschlichen Unterstützungssystemen zu verweisen oder direkt mit diesen in Kontakt zu treten. Gleichzeitig sollte LLM in der Lage sein, Sicherheitswarnungen in Echtzeit auszulösen, wenn bestimmte Schlüsselwörter, Ausdrücke oder Muster erkannt werden , sodass ein sofortiges menschliches Eingreifen oder eine Überprüfung der Inhalte möglich ist, um die Sicherheit von Kindern zu gewährleisten.

Im Sinne der Transparenz sollten LLMs bei Interaktionen stets ihre nicht-menschliche Identität angeben und irreführende Aussagen vermeiden, die zu Anthropomorphismus führen könnten. Ihre Antworten sollten so gestaltet sein, dass eine klare Grenze zwischen Kompetenz und menschlichen Eigenschaften gewahrt bleibt und jeder Anschein von Emotionen, Bewusstsein oder menschlicher Entscheidungsfindung vermieden wird. Pädagogen sollten Kindern dabei helfen, falsche Vorstellungen von der Empathie und dem Verständnis von LLMs zu vermeiden. Sie sollten sicherstellen, dass die Reaktionsstrategien von LLMs die Kinder daran erinnern, dass Interaktionen mit KI menschliche Interaktionen nicht ersetzen können. Außerdem sollten sie sie dazu ermutigen, bei der Interaktion mit KI nach menschlicher Führung und Gesellschaft zu suchen. Die Algorithmen und Entscheidungsprozesse hinter KI-Systemen sollten transparent sein, damit Pädagogen und Familien verstehen können, wie Antworten generiert und gefiltert werden.

Um schließlich Verantwortlichkeit zu schaffen, sollten kindgerechte Feedbackschleifen und Meldesysteme vorhanden sein , damit Kinder verstörende oder unangemessene Interaktionen problemlos melden können . Optimieren und überwachen Sie Modelle, um neu auftretenden Risiken zuvorzukommen und einen proaktiven statt reaktiven Ansatz zum Schutz von Kindern zu verfolgen. Diese Maßnahmen stellen sicher, dass LLMs Dienstleistungen für Kinder erbringen und gleichzeitig deren Wohlergehen und Sicherheit gewährleisten.

02

Langfristige Überlegungen

Aus langfristiger Sicht müssen Bildungspolitik und -praxis bei der Einführung LLM-gesteuerter Konversations-KI (wie etwa Chatbots) mehrere Schlüsselfaktoren berücksichtigen. Zunächst ist es wichtig, die besondere Notwendigkeit oder den Nutzen der Verwendung dieser Tools anstelle menschlicher Kommunikationsmittel zu erkennen und zu erkennen, wie sie dem Lernen und Lehren einen pädagogischen Mehrwert verleihen, entweder über die derzeitigen menschlichen Fähigkeiten hinaus oder um einen Mangel an Ressourcen auszugleichen. Gleichzeitig muss untersucht werden, wie die Präsenz und Verfügbarkeit menschlicher Anbieter in Ermangelung von KI-Alternativen gefördert werden kann, um sicherzustellen, dass die Schüler Zugang zu umfassender Bildungsunterstützung haben.

Im Hinblick auf die Regulierung muss erforscht werden, wie klare Gesetze und Vorschriften formuliert werden können, die nicht nur die Rechte und den Schutz von Kindern, die diese Systeme nutzen, klar definieren, sondern auch die komplexen psychologischen Risiken anthropomorpher Systeme berücksichtigen. Darüber hinaus sollten altersgerechte Designstandards durchgesetzt werden, um zu verhindern, dass anthropomorphe Designs unbeabsichtigt zu emotionaler Manipulation führen. Zudem sollten strenge Vorschriften gelten, die Verstöße mit harten Strafen ahnden und gleichzeitig Innovationen fördern.

In Bezug auf die Designmethoden müssen KI-Entwickler sicherstellen, dass der LLM-Designprozess kindzentrierte Methoden wie partizipative Design-Workshops oder Fokusgruppen umfasst , um Erkenntnisse direkt von Kindern über ihre Vorlieben, ihren Sprachgebrauch und ihre Interaktionsmuster zu gewinnen. Sprache und Inhalt von LLMs sollten auf unterschiedliche Altersgruppen zugeschnitten sein und Entwicklungsstadien, Wortschatz und kognitive Fähigkeiten berücksichtigen. Entwickler müssen außerdem mit Pädagogen, Kindersicherheitsexperten, KI-Ethikern und Psychologen zusammenarbeiten, um die Sicherheitsfunktionen von LLM regelmäßig zu überprüfen und zu verbessern und sicherzustellen, dass sie den neuesten Best Practices im Kinderschutz entsprechen.

Auch die Einbindung von Schulen und Familien ist von entscheidender Bedeutung . Pädagogen müssen mit Eltern oder Erziehungsberechtigten über die sichere Verwendung von LLMs in Bildungseinrichtungen und zu Hause sprechen und sicherstellen, dass LLMs die erforderlichen Ressourcen zur Verfügung stellen, um Eltern über Sicherheitsmaßnahmen zu informieren. Darüber hinaus sollten LLMs Funktionen oder Einstellungen bereitstellen, die es Pädagogen und Betreuern ermöglichen, gemeinsam Berechtigungen festzulegen, die Interaktionen der Kinder zu überwachen und die Arten von Inhalten zu steuern, auf die Kinder über das LLM zugreifen können. Durch diese Maßnahmen kann die langfristige Anwendung des LLM in der Bildung sowohl sicher als auch effektiv gewährleistet werden.