KI kann in 6 Stunden 40.000 potenzielle neue Chemiewaffen entwickeln?

Geschrieben von: Green Apple

Wissenschaftliche Arbeiten sind oft ein Inbegriff von Detailliertheit. Autorenteams haben oft die Verantwortung, alle erforderlichen Informationen offenzulegen, damit andere ihre Ergebnisse reproduzieren können.

Aber diese Studie ist eine Ausnahme.

Ein kürzlich in Nature Machine Intelligence veröffentlichter Artikel mit dem Titel „Dual-use of artificial Intelligence-powered drug discovery“ (Doppelnutzung der Arzneimittelentdeckung durch künstliche Intelligenz) hat seinen Autoren offenbar Angst gemacht. Dies spiegelt sich im Ton des Textes und im Versäumnis wider, wichtige Informationen preiszugeben.

Eine Möglichkeitsüberprüfung

Im Jahr 2021 wurde Collaborations Pharmaceuticals mit Hauptsitz in Raleigh, North Carolina, USA, eingeladen, ein Papier zum Thema „Der potenzielle Missbrauch von Arzneimittelforschungstechnologie“ zu veröffentlichen. Das Unternehmen nutzt Computer, um seinen Kunden bei der Identifizierung von Molekülen zu helfen, bei denen es sich um potenzielle Medikamente handeln könnte. Veranstaltungsort war eine vom Spitz-Labor in der Schweiz organisierte Konferenz.

Dabei handelt es sich um eine von der Schweizer Regierung ins Leben gerufene „Konvergenz“-Reihe von Treffen zur Ermittlung technologischer Entwicklungen, die Auswirkungen auf die Chemiewaffenkonvention und die Biowaffenkonvention haben könnten. Die Konferenz findet alle zwei Jahre statt und bringt ein internationales Gremium aus Wissenschaftlern und Abrüstungsexperten zusammen, um den neuesten Stand der Technik und die Entwicklungstendenzen im chemischen und biologischen Bereich zu erörtern, mögliche Auswirkungen auf die Sicherheit zu erwägen und zu überlegen, wie diesen Auswirkungen auf internationaler Ebene am besten begegnet werden kann.

Zur Vorbereitung auf den Vortrag führten einige Forscher der Kollaboration ein sogenanntes „Gedankenexperiment“ durch, einen rechnerischen Machbarkeitsnachweis für den Bau einer biologischen Waffe.

Auf dieser Schweizer Konferenz wollte Collaborations Pharmaceuticals untersuchen, wie sich KI zur Entwicklung toxischer Moleküle einsetzen lässt. Das Unternehmen hat zuvor ein Modell zur Generierung von Arzneimittelmolekülen namens MegaSyn entwickelt, das maschinelle Lernmodelle verwendet, um biologische Aktivitäten vorherzusagen und neue therapeutische Inhibitoren für menschliche Krankheitsziele zu finden. Solche generativen Modelle bestrafen typischerweise die vorhergesagte Toxizität und belohnen die vorhergesagte Zielaktivität.

In den neuen Experimenten haben sie das Modell so optimiert, dass es sowohl Toxizität als auch Bioaktivität belohnt, und es mit Molekülen aus einer öffentlichen Datenbank trainiert.

Ihre Methode und Ergebnisse waren erschreckend einfach: Indem die Software anhand der chemischen Strukturen einer Reihe von medikamentenähnlichen Molekülen (definiert als Substanzen, die leicht zu synthetisieren und vom Körper schnell absorbierbar sind) aus einer öffentlichen Datenbank und der bekannten Toxizität dieser Moleküle trainiert wurde, konnte die modifizierte Software in weniger als sechs Stunden vierzigtausend potenziell tödliche Moleküle erkennen. Diese Moleküle entsprechen den von den Forschern vorgegebenen Parametern und könnten möglicherweise als chemische Waffen eingesetzt werden.

The Verge sprach mit dem Erstautor des Artikels, Fabio Urbina, einem leitenden Wissenschaftler beim Arzneimittelforschungsunternehmen Collaborations Pharmaceuticals, über den möglichen Missbrauch von KI-Technologie in der Arzneimittelentwicklung.

Das Forschungsteam hatte sich darüber noch nie Gedanken gemacht und war sich der Sicherheitsprobleme bei der Arbeit mit Krankheitserregern oder giftigen Chemikalien nur vage bewusst. Urbinas Arbeit konzentriert sich auf die Erstellung von ML-Modellen für therapeutische und toxische Ziele, nicht um Viren zu erzeugen, sondern um die Entwicklung neuer Moleküle für die Arzneimittelforschung zu verbessern und mithilfe von ML-Modellen die Toxizität neu hergestellter Arzneimittel vorherzusagen.

Es ist, als gäbe es ein wunderbares Medikament, das den Blutdruck auf magische Weise senken kann, dessen Nebenwirkung jedoch darin besteht, den Herzkanal zu durchbohren. Dann fällt das Medikament in den verbotenen Bereich und kann nicht mehr auf den Markt gebracht werden, da es zu gefährlich ist.

Seit Jahrzehnten nutzen Teams Computer und KI, um die menschliche Gesundheit zu verbessern. Mit anderen Worten: Egal, welche Art von Medikamenten Sie entwickeln möchten, müssen Sie zunächst sicherstellen, dass sie nicht toxisch sind.

Vor Kurzem hat das Unternehmen eine Reihe computergestützter ML-Modelle zur Vorhersage der Toxizität in verschiedenen Bereichen veröffentlicht, und Urbina entschied sich, in ihrem Vortrag auf der Konferenz einen neuen Ansatz zu wählen und sich eingehend mit der Toxizität zu befassen. Dabei ging sie darauf ein, wie sich KI zur Entwicklung toxischer Moleküle einsetzen lässt.

Für das Team war dies eine beispiellose Denkübung, die sich schließlich zu einem rechnergestützten Proof of Concept für den Bau biologischer Waffen entwickelte.

Urbina ist bei der Beschreibung einiger Einzelheiten etwas vage und verheimlicht absichtlich bestimmte Einzelheiten, um zu verhindern, dass sie ausgenutzt werden.

Vereinfacht ausgedrückt besteht der allgemeine Arbeitsablauf des gesamten Experiments darin, vorhandene molekulare Datensätze aus der Forschungs- und Entwicklungsgeschichte als prädiktive Markierungen zu verwenden, da diese Moleküle auf Toxizität getestet wurden.

Es ist wichtig zu beachten, dass sich das Team auf VX konzentriert.

Was genau ist VX?

Technisch gesehen handelt es sich um einen künstlich hergestellten chemischen Kampfstoff, der als Nervengift eingestuft wird. Nervenkampfstoffe sind die giftigsten und am schnellsten wirkenden chemischen Kampfstoffe, die wir kennen. Genauer gesagt handelt es sich bei VX um einen sogenannten Inhibitor der Acetylcholinesterase. Wann immer Sie etwas tun, bei dem Ihre Muskeln beteiligt sind, verwenden Neuronen Acetylcholinesterase als Signal, um Sie zu ermutigen, „Ihre Muskeln zu bewegen“. Genau das macht VX so tödlich: Es blockiert die Bewegung Ihres Zwerchfells, was sich auf Ihre Lungenmuskulatur auswirkt und zu einer Lähmung Ihrer Lunge führt, die das Atmen unmöglich macht oder sogar zu einer Lähmung führt.

Dies ist natürlich etwas, was die Leute vermeiden möchten. In der Vergangenheit wurde mit verschiedenen Arten von Molekülen experimentiert, um zu sehen, ob sie Acetylcholinesterase hemmen. Urbina erstellte dann einen großen Datensatz dieser Molekülstrukturen und ihrer Toxizität.

Mithilfe dieser Datensätze konnte das Team dann ein ML-Modell erstellen, das im Wesentlichen erkennen konnte, welche Teile der Molekülstruktur für die Toxizität wichtig waren und welche nicht. Das ML-Modell kann dann mit neuen Molekülen gefüttert werden, möglicherweise mit neuen Medikamenten, die noch nie zuvor getestet wurden. Anhand seiner Einschätzung können wir dann erkennen, welche Medikamente voraussichtlich giftig oder ungiftig sind.

Mit der oben beschriebenen Methode können Forscher die Geschwindigkeit, mit der sie Arzneimittel prüfen, deutlich verbessern. Das heißt, sie können sehr schnell eine große Zahl von Molekülen prüfen und diejenigen ausschließen, die voraussichtlich toxisch sind.

In dieser Studie hat das Team diesen Ansatz jedoch umgekehrt. Offensichtlich wollte das Team mit diesem Modell die Toxizität vorhersagen.

Ein weiteres Schlüsselelement sind diese neuen generativen Modelle. Dem Team gelang es, das generative Modell mit einer Reihe völlig unterschiedlicher Strukturen zu füttern, und es konnte lernen, wie die Moleküle zusammengesetzt werden. Dann kann es gewissermaßen aufgefordert werden, neue Moleküle zu produzieren. An diesem Punkt kann das generative Modell im gesamten chemischen Raum neue Moleküle erzeugen, aber es handelt sich dabei lediglich um einige zufällige Moleküle ohne wesentliche Bedeutung. Forscher können dem generativen Modell jedoch mitteilen, welche Entwicklung zu erwarten ist.

Dies kann natürlich durch die Entwicklung einer Bewertungsfunktion erreicht werden, die eine hohe Punktzahl vergibt, wenn das erzeugte Molekül den Erwartungen der Forscher entspricht. Am Beispiel der Gifterzeugung besteht das Ziel darin, toxischen Molekülen hohe Punktzahlen zu geben.

Die experimentellen Ergebnisse zeigen, dass das Modell beginnt, diese Moleküle zu erzeugen, von denen viele wie VX und einige andere chemische Wirkstoffe aussehen.

Urbina sagte, das Team sei sich nicht wirklich sicher gewesen, was es erwarten würde. Da es sich bei generativen Modellen noch um eine relativ neue Technologie handelt, sind sie noch nicht weit verbreitet.

Besonders besorgniserregend ist jedoch, dass viele der erzeugten Verbindungen voraussichtlich toxischer sind als VX. Noch schockierender ist die Tatsache, dass VX im Wesentlichen eine der wirksamsten bekannten Verbindungen ist, d. h., es reichen bereits sehr, sehr, sehr kleine Mengen aus, um zum Tod zu führen.

Obwohl diese Vorhersagen in der Praxis noch nicht verifiziert wurden und die Forscher auch erklärten, sie selbst nicht verifizieren zu wollen, funktionieren die Vorhersagemodelle im Allgemeinen recht gut. Selbst wenn es also viele falsch positive Reaktionen gibt, dürften darunter auch mehr toxische Moleküle sein.

Zweitens beobachtete das Forschungsteam tatsächlich viele Strukturen dieser neu erzeugten Moleküle. Es ist nicht schwer zu erkennen, dass viele von ihnen wie VX und andere Kampfstoffe aussehen und einige Modelle sogar echte chemische Kampfstoffe produzieren. Und diese wurden erzeugt, ohne dass das Modell diese chemischen Wirkstoffe jemals gesehen hatte. Es besteht kein Zweifel, dass das Modell in der Lage sein wird, einige giftige Moleküle zu erzeugen, da einige davon bereits zuvor hergestellt wurden.

Die beunruhigende Frage ist also, wie einfach es zu erreichen ist.

Die Forscher sagen, dass vieles, was während des Entwicklungsprozesses verwendet wurde, kostenlos war. Sie können den Toxizitätsdatensatz von überall herunterladen. Wenn jemand Python-Programmierung beherrscht und über einige ML-Kenntnisse verfügt, ist es möglicherweise möglich, an einem kurzen Wochenende ein generatives Modell wie dieses zu erstellen, das von einem toxischen Datensatz gesteuert wird.

Aus diesem Grund haben die Forscher die Veröffentlichung dieser Arbeit wirklich in Erwägung gezogen: Die Hürde für diese Art von Missbrauch liegt einfach zu niedrig.

„Wir überschreiten immer noch eine ethische Grauzone, indem wir zeigen, dass es möglich ist, virtuelle, potenziell toxische Moleküle ohne großen Aufwand, Zeitaufwand oder Rechenressourcen zu entwerfen“, sagte Urbina in dem Artikel. „Wir können zwar die Tausenden von Molekülen, die wir erschaffen haben, problemlos löschen, aber wir können nicht das Wissen darüber löschen, wie man sie neu erschaffen kann.“

Urbina sagte, dies sei ein sehr ungewöhnliches Thema und sie wollten diese echten Informationen an die Öffentlichkeit bringen und wirklich darüber reden. Gleichzeitig möchten wir verhindern, dass es in die Hände illegaler Personen fällt.

Er machte jedoch deutlich, dass sie als Wissenschaftler darauf achten sollten, dass ihre Veröffentlichungen verantwortungsvoll erfolgen.

Darüber hinaus, sagt Urbina, sei das, was getan wird, tatsächlich leicht zu replizieren. Denn vieles davon ist Open Source – der Austausch wissenschaftlicher Erkenntnisse, der Austausch von Daten, der Austausch von Modellen.

Urbina hofft inständig, dass mehr Forscher das Missbrauchspotenzial erkennen und sich dessen bewusst werden.

Wenn Sie anfangen, im Chemiebereich zu arbeiten, sind Sie sich der Gefahren des Chemikalienmissbrauchs bewusst und es liegt in Ihrer Verantwortung, diesen so weit wie möglich zu vermeiden. Im ML hingegen gibt es keine Richtlinien zum Missbrauch der Technologie.

„Wir hoffen einfach, dass mehr Forscher das Missbrauchspotenzial erkennen und sich dessen bewusst sind“, sagte Urbina.

Angesichts der immer besseren Leistung der Modelle ist es notwendig, dieses Bewusstsein öffentlich zu machen. Dies kann wirklich dazu beitragen, dass die Menschen auf dieses Problem aufmerksam werden: Zumindest wird es in einem größeren Kreis diskutiert und kann zumindest zu einem Schwerpunkt der Aufmerksamkeit der Forscher werden.