Ein unerwartetes Ergebnis der technologischen Entwicklung: Wie wurden Spiele und Kryptowährungen zur „Rechenleistungsbasis“ der KI?

Im vergangenen Frühjahr waren wir Zeugen des größten Technologie-Karnevals seit dem neuen Jahrhundert. Die Entwicklung der künstlichen Intelligenz (KI) in den letzten Monaten als „Pilze nach einem Frühlingsregen“ zu beschreiben, wäre eine Untertreibung. „Urknall“ wäre vielleicht eine passendere Beschreibung. Sogar Dr. Lu Qi, der ehemalige Präsident von Baidu, ein Branchenexperte und anerkannter „motivierter Mensch“, sagte, dass er „(mit Papieren und Codes) nicht hinterherkomme. Es sind einfach zu viele.“

Rückblickend auf den 30. November 2022 öffnete sich plötzlich die Tür zu einer neuen Ära. OpenAI veröffentlichte ChatGPT und die Leute waren überrascht, dass die KI den Ruhm von AlphaGo reproduziert hatte – und dieses Mal war sie umfassender. Die generative künstliche Intelligenz GPT-3 scheint über umfassende Fähigkeiten zur Sprachverarbeitung zu verfügen, während MidJourney und Stable Diffusion dafür gesorgt haben, dass Malen kein ausschließlich dem Menschen vorbehaltenes Handwerk mehr ist. In den folgenden Monaten wurden Large Language Models (LLMs) zu einem bekannten Schlagwort und Internetgiganten wie Microsoft, Google und Facebook (Meta) standen erneut im Mittelpunkt der Aufmerksamkeit.

Auch heimische Unternehmen unternehmen Anstrengungen. Baidus „Wenxin Yiyan“, SenseTimes „Ri Ri Xin“, Alibabas „Tongyi“, Tencents „Hunyuan“ und Huaweis „Pangu“ hatten alle ihren Auftritt. Bis Mai wurden von verschiedenen Unternehmen, Lehr- und Forschungseinrichtungen sowie Schulen mehr als 30 große Modelle veröffentlicht, mit dem Ziel, „das IT-Fundament einer neuen Ära zu schaffen“. Man kann es wahrlich als „Industrielle Revolution jeden Tag, Renaissance jede Nacht“ bezeichnen.

Copyright Bild, keine Erlaubnis zum Nachdruck

Natürlich ist die Zukunft der KI nicht ohne Bedenken. In einem Anfang März 2023 veröffentlichten Artikel gab Bloomberg an, dass 10 bis 15 % des gesamten jährlichen Stromverbrauchs von Google auf KI-Projekte entfallen. Das entspricht in etwa der Strommenge, die die 500.000 Einwohner Atlantas ein ganzes Jahr lang verbrauchen. Laut der International Data Corporation (IDC) beträgt der Energieverbrauch der KI derzeit etwa 3 % des weltweiten Energieverbrauchs; Zwei Jahre später, im Jahr 2025, wird dieser Anteil auf 15 % steigen, was enorme Auswirkungen auf die Umwelt mit sich bringen wird.

In diesem Sinne ist Energie die erste Grundlage der KI. Vielleicht stößt die KI auf eine Energiemauer, bevor sie der gesamten Menschheit nützen kann.

01

Wie werden diese Energien von der KI verbraucht?

Aber warum verbraucht KI so viel Strom? Dabei handelt es sich um eine **weitere Grundlage**: die Rechenleistung . KI ist eine rechenintensive Technologie, insbesondere in Anwendungen wie ChatGPT. Es erfordert viel Rechenleistung und natürlich viel Energie.

Die jüngste KI-Welle wird durch die Deep-Learning-Technologie vorangetrieben, die künstliche neuronale Netzwerke (d. h. tiefe neuronale Netzwerke) konstruiert, die in mehrere Schichten unterteilt sind, in denen jedes Neuron seine eigenen einstellbaren Parameter hat. Große Sprachmodelle bedeuten oft Milliarden, Dutzende Milliarden oder sogar noch mehr Parameter, was eine Garantie für das Erzielen guter Ergebnisse ist. Auf dieser Grundlage sind auch riesige Datensätze erforderlich, um dem Modell die richtigen Reaktionen beizubringen. Unterstützt wird beides durch eine leistungsstarke Rechenleistung.

**Rechenleistung, Daten und Algorithmen sind die drei wesentlichen Elemente der KI, und keines davon darf fehlen. **Bei der Erstveröffentlichung basierte ChatGPT auf dem GPT-3-Modell. Dieses Modell enthält 175 Milliarden Parameter und verwendet 45 T Daten für das Training. Die für ein Training erforderliche Rechenleistung beträgt ungefähr 3640 PF-Tage. Das heißt, wenn ein Computergerät mit einer Rechenleistung von 100 Billionen Operationen pro Sekunde verwendet wird, dauert es 3640 Tage, um ein Training abzuschließen.

Copyright Bild, keine Erlaubnis zum Nachdruck

Das ist nur Training. KI-Modelle in realen Situationen einzusetzen, um Fragen zu beantworten oder Aktionen auszuführen – die sogenannte „Inferenz“ – ist energieintensiver als Training. Nach Schätzungen des Chipgiganten Nvidia werden bei Modellen wie GPT-3 80 bis 90 Prozent der Kosten für Inferenz und nicht für Training aufgewendet.

Es gibt drei Hauptgründe, warum das Training und die Schlussfolgerung von KI so viel Rechenleistung erfordern: die Ausweitung der Datensätze, die Zunahme der Parameter und das Gesetz der abnehmenden Erträge von Modellen. Im Allgemeinen gilt: Je mehr Daten, desto mehr lernt das Modell, was dem menschlichen Lernen ähnelt. Anders als beim menschlichen Lernen steigt der Energieverbrauch jedoch rapide an, wenn das Lernen mehrere Male anhand größerer Datensätze wiederholt wird.

Mit zunehmenden Modellparametern nehmen die Verbindungen zwischen künstlichen Neuronen exponentiell zu und der erforderliche Rechen- und Energieaufwand steigt sprunghaft an. In einem früheren Testfall erhöhte sich die Anzahl der Modellparameter um den Faktor vier, während der Energieverbrauch um den Faktor 18.000 anstieg.

Schlimmer noch: Bei diesem **Modell gilt nicht der Grundsatz „je größer, desto besser“, sondern es besteht auch das Problem der Kosteneffizienz. **Im Jahr 2019 veröffentlichten Forscher des Allen Institute for Artificial Intelligence (AI2) in den USA ein Papier, das die abnehmenden Grenzerträge großer Modelle demonstrierte: Das 2017 veröffentlichte ResNeXt-Modell benötigte 35 % mehr Rechenleistung als die Originalversion von 2015, seine Genauigkeit stieg jedoch nur um 0,5 %.

Bevor jedoch das optimale Gleichgewicht gefunden wird, muss noch hart daran gearbeitet werden, die Rechenleistung zu steigern. In einem von OpenAI veröffentlichten Artikel heißt es, dass sich der Rechenaufwand für künstliche Intelligenz seit 2012 um das 300.000-fache erhöht hat. Das bedeutet, dass sich der Rechenaufwand für KI etwa alle 100 Tage verdoppelt hat.

Dies ist wahrscheinlich das neue Mooresche Gesetz im KI-Zeitalter.

02

Rechenleistung: Moores Gesetz im KI-Zeitalter

Im Jahr 1965 schlug Gordon Moore, Mitbegründer von Intel, eine empirische Regel vor, wonach sich die Anzahl der Transistoren, die auf einem integrierten Schaltkreis untergebracht werden können, alle zwei Jahre verdoppeln würde. Dies bedeutet, dass sich die Anzahl der Transistoren auf einem integrierten Schaltkreis gleicher Größe alle 20 Jahre um das 1.000-fache erhöht. alle 40 Jahre wird sie um das Millionenfache steigen.

Das Informationszeitalter, in dem wir heute leben, basiert auf dem Mooreschen Gesetz. Es war eine wichtige treibende Kraft für die Entwicklung der Computertechnologie.

In gewissem Sinne ist der Impuls, den Moores Definition mit sich bringt, nur „extern“. Die Entwicklung der Computertechnologie erfordert auch einige „innere Faktoren“ – sie entspringt der menschlichen Natur: dem Spielen.

Der Wunsch nach „Spielen“ und „Besitzen“ war schon immer in unseren Genen verankert, sogar schon vor der Geburt der Spezies „Mensch“. Schon bald nach der Erfindung des Computers wurden Spiele zu einem wichtigen Einsatzgebiet. Bereits 1952 schrieb der amerikanische Informatiker Arthur Samuel das erste Dameprogramm auf einem IBM-Computer. Später prägte er den Begriff „Maschinelles Lernen“. Heute werden die Begriffe „Künstliche Intelligenz“ und „Künstliche Intelligenz“ häufig gemeinsam verwendet. Um das von ihm entwickelte „Star Trek“-Spiel weiterspielen zu können, schrieb der amerikanische Informatiker und Turing-Award-Gewinner Ken Thompson 1966 einfach ein Betriebssystem und entwarf eine Programmiersprache. Aus diesem Betriebssystem wurde später Unix. Heute gelten die Betriebssysteme Linux und macOS auf Computern sowie die Betriebssysteme Android und iOS auf Mobiltelefonen als seine nahen Verwandten. Und diese Programmiersprache ist die berühmte C-Sprache.

Copyright Bild, keine Erlaubnis zum Nachdruck

1982 stellte IBM den Personal Computer (PC) vor. Das Aufkommen von PC-Spielen war eine natürliche Entwicklung. Schnellere Hardware führt zu leistungsfähigerer Software und leistungsfähigere Software erzwingt Hardware-Upgrades, und diese beiden Aspekte sind eng miteinander verflochten. 1992 erschien das beliebte 3D-Spiel „Wolfenstein 3D“. Bei 3D-Spielen ist der Schwierigkeitsgrad der Bildwiedergabeberechnung nicht groß, die Anforderungen an die Berechnungsgeschwindigkeit sind jedoch sehr hoch. In diesen Spielen werden die Umgebung und die Charaktere mithilfe vieler Polygone erstellt. Ihre Form und Position hängen von den 3D-Koordinaten der Scheitelpunkte ab. Die Grafikkarte muss Matrizenmultiplikationen und -divisionen an vielen Eckpunkten durchführen, um zu bestimmen, wie diese Modelle genau auf dem Flachbildschirm dargestellt werden sollen. Anschließend müssen für jedes Pixel einige Berechnungen durchgeführt werden, um die Farbe jedes Pixels zu bestimmen. Diese Berechnungen müssen sehr schnell erfolgen, da bei 3D-Spielen die Szenen häufig wechseln, während Sie sich bewegen.

Glücklicherweise sind diese Berechnungen nicht schwierig und größtenteils unabhängig voneinander. Daher sollte eine Grafikkarte, die ausschließlich für die Anzeige gedacht ist, diese parallelen Berechnungen gut durchführen und Daten schnell übertragen können. Solche Anforderungen haben dazu geführt, dass die Grafikverarbeitungseinheit (GPU) von Computergrafikkarten einen anderen Weg einschlägt als die Computer-CPU. GPUs können speziell für die Bildverarbeitung optimiert werden.

Mit Beginn des neuen Jahrhunderts wurden die Anzeichen für das Versagen des Mooreschen Gesetzes immer deutlicher. Da die Verarbeitungstechnologie an ihre physikalischen Grenzen stößt, werden die Transistoren immer kleiner, ihre Herstellung und Integration wird immer schwieriger und die Wärmeableitung und Stromversorgung werden immer problematischer. Infolgedessen hat sich Multi-Core allmählich zur Mainstream-Lösung entwickelt. Sowohl CPU als auch GPU drängen in Richtung Multi-Core.

Dann kam Bitcoin.

Kryptowährungen wie Bitcoin werden berechnet, ein Prozess, der „Mining“ genannt wird. Für das Mining sind enorme Mengen paralleler Rechenleistung erforderlich, die millionenfach pro Sekunde ausgeführt wird. In Zeiten steigender Kryptowährungspreise ist das „Mining“ zu einer lukrativen Geschäftsaktivität geworden. Auf der Jagd nach noch mehr Reichtum kaufen begeisterte „Miner“ sogar Grafikkarten, bis sie ausverkauft sind – und diese Nachfrage hat die Nachfrage nach Durchbrüchen in der Rechenleistung weiter angekurbelt.

Wie hätten sich die Chiphersteller bei der Entwicklung ihrer ersten GPUs vorstellen können, dass diese „Gaming-Geräte“ viele Jahre später zum „Mining“ eingesetzt werden würden?

03

Technologie eigene Anordnung

Es gibt so viele unerwartete Dinge, nicht nur dieses.

Im Jahr 2010 kaufte die US Air Force etwa 2.000 PlayStation 3-Spielkonsolen von Sony. Soll den Piloten auf diese Weise eine spielerische Ausbildung ermöglicht werden oder wollen die Offiziere einfach nur spielen?

Weder.

Nach einigen Operationen des Physikers Guarav Khanna wurden diese Spielkonsolen miteinander verbunden und bildeten so einen Supercomputer, der speziell für die Verarbeitung hochauflösender Satellitenbilder geeignet war. Ihre Gleitkomma-Rechenleistung ist mindestens 30-mal stärker als die der damals leistungsstärksten Grafikkarte auf dem Markt. Selbst heute, mehr als 10 Jahre später, erreichen die leistungsstärksten Grafikkarten für Verbraucher kaum 1/5 ihrer Leistung.

Dies ist offensichtlich etwas, womit Sony und die Spieler nicht gerechnet haben. Es ist jedoch nicht schwer zu verstehen. Spielkonsolen sind für Spiele optimiert – der in der PlayStation 3 verwendete Chip verfügt über unabhängige, zusammenarbeitende CPUs und GPUs, kann mit acht Kernen doppelte Aufgaben erfüllen und Informationen zwischen allen Kernen austauschen.

Heute erfordert auch die KI diese Fähigkeiten. Heutzutage ist Deep Learning die wichtigste Technologie der KI, und die Grundidee von Deep Learning ist der „Konnektionismus“: Obwohl einzelne Neuronen in einem neuronalen Netzwerk keine Intelligenz besitzen, „entsteht“ häufig Intelligenz, wenn eine große Anzahl von Neuronen miteinander verbunden wird. Der Schlüssel liegt in einer großen Anzahl von Neuronen und einem großen neuronalen Netzwerkmaßstab – einer der Schlüssel zur Verbesserung der Modellfähigkeiten ist die Änderung des Netzwerkmaßstabs.

**Je größer das Netzwerk, desto höher ist natürlich der Bedarf an Rechenleistung. **Heutzutage werden große neuronale Netzwerke oft mithilfe von GPUs berechnet. Denn die von neuronalen Netzen verwendeten Algorithmen beinhalten oft eine große Anzahl von Parametern, die in jeder Trainingsiteration aktualisiert werden. Je mehr Inhalte Sie aktualisieren müssen, desto mehr Speicherbandbreite benötigen Sie, und einer der Vorteile von GPUs ist die Speicherbandbreite. Darüber hinaus sind die Trainingsalgorithmen neuronaler Netzwerke auf Neuronenebene oft relativ unabhängig und einfach, sodass die parallelen Rechenfunktionen von GPUs zur Beschleunigung der Verarbeitung genutzt werden können.

Copyright Bild, keine Erlaubnis zum Nachdruck

Dies ist sicherlich nicht der Zweck der Grafikkarte. Doch durch Zufall sind Grafikkarten zur Infrastruktur des KI-Zeitalters geworden. Es waren Spiele und Kryptowährungen, die der späteren KI bis zu einem gewissen Grad dabei halfen, den Grundstein für ein solches „Fundament der Rechenleistung“ zu legen. In gewissem Sinne handelt es sich hierbei um eine Regelung der Technologie selbst.

04

Technologie überrascht immer wieder

Heute treibt die KI den sozialen und industriellen Wandel voran. Ohne Grafikkarten würde KI vielleicht nicht so schnell in unser Leben eindringen. Grafikkarten entstehen aus der Leidenschaft und dem Innovationsgeist der Menschen, insbesondere aus der Beschäftigung mit Spielen und Kryptowährungen. Dies war wahrscheinlich ein etwas unerwarteter Start.

Matt Ridley, ein berühmter Wissenschaftsautor, sagte in seinem Meisterwerk „Bottom-Up“, dass technologische Innovationen ebenso wie die biologische Evolution keine bestimmte Richtung haben. Erst nach einer Phase des Überlebens des Stärkeren wird sich die am besten geeignete Technologie entwickeln und verbreiten. **Sobald eine Technologie zum Mainstream wird, wird sie sich ständig verbessern. Die Technologie scheint zu einem einzigartigen Organismus mit eigener Entwicklungsrichtung geworden zu sein. Mit dem technologischen Fortschritt werden sich immer mehr beliebte Technologien anhäufen und das Entwicklungstempo wird immer schneller.

Kevin Kelly äußerte ähnliche Punkte. In „What Technology Wants“ sprach er darüber, dass die Entwicklung von Wissenschaft und Technologie nicht linear, sondern voller Wendungen und Wiederholungen sei; Die Entwicklung von Wissenschaft und Technologie ist oft komplex und unsicher und zukünftige Entwicklungen übertreffen oft die Erwartungen der Menschen.

Daher könnte es für das Problem des Energieverbrauchs der KI unerwartete Lösungen geben. Mittlerweile versucht man, den Energieverbrauch der KI zu senken, indem man beispielsweise die Präzision reduziert, Modelle komprimiert, Modelle bereinigt und andere Technologien einsetzt. Sie erforschen außerdem aktiv die Anwendung erneuerbarer Energietechnologien, um umweltfreundlichere Energie bereitzustellen. Dies ist sicherlich ein guter Anfang.

Lassen Sie die KI diese Frage untersuchen, vielleicht gibt es eine überraschende Antwort!

Autor: Mammoth Harbin University of Science and Technology

Audit｜Yu Yang, Leiter des Tencent Security Xuanwu Lab

Das Titelbild und die Bilder in diesem Artikel stammen aus der Copyright-Bibliothek

Die Vervielfältigung von Bildinhalten ist nicht gestattet