Wird hinter der rasanten Entwicklung großer KI-Modelle eine nachhaltige Entwicklung durch „Green Computing“ erreicht?

Künstliche Intelligenz (KI) wird derzeit in vielen Bereichen breit eingesetzt, darunter Computer Vision, Verarbeitung natürlicher Sprache, Zeitreihenanalyse und Sprachsynthese.

Im Zeitalter des Deep Learning und insbesondere mit der Entstehung großer Sprachmodelle (LLMs) konzentriert sich die Aufmerksamkeit der meisten Forscher auf die Erzielung neuester State-of-the-Art-Ergebnisse (SOTA), was zu einer immer größeren Modellgröße und Rechenkomplexität führt.

Der Bedarf an hoher Rechenleistung führt zu höheren CO2-Emissionen und behindert zudem die Teilnahme kleiner und mittlerer Unternehmen sowie Forschungseinrichtungen mit begrenzten Mitteln, wodurch die Forschungsgerechtigkeit untergraben wird.

Um die Herausforderungen der KI hinsichtlich Rechenressourcen und Umweltauswirkungen zu bewältigen, ist Green Computing zu einem heißen Forschungsthema geworden.

Kürzlich veröffentlichte die Ant Group gemeinsam mit zahlreichen inländischen Universitäten und Forschungseinrichtungen einen Untersuchungsbericht, in dem die im Green Computing eingesetzten Technologien systematisch dargestellt und ein Rahmenkonzept für Green Computing vorgeschlagen wurde, das die folgenden vier Schlüsselkomponenten umfasst:

Umweltfreundlichkeitsmaße : Schlüsselfaktoren und Methoden zur Messung der von intelligenten Systemen benötigten Rechenressourcen. Zu den häufig gemessenen Kennzahlen gehören direkte Kennzahlen wie Laufzeit, Stromverbrauch und Modellgröße sowie indirekte Kennzahlen wie CO2-Emissionen.

Energieeffiziente KI : Energieeffiziente Methoden zur Optimierung des gesamten Lebenszyklus von KI-Modellen, einschließlich Modelldesign, Training und Argumentation, sowie Optimierungstechniken für große Sprachmodelle zur Reduzierung des Stromverbrauchs während des Trainings und der Argumentation.

Energieeffiziente Computersysteme : Technologien zur Optimierung des Ressourcenverbrauchs in Computersystemen, einschließlich Cluster-Ressourcenplanung, Partitionierung und Optimierung der Datenverwaltung.

KI für Nachhaltigkeit: Anwendungen , die KI zur Verbesserung der Nachhaltigkeit nutzen, einschließlich Anwendungen für Umweltvorteile (Green Computing für die Umwelt) und zur Verbesserung der technischen Effizienz (Green Computing für das Ingenieurwesen). Zum Environmental Green Computing gehören Anwendungen wie die Nutzung von Satellitenbildern (CV) zur Überwachung von Luftschadstoffemissionen und zur Abschätzung der Kohlenstoffbindung, während zum Engineering Green Computing die Optimierung der Datenbanksicherheitsverschlüsselung gehört.

In der Studie heißt es: „Diese neue Forschungsrichtung hat das Potenzial, den Konflikt zwischen Ressourcenbeschränkungen und KI-Entwicklung zu lösen.“

Das zugehörige Forschungspapier mit dem Titel „On the Opportunities of Green Computing: A Survey“ wurde auf der Preprint-Website arXiv veröffentlicht.

Link zum Artikel:

https://arxiv.org/abs/2311.00447

In vielen Fällen des Trainings und der Argumentation von KI-Algorithmen sind Modellgröße, Parameterabstimmung und Trainingsdaten zu den drei Hauptfaktoren geworden, die die Rechenressourcen beeinflussen. Auf dieser Grundlage fasste die Studie sechs gängige Messmethoden für den „Umweltschutz“ zusammen, darunter Laufzeit, Modellgröße, FPO/FLOPS (Gleitkommaoperationen), Stromverbrauch der Hardware, Energieverbrauch und Kohlenstoffemissionen.

Zu den Tools zum Verfolgen von „Umweltfreundlichkeits“-Messungen gehören tfprof, Green Algorithms, CodeCarbon, Carbontracker und das Automatic AI Model Greenness Tracking Toolkit.

Bei der Bildklassifizierung, Objekterkennung und anderen KI-Aufgaben haben einige traditionelle Deep-Learning-Neuronale-Netzwerkmodelle wie LeNet, VGG, GoogleNet usw. zwar eine gute Leistung erzielt, benötigen aber zu viele Rechenressourcen. Daher wird in dieser Studie vorgeschlagen, zur Lösung dieses Problems Depth-wise Separable Convolution, Fire Convolution, Flattened Convolution und Shrinked Convolution zu verwenden.

Darüber hinaus wurde in dieser Studie im Hinblick auf die Entwicklung neuronaler Netzwerke auf der Grundlage von Graphdaten auch ImprovedGCN vorgeschlagen, das die wichtigsten notwendigen Komponenten von GCN enthält. Darüber hinaus empfiehlt die Studie auch ein weiteres neuronales Netzwerk, SeHGNN , das zum Aggregieren vorkalkulierter benachbarter Darstellungen verwendet wird, wodurch die Komplexität reduziert und redundante Operationen der wiederholten Aggregation benachbarter Knoten in jedem Trainingszyklus vermieden werden.

Im Hinblick auf die Klassifizierung von Zeitreihen erfordern die derzeit häufig verwendeten Ensemble-Lernmethoden viele Rechenressourcen. Zu diesem Zweck schlägt die Studie vor, zur Lösung dieses Problems zwei Methoden zu verwenden: LightTS und LightCTS.

Darüber hinaus ist Transformer ein leistungsstarkes Sequenzmodell, der erforderliche Zeit- und Speicherbedarf wächst jedoch exponentiell mit zunehmender Sequenzlänge. Netzwerke vom Typ Self-Attention erfordern bei der Verarbeitung langer Sequenzen viel Speicher und Rechenressourcen. Zu diesem Zweck empfiehlt die Studie die Verwendung von Effective Attention sowie EdgeBERT- und R2D2-Modellen, um diese Herausforderung zu bewältigen.

Neben dem Entwurf spezifischer neuronaler Netzwerkkomponenten gibt es auch einige allgemeine Strategien, die für einen effizienten Entwurf neuronaler Netzwerkstrukturen verwendet werden können, wie z. B. die Strategie des niedrigrangigen Moduls, die gemeinsame Nutzung statischer Parameter, das dynamische Netzwerk und die Supernetzwerkstrategie. Diese Strategien können nahtlos in jede parametrische Struktur integriert werden.

In Bezug auf das Modelltraining fasste die Studie Methoden in drei Aspekten zusammen: effektives Trainingsparadigma, Trainingsdateneffizienz und Hyperparameteroptimierung . Um eine grüne KI zu erreichen und den Energieverbrauch neuronaler Netzwerke zu senken, können effektive Methoden wie Modellbeschneidung, Low-Rank-Zerlegung, Quantisierung und Destillation eingesetzt werden.

Im Hinblick auf energieeffiziente Computersysteme stellt die Studie kurz Lösungen für viele Aspekte vor, darunter die Optimierung der Ressourcennutzung von Cloud-Datenbanken und die gemeinsame Entwicklung von Hardware und Software . Diese Prinzipien sind auch auf den Bereich der Datenanalyse anwendbar, einschließlich der Verwendung von Technologien wie hybrider Abfrageoptimierung und maschinellem Lernen zur Verbesserung der Energieeffizienz des Verarbeitungsprozesses.

Es ist erwähnenswert, dass Green Computing betont, dass KI nicht nur bei ihrer eigenen Entwicklung und ihrem Betrieb energieeffizient sein sollte, sondern sich auch aktiv an verschiedenen grünen Anwendungsbereichen beteiligen sollte, um Umwelt- und Nachhaltigkeitsherausforderungen zu bewältigen.

Die Studie wies darauf hin, dass KI in der Lage ist, nützliche Informationen aus Überwachungsdaten, Fernerkundungsdaten und Wetterdaten zu extrahieren und so in vielen Bereichen wie der Überwachung der Luftverschmutzung, der Abschätzung der Kohlenstoffbindung, der Prognose des Kohlenstoffpreises usw. nützliche Informationen zu gewinnen und so Orientierung für die Entscheidungsfindung und das Handeln zu bieten.

Obwohl Green Computing derzeit Erfolge bei der Energieeffizienz und der Reduzierung des Kohlendioxidausstoßes erzielt hat, stellen die Computerressourcen nach wie vor einen Engpass für das Wachstum der Branche dar. Zu diesem Zweck wurden in der Studie einige zukünftige Forschungsrichtungen vorgeschlagen, darunter die Einbeziehung von Umweltfreundlichkeitsmessungen in die Modellbewertung, die Entwicklung eines allgemein akzeptierten Rahmens zur Umweltfreundlichkeitsbewertung, die Untersuchung kleinerer, aber effizienterer Sprachmodelle und die Förderung weiterer industrieller Anwendungen zur Verringerung der Umweltauswirkungen.

Darüber hinaus wies die Studie darauf hin, dass die Zukunft des Green Computing auf den gemeinsamen Anstrengungen von Wissenschaft, Industrie und Regierung beruht, um eine ausgewogene Entwicklung der ökologischen Nachhaltigkeit und der KI-Effizienz zu erreichen. Für die weitere Entwicklung in diesem Bereich werden politische Unterstützung, innovative Zusammenarbeit und der Austausch bewährter Verfahren von entscheidender Bedeutung sein.

Autor: Yan Yimi Herausgeber: Academic Jun