Li Guoqi von der Chinesischen Akademie der Wissenschaften: Ein Artikel, der die Vergangenheit und Gegenwart des gehirnähnlichen Computings untersucht

Quelle: Zhiyuan Community

Einleitung: Es ist bekannt, dass die menschliche Gehirnaktivität ein komplexer und kontinuierlicher dynamischer Prozess ist, dessen Komplexität die Obergrenze, die mit aktuellen Computerressourcen simuliert werden kann, bei weitem überschreitet. Das Gehirn verfügt über etwa 100 Milliarden Neuronen und 100 Billionen Synapsen, wobei die durchschnittliche Länge der synaptischen Verbindungen etwa 10–1000 Mikrometer beträgt. Unter der Annahme, dass jede Mikronverbindung durch eine Differentialgleichung angenähert wird, ergibt sich eine grobe Schätzung, dass das menschliche Gehirn ungefähr 100 bis 100 Billionen Parameter hat (dieser Parameter wird möglicherweise unterschätzt).

Der Kern des gehirnähnlichen Computing besteht darin, den Informationsverarbeitungsmodus oder die Struktur des biologischen Nervensystems zu nutzen und dann entsprechende Computertheorien, Chiparchitekturen, Anwendungsmodelle und Algorithmen zu konstruieren. Gehirnähnliches Computing gilt als eine der wichtigsten Entwicklungsrichtungen der Post-Moore-Ära und könnte einen Durchbruch im zukünftigen intelligenten Computing darstellen.

Bei der 16. Qingyuan-Talk-Veranstaltung des Zhiyuan-Forschungsinstituts hielt Li Guoqi, Forscher am Institut für Automatisierung der Chinesischen Akademie der Wissenschaften, einen Vortrag mit dem Titel „Forschungsfortschritt und Aussichten des Brain-like Computing“. Li Guoqi stellte zunächst die grundlegenden Konzepte des gehirnähnlichen Computing vor und präsentierte dann die neuesten Forschungsfortschritte zu gehirnähnlichen Computingsystemen aus verschiedenen Blickwinkeln, wie etwa Modellalgorithmen, Software, Chips und Daten von gehirnähnlichen Computingsystemen. Abschließend fasste er den Entwicklungstrend gehirnähnlicher Computersysteme zusammen und gab einen Ausblick darauf.

Über den Autor: Li Guoqi ist Forscher am Institut für Automatisierung der Chinesischen Akademie der Wissenschaften, Doktorvater und Nachwuchswissenschaftler an der Pekinger Akademie für Künstliche Intelligenz. Li Guoqi hat mehr als 150 Artikel in Zeitschriften wie Nature, Nature Communications, Proceedings of the IEEE, IEEE TPAMI und Konferenzen wie ICLR, NeurIPS, AAAI und CVPR veröffentlicht. veröffentlichte eine frühe akademische Monographie auf dem Gebiet des Brain-Like Computing in China; und seine Arbeiten wurden bei Google Scholar über 4.500 Mal zitiert. 2017 wurde er als herausragendes junges Talent der Beijing Natural Science Foundation ausgewählt, 2018 gewann er den ersten Preis für Wissenschaft und Technologie der China Command and Control Society, 2019 wurde er zum „Zhiyuan Scholar“ des Beijing Zhiyuan Artificial Intelligence Research Institute gewählt, 2021 gewann er den zweiten Preis von Fujian Science and Technology Progress, 2021 erhielt er eine Förderung vom Beijing Outstanding Youth Fund und 2022 wurde er in das „Hundred Talents Program“ der Chinesischen Akademie der Wissenschaften aufgenommen; Die von ihm mitgewirkte Arbeit zur Theorie, Architektur und Toolchain gehirnähnlicher Chips wurde 2019 zu einem der zehn größten Fortschritte der chinesischen Wissenschaft und 2020 zu einem der zehn größten Fortschritte im Bereich der künstlichen Intelligenz weltweit gewählt.

Zusammengestellt von: Wang Guanghua

Herausgeber: Li Mengjia

01

Was ist Brain-Inspired Computing?

Brain-like Computing ist ein neues Forschungsgebiet, das in den letzten Jahren entstanden ist. Ähnlich wie in Bereichen wie künstlicher Intelligenz und maschinellem Lernen ist es schwierig, diesen Bereich genau zu definieren. Derzeit gibt es in der Branche keine allgemein anerkannte Definition des Konzepts des gehirnähnlichen Computing.

Li Guoqi wies darauf hin, dass die beschreibende Definition von Brain-Like Computing „ein allgemeiner Begriff für Technologien ist, die von der Art und Weise inspiriert sind, wie das menschliche Gehirn Informationen verarbeitet, und darauf abzielen, Informationssysteme mit allgemeinerer künstlicher Intelligenz und effizienten intelligenten Edge-/Cloud-Enden aufzubauen.“ Beim Brain-Like Computing geht es darum, Erkenntnisse aus Disziplinen wie der Gehirnforschung, der Computerneurowissenschaft, der Kognitionswissenschaft und sogar der statistischen Physik zu integrieren, um einige Probleme bestehender traditioneller Computertechnologien zu lösen und dann ein allgemeineres, effizienteres und intelligenteres neuartiges Informationssystem aufzubauen.

Brain-like Computing im engeren Sinne bezeichnet das neuromorphe Computing, bei dem es hauptsächlich um die Entwicklung neuromorpher Chips zur Unterstützung von Spiking Neural Networks (SNN) geht, die aus der Computational Neuroscience stammen. Zum gehirnähnlichen Computing im weiteren Sinne gehören auch In-Memory-Computing, Memristor-Chips und sogar die Entwicklung von KI-Chips zur Unterstützung herkömmlicher künstlicher neuronaler Netzwerke (KNN). Daher muss die Forschung und Entwicklung im Bereich des gehirnähnlichen Computings, wie etwa der künstlichen Intelligenz, auch aus verschiedenen Richtungen wie Modellalgorithmen, Software, Chips und Daten koordiniert werden.

02

Gehirnähnliche Computermodelle: Die Kluft zwischen Neurowissenschaft und KI schließen

Derzeit besteht eine große Kluft zwischen Neurowissenschaft und künstlicher Intelligenz. Die Neurowissenschaft konzentriert sich auf die Rekonstruktion der Feinstruktur und der physiologischen Details im Gehirn, während sich die künstliche Intelligenz auf die Erzielung effizienter Berechnungen durch mathematische Abstraktion neuronaler Strukturen konzentriert.

Daher wird die Frage, wie künstliche Intelligenz und Neurowissenschaften miteinander integriert werden können, zu einer gewaltigen Herausforderung. Beim gehirnähnlichen Computing kombinieren gepulste neuronale Netzwerke biologische Rationalität und Rechenleistung und könnten ein neues Paradigma für künstliche Intelligenz darstellen. Einfach ausgedrückt: SNN = ANN + Neuronale Dynamik. Die Frage, wie man ein Modell feuernder Neuronen findet, das sowohl biologisch plausibel als auch rechnerisch effizient ist, und wie man die Beziehung zwischen dem Modell feuernder Neuronen und KI-Aufgaben herstellt, sind Kernfragen im Bereich des gehirninspirierten Computing.

Derzeit verwendet SNN im Allgemeinen LIF-Neuronen als Grundeinheit zum Aufbau neuronaler Netzwerke. Der Grund dafür ist, dass das LIF-Neuron ein typisches umfassendes Modell ist, das die Einfachheit und Benutzerfreundlichkeit des IF-Modells aufweist und die umfangreichen physiologischen Eigenschaften biologischer Neuronen wie das HH-Neuronenmodell simulieren kann.

Wie wir alle wissen, haben ANN und SNN ihre eigenen Eigenschaften und Stärken. KNN können die Recheneigenschaften vorhandener Computer voll ausnutzen, Informationen durch Neuronenzustände darstellen, Informationen im räumlichen Bereich übertragen und ihre Hauptoperation ist die dichte Matrix-Vektor-Multiplikation. Im Gegensatz dazu verwendet SNN Impulssequenzen zur Darstellung von Informationen, überträgt Informationen sowohl im räumlichen als auch im zeitlichen Bereich und seine Hauptfunktion ist die ereignisgesteuerte spärliche Addition, die sowohl rechnerische Effizienz als auch biologische Glaubwürdigkeit aufweist.

03

Gehirnähnliche Lernalgorithmen

Im Vergleich zum ANN-Training ist ein effizientes SNN-Training mit zahlreichen Problemen und Herausforderungen verbunden, wie etwa den komplexen räumlich-zeitlichen dynamischen Prozessen in feuernden Neuronen, der Nichtdifferenzierbarkeit der zwischen feuernden Neuronen übertragenen Impulsinformationen, der Impulsverschlechterung und dem Verlust der Trainingsgenauigkeit. Derzeit umfassen die SNN-Trainingsmethoden hauptsächlich unüberwachtes Lernen, indirekt überwachtes Lernen und direkt überwachtes Lernen. Diese Trainingsmethoden versuchen, die oben genannten Probleme und Herausforderungen aus verschiedenen Perspektiven anzugehen.

1. Unüberwachtes Lernen basierend auf STDP

Spike Timing Dependent Plasticity (STDP) kann die Aktualisierung von Gewichtsverbindungen zwischen Gehirnneuronen steuern und ist eine typische Methode des unüberwachten Lernens. Einfach ausgedrückt: Je näher die Feuerungszeiten zweier Neuronen beieinander liegen, desto enger ist die Bindungsbeziehung zwischen ihnen. Wie in der Abbildung oben gezeigt, verstärken die beiden Parteien mit einer engen zeitlichen Beziehung die Verbindung, wenn zwei Neuronen nacheinander aktiviert werden, während die beiden Parteien mit einer entgegengesetzten Beziehung die Verbindung schwächen. Daher wird zwischen Neuronen häufig eine einseitige, verstärkende Verbindung hergestellt.

Werden zwei Neuronen gleichzeitig aktiviert, bilden sie eine engere Verbindung mit dem gemeinsamen nachgeschalteten Neuron, so dass die beiden als Geschwisterneuronen gelten und eine indirekte Beziehung zueinander haben. Beispielsweise ist das Lernmodell, das aus der STDP-Regel kombiniert mit Winner-Take-All (WTA) besteht, eine einfache und effektive Methode des unüberwachten Lernens.

Insbesondere wird das Bild in der Eingabeschicht in eine Impulsfolge umgewandelt (die Impulsfeuerrate ist proportional zum Pixelwert), die Neuronen werden in einer vollständig verbundenen Form vorwärts verbunden, akzeptieren erregende Eingaben und werden unter Verwendung der STDP-Regel aktualisiert. Sie sind eins zu eins mit hemmenden Neuronen rückwärts verbunden, um eine laterale Hemmung (d. h. sanfte WTA) zu erzeugen und die Pulsfeuerrate durch einen adaptiven Schwellenwert auszugleichen.

Das STDP-Modell lernt durch lokales Anpassen von Regeln, was die verteilte Implementierung auf neuromorphen Chips erleichtert und über Online-Lernfunktionen verfügt. Die lokale synaptische Plastizität reicht jedoch nicht aus, um zu erklären, wie Veränderungen in einzelnen Synapsen das Erreichen der Gesamtziele des Nervensystems koordinieren. Gleichzeitig wies Li Guoqi auch darauf hin, dass diese Trainingsmethode des unüberwachten Lernens Probleme aufweise, wie etwa die Schwierigkeit, Hochleistungsnetzwerke zu erhalten, und die Unfähigkeit, sie in großen tiefen neuronalen Netzwerken einzusetzen.

2. Indirektes überwachtes Lernen basierend auf ANN zu SNN

Bei der ANN-konvertierten SNN-Methode wird ein ANN-Modell trainiert und die ANN-Gewichte nach dem Lernen in ein SNN mit der gleichen Struktur migriert. Die Grundidee besteht darin, die durchschnittliche Impulsfeuerrate des SNN zu verwenden, um den ReLU-Aktivierungswert im ANN zu approximieren.

Daher besteht bei der ANN-konvertierten SNN-Methode ein Kompromissproblem zwischen Modellgenauigkeit und Modellsimulationsschrittweite T. Diese Methode verwendet überwachte Signale, um ein Gradienten-Backpropagation-Training im ursprünglichen ANN-Modell durchzuführen und konvertiert es dann in ein SNN-Modell. Es handelt sich also um ein indirektes überwachtes Lernen.

Die ANN-konvertierte SNN-Methode ist hochgradig skalierbar und kann neu entstehende oder groß angelegte ANN-Netzwerkstrukturen problemlos in entsprechende SNN-Versionen konvertieren. Generell gilt: Je größer der Simulationszeitschritt T, desto näher liegt die durchschnittliche Pulsfeuerrate des SNN am Aktivierungswert im ANN und desto kleiner ist der Fehler zwischen den beiden Modellen, wodurch eine nahezu „verlustfreie“ Konvertierung von ANN zu SNN erreicht wird. Ein zu langer Zeitschritt T führt jedoch zu einer verringerten Trainings- und Argumentationseffizienz und auch der Stromverbrauchsvorteil von SNN wird reduziert. Darüber hinaus wies Li Guoqi darauf hin, dass bei dieser Methode im Wesentlichen SNN zur Approximation von ANN verwendet wird und die verfügbaren zeitabhängigen Signale in SNN während des Konvertierungsprozesses verloren gehen, was zu relativ eingeschränkten Anwendungsszenarien führen kann.

3. Entwicklung von SNN Direct Supervised Learning

Um die Einschränkungen der beiden oben genannten Trainingsmethoden zu vermeiden und das Problem zu lösen, dass SNN nicht effektiv trainiert werden kann, haben Li Guoqi und sein Team zuvor direkte SNN-Trainingsmethoden wie STBP (Spatio-Temporal Backpropagation) vorgeschlagen.

Die Schwierigkeit direkter Trainingsalgorithmen liegt in den komplexen räumlich-zeitlichen dynamischen Eigenschaften von SNN und dem Problem der nicht differenzierbaren Impulsemission. Die von Li Guoqis Team vorgeschlagene Lösung besteht darin, die Differentialgleichungsform des Pulsneurons in eine für die Computersimulation geeignete Differenzengleichungsform umzuwandeln, die Informationen gleichzeitig entlang der Zeit- und Raumdimension zu erweitern und die Pulsgradientennäherungsmethode zu verwenden. Da die ungefähre Substitutionsfunktion die „nichtlinearen Eigenschaften“ der Impulsemission beibehält, weist ihre Gradientennäherungskurve eine gewisse Robustheit auf.

Obwohl STBP das Problem der Gradientensubstitution beim Backpropagation-Training in SNN-Netzwerken löst, können damit dennoch nur kleine Netzwerke mit nicht mehr als 10 Schichten trainiert werden. Das Hauptproblem besteht darin, dass die binäre Aktivierungsmethode der feuernden Neuronen und ihre komplexe räumlich-zeitliche Dynamik, sobald das Netzwerk tiefer wird, im Vergleich zu ANN eher dazu führen, dass der Gradient des Netzwerks verschwindet oder explodiert.

Eine weitere Analyse der räumlich-zeitlichen dynamischen Eigenschaften in SNNs zeigt, dass die Herstellung eines Gleichgewichts zwischen neuronalem Membranpotential und Schwellenwert zur Erzielung einer geeigneten Netzwerk-Pulsfeuerrate für die Leistung des Netzwerks von entscheidender Bedeutung ist. Eine zu niedrige Feuerrate kann zu unzureichenden effektiven Informationen führen, während eine zu hohe Feuerrate die Fähigkeit des SNN-Netzwerks verringert, Eingaben zu unterscheiden.

Daher schlug das Team von Li Guoqi außerdem einen BN-Algorithmus vor, der mit der Schwelle feuernder Neuronen kombiniert wurde, nämlich die Threshold-dependent BN-Methode (TDBN), die das Skalenengpassproblem linderte, das SNNs einschränkte. Zum ersten Mal wurde die Netzwerkskala von SNNs auf 50 Schichten erhöht, wodurch eine wettbewerbsfähige Leistung bei großen Datensätzen wie ImageNet erreicht wurde und bewiesen wurde, dass diese Methode die Probleme des Gradientenverschwindens und der Explosion von tiefen SNNs lindern kann.

Obwohl TDBN die Skalierung von SNN verbessert hat, ist seine Leistung im Vergleich zu den tiefen Netzwerken mit Hunderten von Schichten in herkömmlichen ANN immer noch unzureichend und reicht nicht aus, um bei großen Datensätzen mit ANN zu konkurrieren. Um die Netzwerkausdrucksfähigkeit von SNN weiter zu verbessern, den Netzwerkmaßstab zu erweitern und so die Aufgabenleistung zu verbessern, scheint die Übernahme der klassischen ResNet-Struktur eine praktikable Methode zu sein.

Das direkte Kopieren der ResNet-Struktur in SNN (Vanilla Res-SNN) weist jedoch das Problem der Impulsverschlechterung auf, d. h. je tiefer das Netzwerk, desto geringer die Genauigkeit. Daher schlug das Team von Li Guoqi eine neuartige Ms-Rse-SNN-Struktur vor, die LIF-Neuronen in Restblöcken platziert und Abkürzungen zwischen den Membranpotentialen von Neuronen in verschiedenen Schichten herstellt. Mithilfe der Theorie der dynamischen Isometrie wird nachgewiesen, dass bei der vorgeschlagenen Struktur das Problem der Impulsverschlechterung nicht auftritt. Das Problem des direkten Trainings von SNNs im großen Maßstab (482-Schicht-CIFAR-10, 104-Schicht-ImageNet) wird in einem relativ breiten Bereich gelöst, und letzteres erreicht das SOTA-Ergebnis einer Top-1-Klassifizierungsgenauigkeit von 76 %.

Darüber hinaus kann die Verwendung eines datenabhängigen Verarbeitungsansatzes, abhängig von der Art und Weise, wie SNN Daten verarbeitet, bei einigen Aufgaben zusätzliche Leistungssteigerungen beim direkten Training von SNNs bringen. Beispielsweise weisen Ereignisstromdaten bei neuromorphen Sehaufgaben häufig spärliche und ungleichmäßige Eigenschaften auf.

Basierend auf dieser Beobachtung schlug das Team von Li Guoqi ein neuronales Netzwerk mit zeitlichem Aufmerksamkeitspuls vor. Basierend auf dem Eingangs-Signal-Rausch-Verhältnis des Ereignisstroms zu verschiedenen Zeiten und in Kombination mit dem zeitlichen Aufmerksamkeitsmechanismus wird SNN verwendet, um die Aufgabenverarbeitung datengesteuert durchzuführen, was zu Leistungsverbesserungen führen und gleichzeitig den Energieverbrauch des Netzwerks weiter senken kann. Experimentelle Ergebnisse zeigen, dass die Leistung von SNN grundsätzlich unverändert bleiben oder sich leicht verbessern kann, selbst wenn die Hälfte der Eingabe entfernt wird. Zusammenfassend lässt sich sagen, dass SNN nun in die Entwicklungsphase groß angelegter Deep-Modelle und -Algorithmen eingetreten ist und in einer Vielzahl nachgelagerter Aufgaben im traditionellen Bereich der künstlichen Intelligenz weiter angewendet werden wird.

04

Vom Gehirn inspirierte Computersoftware

Vom Gehirn inspirierte Computersoftware-Frameworks und -Tools umfassen normalerweise drei Aspekte: eine neuromorphe Chip-Toolchain, eine neuronale Systemsimulation und ein SNN-Lernframework. Weitere Einzelheiten finden Sie im Übersichtsartikel von Professor Zhang Youhui von der Tsinghua-Universität in IEEE Transactions on High Performance Computing.

Die Toolchain für neuromorphe Chips befindet sich noch in der Anfangsphase und weist viele Probleme auf, beispielsweise eine enge Kopplung zwischen Software und Hardware, geringe Vielseitigkeit und Automatisierung sowie mangelnde Benutzerfreundlichkeit. Das Software-Simulationsframework für neuronale Systeme kann biologische neuronale Netzwerke detailliert simulieren, erfordert vom Benutzer jedoch gewisse Grundlagenkenntnisse in der Computerneurowissenschaft.

Vorhandene Software-Frameworks für Simulationstools werden normalerweise in der Programmiersprache C entwickelt, verfügen nicht über plattformübergreifende Funktionen und bieten keine Unterstützung für eine tiefgreifende Optimierung verschiedener Back-End-Hardware. Darüber hinaus ist diese Software normalerweise für Standardhardware wie CPUs und GPUs konzipiert und unterstützt keine anderen Arten neuromorpher Chips. Das Ziel des SNN-Lernframeworks besteht darin, die Bequemlichkeit der Entwicklung eines Deep-Learning-Frameworks mit den Eigenschaften von SNN zu kombinieren, verschiedene Ressourcen im Bereich Deep Learning voll auszunutzen und das SNN-Netzwerktraining zu beschleunigen. Die entsprechenden Arbeiten befinden sich grundsätzlich noch in einem frühen Stadium, sind nicht stabil genug und können nicht an verschiedene Software- und Hardwareschnittstellen angepasst werden. Selbst wenn es basierend auf der GPU-Architektur entwickelt wird, ist es schwierig, die Eigenschaften von SNN selbst zur Beschleunigung voll auszunutzen.

05

Gehirnähnliche Computerchips

Aus funktionaler Sicht werden gehirnähnliche Chips hauptsächlich in vier Kategorien unterteilt:

Unterstützt hauptsächlich Deep-Learning-Beschleuniger für künstliche neuronale Netzwerke (TPU, Cambrian, Huawei Ascend usw.);

Neuromorphe Chips, die hauptsächlich Spiking-Neuralnetzwerke unterstützen (TrueNorth, Loihi, Darwin und andere Chips);

Heterogener Fusionschip (Tianjinc-Chip) zur Unterstützung künstlicher/spikender neuronaler Netzwerke;

Sowie Gehirnsimulationschips, die die Neuronenprogrammierung unterstützen (SpiNNaker, ROLLS, Loihi und andere Chips) und Wahrnehmungschips, die durch neuromorphe Kameras mit geringer Latenz und hoher Dynamik dargestellt werden.

Die Architektur gehirnähnlicher Chips umfasst die von gängigen Deep-Learning-Beschleunigern verwendete Architektur zur Trennung von Speicher und Rechenleistung, die Near-Memory-Computing-Architektur gängiger Chips mit dezentraler Multi-Core-Architektur und die integrierte Speicher- und Rechenleistungsarchitektur von In-Memory-Computing-Chips und Memristor-Chips. Aus Sicht des Chipdesigns weisen Chips mit einer über Router verbundenen Multi-Core-Architektur eine bessere Skalierbarkeit auf, da mehrere Funktionskerne unabhängig voneinander arbeiten und die Kerne regelmäßig Daten synchronisieren und austauschen. Daher ist der unterstützte Netzwerkmaßstab größer und der Anwendungsbereich von SNN breiter.

Kleine Single-Core-Chips, die ausschließlich digitale Signale verwenden, können mithilfe von In-Memory-Berechnungen Matrix-Vektor-Multiplikationen durchführen, verfügen über synchrone und asynchrone Designprozesse, haben oft eine höhere Energieeffizienz und einen geringeren statischen Stromverbrauch und ihre Technologie lässt sich leichter migrieren, aber der Umfang der Neuronen und Synapsen ist begrenzt. Der kleine Single-Core-Hybrid-Digital-Analog-Chip verwendet eine digitale asynchrone Impulsführung, nutzt digitale Berechnungsmethoden im Speicher, um eine Matrix-Vektor-Multiplikation durchzuführen, und nutzt ein analoges Membranpotential zur Aktivierung und Aktualisierung. Daher weist es die höchste Energieeffizienz auf, bringt aber auch Probleme mit sich, wie beispielsweise eine geringe Anzahl an Neuronen und Synapsen und ein unpraktisches Design.

06

Gehirnähnliche Computerdaten

Wie wir alle wissen, sind die vier Elemente für die Entwicklung von Deep Learning Algorithmen, Rechenleistung, Entwicklungstools und Daten im großen Maßstab. Im Bereich Deep Learning haben Hunderte von Open-Source-Datensätzen zu den Themen Klassifizierung, Erkennung, Tracking, natürliche Sprache usw. den Erfolg von Deep Learning erheblich gefördert.

Im Gegensatz dazu sind gehirnähnliche Datensätze sehr selten und die vorhandenen Datensätze umfassen hauptsächlich vier Kategorien:

Die erste Kategorie besteht darin, den ANN-Datensatz durch einen Konvertierungsalgorithmus in einen Ereignissignal-Datensatz umzuwandeln. Zu den typischen Datensätzen gehören ES-ImageNet, konvertiert aus ImageNet, ES-UCF101-Ereignissignaldatensatz, konvertiert aus UCF101, und BDD100K-DVS-Ereignissignaldatensatz, konvertiert aus BDD100K.

Die zweite Kategorie besteht darin, neuromorphe Kameras (DVS) zu verwenden, um Bild- oder Videodatenbanken in Ereignisdatensätze wie N-MNIST, CIFA10-DVS und andere Datensätze zu konvertieren.

Die dritte Kategorie sind die Datensätze, die direkt von der neuromorphen Kamera DVS erfasst werden, wie z. B. DVS-Gesture, PKU-DDD17-CAR, Gen1-Erkennung, 1Mpx-Erkennung, PKU-DAVIS-SOD usw.; Die letzte Kategorie umfasst andere Arten gehirnähnlicher Datensätze, wie etwa EEG-Datensätze, Datensätze im Zusammenhang mit der Gehirn-Computer-Schnittstelle (BCI), gemischte Daten aus Frame-Daten und Ereignissen usw.

07

Entwicklungstrends gehirnähnlicher Systeme

Abschließend fasste Li Guoqi die zukünftigen Entwicklungstrends des gehirnähnlichen Computings auf der Grundlage seiner eigenen Gedanken zusammen und fasste das gehirnähnliche System-Framework zusammen.

Was die Modellalgorithmen angeht, kann das SNN-Modell nicht nur durch die Erhöhung der Modellparameter, der Netzwerktiefe oder -breite größer und leistungsfähiger gemacht werden, sondern, was noch wichtiger ist, es bietet die Möglichkeit, die Komplexität der Neuronen intern zu erhöhen und so die Kluft zwischen Neurowissenschaft und künstlicher Intelligenz zu verringern. Daher ist die Konstruktion von Neuronenmodellen, neuronalen Netzwerken und entsprechenden Algorithmen mit einer reichhaltigeren Dynamik eine wichtige Richtung für die Zukunft.

Im Hinblick auf gehirnähnliche Software ist die Verbesserung des Forschungsökosystems von SNN der einzige Weg für die zukünftige Entwicklung. Wichtige Richtungen sind die Software- und Hardware-Entkopplung der neuromorphen Toolchain, das SNN-Trainingsbeschleunigungsframework sowie die effiziente Simulation und Simulation neuronaler Systeme. Im Hinblick auf gehirnähnliche Daten ist es sehr wichtig, einen groß angelegten multimodalen gemischten Datensatz mit spärlichen Ereignismerkmalen und umfangreichen Zeit-/Raumskalenmerkmalen zu erstellen.

Im Hinblick auf gehirnähnliche Chips liegt der Schwerpunkt darauf, wie neuromorphe Chips eine effizientere Wahrnehmung, Speicherung und Berechnung ermöglichen und wie sich ein Computersystem aufbauen lässt, das Sensorik, Speicherung und Berechnung integriert. Auch die Erforschung effizienterer Chiparchitekturen und die Entwicklung von Chipfunktionen mit gehirnähnlicheren Elementen sind wichtige Richtungen für die zukünftige Entwicklung. In Bezug auf die Chiparchitektur können wir das hierarchische Speichersystem gehirnähnlicher Chips, eine effiziente Online-Lernarchitektur und ihre effiziente Kompatibilität mit anderen Hardwareplattformen erkunden. Im Hinblick auf die Chipfunktionen können wir untersuchen, wie wir mehr Operatorunterstützung integrieren können, etwa für Differentialgleichungen und das Lösen linearer Gleichungen, und wie wir auf Operatorebene mehr gehirnähnliche neuronale Modelle und Netzwerkstrukturen unterstützen können.

Li Guoqi glaubt, dass der Gesamtrahmen des gehirnähnlichen Systems gehirnähnliche Modelle, Algorithmen, Software und Chips umfasst und mit einem Computersystem kombiniert wird, das auf umfangreichen gehirnähnlichen Daten basiert. Im Bereich der künstlichen Intelligenz kann es sich in Richtung der Konstruktion effizienter Cloud-/Edge-Brain-ähnlicher Computersysteme entwickeln. Im Bereich der Gehirnforschung können vorhandene Supercomputing-Servercluster zur Simulation und Simulation neuronaler Dynamiken verwendet werden, um komplexere Gehirnsimulations- und neuronale Simulationssysteme aufzubauen.