3 Millionen Bilder, 15.000 Zebrafischembryonen, Wissenschaftler erreichen KI-Embryoerkennung

Mit einem Datensatz von 3 Millionen Bildern und 15.000 Zebrafischembryonen gelang dem Systembiologen Patrick Müller die erfolgreiche Implementierung einer KI-basierten Embryoerkennung.

Autor｜Jia Ling

Herausgeber｜Sanyang

Während der Entwicklung eines Tieres durchlaufen Embryonen im Laufe der Zeit komplexe morphologische Veränderungen. Die Forscher hoffen, dass es ihnen gelingt, Entwicklungszeit und -geschwindigkeit objektiv zu quantifizieren und standardisierte Methoden bereitzustellen, um die Entwicklungsstadien früher Embryonen zu analysieren und die Evolutions- und Entwicklungsprozesse besser zu verstehen.

Bisher beruhte das Verständnis der Wissenschaftler hinsichtlich der Entwicklungsstadien und morphologischen Veränderungen des Embryos auf mikroskopischen Beobachtungen. Allerdings ist der Phasenübergang der Embryonalentwicklung weder ideal noch stabil. Die Einflussfaktoren sind so vielfältig, dass es für Forscher schwierig ist, einen bestimmten Entwicklungsstand zu beobachten. Die Beobachtung der embryonalen Morphologie zur Schlussfolgerung über Entwicklungszeit und -stadium ist noch immer relativ subjektiv.

Um den Zusammenhang zwischen Entwicklungszeit und Entwicklungsgeschwindigkeit objektiv zu ermitteln, entwickelte der Systembiologe Patrick Müller unter Leitung von Forschern der Universität Konstanz ein Deep-Learning-Verfahren auf Basis eines Zwillingsnetzwerks. Durch Bildvergleich kann es den embryonalen Entwicklungsprozess automatisch erfassen und charakteristische Entwicklungsstadien ohne menschliches Eingreifen identifizieren. Die entsprechenden Ergebnisse wurden aktuell in „Nature Methods“ veröffentlicht.

Der Artikel wurde in Nature Methods veröffentlicht.

Holen Sie sich das Papier:

https://www.nature.com/articles/s41592-023-02083-8

01 Experimenteller Prozess

Datensatz: Integration einer großen Anzahl von Embryobildern

Mithilfe einer Hochdurchsatz-Bildgebungspipeline und einer auf ResNet101 basierenden Bildsegmentierung erstellten die Forscher einen Datensatz aus 3 Millionen Bildern und 15.000 Zebrafischembryonen, um Entwicklungsverläufe einzelner Embryonen zu generieren. Jeder Embryo wird einzeln verfolgt und bei der Eingabe in das Modell durch einen andersfarbigen Begrenzungsrahmen abgegrenzt. Für jedes Experiment wurde eine separate JSON-Datei erstellt, die Informationen zu den Embryonen der jeweiligen Kategorie enthält.

Bildverarbeitungsdiagramm

Modellarchitektur: Siamesisches Netzwerkmodell

Die Zwillingsnetzstruktur besteht aus zwei parallelen neuronalen Netzen mit gleicher Struktur. Es kann zwei Bilder gleichzeitig als Eingabe empfangen und die Gewichte werden zwischen den beiden neuronalen Netzwerken geteilt. Der Vergleich der Bilder erfolgt durch Ähnlichkeitsberechnung auf Basis der Merkmalseinbettung.

Nachfolgend sehen Sie ein Diagramm der Struktur des Zwillingsnetzwerks:

Zwillingsnetzwerkstruktur

Die neuronale Netzwerkstruktur, aus der das Zwillingsnetzwerk besteht, ist wie folgt:

ResNet50-basiertes neuronales Netzwerk

Backbone-Netzwerk: Basierend auf dem ImageNet-Datensatz wird die ResNet50-Architektur mit vortrainierten Gewichten als Backbone-Netzwerk verwendet.

Kopf des Einbettungsmodells: Die Ausgabe des Backbone-Netzwerks wird abgeflacht und an den Kopf des Einbettungsmodells übergeben, der aus drei dichten Schichten mit Batch-Normalisierungsschichten zwischen jeder Schicht besteht, wodurch eine Ausgabe/Einbettung der Größe (1, 256) erzeugt wird;

Transferlernen: Alle Schichten des ResNet50-Backbone-Netzwerks sind eingefroren, mit Ausnahme des Faltungsblocks 5 und der Modellkopfschichten. Die von ResNet50 generierten Feature-Einbettungen werden in einer Distanzschicht kombiniert, um während des Trainings die euklidische Metrik zwischen den vom Netzwerk generierten Einbettungen für verschiedene Eingaben zu berechnen.

Algorithmus-Training: Triplet-Loss-Training

Der Trainingsprozess des Algorithmus läuft wie folgt ab:

Erstellen von Bildtripletts: Ein Bildtriplett besteht aus drei Embryobildern, nämlich dem Ankerbild, das ein Bild eines Embryos in einem zufälligen Entwicklungsstadium t1 ist; das positive Bild, das ein Bild ähnlich dem Entwicklungsstadium t1 (Eingabe in das neuronale Netzwerk 1) oder dem Ankerbild nach der Bildverbesserung (Eingabe in das neuronale Netzwerk 2) ist; und das Negativbild, das ein Bild eines Embryos im Entwicklungsstadium t2 ≠ t1 ist.

Bildtriplettdiagramm

Triplet-Verlust-Training: Die erstellten Bildtripel werden an das siamesische Netzwerk übergeben und der Triplet-Verlust wird anhand der folgenden Formel berechnet, um die Ähnlichkeit zwischen dem Ankerbild und dem positiven Bild zu minimieren und die Ähnlichkeit zwischen dem Ankerbild und dem negativen Bild zu maximieren.

Berechnungsformel für Triplettverluste

A steht für das Ankerbild, P für das positive Bild und N für das negative Bild.

Iteratives Training: Das neuronale Netzwerk 1 wurde 10 Epochen lang mit 300.000 Bildtripletts von Zebrafischembryos trainiert; Das neuronale Netzwerk 2 wurde 2 Epochen lang mit 1 Million Bildtripletts, mit Ankerbildverbesserungen und GPU-beschleunigtem Training mit NVIDIA GeForce RTX3070 (ASUS) trainiert.

Aufgabenbasiertes Training: Es wurde ein entsprechendes Training zu Bildähnlichkeit, embryonaler Stadien, Entwicklungsgeschwindigkeit und -temperatur sowie durch Medikamente hervorgerufenen Veränderungen der Embryonalentwicklung durchgeführt.

02 Experimentelle Ergebnisse

Ergebnis 1: Automatische Embryo-Staging-Analyse mithilfe von Ähnlichkeitsgraphen

Das Testbild wird mit einer Reihe von Embryobildern verglichen, die Kosinusähnlichkeit zwischen ihnen wird berechnet und der Ähnlichkeitswert wird ermittelt, um die Embryobilder zu klassifizieren.

Ähnlichkeitsgraph von Testembryos und Referenzbildern

Durch den Vergleich des Testbildes mit der Zeitreihe der sich entwickelnden Embryobilder erhalten wir eine Ähnlichkeitskurve über die Zeit, aus der wir zwei Hauptmerkmale extrahieren:

Die Spitze der Kurve gibt an, in welchem ​​Entwicklungsstadium sich der Embryo im Testbild befindet.

Die Nicht-Spitzenbereiche der Kurven enthalten zusätzliche Informationen, wie etwa die Spitzenbreite und die Ähnlichkeit mit entfernten Embryonalstadien, und spiegeln morphologische Ähnlichkeiten zu verschiedenen Zeitpunkten wider.

Schematische Darstellung der Embryoaltersvorhersage

Das Zwillingsnetzwerk kann eine Reihe von Zeitreihenbildern eines Embryos identifizieren und vorhersagen, eine Flugbahn basierend auf dem vorhergesagten Entwicklungsstadium konstruieren und eine genaue Embryo-Staging erreichen.

Ergebnis 2: Untersuchung des funktionalen Zusammenhangs zwischen Entwicklungsgeschwindigkeit und Temperatur

Bisher war zur Quantifizierung der Temperaturabhängigkeit der Embryonalentwicklung eine manuelle oder halbautomatische Erfassung des Entwicklungszeitpunkts erforderlich, was die Anzahl der Experimente, die innerhalb eines angemessenen Zeitraums analysiert werden konnten, erheblich einschränkte.

Das erstellte Zwillingsnetzwerk wurde verwendet, um die temperaturabhängigen Änderungen der Entwicklungsrate automatisch zu analysieren. Der Versuchsplan sah vor: Zebrafischembryonen zwischen 23,5 °C und 35,5 °C und Schwarze Karpfenembryonen zwischen 18 °C und 36 °C. Unter jeder Temperaturbedingung wurden 100 bis 200 Zebrafischembryonen oder 20 bis 100 Embryonen des Schwarzen Karpfens analysiert.

Die experimentellen Ergebnisse sind in der Abbildung dargestellt:

Analyse der embryonalen Entwicklung von Zebrafischen und schwarzen Karpfen bei unterschiedlichen Temperaturen

a, d: Schematische Darstellung der Altersbestimmung für Zebrafische und Schwarze Karpfen;

b, e: Entwicklung von Zebrabärblingen und Schwarzkarpfen bei unterschiedlichen Temperaturen;

c, f: Natürlicher Logarithmus der geschätzten Wachstumsrate von Zebrafischen und Schwarzen Karpfen bei verschiedenen Temperaturen.

Temperaturänderungen hatten einen erheblichen Einfluss auf die Entwicklungsgeschwindigkeit beider Embryonen. Bei niedrigeren Temperaturen verläuft die Embryonalentwicklung langsamer, während höhere Temperaturen die Entwicklung deutlich beschleunigen. Bei einer Temperaturänderung von 10 °C änderte sich die Entwicklungsrate um etwa den Faktor zwei.

· Verwenden Sie Zwillingsnetzwerke, um die Temperaturabhängigkeit der Entwicklungsraten zu quantifizieren und passen Sie die Daten mithilfe der Arrhenius-Gleichung an. Über den artspezifischen Temperaturbereich hinweg ergaben die Steigungen der linearen Anpassungen scheinbare Aktivierungsenergien von 65 kJ/mol bzw. 77 kJ/mol für Zebrafische und Midakas. Diese scheinbaren Aktivierungsenergien ähneln denen anderer poikilothermer Tiere (wie Frösche, Fruchtfliegen oder Hefen) und unterscheiden sich deutlich von denen homoiothermer Tiere (wie Mäuse oder Menschen).

Entgegen idealistischer Annahmen beschleunigten sich die Entwicklungsraten beider Embryonen in Zonen mit höheren Temperaturen nicht mehr, sondern stabilisierten sich tendenziell. In Gebieten mit niedrigeren Temperaturen: Die Entwicklung des Zebrafisches verlangsamt sich linear, und die Embryonenentwicklung stoppt, wenn die Temperatur unter 23 °C fällt; Die Embryonen des Schwarzen Karpfens weisen Merkmale einer nichtlinearen Entwicklung auf und stagnieren lange Zeit im primitiven Entwicklungsstadium des Sacks.

Ergebnis 3: Quantifizierung der natürlichen Variabilität während der embryonalen Evolution

Die Studie ergab, dass Embryonen zwar durch genetische Variationen, externe Störungen sowie Rauschen und Zufälligkeiten in der Genexpression beeinflusst werden, was zu Abweichungen in der Wachstumsrate und im Entwicklungsstadium führt, der Evolutionsprozess jedoch immer abgeschlossen wird.

Diagramm der evolutionären Unterschiede bei Embryonen

Das Zwillingsnetzwerk wurde verwendet, um die Unterschiede in den individuellen Phänotypen zwischen Embryonen gleichen Alters zu bewerten. Die experimentellen Ergebnisse sind in der Abbildung dargestellt:

Diagramm der embryonalen Entwicklung

Das linke Feld zeigt den Prozentsatz der embryonalen Entwicklungsstadien, die nach verschiedenen Zeiten vorhergesagt wurden: 0 Min. (grün), 400 Min. (blau) und 800 Min. (lila);

Die rechte Grafik zeigt, dass der durchschnittliche Ähnlichkeitswert der Embryonen mit der Zeit abnahm.

In der frühen Embryonalentwicklung weisen die vorhergesagten Embryonalstadien eine enge Verteilung auf, während mit Beginn der Segmentierungsperiode die Verteilungsbreite der vorhergesagten Embryonalstadien zunimmt. Dies deutet darauf hin, dass während der Embryonalentwicklung die Unterschiede zwischen Individuen allmählich zunehmen, der durchschnittliche Ähnlichkeitswert jedoch mit der Zeit abnimmt.

In einem Datensatz mit mehr als 3 Millionen Bildern von Zebrafischembryos weisen etwa 1 % der Embryonen eine abnormale Entwicklung auf, am häufigsten aufgrund einer spontanen Desintegration oder eines Defekts der dorsal-ventralen Polarität. Mithilfe des Zwillingsnetzwerks konnten die Forscher Embryonen mit Entwicklungsstörungen frühzeitig erkennen. Diese abnormalen Embryonen zeigten niedrige mittlere Ähnlichkeitswerte außerhalb des vorhergesagten normalen Entwicklungsbereichs.

Illustration einer abnormalen Embryonalentwicklung

Ergebnisse 4: Identifizierung der Phänotypen medikamentenbehandelter Embryonen

Die embryonale Entwicklung wird durch zahlreiche Signalmoleküle koordiniert und die Modulation ihrer Aktivität kann zu Veränderungen des embryonalen Phänotyps führen. Während der Entwicklung des Zebrafisches gibt es sieben wichtige Signalwege, darunter die Signalwege Bone Morphogenetic Protein (BMP), Retinsäure (RA), Wnt, Fibroblasten-Wachstumsfaktor (FGF) und Nodal, die hauptsächlich die Ausrichtung des Keimblatts und die Bildung der anterior-posterioren dorsoventralen Achse regulieren, während die Signalwege Sonic Hedgehog (Shh) und Planar Cell Polarity (PCP) die Verlängerung und Morphogenese der Körperachse steuern.

Die Forscher testeten die Wirksamkeit des Zwillingsnetzwerks bei der Erkennung abnormaler Embryonen. Die Ergebnisse sind in der folgenden Abbildung dargestellt:

Phänotypischer Vergleich zwischen unbehandelten und medikamentenbehandelten Embryonen

a: Unbehandelte Embryonen wurden als Referenz für den Phänotyp medikamentenbehandelter Embryonen verwendet;

b-i: Veränderungen in der Ähnlichkeit zwischen mit unterschiedlichen Medikamenten behandelten Embryonen und unbehandelten Embryonen;

j: Abhängigkeit der Embryozahl von der Genauigkeit der Anomalieerkennung.

Der Vergleich der Phänotypen unbehandelter Embryonen mit denen, die mit BMP-, Nodal-, FGF-, Shh-, PCP- und Wnt-Inhibitoren behandelt wurden, und RA-exponierten Embryonen ergab hohe Ähnlichkeitswerte zwischen unbehandelten Embryonen, während die Ähnlichkeitswerte zwischen mit niedermolekularen Arzneimitteln behandelten Embryonen und unbehandelten Embryonen im Allgemeinen niedrig waren.

Durch statistische Zeitpunktanalysen werden die Zeitpunkte ermittelt, zu denen die Embryopopulation signifikant von der Referenzpopulation abweicht, und so Embryopopulationen mit phänotypischen Defekten erkannt. Die Genauigkeit der Erkennung hängt von der Anzahl der analysierten Embryonen und der Art der Störung ab.

Darüber hinaus wurde in der Studie die Genauigkeit der Methode bei der Identifizierung von Phänotypen mit unterschiedlichen Penetrationsraten und Schweregraden untersucht. Die bekannte Bandbreite an Phänotypen in Zebrafischembryonen, die durch unterschiedliche Grade der Hemmung des BMP-Signalwegs verursacht werden, ist in der Abbildung dargestellt: Das Zwillingsnetzwerk kann Entwicklungsabweichungen genau erkennen. Bei Phänotypen mit hoher Penetration oder offensichtlichen Phänotypen, die durch hohe Dosen niedermolekularer BMP-Signalweg-Inhibitoren verursacht werden, ist für eine genaue Erkennung nur eine geringe Anzahl Embryonen erforderlich, während für milde Phänotypen etwa 30 Embryonen erforderlich sind.

Phänotypische Veränderungen von Zebrafischembryonen unter verschiedenen Stufen der BMP-Signalweghemmung

Diese Analysen zeigen, dass das siamesische Netzwerk, das nur mit Bildern von sich normal entwickelnden Embryonen trainiert wurde, in der Lage ist, embryonale phänotypische Veränderungen unvoreingenommen zu erkennen.

Ergebnis 5: Automatische Ableitung der embryonalen Entwicklungsdauer

Normalerweise stehen Referenzbilder von Embryonen zur Verfügung, um den Entwicklungszeitpunkt von Testembryonen zu beurteilen. Bei neu entdeckten oder noch nicht charakterisierten Arten sind solche Referenzbilder jedoch möglicherweise nicht verfügbar.

Die Forscher schlagen vor, dass mithilfe eines Zwillingsnetzwerks das Entwicklungsstadium bestimmt werden kann, indem die Ähnlichkeit zwischen einem Testbild und anderen Bildern desselben Embryos zu früheren Zeitpunkten berechnet wird.

Die Ergebnisse der Ähnlichkeitsanalyse an Zebrafischembryonen sind in der Abbildung dargestellt:

Ableitung der embryonalen Entwicklungsperiode

a: Berechnen Sie die Ähnlichkeit zwischen dem Testembryo und Bildern von zuvor aufgenommenen Zeitpunkten desselben Embryos.

b: Repräsentative Ähnlichkeitsmatrix.

In unterschiedlichen Entwicklungsstadien weisen Ähnlichkeiten einzigartige Verteilungsmerkmale auf. Sie beobachteten ein gemeinsames Muster: Hohe Ähnlichkeitswerte häuften sich lokal, während sie zu weiter entfernten Zeitpunkten niedriger waren und ein Plateau erreichten.

Interessanterweise stimmten die lokalen und globalen statistischen Ähnlichkeiten zwischen den vom siamesischen Netzwerk ausgewerteten Bildpaaren mit der Abfolge der Schlüsselphasen während der Entwicklung überein. Embryonen, die in die stationäre Phase fallen, weisen eine stabile Morphologie auf, die wichtige Entwicklungsphasen hervorhebt, wie etwa die klassische Furchungs-, Blastozysten-, Embryoscheiben-, Organogenese- und Segmentierungsphase. Im Gegensatz dazu repräsentieren Embryonen, die an der Grenze zwischen stationären Stadien liegen, eine kurze Periode, in der große Veränderungen in der Entwicklungsmorphologie auftreten.

Als nächstes versuchen die Forscher, diesen Ansatz auf andere Arten auszuweiten, darunter Medakas und Dreistachlige Stichlinge. Die Ergebnisse zeigten, dass das Zwillingsnetzwerk einen informativen Atlas für diese morphologisch unterschiedlichen Embryosequenzen erstellte.

Automatische Erkennung von Entwicklungsstadien und -übergängen bei Embryonen von Schwarzen Karpfen und Dreistachligen Stichlingen

In weiteren Untersuchungen wendeten sie diese Methode auf den entfernter verwandten Fadenwurm Caenorhabditis elegans an. Die Forscher nutzten offene Daten aus verschiedenen unabhängigen Quellen, wie etwa veröffentlichte Artikel und YouTube-Videos, um das Netzwerk zu trainieren und zu bewerten, und identifizierten erfolgreich automatisch den ersten Teilungszyklus von C. elegans zur Bildung der ersten vier proembryonalen Zellen.

Diese Ergebnisse zeigen, dass mit dem Twin Network-Ansatz automatisch Entwicklungsatlanten verschiedener Arten für unterschiedliche biologische Systeme und eine breite Palette von Bilddatensätzen erstellt werden können, ohne dass zuvor speziell für diesen Zweck trainierte Modelle erforderlich sind.

03 Zwillingsnetzwerk vs. digitales Zwillingsnetzwerk

Im 5G-Zeitalter wurden digitale Zwillingsnetzwerke immer wieder erwähnt. Gleichzeitig entsteht auch im Bereich der Bilderkennung die „Zwillingstechnologie“ mit dem ähnlichen Namen Twin Network. Obwohl die beiden Konzepte unterschiedlich sind, haben sie in bestimmten Bereichen Synergien gezeigt.

Beachten Sie zunächst, dass es sich hierbei um zwei völlig unterschiedliche Konzepte handelt.

Twin Network: Eine Deep-Learning-Architektur, die hauptsächlich in den Bereichen Bildabruf, Bildabgleich, Bildklassifizierung und anderen Bereichen verwendet wird. Es lernt die eingebettete Darstellung von Bildern, um einen Vergleich und eine Analyse der Bildähnlichkeit zu ermöglichen.

Digital Twin Network: Ein virtuelles Modell einer physischen Entität, das durch Echtzeit-Datenaktualisierungen und Simulationstechnologie mit der entsprechenden physischen Entität interagiert und das Verhalten und die Leistung der physischen Entität unter verschiedenen Bedingungen simulieren kann. Es wird hauptsächlich in der industriellen Fertigung, im Internet der Dinge, in der Stadtplanung, in der Luft- und Raumfahrt und in anderen Bereichen eingesetzt.

Als KI-Algorithmus kann Twin Network seine eigenen Vorteile nutzen, um die Effizienz digitaler Zwillingsnetzwerke zu stärken und zu verbessern.

Beispielsweise kann das Zwillingsnetzwerk im digitalen Zwilling einer Industrieanlage Bilder der Anlage zu verschiedenen Zeitpunkten vergleichen, um die Änderungen und Unterschiede im Anlagenstatus zu verstehen. Bei der digitalen Zwillingsstadtplanung kann das Zwillingsnetzwerk von Überwachungssonden erfasste Bilddaten verarbeiten, eine Echtzeitüberwachung und -simulation des Verkehrsflusses und der Straßenbedingungen durchführen usw.

Zusammenfassend lässt sich sagen, dass Twin Network bildbezogene Unterstützung und Anwendungen für Digital Twin Network bietet, indem es Bilddaten und Deep-Learning-Technologie kombiniert und so die Informationserfassung, Überwachung und Entscheidungsfindungsfähigkeiten digitaler Zwillinge verbessert.

Nicht nur Twin Network, sondern auch andere KI-Tools werden digitale Zwillinge weiter stärken.