KI kann erkennen, wo Ihre Fotos aufgenommen wurden

„Hallo! Morgen ist Muttertag und meine Mutter ist vor etwa acht Jahren gestorben. Ich weiß nicht, ob Sie erkennen können , wo dieses Foto aufgenommen wurde, da ich noch sehr jung war und mich nicht erinnere.“ Bildnachweis: georainbolt

Der 25-jährige Trevor Rainbolt ist ein bekannter Experte für die Bestimmung des geografischen Aufnahmeorts von Fotos. Er erhält häufig Anfragen von Internetnutzern, ihm dabei zu helfen, die Orte zu finden, an denen alte Fotos aufgenommen wurden. Mit seinem hervorragenden Urteilsvermögen hat er vielen Menschen geholfen.

Ryanbolt ist ein professioneller Spieler von GeoGuessr , einem Spiel, bei dem man Orte anhand von Fotos errät. Seine Popularität hat auch viele Leute auf dieses Spiel aufmerksam gemacht. Hervorragende Ergebnisse sind untrennbar mit langfristigem Training verbunden. Er hat dieses Spiel mehr als 10.000 Stunden lang gespielt und kann während der Epidemie vier bis acht Stunden pro Tag spielen.

Im Mai dieses Jahres verlor er jedoch gegen AI.

Dieser erstaunliche KI-Player wurde von drei Doktoranden der Stanford University in etwa zwei Monaten entwickelt. Während des Trainings hat es in 92 % der Fälle das Land richtig erraten, in dem das Foto aufgenommen wurde, und sein Durchschnittsergebnis bei GeoGuessr lag bei 4.525 (von 5.000), womit es zu den besten 0,01 % der Spieler weltweit gehörte.

KI erreicht manchmal fast die volle Punktzahl | Bildquelle: georainbolt

Gegen diesen KI-Gegner war Ryanbolt ihm nicht gewachsen. Allerdings bereiten auch die Datenschutzrisiken, die diese KI mit sich bringen kann, vielen Menschen ein ungutes Gefühl.

So bestimmen Sie die Bildposition

Wie Ryanbolt sind auch die drei KI-Entwickler erfahrene Spieler von GeoGuessr.

GeoGuessr ist ein Online-Geografie-Ratespiel mit rund 50 Millionen Spielern, das 2013 von einem Softwareentwickler in Schweden entwickelt wurde. Beim Betreten des Spiels wird der Spieler an eine zufällig ausgewählte Stelle in Google Street View versetzt und muss dann anhand der Informationen auf dem Bildschirm seinen geografischen Standort erraten. Schließlich muss der Spieler irgendwo auf der Weltkarte eine Stecknadel platzieren, um seinen geschätzten Standort zu markieren. Die meisten Spieler des Spiels sind sehr jung, einige der besten Spieler sind erst 14 Jahre alt.

Das Bild, das in der ersten Runde erschien, als Ryanbolt gegen AI spielte, können Sie auch erraten | Bildquelle: georainbolt

Die Genauigkeit und Geschwindigkeit der Vermutungen des Spielers bestimmen die Punktzahl. Je näher die erratene Position an der tatsächlichen Position liegt, desto mehr Punkte gewinnt der Spieler. Darüber hinaus erhalten Spieler, die ihre Vermutungen schneller abschließen, auch höhere Punktzahlen.

Ergebnisse der ersten Runde | Bildquelle: georainbolt

Alle Details in den vom Spiel bereitgestellten Google Street View-Bildern dienen als Grundlage für die Beurteilung der Spieler. Hinweise wie Erde auf dem Boden, Telefonmasten, Straßenschilder, Fahrbahnmarkierungen, Kleidung der Personen, Pflanzen und sichtbare Landschaftsgestaltung auf dem Foto können alle zur Standortbestimmung verwendet werden. Natürlich ist auch die persönliche Intuition des Spielers wichtig.

Was die Beurteilungstechniken angeht, würde Rainbolt empfehlen, zuerst nach den Pollern und Telefonmasten auf dem Bild zu suchen, die in jedem Land oder jeder Region ein ganz eigenes Design aufweisen. Beispielsweise haben dänische Poller gelbe Spitzen, deutsche sind schwarz.

Auch die Materialien, aus denen Telefonmasten bestehen, sind beispielsweise besonders: Manche bestehen aus Holz, andere aus Beton. Auch die Formen der Telefonmasten sind unterschiedlich und die Aufkleber auf den Masten geben ebenfalls einen Hinweis. „95 Prozent der Betonmasten Australiens stehen in Victoria“, sagte Herr Rainbolt.

Professionelle Spieler lernen mehrere Sprachen und merken sich verschiedene Dinge in verschiedenen Ländern, z. B. welche Länder dreifache weiße Straßenlinien verwenden, welche Länder gepunktete Straßenlinien haben, welche Länder grüne Verkehrsschilder haben, welche Schriftarten auf den Schildern verwendet werden, welche Baumaterialien für die Straßen verwendet werden, wie lang die Straßen sind, welche Nummernschilder und Autotypen auf den Straßen sind und welche Vegetationsarten auf beiden Seiten der Straße herrschen … Alle scheinbar gewöhnlichen und winzigen Details sind Hinweise auf das Spiel.

Neben dem Bildinhalt gibt es auch Unterschiede in der Qualität der von Google Street View aufgenommenen Bilder . Als kleinste Republik der Welt ist San Marino ein Land im Land, umgeben von Italien, und die Straßenbilder hier ähneln stark denen in Italien. Allerdings ist die Bildqualität bei beiden unterschiedlich – die von San Marino ist schlechter.

Darüber hinaus sehen Sie manchmal einen kleinen Teil des Google Street View-Autos. Wenn Sie auf dem Dach des Street View-Autos schwarzes Klebeband sehen, bedeutet dies, dass sich das Bild in Ghana befindet, einem Land in Westafrika.

Spieler geben auch Hinweise weiter, aber bei über 220 Milliarden Google Street View-Bildern ist es schwierig, sich alle zu merken, und Meisterspieler verlassen sich oft auf ihre Intuition.

Obwohl KI nicht über den sechsten Sinn menschlicher Spieler verfügt, kann sie nicht nur die offensichtlichen Merkmale erkennen, die Menschen sehen können, sondern auch auf winzige Details achten, die von Menschen übersehen werden.

KI schlägt menschliche Spieler

Letztes Jahr studierte eine Gruppe von Doktoranden an der Stanford University den Kurs zur künstlichen Intelligenz „Deep Multitask and Meta Learning“. Drei Studenten, die alle gerne GeoGuessr spielten, brauchten ein Projekt und beschlossen, von ihrem gemeinsamen Hobby auszugehen und zu versuchen, einen Spieler mit künstlicher Intelligenz zu entwickeln, der besser ist als menschliche Spieler.

Der Name ihres Projekts lautet „Predicting Image Geolocations“, abgekürzt PIGEON nach den ersten Buchstaben des Alphabets. Sie verwendeten das von OpenAI (auch dem Entwickler von ChatGPT) erstellte neuronale CLIP-Netzwerk, um Bilder durch das Lesen von Text zu verstehen und zu analysieren. Anschließend trainierten sie das System mit Bildern von Google Street View. Der Trainingsdatensatz enthält ungefähr 500.000 Google Street View-Bilder.

Die KI unterteilt das Bild zur Analyse in sehr kleine Blöcke und ist sehr gut darin, spezielle Blöcke auszuwählen.

Für die KI ist ein Bild jedoch nicht nur eine Abbildung, sondern enthält auch entsprechende Textinformationen. Durch die Integration visueller Informationen wie Gebäude, Straßenverlauf, Vegetation und Sehenswürdigkeiten in das Bild sowie weiterer Zusatzinformationen wie Wetterbedingungen, Jahreszeiten und Klima kann KI wie die Top-Spieler auch schnell den Ort vorhersagen, an dem das Bild aufgenommen wurde.

Trotz der relativ geringen Größe des Datensatzes schnitt das KI-System letztlich sehr gut ab, mit hoher Genauigkeit und einer geringeren Fehlerquote als menschliches Raten, und konnte den tatsächlichen Standort auf etwa 40 Kilometer genau lokalisieren. Im Match gegen Ryanbolt gewann AI mühelos viele Runden.

„Wir sind nicht die erste KI, die gegen Ryanbolt kämpft, wir sind die erste KI, die Ryanbolt besiegt“, sagte Michal Skreta, einer der Entwickler des KI-Systems.

Sie sehen zahlreiche potenzielle Anwendungsmöglichkeiten für die Technologie, etwa die Erkennung von Straßen oder Stromleitungen, die repariert werden müssen, und die schnelle Erkennung invasiver Pflanzen . In zukünftigen Forschungsarbeiten werden sie das Modell weiter verbessern, um die Positionierungsgenauigkeit zu erhöhen. Darüber hinaus werden sie den Geolokalisierungsdatensatz erweitern, um mehr geografische Gebiete und Umgebungen abzudecken und so die Generalisierungsfähigkeit des Modells zu verbessern (bezogen auf die Leistungsfähigkeit des Modells bei unbekannten Daten oder neuen Situationen).

Mögliche Risiken

Die App scheint bereits in der Lage zu sein, Fotos außerhalb von Street View zu geolokalisieren. „Ich habe ihm einige Fotos von einem Roadtrip vor über zehn Jahren gegeben, und es hat die meisten Orte herausgefunden. Es vermutete einen Campingplatz im Yellowstone-Nationalpark, etwa 55 Kilometer entfernt. Ein weiteres Foto wurde auf einer Straße in San Francisco aufgenommen und vermutete einen Ort nur ein paar Blocks entfernt. Dies hat bei Experten einige Besorgnis ausgelöst“, sagte Geoff Brumfiel, Wissenschaftsredakteur bei NPR.

Angesichts der zunehmend mächtigen und unregulierten KI scheint es zunehmend schwieriger zu werden, die Privatsphäre und Sicherheit des Einzelnen zu schützen. Aus Datenschutzsicht kann unser Standort eine sehr sensible Information sein. Früher konnten Benutzer die GPS-Standort-Tags aus Fotos entfernen, aber das funktioniert jetzt möglicherweise nicht mehr.

Ein Low-Budget-Studentenprojekt könnte es Unternehmen und größeren Organisationen erleichtern, normale Bürger auszuspionieren, und es Kriminellen erleichtern, andere zu verfolgen und ihnen zu schaden.

Da Sie die KI nicht besiegen können, genießen Sie einfach das Spiel. Raten Sie mal, woher dieses Foto stammt?

Verweise

[1] Haas, L., Alberti, S. & Skreta, M. (2023). PIGEON: Vorhersage der Geolokalisierung von Bildern. Forschungsgate. Abgerufen von https://www.researchgate.net/publication/372313510_PIGEON_Predicting_Image_Geolocations

[2] Brumfiel, G. (2023). Künstliche Intelligenz kann Ihren Standort in Fotos finden, was Datenschutzexperten beunruhigt. NPR. Abgerufen von https://www.npr.org/transcripts/1219984002

[3] Jones, R. (2023). Wenn Sie ein Google Street View-Bild von einem beliebigen Ort auf der Erde hätten, könnten Sie den Standort identifizieren? der Wächter. Abgerufen von https://www.theguardian.com/lifeandstyle/2023/dec/23/geoguessr-world-championships-2023-inside-story

[4] Regenblitz. (11. Mai 2023). die weltbeste KI gegen Geoguessr Pro. Youtube. Abgerufen von https://www.youtube.com/watch?v=ts5lPDV--cU

[5] Verkabelt. (2022, 31. August). Jeder Trick, den ein professioneller GeoGuessr-Spieler zum Gewinnen verwendet (ft. RAINBOLT) | VERDRAHTET. Youtube. Abgerufen von https://www.youtube.com/watch?v=0p5Eb4OSZCs

[6] Lloyd, A. (2022). Rainbolt: GeoGuessr-TikToker über den viralen Erfolg seiner Standortverfolgung. Insider. Abgerufen von https://www.insider.com/trevor-rainbolt-geoguessr-tiktoker-location-tracking-interview-2022-11

Planung und Produktion

Quelle: Bringing Science Home (ID: Steamforkids)

Autor | Herausgeber des Cloud Magazine

Herausgeber: Wang Mengru