Virtuelle Zeitreise dank Augmented Reality
Die von einem Informatikstudenten entwickelte App «GoFind!» kann längst verschwundene Stadtansichten auf dem Handydisplay wieder sichtbar machen. Das eröffnet neue Möglichkeiten für Stadtrundgänge, bis zur Marktreife bleiben aber noch einige Hürden zu nehmen.
29. April 2019
Wer heute vom Barfüsserplatz in Richtung Hauptpost schaut, sieht die Trams die Falknerstrasse runterfahren. Früher floss hier der Birsig. Mitten durch Basel. Heute ist er zugedeckt. Wie alle Städte birgt auch Basel einen reichen Schatz solcher überraschenden Veränderungen.
Die App «GoFind!» hilft, diese Schätze wiederzufinden. Informatik-Student Loris Sauter von der Universität Basel fragte sich für seine Bachelor-Arbeit, wie man archivarische Fotos und Bilder für eine breitere Öffentlichkeit zugänglich machen und in Wert setzen kann. «GoFind!» ist seine Lösung: Dank «Augmented Reality» werden auf dem Handydisplay längst verschwundene Stadtansichten wieder sichtbar.
«Ich dachte vor allem an Touristen und kunst- und architekturhistorisch Interessierte, als ich mich an meine Arbeit machte» erklärt der Student sein Vorgehen. Mit einem Video demonstriert er die Funktion der App. «Wir stehen hier auf dem Barfüsserplatz vor dem Tramhäuschen und blicken auf das Display unseres Handys. Bewege ich diesen Slider nach links, wird eine historische Aufnahme des Häuschens aus dem frühen 20. Jahrhundert sichtbar.» Der Blick in die Vergangenheit fasziniert. Und die App kann noch mehr. Wer mit der App zum Beispiel ein Foto des Spalentors macht, bekommt alle Basler Stadttore auf einer Karte angezeigt. Oder wer steinerne Wasserspeier mag, fotografiert diese und spaziert zu den Orten in der Stadt, wo es noch mehr von ihnen zu sehen gibt. Immer, wenn es einen Wasserspeier auf der Route hat, wird der Nutzer benachrichtigt. So kann er einen Stadtrundgang nach seinen Interessen gestalten.
Momentan läuft die Anwendung nur probeweise und zu Studienzwecken. Bis zur Marktreife sind noch einige Schritte zu gehen. «Zunächst benötigt GoFind! eine Organisation, welche die Server für die Suche betreibt, denn nicht alles läuft auf dem Handy. Und fast noch wichtiger: Wir müssen die Bildrechte klären und Lösungen finden, wie wir kostengünstig Zugang zu den Archiven erhalten», sagt Student Sauter.
Multimediale Suche möglich
GoFind! basiert auf der preisgekrönten Multimedia Suchmaschine Vitrivr der Universität Basel. Die Forschungsgruppe um Professor Heiko Schuldt beschäftigt sich am Departement Mathematik und Informatik unter anderem mit multimedialer Informationssuche. Im Rahmen dieser Forschung hat Postdoc Luca Rossetto die Open-Source-Technologie Vitrivr massgeblich mitentwickelt. Wer schon mal bei Google oder einer anderen Suchmaschine nach einem Bild gesucht hat, weiss, wie frustrierend das sein kann: Die Suchresultate sind falsch oder nicht relevant. Auch die Suchfunktionen sind stark eingeschränkt: So lassen sich keine abstrakten Bildmotive suchen oder Fotos mit einer bestimmten Farbstimmung oder Bildaufbau. Das liegt an der Funktionsweise der gängigen Suchmaschinen: Für die Bildersuche verwenden diese hauptsächlich die Informationen aus den Bildbeschreibungen. Deshalb ist die Qualität der Suchergebnisse abhängig von der Qualität der hinterlegten Bildinformationen. Diese sind oft ungenau, was dazu führt, dass die Ergebnisse häufig unbefriedigend sind.
Für Vitrivr wählte Rossetto einen anderen Weg: «Vereinfacht gesagt setzen sich Bilder aus Farben und Formen zusammen. Mit Vitrivr zerlegen wir das Bild in seine Einzelteile, wandeln diese in einen «Feature Vector» um und erstellen einen Zahlencode, der dem Bild zugeordnet wird», erklärt der Postdoc seine Technologie. Weitere Informationsquellen, die dem Bild zugeordnet werden, seien Datum, Zeit und GPS-Daten vom Ort der Aufnahme.
GoFind! zeigt, was mit dieser Technologie möglich ist. Sauter indexierte für seine Arbeit mithilfe von Vitrivr zunächst ca. 100 Bilder aus verschiedenen Quellen und beschrieb sie mit dem Zahlencode. «Wenn jemand nach einem Stadttor sucht», erklärt Rossetto, «wird der Code dieses Bildes mit den Codes aller anderen Bilder verglichen. Je geringer der Unterschied zwischen den Zahlen, desto ähnlicher ist das Bild.» Je mehr Bilder für GoFind! zur Verfügung gestellt werden, umso mehr Suchanfragen kann das System unterstützen und umso besser werden auch die Suchergebnisse.
Ausser bei Fotos funktioniert die Vitrivr-Technologie auch für Video- und Audio-Dateien. Das ermöglicht komplett neue Arten der Multimedia-Suche. Entwickler Rossetto zeigt das Bild eines Vogels auf einem Baum aus einem Zeichentrickfilm. «Dieses Bild kann man auf ganz verschiedene Arten finden. Zum Beispiel indem man Vitrivr mit einer Handskizze oder einem Beispielbild füttert. Oder ich kann auch das Bildkonzept beschreiben.» Mit diesen Informationen findet die Suchmaschine das Bild.
Preisgekrönte Technologie
Jedes Jahr findet ein Wettbewerb für Multimedia-Suchmaschinen statt: Der «Video Browser Showdown». Alle Teilnehmer erhalten 1000 Stunden Videomaterial und müssen diese so analysieren, dass sie drei verschiedene Aufgaben lösen können. Erstens: Einen 20-sekündigen Ausschnitt wiederfinden. Zweitens einen Ausschnitt aufgrund eines Beschreibungstextes wiederfinden. Und drittens möglichst viele Aufnahme-Sequenzen finden, die einem bestimmten Konzept entsprechen, also zum Beispiel «Musiker, die im Freien spielen». Vitrivr hat diesen Wettbewerb 2017 und 2019 gewonnen.
Über diese Auszeichnung freuen sich die Entwickler genauso, wie wenn ihre Technologie in der Praxis zur Anwendung kommt. Die Arbeiten an GoFind! ruhen derzeit. Spätestens im Sommer sollen aber neue Funktionen dazukommen, sodass die Vitrivr-Technologie auch in weiteren Fällen zum Einsatz kommen kann.
Zum Beispiel die Transformation des Kleinbasler Hafens im Klybeck zu einem neuen Stadtquartier: So könnte die historische und die zukünftige Entwicklung direkt vor Ort sichtbar und erlebbar gemacht werden. Oder das Jubiläum eines Gebäudes wie aktuell das Münster, das dieses Jahr sein 1000-Jahr-Jubiläum feiert. Mit GoFind! liesse sich eindrucksvoll zeigen, wie sich das Basler Wahrzeichen in seiner Geschichte verwandelt hat.
Die Forschungsgruppe arbeitet daran, GoFind! für solche neuen Anwendungen zu erweitern. Vielleicht wird sich dann das Fenster zur Vergangenheit schon bald für eine grössere Öffentlichkeit öffnen.
