Aus Fotos eine Geschichte erzählen – Microsoft Research arbeitet am Diaabend-Bot

Dank Digital- und Handy-Kameras werden unsere Fotosammlungen immer größer, kaum jemand hat da wirklich noch einen Überblick. Schon seit Jahren versuchen uns verschiedene Dienste dabei zu unterstützen, ein wenig Ordnung hinein zu bringen, bislang mit bescheidenem Erfolg. Eine einfache Lösung wäre es natürlich, die 98 Prozent der aufgenommenen Fotos zu entsorgen, die wir uns ohnehin nie wieder ansehen werden – aber hey, so einfach will man es ja dann auch wieder nicht haben.

Auf den Lumias hieß dieser Versuch Storyteller. Die mittlerweile eingestellte App sortierte Fotos nach Aufnahmedatum und Ort und ergänzte sie automatisch um zusätzliche Informationen. Die Ergebnisse waren zum Teil wirklich erstaunlich. Wer Storyteller vermisst, kann sich mal Photo Story aus der Microsoft Garage anschauen.

Was Storyteller nicht konnte, war Inhalte aus Bildern zu lesen. Da fallen Euch sicher sofort die Microsoft Cognitive Services ein, die zur BUILD-Konferenz vorgestellt wurden. Die können nicht nur Objekte auf Fotos und Stimmungen von Menschen erkennen, sondern die Szenerie beschreiben.

Die Forscher von Microsoft Research versuchen nun, das alles zusammen zu bringen und noch einen drauf zu setzen. So sollen Bilder nicht nur einzeln automatisch nach Ort, Zeit und Inhalt indiziert werden, man will die ermittelnden Informationen auch noch miteinander verknüpfen und so in der Lage sein, eine vollständige Geschichte zu erzählen – genau so, wie ein Mensch das tun würde.

Damit das System etwas zu lernen hatte, wurde es zunächst mit 65.000 manuellen Bild-Beschreibungen gefüttert. Rund 8.000 der erzeugten “Geschichten” wurden nachbearbeitet und dann wieder dem System zugefügt, so dass es aus seinen Fehlern lernen konnte. Die Ergebnisse, so die Microsoft-Forscherin Margaret Mitchell, waren “lustig, gruselig, interessant oder einfach nur verrückt”.

Bis dieses System einsatzfähig ist, wird allerdings noch einige Zeit vergehen. Noch kämpfen die Forscher mit zahlreichen Problemen. Eines davon ist, dass die “Autovervollständigung” der Geschichte Dinge hinzufügt, die auf den Bildern überhaupt nicht zu sehen sind.

Obwohl, ist das wirklich ein Problem? Die wissenschaftliche anerkannte Kamelopedia schreibt zum Stichwort “Diaabend”:

Ein wesentliches Merkmal des Diaabends ist, dass das Erklärkamel hauptsächlich beschreibt, was die leidenen Kamele nicht sehen können, da dies nicht auf dem Dia abgebildet ist. Folgendes leitet die Folterverlängerung ein:
– und direkt daneben…
– und das Lustige, was man jetzt nicht sieht…
– hier rechts/links waren dann noch…
– drumherum…
– was ich jetzt auch toll fand…

So gesehen ist Microsofts experimenteller Geschichtenerzähler ja bereits überaus menschlich.

Aber Spaß wieder beiseite, den kompletten Report könnt Ihr Euch bei Interesse auf LiveScience durchlesen. Da es sich ja hier nicht um ein Produkt handelt, welches erst zu Ende entwickelt werden muss, gehe ich davon aus, dass wir die Ergebnisse dieser Forschungen in absehbarer Zeit in Form einzelner Funktionen z.B. in der Fotos-App von Windows 10 sehen könnten. Allerdings gab es aber auch unlängst eine Stellenanzeige, mit der Microsoft nach Personal für einen besonders innovativen Bilder- und Video-Dienst suchte.

via WinBeta