Aus Fotos eine Geschichte erzählen - Microsoft Research arbeitet am Diaabend-Bot

Dank Digital- und Handy-Kameras werden unsere Fotosammlungen immer größer, kaum jemand hat da wirklich noch einen Überblick. Schon seit Jahren versuchen uns verschiedene Dienste dabei zu unterstützen, ein wenig Ordnung hinein zu bringen, bislang mit bescheidenem Erfolg. Eine einfache Lösung wäre es natürlich, die 98 Prozent der aufgenommenen Fotos zu entsorgen, die wir uns ohnehin nie wieder ansehen werden – aber hey, so einfach will man es ja dann auch wieder nicht haben.

Auf den Lumias hieß dieser Versuch Storyteller. Die mittlerweile eingestellte App sortierte Fotos nach Aufnahmedatum und Ort und ergänzte sie automatisch um zusätzliche Informationen. Die Ergebnisse waren zum Teil wirklich erstaunlich. Wer Storyteller vermisst, kann sich mal Photo Story aus der Microsoft Garage anschauen.

Was Storyteller nicht konnte, war Inhalte aus Bildern zu lesen. Da fallen Euch sicher sofort die Microsoft Cognitive Services ein, die zur BUILD-Konferenz vorgestellt wurden. Die können nicht nur Objekte auf Fotos und Stimmungen von Menschen erkennen, sondern die Szenerie beschreiben.

Die Forscher von Microsoft Research versuchen nun, das alles zusammen zu bringen und noch einen drauf zu setzen. So sollen Bilder nicht nur einzeln automatisch nach Ort, Zeit und Inhalt indiziert werden, man will die ermittelnden Informationen auch noch miteinander verknüpfen und so in der Lage sein, eine vollständige Geschichte zu erzählen – genau so, wie ein Mensch das tun würde.

Damit das System etwas zu lernen hatte, wurde es zunächst mit 65.000 manuellen Bild-Beschreibungen gefüttert. Rund 8.000 der erzeugten „Geschichten“ wurden nachbearbeitet und dann wieder dem System zugefügt, so dass es aus seinen Fehlern lernen konnte. Die Ergebnisse, so die Microsoft-Forscherin Margaret Mitchell, waren „lustig, gruselig, interessant oder einfach nur verrückt“.

Bis dieses System einsatzfähig ist, wird allerdings noch einige Zeit vergehen. Noch kämpfen die Forscher mit zahlreichen Problemen. Eines davon ist, dass die „Autovervollständigung“ der Geschichte Dinge hinzufügt, die auf den Bildern überhaupt nicht zu sehen sind.

Obwohl, ist das wirklich ein Problem? Die wissenschaftliche anerkannte Kamelopedia schreibt zum Stichwort „Diaabend“:

Ein wesentliches Merkmal des Diaabends ist, dass das Erklärkamel hauptsächlich beschreibt, was die leidenen Kamele nicht sehen können, da dies nicht auf dem Dia abgebildet ist. Folgendes leitet die Folterverlängerung ein:
– und direkt daneben…
– und das Lustige, was man jetzt nicht sieht…
– hier rechts/links waren dann noch…
– drumherum…
– was ich jetzt auch toll fand…

So gesehen ist Microsofts experimenteller Geschichtenerzähler ja bereits überaus menschlich.

Aber Spaß wieder beiseite, den kompletten Report könnt Ihr Euch bei Interesse auf LiveScience durchlesen. Da es sich ja hier nicht um ein Produkt handelt, welches erst zu Ende entwickelt werden muss, gehe ich davon aus, dass wir die Ergebnisse dieser Forschungen in absehbarer Zeit in Form einzelner Funktionen z.B. in der Fotos-App von Windows 10 sehen könnten. Allerdings gab es aber auch unlängst eine Stellenanzeige, mit der Microsoft nach Personal für einen besonders innovativen Bilder- und Video-Dienst suchte.

via WinBeta

Über den Autor
Martin Geuß
  • Martin Geuß auf Facebook
  • Martin Geuß auf Twitter
Ich bin Martin Geuß, und wie unschwer zu erkennen ist, fühle ich mich in der Windows-Welt zu Hause. Seit mehr als zwölf Jahren lasse ich die Welt an dem teilhaben, was mir zu Windows und anderen Microsoft-Produkten durch den Kopf geht, und manchmal ist das sogar interessant. Das wichtigste Motto meiner Arbeit lautet: Von mir - für Euch!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.



Kommentare

  1. Ich fände es ja super, wenn die Fotos App zukünftig Personen erkennen könnte, denen ich ein Profil Bild in meinen Kontakten zugeordnet habe. Fände ich extrem praktisch. Sowieso kämen mir mehrere solcher Sortier Funktionen recht.
    Das einfachste wäre ja z.B. das Sortierten nach Aufnahme Ort. Die Daten sind ja eh gespeichert, warum also nicht auslesen.
    Ja die Datenschutzbedenken sind mir bewusst.
    Ich fände es ja super, wenn die Fotos App zukünftig Personen erkennen könnte, denen ich ein Profil Bild in meinen Kontakten zugeordnet habe. Fände ich extrem praktisch. Sowieso kämen mir mehrere solcher Sortier Funktionen recht.
    Das einfachste wäre ja z.B. das Sortierten nach Aufnahme Ort. Die Daten sind ja eh gespeichert, warum also nicht auslesen.
    Ja die Datenschutzbedenken sind mir bewusst.

    Das sortieren nach Aufnahme Ort geht doch schon.
    gibts soetwas ähnliches nicht schon für Photobibliotheken auf Google Drive? Bei einem Freund von mir werden dort Bilder und Videos automatisch in etwas wie eine kontextabhängige Präsentation verpackt.
    ich finde das einfach nur "gruselig". Programme die eine komplette Bildanalyse machen und dazu eine "Anekdote" erzählen - brrrrrrr
    MfG
    Verstehe ich nicht ... wozu braucht ein Businessphone eine solche App? Und sie haben doch gerade erst weitere Leute aus der W10m-Umgebung gehen lassen. Na, da will ich mal nicht hoffen, dass Nadella das schnell mitkriegt - dass ist ja sowas von Consumer.
    Liebe Grüße, FritzS
    Stefan
    Ich fände es ja super, wenn die Fotos App zukünftig Personen erkennen könnte, denen ich ein Profil Bild in meinen Kontakten zugeordnet habe. Fände ich extrem praktisch. Sowieso kämen mir mehrere solcher Sortier Funktionen recht.
    Das einfachste wäre ja z.B. das Sortierten nach Aufnahme Ort. Die Daten sind ja eh gespeichert, warum also nicht auslesen.
    Ja die Datenschutzbedenken sind mir bewusst.

    Das mit der Gesichterkennungs Sache ist soweit ich das weiß in Arbeit. Sollte eigentlich mit dem Anniversary Update Fertig werden, denke aber das wird nach dem Update kommen, sobald die Redstone 2 Builds kommen. Die wollen das bestimmt in Windows Hello einbauen und nicht in die App, weil Hello ja überall läuft. Somit kann das System schneller die Bilder erkennen denke ich. Kann mich aber auch total irren. Mal abwarten ;)
    Verstehe ich nicht ... wozu braucht ein Businessphone eine solche App?

    Es gibt auch andere Plattformen wo MS Apps veröffentlicht.
    Es gibt auch andere Plattformen wo MS Apps veröffentlicht.

    Naja, der Kommentar war eigentlich auch ironisch gemeint :-)
Nach oben