Zoek op trefwoord in al mijn blogartikelen

vrijdag 10 augustus 2012

Mooie foto's zoeken


Wanneer je een foto zoekt van bijvoorbeeld het strand wil je niet zo maar een foto maar het liefst één met mooie kleuren, een optimale belichting en een goede compositie. Of het nu op internet is of op je eigen computer.

De ontwikkelaars van Xerox zijn bezig met een algoritme die in de toekomst in zoekmachines gebruikt kan worden. Dit algoritme begrijpt de inhoud van foto’s en kan deze zelfs filteren op slechte of goede esthetische elementen. Een dergelijk mechanisme maakt het mogelijk om altijd de beste foto’s bovenaan in je zoekresultaten te tonen. Xerox noemt dit vooralsnog Aesthetic Quality Image Search.

Het algoritme van Aesthetic Quality Image Search kijkt echt naar het beeld zelf en selecteert dus NIET op basis van meegegeven (tekst) metadata (tags). Hij kan dus een goede foto van een slechte onderscheiden, of althans, dat is de bedoeling.

Veel bestaande technieken zijn gebaseerd op het herkennen van delen van het beeld. Wanneer er bijvoorbeeld wielen en een weg worden herkend dan zal het waarschijnlijker zijn dat de foto een auto dan een giraffe bevat. Echter onderscheidt Xerox zich hiervan door expliciet te kijken naar de kwaliteit van de afbeelding. Wat maakt de ene foto beter dan de andere? Waarom springt die ene er bovenuit? Xerox meent daar dus een antwoord op te hebben met het algoritme dat momenteel wordt ontwikkeld.

Xerox heeft in de pilot een aantal categorieën voorgedefinieerd:

Strand:

Xerox beschouwt een goede strandfoto als een niet te drukke foto met intense kleuren of dramatische zwart/witte wolkenlucht. Ook worden lange belichtingen herkend waardoor de beweging van het water gevangen wordt.

Slecht belichte opnames worden snel als slecht gekenmerkt evenals foto’s waarin subjecten op willekeurige posities staan, hier ‘kijkt’ het algoritme bijvoorbeeld naar de regel van derden.

Vogels:

Bij Vogels en andere dieren krijgen de foto’s waarop de dieren relatief groot zijn afgebeeld een hogere ranking dan die waarop ze kleiner staan. Daarnaast wordt gekeken naar een rustige achtergrond zodat het onderwerp mooi vrij komt te staan. In de ‘slechte’ opnames komen ook de kleuren van het verenpracht minder tot hun recht dan op de goede.

Boot:Veel verticale lijnen, silhouetten en een eenvoudige rustige achtergrond. Kleur is een belangrijke factor. Slechte foto’s zijn plat, vlak en hebben uitgebeten witte partijen.

Luchten:

Een goede lucht is een dramatische lucht. Foto’s met goede silhouetten krijgen een hogere ranking net zoals zwart/wit luchten. Overbelichte opnames waarin alles blauw is, is een indicatie van lage kwaliteit.

Bloemen:


Het subject vult het hele beeld. Heldere bloemen voor een donkere achtergrond doen het goed vanwege de grote impact. Uitgevreten kleuren doen het juist slecht evenals een drukke achtergrond. Ook hier wordt voor wat betreft de compositie weer naar de regels van derden gekeken.

Portret:

Een portret wordt als goed beschouwd wanneer de vorm van het gezicht goed herkend wordt, ook wel chiaroscuro genoemd. De overgang van licht naar donker en dus met schaduwpartijen. De achtergrond is overwegend donder voor een optimaal contrast met het hoofdonderwerp.

Heel direct licht (zon of flitslicht) wordt negatief beoordeeld, net als onnatuurlijke expressies en uitdrukkingen in het gezicht.

Waterval:

Vallend water (lange belichting) wordt hoger gewaardeerd dan ‘bevroren’ water.
Slechte indicatoren zijn hier een compositie met het hoofdonderwerp in het midden van de foto en/of saaie kleuren.

Aesthetic Quality Image Search:

Deze optie bevind zich nog in de Alpha fase dus het gaat zeker nog even duren voordat we dit in een of andere vorm terug gaan zien in zoekmachines en/of DAM applicaties. Toch is het zeker leuk om alvast even een kijkje in de toekomst te gaan nemen op:

https://services.open.xerox.com/WebApp2.svc/aesthetic-search/#categoryId=5&threshold=60&max_results=40


Update februari 2019: Ik zag dat bovenstaande link niet meer werkt en dat er over 'Aesthetic Quality Search' ook niets meer te vinden is op de site van Xerox. Blijkbaar is het nooit echt in productie genomen.