AI in Fotografie

AI staat voor Artificial Intelligence en dat betekent weer zoiets als kunstmatige intelligentie. En ja, die kan ook worden gebruikt binnen de fotografie zoals ik al eens schreef (Mooie foto’s zoeken).

Zoeken is niet altijd vinden

Ik ben al vaker ingegaan op het weer terugvinden van foto’s en tot voor kort was het belangrijkste gereedschap de trefwoorden die je aan de foto mee had gegeven. Geen trefwoorden, dan moest je de foto’s stuk voor stuk optisch ‘scannen’.

Bij het meegeven van trefwoorden is de discussie vaak of je dan ook het meervoud en vervoegingen moet meegeven voor een beter zoekresultaat. Zoek je op foto’s waar boeken op staan dan is het veilig om te zoeken op ‘boek’ omdat dan automatisch ook de foto’s met het trefwoord ‘boeken’ tevoorschijn zullen komen. Er zijn echter ook talloze woorden die niet simpelweg ‘verlengd’ worden om er meervoud van te krijgen. Neef/Neven, Meer/Meren, Datum/Data, etc.

En wat denk je van synoniemen? Het is erg veel werk om die allemaal te verzinnen voor een bepaald onderwerp en die vervolgens als trefwoord mee te geven. Dit terwijl de kans erg groot is dat wanneer je een bepaalde foto zoekt je op dat moment een ander trefwoord gebruikt om te zoeken (Milieu) dan dat je oorspronkelijk aan de foto hebt meegegeven (Natuur). 
Met betrekking tot de dilemma’s die dit oplevert schreef ik 10 jaar geleden het artikel ‘Kewording’ en waarvan de kern is: laat de zoekmachines zich druk maken om vervoegingen, meervoudsvormen en vertalingen van trefwoorden. Dat kon toen nog niet maar tegenwoordig hebben we AI, toch?

Met de beeldherkenningsalgoritmes van AI zou de computer je moeten kunnen vertellen wat er op een foto staat en hoewel dat nog niet volledig lukt worden er wel resultaten geboekt. De overheersende kleur bijvoorbeeld kan al vrij lang worden herkend en het wordt steeds nauwkeuriger. Gezichtsherkenning, welke voorwerpen er op de foto staan en in wat voor omgeving de foto is gemaakt.

En tenslotte heb je nog conceptuele begrippen als geluk, toekomst e.d. Zelf heb je natuurlijk direct een bepaald beeld bij een foto die je gemaakt hebt maar iemand anders heeft dat niet automatisch. Het is dan ook heel waardevol om dit soort conceptuele begrippen meteen als trefwoord, titel of omschrijving mee te geven omdat dit het aller lastigst is voor de computer (lees AI) om te herkennen. Echter maakt AI ook op dit vlak vorderingen!

Voorbeelden

Onderdeel van Adobe’s CC suite (Creative Cloud) is hun zoekengine ‘Sensei’. Ikzelf heb het fotografie abonnement (Lightroom en Photoshop) en wanneer ik foto’s synchroniseer met de cloud kan ik daar foto’s terugvinden met trefwoorden die ik nooit aan foto’s heb meegegeven. In onderstaand voorbeeld bijvoorbeeld. Daar heb ik gezocht op ‘toekomst’ met 1 foto in het zoekresultaat:

Volledigheidshalve: ‘toekomst’ had ik dus niet als trefwoord meegegeven:

Kortom, de algoritmes van Adobe hebben deze foto dus gekoppeld aan het begrip ‘toekomst’ en ik moet zeggen dat ik daar wel wat logica in zie. Daar staan overigens ook weer zoekresultaten tegenover waar ik minder tevreden over ben maar de algoritmes worden steeds beter en je kunt er zelf meteen feedback op geven:

Een tweede functie die Adobe sinds kort beschikbaar stelt als ‘Technology preview’ is het zoeken van de beste foto in een album. Dit wordt ook gedaan op basis van AI algoritmes:

Deze Adobe technologie is helaas alleen online beschikbaar. In de ‘Classic’ editie van Lightroom werkt het helaas niet en ik betwijfel ook of het daar in komt. Lightroom Classic CC maakt weliswaar onderdeel uit van de CC abonnement maar wellicht is het lastig om de Sensei technologie te ontsluiten in desktop applicaties.

Online werken de algoritmes best goed en het is leuk om te zien dat Lightroom andere keuzes maakt in wat je beste foto’s zijn dan jezelf. Zoals je hier ziet staan er weliswaar twee foto’s tussen die ikzelf met 5 sterren had gewaardeerd maar er waren er nog twee in hetzelfde album maar die slaat Lightroom dus over ten gunste van andere foto's die ikzelf met 3 of 4 sterren had gewaardeerd. 

Je kunt overigens invloed uitoefenen in wat Lightroom als zoekresultaat toont:

• Zo kun je de drempel aanpassen waardoor je meer of minder resultaten krijgt
• Je kunt je eigen sterwaardering mee laten wegen 
• En je kunt foto’s waar mensen op staan zwaarder mee laten wegen 

Ook andere partijen maken gebruik van AI algoritmes om foto’s te vinden. 

• Zo maakt Excire een plugin voor Lightroom Classic CC voor het automatisch toevoegen van trefwoorden en iedereen kent GoogleImage Search natuurlijk wel, daar schreef ik eerder dit artikel over met dit voorbeeldfilmpje.
• Microsoft gebruikt AI om automatisch transcripts te maken uit video- en audiobestanden op SharePoint en OneDrive locaties (link).
• Colourise kleurt zwart foto's in met behulp van AI (link).
• ON1 gebruikt AI om de ontwikkelinstellingen van Lightroom te reconstrueren binnen ON1 Photo Raw 2019 (link)

Onderzoek naar algoritmes

Vanuit onderzoek aan de universiteit van Pennsylvania is Acquine ontstaan, Aesthetic Quality Inference Engine. Deze is (op dit moment in ieder geval) publiekelijk toegankelijk en je kunt je foto’s uploaden om te laten beoordelen (link) op esthetische kwaliteiten:

In dit geval geeft Acquine mijn foto drie sterren. Ik zou de waardering aan kunnen passen en daarmee geeft ik feedback waarmee het algoritme verder wordt ‘getraind’.

Acquine stelt ook een iets andere uitsnede voor maar het verschil is (in dit geval) heel klein.

De onderzoekers beschrijven Acquine het als een eerste stap om te herkennen hoe mensen reageren op beeldmateriaal en de engine moet beschouwd worden als een demo van de theorie die de onderzoekers publiceren in deze paper: pdf. Zeker de moeite van het lezen!

Een tweede interessante bron waar ik tijdens het schrijven van deze blog op terecht kwam is de pagina van James Z. Wang (link).

Wang verwijst naar zowel Acquine als andere interessante ontwikkelingen op het gebied van ‘content based image search’ en ‘automatic learning-based indexing’ als Oscar, Alipr, Story Picture Engine, Imagination Captcha, Simplicity, Art and Cultral Heritages, Sattelite Imagery, Virtual Microscope, Clue, Unified Feature Matching, Wipe, a-LIP etc.

Hij geeft aan dat de Riemann Hypothese in al deze onderzoeken een belangrijke rol speelt:

James Wang schrijft “We zijn geïnspireerd door het feit dat de Riemann-hypothese nog steeds een van de belangrijkste onopgeloste problemen in de wiskunde is. Daarmee is Intelligente media notatie een van de belangrijkste onopgeloste problemen in computer- en informatiewetenschappen. Wij proberen dit aan te pakken”.

Kortom, we kunnen op dit vlak de komende tijd nog veel verwachten.

JPG compressie van Photoshop vergeleken met die van Lightroom

Wanneer je foto’s exporteert vanuit Lightroom* dan is 'Kwaliteit' één van de keuzeopties: 

Ondanks dat deze schaal in Lightroom van 0 tot 100 loopt is dit toch geen percentage zoals veel mensen denken! 

De onderliggende compressie-algoritme die Adobe gebruikt in Lightroom is gelijk aan die in Photoshop hoewel het er daar wel anders uitziet.

In Photoshop wordt namelijk een schaal gehanteerd van 0 tot en met 12. De verwarring is dan nog niet compleet omdat in Photoshop er nog een andere schaal wordt gebruikt (Laag, Normaal, Hoog en Maximaal):

Het is interessant is om deze drie verschillende schalen eens naast elkaar te leggen om te zien waar de overeenkomsten zitten:

We zien dan bijvoorbeeld dat wanneer we in Lightroom een foto met kwaliteit 93 exporteren dat dit geen enkel verschil maakt ten opzichte van 100. In beide gevallen wordt dezelfde compressie algoritme toegepast die de beste export oplevert.

Pas vanaf 92 of lager wordt er een ander algoritme toegepast en zal het bestand daadwerkelijk anders zijn. Het algoritme wat dan wordt toegepast komt overeen met 11 in Photoshop en levert een grootte op van 72% ten opzichte van de hoogste schaal. Of je in Lightroom dan 92, 91 of 90 gebruikt, dat maakt dus niet uit. De volgende kwaliteitsstap naar beneden wordt pas weer gemaakt bij 84.

Ook kwaliteit 0 is geen ‘nul’ zoals we ons dat misschien voorstellen. Hier wordt namelijk hetzelfde algoritme toegepast als bij de kwaliteiten tot en met 15 en welke een grootte oplevert die 14% betreft van een 100% export (12 in photoshop of 93-100 in Lightroom).

Bovenstaande tabelletje is hopelijk handig voor de mensen die wat meer inzicht willen in wat er nu daadwerkelijk gebeurt wanneer je een foto uit Lightroom exporteert en welke opties daadwerkelijk effect hebben.

Voor de mensen die zich wat meer in deze materie willen verdiepen kan ik de (Engelstalige) blog van Jeffrey Friedl adviseren over dit thema. Hij stelt daar ook een Lightroom plug-in beschikbaar waarmee je in één keer JPG’s kunt genereren met alle verschillende kwaliteitsinstellingen zodat je snel zaken kunt vergelijken:

http://regex.info/blog/lightroom-goodies/export-quality-tester

* Daar waar ik het in deze blog over Lightroom heb daar bedoel ik Lightroom Classic CC

Wat gebeurt er met mijn foto’s op internet?

Er zijn diensten die je kunnen je helpen om 'in control' te komen (of te blijven) over jouw foto’s op internet. Hier een korte blik op een aantal van deze diensten: Pixsy, PicScout, Phototracker en Signili.

PIXSY

Pixsy is een nieuwe dienst waar je terecht kunt om te zien of foto’s van jou elders worden gebruikt. Wanneer dat het geval blijkt (en dat niet de bedoeling is) kun je met behulp van Pixsy desgewenst meteen (juridische) actie ondernemen.

Het is (nog) op uitnodiging maar daar kun je je zelf voor aanmelden en dat heb ik dan ook gedaan. Een paar dagen later kreeg ik toegang. Het gebruik van de dienst is nog gratis, althans tot 5000 foto’s, maar zodra ze succesvol worden gaan ze 50% commissie rekenen voor de compensatie die voor je binnengehaald wordt. Er staan 3 modellen beschreven maar die lijken mij nog vrij prijzig.

Je kunt diverse eigen bronnen instellen die Pixsy moet ‘bewaken’, Flickr, Photoshelter, Instagram, 550px, Tumblr e.d. Daarnaast kun je foto’s uploaden:

Veel mensen zullen Facebook gebruiken om foto’s te delen. Dat is daarmee dan ook een bron waar potentieel heel gemakkelijk uit gestolen kan worden. Helaas kan Pixsy die (nog) niet gebruiken. Hier zul je de betreffende foto’s dus handmatig moeten uploaden. Dat kan overigens wel in een batch en hoeft dus niet foto voor foto.

Hoe goed de dienst is kan ik nog niet beoordelen. Ik heb een aantal steekproeven genomen met foto’s waarvan ik weet dat die elders op websites staan (basketbalclub, school, coderdojo, etc) maar die worden niet gevonden, of althans niet aan mij teruggekoppeld. Pisxy weet natuurlijk niet dat deze foto's daar legitiem staan en zou me minstens een terugkoppeling moeten geven. Genoemde foto’s staan op traditionele sites, facebookpagina’s en Flickr, niet achter een inlog.

Ik heb Pixsy gevraagd hoe het werkt en ze geven niet meer aan dan dat ze een beeldherkenningsalgoritme gebruiken. Waarin die (het algoritme) verschilt van bijvoorbeeld google image search geven ze  niet aan. De functionaliteit van Pixsy is wel duidelijk rijker dan image search omdat je er een aantal van je eigen bronnen aan kunt koppelen en deze dan door Pixsy bewaakt worden zonder menselijke tussenkomst. Het zou dan wel mooi zijn wanneer de dienst je foto’s dan ook daadwerkelijk kan vinden. Een steekproef met Google’s image search gaf betere resultaten. Die vond ook niet alles maar wel een deel van de foto’s in m’n Pixsy steekproef.

Je kunt in het beheerscherm snel zien welke bron is gebruikt bij een bepaalde foto. Je kunt instellen hoe accuraat de match moet zijn. Wanneer je hem te laag instelt krijg je valse meldingen zoals hier te zien is:

PICSCOUT

Een andere dienst die op basis van beeldherkenningsalgoritmes werkt is Picscout.

Deze dienst is in 2009 door PLUS gekocht, een samenwerkingsverband van een aantal non-profit organisaties die zich als doel hebben gesteld het verbeteren van de communicatie rondom- en het beheer van beeldrechten. PLUS staat voor Photo Licensing Universal System.

Concreet voorbeeld is een klant die in het bezit is van een foto maar niet weet of hij die mag gebruiken voor zijn website. Hij of zij kan dan op www.plusregistry.org informatie over de licentievoorwaarden vinden. Wanneer er onvoldoende gegevens bekend zijn over de betreffende foto kan die bij PicScout worden geüpload en die zoekt dan of de foto kan worden gevonden (en van wie die is). 

PicScout lijkt dus een concurrent voor Pixsy maar ik weet niet welke van de twee beter is. Een kleine steekproef bij Picscout levert niet meteen betere resultaten op in ieder geval. Mijn eerste indruk voor dit soort diensten is dus nog niet overtuigend maar ik blijf zoeken. Ook tips van lezers hierover zijn van harte welkom!

Een alternatief om je foto’s te vinden is met behulp van de metadata (zoals copyright gegevens) die je (hopelijk) in je foto’s hebt geïntegreerd maar ik ken geen diensten die deze techniek gebruiken. Er is wel een dienst die nog weer een andere techniek gebruikt, Signili

SIGNILI

Signili wijkt iets af van de andere besproken diensten omdat het een onzichtbaar watermerk in het fotobestand aanbrengt. Het gaat hier dus expliciet niet om het zichtbare watermerk zoals je dat vaak ziet bij foto’s op internet want die kun je over het algemeen vrij gemakkelijk verwijderen met Photoshop. 

In dit geval gaat het om een digitaal watermerk dat in het fotobestand wordt aangebracht voordat je die op je site (Facebook, Instagram o.i.d.) plaatst. Daarvoor moet je de originele foto dus eerst uploaden naar Signili en wanneer het watermerk door hen is aangebracht (dat duurt enkele seconden) kun je hem weer downloaden. Op het oog zie ik geen verschil tussen het origineel en de kopie maar het origineel blijkt 1 Kb kleiner en er zijn gegevens uit een aantal matedatavelden verdwenen: Copyrightstatus en de URL copyrightinfo bijvoorbeeld. Die waren bij het origineel beide gevuld maar in de kopie bleken te zijn verdwenen. Ik had juist verwacht bij een dergelijke dienst dat ze juist deze velden ongemoeid zouden laten…

Belangrijk hier is dat je niet het origineel maar alleen de kopie (dus met het watermerk) gebruikt op internet. Omdat het watermerk niet zichtbaar is zie je niet aan de foto welke van beide je moet gebruiken maar je kijkt naar de naam:

Signili doorzoekt continue het internet en wanneer ze daarbij tegen foto’s aanlopen die voorzien zijn van een Signili watermerk dan wordt de eigenaar van die foto daarvan in kennis gesteld met een e-mail met daarin een link naar de verdachte foto.

Ook hier heb ik een kleine test uitgevoerd maar tot op heden geen resultaat…

Bovendien is het idee van Signili nogal arbeidsintensief waardoor het voor de ‘grootverbruikers’ onder ons waarschijnlijk niet interessant is. Wellicht wordt het interessanter wanneer er plugins komen voor bijvoorbeeld Lightroom die het watermerk aan geëxporteerde foto's mee kunnen geven.

PHOTOTRACKER LITE

Vlak voor publicatie van dit artikel werd ik geattendeerd op deze dienst, die qua werking nog weer iets afwijkt van de vorige drie. Eigenlijk is een zogenaamde metazoekmachine omdat hij volledig gebruik maakt van vier andere diensten, namelijk Google image search, Bing overeenkomende afbeelding zoeken, Yandex image search en Tiny Eye Reverse Image search. Zelf voegt Phototracker Lite dus niets toe behalve dat het gemakkelijker is om je zoekvraag op 1 plek neer te leggen in plaats van vier verschillende.

Phototracker Lite is een zogenaamde extensie en nestelt zich in je internetbrowser. Hij is

beschikbaar voor de volgende browsers: Chrome, Opera, Vivaldi en Yandex en je kunt hem hier downloaden en installeren.

Wanneer je hem hebt geïnstalleerd zie je rechts bovenin je browser een vergrootglas waarin je kunt instellen welke van de zoekdiensten je wilt gebruiken.

Nu  kun je op een willekeurige foto die je op internet ziet rechtsklikken om te kijken of die ook elders voorkomt:

Hoewel Phototracker dus voor jou in 4 verschillende zoekmachines zoekt is het toch enigszins omslachtig. Jouw foto's die lokaal staan bijvoorbeeld kun je niet eerder gebruiken dan wanneer je ze eerst ergens online neerzet. Uiteraard heb ik even getest wat er gebeurt wanneer ik een lokale afbeelding open in m'n webbrowser maar dan is het contextmenu 'Look up this pic' inderdaad niet beschikbaar:

CONCLUSIE

Van de drie besproken diensten lijkt Pixsy me nog de veelbelovendste omdat die jouw bronnen kan bewaken. Een min-of-meer geautomatiseerde dienst dus waar je weinig werk aan hebt. De dienst moet dan natuurlijk wel jouw foto’s op internet vinden die onrechtmatig gebruikt worden en daar ben ik nog niet overtuigd. Van geen van de besproken diensten overigens.

Kortom, naarmate deze diensten beter worden zullen ze steeds interessanter worden om te gaan gebruiken. Ik ga er dan ook van uit dat ik later op deze materie terug zal komen.

Intussen blijven reacties van anderen met dit soort diensten van harte welkom!