Nieuwe zoekinterface voor WikimediaCommons

Hay Kranen bouwde een alternatief voor het zoekscherm van WikiMediaCommons dat beter functioneert en bovendien gebruiksvriendelijker is, Hay’s ‘Structured Search’.

WikiMediaCommons is de beelddatabank achter Wikipedia met ruim 60 miljoen beelden.

Je mag de beelden zelf meestal ook vrij gebruiken maar dan moet je dus wel geschikt materiaal kunnen vinden. Het probleem is dat de metadata* (de gegevens die over het beeldmateriaal zijn vastgelegd) niet eenduidig of incompleet zijn vastgelegd. Hay Kranen bouwde echter een nieuwe zoekinterface die hier verbetering in brengt en bovendien een stuk gebruikersvriendelijker is dan de originele zoekoptie van WikimediaCommons. Op woensdag 10 juni 2020 was hij te gast bij Herbert Blankensteijn in deze podcast van BNR (v.a. circa 12 minuten). In zijn nieuwsbrief ‘de Circulaire’ had Hay enkele weken eerder al over zijn initiatief geschreven.

In de zoekinterface van WikimediaCommons zelf is het bijvoorbeeld lastig om beelden vinden met metadata in een andere taal. Zoek je een boom dan vindt je dus geen foto’s die getagd zijn met ‘tree’ of ‘baum’

Hay heeft geen nieuwe zoekmachine gemaakt maar maakt gebruik van bestaande componenten en gebruikt die slim en combineert ze. Een belangrijk component is ‘’gestructureerde data” waarmee twee problemen worden aangepakt:

1. De meertaligheid zoals in het voorbeeld hierboven genoemd (boom, tree, baum)
2. De meerdere betekenissen die een woord kan hebben. Kiwi bijvoorbeeld kan slaan op een vrucht, een vogel of een inwoner van Nieuw Zeeland. Wanneer je op zoek bent naar foto’s van de vogel dan wil je die ook alleen in je zoekresultaten zien.

Bij gestructureerde data hebben daarom alle begrippen (items) een eigen unieke nummer (het Q-nummer). Deze worden door WiKidata uitgegeven, een ander Wiki project waar de Q-nummers worden beheerd (daar waar in Wikipedia de artikelen worden beheerd en audio- en beeldmateriaal in WikiMediaCommons) De vogel Kiwi heeft dan ook een ander nummer dan de vrucht.

Als een fotograaf nu een foto van een Kiwi (vogel) uploadt naar WikiMedia Commons dan kan hij of zij meteen de juiste link aanbrengen naar het ‘Kiwi’begrip (namelijk die van de vogel). Op dit moment is nog maar een paar procent van de beelden voorzien van deze gestructureerde data maar dat wordt snel beter (iedereen kan ze aanbrengen en bij nieuwe uploads wordt er actief om gevraagd). Daarna zijn de betreffende afbeeldingen een stuk beter vindbaar met behulp van het juiste zoekgereedschap, bijvoorbeeld Hay’s ‘Structured Search’: 

 

Als ik nu ‘kiwi’ in het zoekvenster typ verschijnen meteen de ‘categorieën’ waaronder het woord Kiwi beschikbaar is. Omdat ik op zoek ben naar de vogel klik ik de bovenste aan met het Q-nummer Q43642 en vervolgens krijg ik alleen maar vogels in mijn zoekresultaten.

* Beeldmateriaal zoeken gebeurt over het algemeen aan de hand van de gegevens die erover zijn vastgelegd in plaats van echte beeldherkenning. Zoek je een foto van een boom dan zoekt de zoekmachine dus niet echt naar afbeelding die de software herkent als een boom maar kijkt hij in de metadata (zoals bijvoorbeeld het veld ‘trefwoorden’). Als daar het woord ‘boom’ is ingevuld wordt het betreffende beeld in de zoekresultaten getoond. Voor meer achtergrond over metadata zie ook mijn artikelen over Keywording, Keywording deel2 of dit deel over ‘echte’ beeldherkenning.

 

De allerbeste nieuwe functie van Lightroom 5

In April 2013, toen de bèta van Lightroom 5 zojuist bekend was gemaakt, heb ik er meteen naar gekeken en dit artikel erover geschreven. Echter heb ik daarbij de, naar mijn mening, beste nieuwe functie over het hoofd gezien en dat is de DNG validatie. Althans vanuit een bepaald perspectief (het beheren van de daadwerkelijke fotobestanden) gezien en dat zal ik toelichten.

We willen natuurlijk telkens meer interessante snufjes in de nieuwe software. Voor foto software als Lightroom heeft dat deels betrekking op het kunnen aanpassen van de beelden zoals belichting, kleurtemperatuur, perspectiefcorrectie e.d.

Net zo belangrijk echter, zo niet belangrijker, in een foto-beheer programma is ‘echt’ kunnen beheren van je foto’s. Denk daarbij aan controleren of al je foto’s er nog daadwerkelijk zijn of dat ze niet corrupt zijn.

Omdat fotobeheer applicaties als Lightroom zogenaamde previews genereren op het moment dat je foto’s aan de catalogus toevoegt, kijk je niet rechtstreeks naar je fotobestanden maar naar deze preview. Het is dus mogelijk dat foto’s verdwijnen zonder dat je dat meteen in de gaten hebt. Wanneer je door je catalogus navigeert zijn alle foto’s tenslotte gewoon zichtbaar. Totdat je een verdwenen of corrupt bestand probeert te openen, dat lukt dan namelijk niet en dit wil je natuurlijk vóór zijn. Lightroom biedt daar vanaf versie 5 twee opties voor:

• Het zoeken van ontbrekende foto's
• DNG validatie

Het zoeken van ontbrekende foto's

Zoals je ziet is de vertaling nog niet helemaal correct maar dat wordt in de definitieve versie vast hersteld. Wat er gebeurt is dat Lightroom in zijn catalogus kijkt of er foto’s in voorkomen waarvan het bronbestand niet meer gekoppeld zijn. Zoals gezegd, de afbeeldingen die Lightroom toont zijn niet de ‘echte’ foto’s maar previews. Met behulp van deze optie wordt dus gecontroleerd of de ‘echte’, onderliggende foto’s er nog altijd zijn zoals het de bedoeling is. Wanneer dat niet het geval is presenteert Lightroom je een overzicht van de ontbrekende foto's:

Je kunt daarna zelf bepalen wat er aan de hand is. Het kan natuurlijk een bewuste actie zijn geweest om een bestand weg te gooien en dat je vergeten bent om dit in Lightroom vast te leggen. Wanneer het echter geen bewuste actie is geweest, ben je waarschijnlijk erg blij over deze informatie te beschikken want nu kun je vrij snel een back-up van de betreffende bestanden opzoeken en terugzetten.

DNG validatie

Om DNG validatie te doorgronden (en op zijn waarde te beoordelen) is wat meer achtergrond informatie nodig over zowel DNG als data validatie.

Om met Data Validatie te beginnen, dit betreft de integriteit van een bestand.
Alle bestanden (ook foto’s) bestaan uit een reeks bits, eigenlijk één groot getal. Door daar een berekening op los te laten kun je de zogenaamde hashwaarde (ook wel checksum genoemd) berekenen, ook weer gewoon een getal. Dit getal is wel een stuk korter dan het origineel, een soort samenvatting zeg maar. Nu, dit getal (hashwaarde) kun je samen met (of afzonderlijk van) het oorspronkelijke bestand bewaren.

Door op een later moment opnieuw de hashwaarde te laten berekenen van dezelfde foto en die waarde dan te vergelijken met de eerder berekende waarde, weet je of er iets gewijzigd is. Beide waardes moeten namelijk identiek zijn en is dat niet het geval dan weet je dat er iets aan de hand is.

Nu kun je, als je op internet zoekt, wel tools vinden die dergelijke hash waardes van je foto’s kunnen berekenen maar dit is niet alleen veel werk maar de hele administratie er om heen is ook nog eens dusdanig dat ik niemand ken die dit ook daadwerkelijk doet. Het principe echter is uitermate geschikt om geautomatiseerd in een tool of applicatie op te nemen. Nu, dat is dus precies wat Adobe in Lightroom 5 heeft gedaan maar wel alleen voor DNG bestanden!

DNG was al een erg zinvol formaat, lees ook mijn eerdere artikelen hierover, maar deze functie in Lightroom voegt dus alleen nog maar meer waarde toe en dat zit zo;

DNG is eigenlijk een container waarin de RAW foto data zit met daaromheen een schil met ondermeer de metadata.

Nu is het leuke van Lightroom dat ook alle beeldaanpassingen in deze schil worden opgeslagen. De RAW foto data wordt dus nooit aangeraakt. Nu, dit principe kan worden gebruikt om te kijken of de foto nog altijd onaangeraakt is:

Wanneer de foto voor het eerst in Lightoom wordt ondergebracht rekent Lightroom allereerst uit wat de hashwaarde van de RAW data is. Deze waarde wordt in de database van Lightroom opgeslagen en wanneer je dan later op ‘DNG bestanden valideren’ klikt, gaat Lightroom opnieuw de hashes voor alle DNG foto’s berekenen. Deze vergelijkt Lightroom dan met de historische gegevens in zijn database, ook als dit duizenden foto’s betreft (iets dat met de hand vrijwel ondoenlijk is). Wanneer Lightroom foto’s ontdekt die wel gewijzigd zijn dan presenteert hij je die zodat je zelf volgacties kunt bepalen en een onderzoek naar de oorzaak in kunt stellen.

Zoals gezegd is deze optie voor ‘normale’ bestanden (DOCX, XLSX, JPG etc) niet erg zinvol omdat je dit soort bestanden nu eenmaal regelmatig bewerkt. Na een validatie zoals hierboven uitgelegd zou je dan een overzicht krijgen van alle bestanden die sinds hun aanmaak zijn gewijzigd. In de meeste gevallen zul je dan niet kunnen zeggen of dit nu terecht dan wel onterecht is omdat het domweg om veel de veel bestanden in het overzicht gaat. Met zo’n overzicht kun je dus niet zo veel.

Bij DNG echter worden alle wijzigingen die je aanbrengt opgeslagen als meta data...(niet alleen trefwoorden maar ook de bewerkingen!) Het echte foto bestand, de RAW data, wordt dus niet gewijzigd. Nooit. Nu heeft de validatie dus opeens wel zin omdat alleen die foto’s worden getoond die onterecht zijn veranderd. En dat nu is zeer waardevolle informatie vanuit het oogpunt van beheer.

Hoe gaat dit nu concreet in zijn werk?

Door in het Bibliotheek menu te kiezen voor de optie ‘DNG bestanden valideren’ wordt de volledige catalogus doorlopen op het voorkomen van onterecht gewijzigde (DNG) bestanden. Als het goed is krijg je telkens onderstaande melding te zien:

Mocht dit onverhoopt toch een keer niet het geval zijn dan weet je dat je meteen actie moet ondernemen!

Wat mij betreft is dit dan ook de allerbelangrijkste uitbreiding van Lightroom 5 en het is me een raadsel waarom Adobe (maar ook collega-bloggers) er zo weinig aandacht aan besteden!

Metadata bij foto's, zegen of zorgen?

 

Afgelopen maand werd ik in een aantal tijdschriften getriggerd op 'het gevaar van Metadata'.
Mensen die m'n blog vaker lezen zullen weten dat ik een groot voorstander ben van het gebruik van Metadata in je foto's als belangrijkste hulpmiddel om ze te kunnen beheren. Lees die artikelen er zeker nog eens op na en laat je door dit artikel dan ook zeker niet afschrikken om Metadata te gebruiken.

Ook wanneer je je er niet van bewust bent dat je deze data gebruikt zullen je foto's namelijk vol staan met deze min of meer onzichtbare gegevens. Dit artikel is dan ook primair bedoeld om de bewustwording te vergroten en en er grip op te krijgen. Mijn mening is nog altijd onveranderd:

•  Maak in de privésituatie juist zo veel mogelijk gebruik van metadata om ze optimaal te kunnen beheren. Op deze blog plaats ik regelmatig adviezen hierover 
• Zorg er voor dat online geplaatste foto's alleen die gegevens bevatten die je met de wereld wil delen. Daarover in dit artikel meer;

Bewustwording:

Het is dus belangrijk dat je je er bewust van bent dat bepaalde gegevens niet geschikt zijn om met anderen te delen. Of althans, niet met iedereen op internet. Je familie weet tenslotte wel waar je woont en wanneer je met vakantie bent.

Zo worden je foto's tegenwoordig steeds vaker voorzien van locatie gegevens (coördinaten) omdat de veel moderne toestellen voorzien zijn van een GPS module. Zou je een foto met dergelijke gegevens zonder meer online plaatsen dan kunnen anderen bijvoorbeeld eenvoudig achterhalen waar je woont . Wanneer je nu ook nog regelmatig twittert waar je op dat moment bent  dan maak je het wel heel eenvoudig voor inbrekers of voor anderen die geïnteresseerd zijn in je gewoontes.

Daarentegen is het voor bijvoorbeeld je vakantiefoto's  weer hartstikke leuk dat anderen kunnen zien waar het was. Voor mensen die zich bezig houden met Geocaching is het delen van coördinaten juist een heel belangrijk aspect van de hobby.  De conclusie moet dan ook zijn dat je hier selectief mee om wilt gaan. In bepaalde gevallen wil je het wel maar in andere juist weer niet. Daarvoor moet je allereerst weten dat er verborgen informatie in je foto's zit.

Het onbewust delen van dit soort informatie zal de gebruiker van een spiegelreflexcamera waarschijnlijk minder snel overkomen dan eigenaren van smartphones. De eerste groep is vaak bewuster bezig met fotograferen en de workflow die daar bij hoort. De tweede groep fotografeert over het algemeen minder bewust en wil veel sneller hun resultaten delen met anderen via hyves, facebook, flick of andere social media platformen.

Hoewel gebruikers van de Apple iPhone of iPad zich niet erg ongerust hoeven te maken, de geo informatie in hun foto's wijkt regelmatig meer dan 10 Km af hier in Europa, toch kunnen ze eenvoudig en goedkoop helemaal 'in control' komen met het programma 'de Geo'. Een zogenaamde 'photo sharing' app voor IOS dat iPhone en iPAD gebruikers helpt bij het verwijderen van Geo informatie wanneer foto's gedeeld worden. De standaard met deze toestellen meegeleverde sharing app doet dit namelijk niet. De app kost nog geen dollar en is daarmee zondermeer een interessante aanschaf.

Echter is er natuurlijk meer dan alleen geo informatie die verborgen zit in je foto's. Laten we eens kijken wat er zo allemaal aan zogenaamde Metadata in afbeeldingen kan zitten:

·         XMP

·         IPTC

·         EXIF

·         Thumbnail

In het kort komt het er op neer dat de EXIF gegevens door je camera worden gegenereerd (belichtingsgegevens, merk en type camera, datum, tijdstip en soms dus ook de locatiegegevens).

De IPTC gegevens zijn velden die je als gebruiker zelf kunt invullen (Onderwerp, waardering, Copyricht, Labels, Opmerkingen etc. Voor degenen die dit niet kennen; ga maar eens in de windows verkenner naar een afbeelding, klik er met de rechtermuistoets op en kies voor eigenschappen. In het eigenschappenscherm open het tabblad ‘Details’. Daar zie je een aantal IPTC gegevens van de afbeelding staan en kun je daar zelf (weliswaar onhandig) invullen.

XMP is wat lastiger uit te leggen, ik denk dat ik daar later nog eens een artikel aan ga besteden. Hou het er maar op dat het een modernere manier is om hetzelfde (en meer) te doen dan met IPTC alleen. Alle moderne programma’s waarmee je IPTC en/of Exif informatie kunt aanpassen werken ook XMP bij.

Ook thumnails maken in de meeste gevallen onderdeel uit van de metadata van een afbeelding. Een soort miniatuurafbeelding van de werkelijke foto. Wanneer de foto nu wordt bijgesneden wordt niet altijd de thumbnail ook bijgewerkt waardoor daarop onderdelen zichtbaar blijven die je bewust van de foto had 'afgeknipt'.

Grip op de zaak

Ik begon dit artikel met het advies om je foto’s te kunnen beheren, daarvoor juist gebruik te maken van metadata en om alleen gevoelige informatie te verwijderen uit foto’s die online worden geplaatst. In beide gevallen kun je daar een fotobeheerprogramma gebruiken (DAM) zoals Expression Media of Lightroom.

Smartphone gebruikers die niet per se hun foto’s willen beheren kunnen ook eenvoudige toepassingen gebruiken als het eerdergenoemde DeGeo (iPhone) en geotag editor (iPhone) of geotagsecurity.

Voor deze laatste moeten je foto’s wel eerst vanuit je smartphone naar je computer worden gebracht. Wel mooi is dat de basis versie gratis is voor Windows gebruikers. De Pro versie kost 20 dollar en die kan een paar automatische zaken meer ten opzichte van de basis versie. Zo kan hij een folder monitoren op nieuwe foto's en daarvan automatisch de geo informatie verwijderen.

Laisan Shafikova is geotagsecurity in september 2010 begonnen als reactie op een artikel die hij (zij?) las in de New York Times over Adam Savage, een van de presentatoren van het tv programma MythBusters. In dat artikel werd zijn huisadres bekend omdat hij een foto had gepost van z'n auto die geparkeerd stond voor z'n huis. Een foto dus met Geoinformatie. Laisan besefte dat wanneer iemand met een wetenschappenlijke achtergrond als Adam dat kon overkomen, het de meeste andere mensen ook zal overkomen.

Mocht je een bezoek brengen aan Geotagsecurity.com, dan zie je dat Laisan heel erg  terughoudend is over het gebruik van Geo informatie in je foto's. Zo adviseert hij/zij bijvoorbeeld als eerste om de GPS van je fototoestel of smartphone uit te zetten. 

Ik zou dit laatste zeker niet willen adviseren. Je kunt informatie tenslotte altijd snel uit foto's verwijderen wanneer dat nodig is maar de informatie er naderhand weer aan toevoegen is veel lastiger.