Foto workflowoptimalisatie met behulp van DNG validatie

Na het lezen van het “DAM book for photographers” van Peter Krogh heb ik ooit zijn ‘Bucket’ systeem omarmd maar daar heb ik sinds kort verandering in aangebracht. Dit vooral omdat het beheren van het bucket systeem nogal arbeidsintensief werd en het intussen minder van nut is geworden.

Bucket systeem?

Dit systeem houdt in dat je onderscheid maakt tussen de opslag van je foto materiaal enerzijds en het organisatorische beheer er van anderzijds. Het eerste, de fysieke opslag, doe je op je bestandssysteem met folders en subfolders. Je back-up regel je bijvoorbeeld ook op dit niveau in.

Het organisatorische deel (waar is een foto gemaakt, voor wie, welke toepassing, wanneer, opdracht, etc) doe je dan op een niveau hoger, met behulp van een fotobeheerapplicatie (DAM). Tot nog toe deed ik dat met Microsoft Expression Media maar sinds begin dit jaar ben ik overgestapt op Adobe Lightroom.

Het bucketsysteem maakt onderdeel uit van je fysieke opslag organisatie en het gaat er van uit dat een optische datadrager als DVD of Blue Ray onderdeel is van je back-up-strategie. Deze kunnen respectievelijk zo’n 4 of 20 Gb aan data kwijt. Afhankelijk van wat je gebruikt (DVD of BRD), hanteer je folders (waarin je nieuwe foto’s terecht komen) die mogen aangroeien tot maximaal deze grootte. Wanneer een folder ‘vol’ is (met ander woorden, wanneer hij 4 of 20 Gb groot is) ga je over op een nieuwe, lege folder totdat die ook vol is, etc. De ‘volle’ folder brand je dan naar DVD of Blue Ray.

In feb 2010 schreef ik er dit artikel over.

Met de argumentatie van destijds was dit een goede insteek. Opslag op alleen magnetisch is namelijk te risicovol. Alle magnetische dragers gaan een keer defect, het is alleen de vraag wanneer. Het grootste risico daarbij is dat je dit niet altijd (meteen) merkt. Een harde schijf valt meestal niet volledig uit maar geleidelijk. De kans is dan groot dat er bestanden beschadigen die vervolgens mooi naar je magnetische back-up(s) worden overgezet met alle gevolgen van dien. 

Hetzelfde risico bestaat voor virussen of andere moedwillige beschadigingen aan je bestanden. Wanneer je dit niet tijdig opmerkt, overschrijft je back-up de vorige (niet-corrupte) versie en dan ben je al je materiaal definitief kwijt.

Door nu in een vroegtijdig stadium een back-up weg te branden naar optische discs heb je dus een uiterste uitwijkmogelijkheid voor het geval al je magnetische kopieën ‘besmet’ zijn.

Hoe dan nu?

Er zou een andere situatie ontstaan wanneer je WEL in staat bent om vroegtijdig corrupte bestanden te ontdekken op je werkomgeving. Dus VOORDAT ze naar je back-up worden weggeschreven. In zo’n geval restore je het betreffende bestand vanaf je back-up en kun je weer verder (wel eerst even uitzoeken waardoor de beschadiging is opgetreden natuurlijk…).

Nu, een dergelijk opsporingsmechanisme bestaat sinds versie 5 van Lightroom in de vorm van DNG validatie. Daar schreef ik toen al eens over en behalve de rust in je hoofd die dit oplevert kan het dus ook je workflow aanzienlijk vereenvoudigen.

Wat ik tegenwoordig doe, nadat ik aan mijn foto’s heb gewerkt, is controleren of er bestanden missen. Daarna voer ik een DNG validatie uit. Pas wanneer die beide succesvol zijn maak ik een back-up naar een externe harde schijf. Op mijn Windows machine doe ik dit met Syncback en op mijn Macbook met Chronosync. Deze beide applicaties kennen namelijk een validatiemechanisme. Ze kunnen op hash niveau controleren of de gekopieerde bestanden gelijk zijn aan het origineel. Het proces kost daardoor iets meer tijd maar daarvoor heb je dan wel de zekerheid dat de gegevens goed zijn overgekomen (bovendien hoef je er niet naast te gaan zitten wachten..).

Als extra bewaking controleer ik periodiek ook nog eens (met Lightroom) of de DNG’s op mijn back-up locatie nog altijd OK zijn. Dat gaat erg eenvoudig door tegen LR te zeggen dat de catalogus op een andere plek staat (de back-up locatie). Wanneer deze check succesvol is kun je LR op dezelfde manier weer terugverwijzen naar de werk-catalogus op je computer.

Mijn back-up heb ik ingericht met twee externe harde schijven die ik iedere week omwissel. Een van beide exemplaren bewaar ik buitenshuis tegen het risico van brand, diefstal e.d.

Conclusie

Door de grotere zekerheid dat corrupte bestanden vroegtijdig kunnen worden ontdekt hoef ik (van mezelf) niet per se meer kopieën te maken op optische disks als DVD of Blue Ray. Dit scheelt een heel hoop werk!

Vroegtijdig betekent in dit geval; voordat de back-ups ‘besmet’ kunnen worden. Dit vraagt wel om voldoende zelfdiscipline om de DNG validatie uit te voeren. Echter, wanneer je voldoende zelfdiscipline hebt om een degelijke back-up ingeregeld te hebben en om deze ook uit te voeren moet dit aspect niet al te lastig zijn. Bovendien scheelt het je veel werk dat je voorheen wel had.

Een aandachtspunt bij de beschreven opzet is dat deze alleen werkt met DNG bestanden...

Je hebt er dus niets aan wanneer je liever met je proprietary RAW bestanden (NEF, CR2, RAF, etc) blijft werken of met JPG’s.

Naast de DNG validatie optie in Lightroom zijn er natuurlijk veel meer argumenten om over te stappen naar het DNG formaat maar die discussie zal ik hier niet voeren. DNG validatie was voor mij alleen al voldoende redenen voor de overstap! (De jpg’s uit mijn point-and-shoot camera en onze telefoons zet ik om de DNG validatie reden allemaal meteen om naar DNG zodra ik ze op de computer binnen haal. Ze nemen weliswaar iets meer ruimte in beslag maar dat is het me waard).

Workflow optimalisatie: andere foto naamgeving

De naamgeving van mijn foto’s voldeed niet meer en ik wilde dan ook al een poosje overgaan naar een nieuwe naamgevingsconventie. 

Een natuurlijk moment daarvoor leek mij de(recentste) jaarovergang.

Mijn conventie had ik ooit opgezet als 
Jaar – Maand – Volgnummer. 

Het format was YYYY_MM_XXXX 
Daarmee zou ik dus 9999 foto’s per maand kunnen maken zonder in de problemen te komen, naamgevingstechnisch gezien dan.

Niet dat ik al tegen deze grenzen aan ben gelopen maar ik heb wel gezien dat je vrij gemakkelijk in de buurt kunt komen. Op vakantie bijvoorbeeld wanneer je veel materiaal in een relatief korte periode maakt gaat het toch al snel om duizenden foto’s.

Het tweede argument was dat we met meerdere personen in huis zijn die foto’s maken. Wanneer we allemaal dezelfde naamgevingsconventie gebruiken, is dus niet meer te zien van wie welke foto is. Ongetwijfeld ontstaan er foto’s met dezelfde naam en dat kan tot verwarring leiden of zelfs tot overschrijving van de ene foto door een andere…

Kortom, een nieuwe naamgevingsconventie dus! Maar welke?

In de diverse fora lopen de meningen behoorlijk uiteen. De argumenten variëren van een ‘unieke identifier only’ tot een naam waarin ook onderwerp van de shoot is opgenomen. In deze laatste aanpak geloof ik overigens nog steeds niet omdat het te willekeurig is en aan interpretatie onderhevig.  Wanneer je bijvoorbeeld een huwelijksreportage schiet, komt de naam van het bruidspaar dan in de naam? Of dat het een huwelijksreportage is? Dat het een opdracht is of persoonlijke shoot? Hier is geen eenduidig antwoord mogelijk waardoor ik er al jaren geleden over uit was dat de foto gewoon een uniek id moet hebben en anders niet. De rest van de informatie over de foto komt in een beheersysteem; je DAM (Digital Asset Management software), Lightroom bijvoorbeeld. Vroeger toen ik analoog schoot deed ik overigens niet anders. De foto werd uniek geïdentificeerd door het negatiefnummer op het rolletje + het nummer dat ik de filmrol had gegeven + de (jaar) mappen waarin ik de negatieven opborg. 

Alle gegevens over de opname (metadata) hield ik bij in een excel sheet (en daarvoor gewoon op papier).

De vraag nu is hoe een goede unieke identifier er eigenlijk uitziet in het digitale tijdperk.

Volgens mij is dat wanneer je er uit op kunt maken door WIE de foto WAAR en WANNEER is gemaakt. Tenslotte kan dezelfde persoon maar één foto tegelijk maken op dezelfde plek op aarde, op hetzelfde moment. Stel dat er nog een andere persoon bestaat met dezelfde naam en die dezelfde naamgevingsconventie gebruikt, dan nog heb je geen overlappende bestandsnamen omdat die persoon niet op dezelfde plek en op hetzelfde moment een foto kan maken als jij. Waterdicht toch?

Zoiets zou er dan uit komen te zien als Naam_Datum_Tijd_Coördinaten.

In theorie ziet dat er nog wel werkbaar uit maar een concreet bestand zou dan bijvoorbeeld de volgende naam hebben: RoelofMoorlag_20150226_093545_244325S_152815E.DNG. Met zo’n 50 karakters is dat wel erg lang voor een bestandsnaam…

Bovendien worden de GPS gegevens niet altijd goed in de camera geregistreerd. Het zou wel erg veel werk zijn om die telkens te moeten opzoeken voor de foto’s (ook de wat minder goede foto’s waarin de camera dat niet gedaan heeft). Wanneer de coördinaten onderdeel zijn van je naamgevingsconventie kom je hier niet onderuit.

Mijn besluit is dan ook om de coördinaten niet in de naam op te nemen. Om de naam nog wat korter te maken kies ik er voor om m’n initialen te gebruiken in plaats van m’n volledig naam. Daarmee wordt het iets als: RM_20150226_093545.DNG

Ik twijfelde nog over een volgnummer. De naamconventie gaat er weliswaar van uit dat ik iedere seconde een unieke foto kan maken maar de moderne camera’s laten meer foto’s per seconde toe… Omdat ik niet vaak sportfoto’s maak is de kans hierop niet zo groot maar het is theoretisch wel mogelijk. Gelukkig neemt Lightroom deze zorgen voor me weg door het automatisch toevoegen van een volgnummer wanneer er meerdere foto’s in dezelfde seconde worden gemaakt. Handig!

Sowieso was een belangrijke voorwaarde voor mijn nieuwe naamgevingsconventie dat Lightroom hem volledig automatisch zou moeten kunnen uitvoeren. Ik wil er tenslotte minder werk van krijgen, niet meer!

Het concrete sjabloon (aanklikken voor grotere afbeelding):

Nadelen?

Ten opzichte van mijn vorige workflow ga ik er in theorie op twee punten op achteruit:

1) FOLDERNAAM:
Bij het importproces waarbij de foto’s van de fotokaarten naar de computer worden overgebracht hernoemde ik altijd de folder waarin deze foto’s terechtkwamen. Concreet naar:  “eerste foto nummer -laatste foto nummer” en dit registreerde ik dan in een Excel sheet

(De nummers waren overigens gewoon de nummers die de camera aan de opnames mee had gegeven). Dit zag er zo uit:

Op deze manier was in een oogopslag te zien of er misschien een kaart ‘vergeten’ was. De nummers sluiten namelijk naadloos op elkaar aan. Een hiaat valt meteen op. In zo'n geval kon ik meteen een onderzoek naar de oorzaak starten. Een ‘vergeten kaart’ is me overigens nooit overkomen waardoor deze manier van werken dus altijd een 'verzekering' is gebleven.

Bij mijn huidige opzet neem ik dus afscheid van deze controleslag maar daar komen andere voor terug:

Zo ben ik vrij gestructureerd in het bijhouden van mijn fotokaarten. Ik heb een doosje met lege kaarten en een doosje waarin de volle gaan en het ene doosje is zwart en de ander zilverkleurig.

Daarnaast is de kans op een ‘vergeten’ kaart natuurlijk het grootst na thuiskomst van bijvoorbeeld vakantie. Ik heb er voor gekozen om de bestanden in Lightroom binnen te laten komen gesorteerd in datum-mappen. Hoogstwaarschijnlijk zal ik iedere dag foto’s hebben gemaakt en op die manier valt een lege plek ook snel op:

  2) BESTANDSNAAM:

   Het tweede onderdeel waarop ik theoretisch in heb geleverd is de naamgeving van de bestanden zelf. Voorheen hernoemde ik mijn bestanden pas na de eerste selectie (verwijderingen). Daardoor onderhield ik dus altijd een ononderbroken reeks:

Het idee hierachter is dat er geen ‘HIATEN’ mogen bestaan, de reeks hoort ononderbroken door te lopen. Ontbreekt er een nummer dan is er blijkbaar iets aan de hand en moet er actie worden ondernomen.

Echter blijkt in de praktijk dat er zo veel foto’s worden gemaakt dat een visuele controle er bij in schiet of eigenlijk ondoenlijk is. In theorie klopt het dus maar in de praktijk blijkt het geen toegevoegde waarde (meer) te hebben.

Wat ik er nu voor terug heb gekregen is de Lightroom optie ‘Alle ontbrekende foto’s zoeken’ onder het menu ‘Bibliotheek’.  Die worden vervolgens in een overzicht getoond zodat je nader actie kunt ondernemen:

Zo kunnen de betreffende foto’s bijvoorbeeld vanuit een back-up terug worden gezet (en je kunt een onderzoek starten naar waarom de foto’s überhaupt verdwenen waren). De test zal nu het volgende melden:

Lightroom biedt mij nu dus een geautomatiseerd alternatief voor de eerder beschreven visuele inspectie. De inspectie die ik toch al niet uitvoerde... Wat in eerste instantie op achteruitgang leek blijkt eigenlijk dus vooruitgang te zijn!