Foto workflowoptimalisatie met behulp van DNG validatie

Na het lezen van het “DAM book for photographers” van Peter Krogh heb ik ooit zijn ‘Bucket’ systeem omarmd maar daar heb ik sinds kort verandering in aangebracht. Dit vooral omdat het beheren van het bucket systeem nogal arbeidsintensief werd en het intussen minder van nut is geworden.

Bucket systeem?

Dit systeem houdt in dat je onderscheid maakt tussen de opslag van je foto materiaal enerzijds en het organisatorische beheer er van anderzijds. Het eerste, de fysieke opslag, doe je op je bestandssysteem met folders en subfolders. Je back-up regel je bijvoorbeeld ook op dit niveau in.

Het organisatorische deel (waar is een foto gemaakt, voor wie, welke toepassing, wanneer, opdracht, etc) doe je dan op een niveau hoger, met behulp van een fotobeheerapplicatie (DAM). Tot nog toe deed ik dat met Microsoft Expression Media maar sinds begin dit jaar ben ik overgestapt op Adobe Lightroom.

Het bucketsysteem maakt onderdeel uit van je fysieke opslag organisatie en het gaat er van uit dat een optische datadrager als DVD of Blue Ray onderdeel is van je back-up-strategie. Deze kunnen respectievelijk zo’n 4 of 20 Gb aan data kwijt. Afhankelijk van wat je gebruikt (DVD of BRD), hanteer je folders (waarin je nieuwe foto’s terecht komen) die mogen aangroeien tot maximaal deze grootte. Wanneer een folder ‘vol’ is (met ander woorden, wanneer hij 4 of 20 Gb groot is) ga je over op een nieuwe, lege folder totdat die ook vol is, etc. De ‘volle’ folder brand je dan naar DVD of Blue Ray.

In feb 2010 schreef ik er dit artikel over.

Met de argumentatie van destijds was dit een goede insteek. Opslag op alleen magnetisch is namelijk te risicovol. Alle magnetische dragers gaan een keer defect, het is alleen de vraag wanneer. Het grootste risico daarbij is dat je dit niet altijd (meteen) merkt. Een harde schijf valt meestal niet volledig uit maar geleidelijk. De kans is dan groot dat er bestanden beschadigen die vervolgens mooi naar je magnetische back-up(s) worden overgezet met alle gevolgen van dien. 

Hetzelfde risico bestaat voor virussen of andere moedwillige beschadigingen aan je bestanden. Wanneer je dit niet tijdig opmerkt, overschrijft je back-up de vorige (niet-corrupte) versie en dan ben je al je materiaal definitief kwijt.

Door nu in een vroegtijdig stadium een back-up weg te branden naar optische discs heb je dus een uiterste uitwijkmogelijkheid voor het geval al je magnetische kopieën ‘besmet’ zijn.

Hoe dan nu?

Er zou een andere situatie ontstaan wanneer je WEL in staat bent om vroegtijdig corrupte bestanden te ontdekken op je werkomgeving. Dus VOORDAT ze naar je back-up worden weggeschreven. In zo’n geval restore je het betreffende bestand vanaf je back-up en kun je weer verder (wel eerst even uitzoeken waardoor de beschadiging is opgetreden natuurlijk…).

Nu, een dergelijk opsporingsmechanisme bestaat sinds versie 5 van Lightroom in de vorm van DNG validatie. Daar schreef ik toen al eens over en behalve de rust in je hoofd die dit oplevert kan het dus ook je workflow aanzienlijk vereenvoudigen.

Wat ik tegenwoordig doe, nadat ik aan mijn foto’s heb gewerkt, is controleren of er bestanden missen. Daarna voer ik een DNG validatie uit. Pas wanneer die beide succesvol zijn maak ik een back-up naar een externe harde schijf. Op mijn Windows machine doe ik dit met Syncback en op mijn Macbook met Chronosync. Deze beide applicaties kennen namelijk een validatiemechanisme. Ze kunnen op hash niveau controleren of de gekopieerde bestanden gelijk zijn aan het origineel. Het proces kost daardoor iets meer tijd maar daarvoor heb je dan wel de zekerheid dat de gegevens goed zijn overgekomen (bovendien hoef je er niet naast te gaan zitten wachten..).

Als extra bewaking controleer ik periodiek ook nog eens (met Lightroom) of de DNG’s op mijn back-up locatie nog altijd OK zijn. Dat gaat erg eenvoudig door tegen LR te zeggen dat de catalogus op een andere plek staat (de back-up locatie). Wanneer deze check succesvol is kun je LR op dezelfde manier weer terugverwijzen naar de werk-catalogus op je computer.

Mijn back-up heb ik ingericht met twee externe harde schijven die ik iedere week omwissel. Een van beide exemplaren bewaar ik buitenshuis tegen het risico van brand, diefstal e.d.

Conclusie

Door de grotere zekerheid dat corrupte bestanden vroegtijdig kunnen worden ontdekt hoef ik (van mezelf) niet per se meer kopieën te maken op optische disks als DVD of Blue Ray. Dit scheelt een heel hoop werk!

Vroegtijdig betekent in dit geval; voordat de back-ups ‘besmet’ kunnen worden. Dit vraagt wel om voldoende zelfdiscipline om de DNG validatie uit te voeren. Echter, wanneer je voldoende zelfdiscipline hebt om een degelijke back-up ingeregeld te hebben en om deze ook uit te voeren moet dit aspect niet al te lastig zijn. Bovendien scheelt het je veel werk dat je voorheen wel had.

Een aandachtspunt bij de beschreven opzet is dat deze alleen werkt met DNG bestanden...

Je hebt er dus niets aan wanneer je liever met je proprietary RAW bestanden (NEF, CR2, RAF, etc) blijft werken of met JPG’s.

Naast de DNG validatie optie in Lightroom zijn er natuurlijk veel meer argumenten om over te stappen naar het DNG formaat maar die discussie zal ik hier niet voeren. DNG validatie was voor mij alleen al voldoende redenen voor de overstap! (De jpg’s uit mijn point-and-shoot camera en onze telefoons zet ik om de DNG validatie reden allemaal meteen om naar DNG zodra ik ze op de computer binnen haal. Ze nemen weliswaar iets meer ruimte in beslag maar dat is het me waard).

Data validatie met DNG

In Maart 2009 schreef ik al eerder enthousiast over het DNG formaat maar sinds ik me er nog wat meer in heb verdiept is m'n enthousiasme alleen nog maar toegenomen…

Bij versie 1.2 van DNG die in maart 2008 werd uitgebracht werden een aantal zaken geïntroduceerd die niet in andere fotoformaten zijn te vinden. Een eigenschap die ik er hier even uit wil lichten is optie om een data validatie hash (MD-5) in het bestand op te nemen voor zowel de Ruwe afbeeldingsinformatie als het oorspronkelijke RAW bestand, mocht deze zijn ingesloten.
Hoe werkt dit nu?
Een hash is, eenvoudig gezegd, een unieke waarde die wordt berekend aan de hand van alle nullen en enen waaruit een foto bestaat.
Stel dat ik een foto heb waarvan ik weet dat die goed is omdat ik dat persoonlijk heb geconstateerd door hem te bekijken dan kan ik er een hashwaarde van berekenen. Dit getal bewaar ik dan en stel dat ik dan over een jaar zou willen controleren of de foto nog steeds goed is dan is opnieuw de hashwaarde te berekenen. De uitkomst kan ik vergelijken met het oorspronkelijke getal en beide zouden dus gelijk moeten zijn. Wanneer er ook maar een bit in de foto verandert is de uitkomst van de hash anders.
Mocht later middels het herberekenen van de hash inderdaad blijken dat er een verandering heeft plaatsgevonden dan is het bestand vrijwel zeker corrupt hoewel er ogenschijnlijk niets aan de hand hoeft te zijn. Het kan zelfs zijn dat de foto zonder problemen geopend kan worden maar toch is het bestand ongeoorloofd gewijzigd. Oorzaken hiervoor liggen vaak bij slecht geheugen, netwerkproblemen en fouten op de harde schijf en meestal is de corruptie dusdanig ernstig van aard dat er een backup nodig is om de situatie te herstellen.

Waarom zou je het zo ingewikkeld doen en niet opnieuw (periodiek) de foto openen om te controleren of hij nog steeds goed is? Nu, voor een individuele foto is het inderdaad een te omslachtige methode om op fouten te controleren maar voor grote hoeveelheden foto's kun je dit scenario (het maken van hashes en deze later controleren) wel automatiseren maar het bekijken van de afzonderlijke foto's met het menselijk oog niet.
Het berekenen van een hash aan de hand van een foto kon natuurlijk altijd al maar wat DNG nu zo bijzonder maakt is dat deze hashwaarde in het bestand zelf wordt opgeslagen als metadata. De hash heeft namelijk betrekking op het deel van het bestand (de afbeelding) welke niet zomaar uit zichzelf mag wijzigen. Wanneer de metadata van een DNG wordt gewijzigd zal de hashwaarde dus niet veranderen. Het grote voordeel van dit principe is dat alles bij elkaar in een enkel bestand (container) wordt gehouden en er geen ingewikkelde administratie of database hoeft te worden beheerd. Ieder individuele DNG kan op een willekeurige computer met een willekeurige applicatie worden gevalideerd zonder dat de oorspronkelijke context van dat bestand nodig is.

Een zichzelf validerend bestandsformaat dus!

Download hier de recentste DNG converter voor windows en hier die voor Mac. (dd feb 2016 was dit versie 9.4).

Update juni 2013: m.b.t. dit onderwep is het artikel van juni 2013 een aanvulling "De allerbeste nieuwe functie van Lightroom 5"