RAW-Dateigrößen - Teil 1: Nikon .NEF vs. Adobe .DNG - der Voodoo verfliegt

veröffentlicht am 02.02.2020 in * BILDBEARBEITUNG * FOTOTECHNIK *

Vor einiger Zeit habe ich in einem Artikel hier meine Beurteilung des DNG-Formats dargestellt. Den Punkt “Dateigröße” habe ich damals aus anderen Gründen verworfen (siehe Argument 3). Aber nun hat Peter von tuxoche.de vor einiger Zeit über eine Beobachtung berichtet, die dazu geführt hat, daß ich das Thema nochmal aufgreife.

Wieviel Speicherplatz spart DNG tatsächlich?

In meinem oben verlinkten Artikel hatte ich auf einen Bericht in ColorFoto 12/2018 verwiesen, in dem von bis zu 20% reduzierten Dateigrößen berichtet wird. Auch Gunther Wegner hat vor Jahren schonmal über seine Erfahrungen mit DNG berichtet und auch bei der - ansonsten sehr guten - Review der Nikon D850 sich nochmal mit der Thematik beschäftigt - und er berichtet:

Überrascht haben mit folgende Dinge (…)

• Wie hoch die Speicherplatzersparnis hingegen bei der Konvertierung nach DNG ausfällt, ohne dass überhaupt eine Qualitätseinbuße stattfindet.

und findet noch höhere Zahlen.

Kann das sein?

Wir sprechen hier bisher grundsätzlich von verlustfrei komprimierten Dateien - im einfachsten Fall also sowas wie einer durch das bekannte ZIP verkleinerte Datei. Und wenn da solche Unterschiede aufgerufen werden, dann würde das ja bedeuten, daß einer der Beteiligten (hier also ein Kamerahersteller: Nikon, Canon, …) seine Hausaufgaben nicht gemacht hat - oder alternativ: Adobe hat die Weisheit mit Löffeln gefressen.

Beides erscheint mir unwahrscheinlich, und wie so oft: wenn etwas nicht nachvollziehbar begründet werden kann, werde ich mißtrauisch. Das hat mich bisher vor DNG bewahrt, aber durch den Artikel von Peter habe ich jetzt einen Ansatzpunkt erhalten, wonach ich suchen muß.
Und danach führt Adobe mal wieder einen Voodoo auf, der aber schnell auf “Normalmaß” zurechtgestutzt werden kann:

Die eingebetteten Vorschau-Daten

In praktisch allen mir bekannten RAW-Formaten sind JPG-Bilder mit verpackt, die mit den Kameraeinstellungen erzeugt werden. Diese werden benötigt:

• in der Kamera
  • um ein Bild für die Bildkontrolle anzeigen zu können
  • um ein Histogramm erzeugen zu können
• auf dem Rechner
  • um mittels Software wie Geeqie (Linux) oder Photo Mechanic (Windows/macOS) schnell große Mengen von RAW-Bildern vorsortieren oder aussortieren zu können

Und genau hier setzt Adobe mit seiner Trickserei an: Diese eingebettete JPG-Vorschau kann weggelassen oder stark verkleinert werden.
Dafür gibt es 3 Einstelloptionen im kostenlos verfügbaren Adobe DNG-Konverter:

• ohne
• mittlere Größe
• volle Größe

Der Größenvergleich zu DNG im Detail, NEF aus der D850

Methode

Mit Hilfe des aktuellen Adobe DNG Converter Ver. 11.4.1 habe ich folgendes Motiv aus meiner Nikon D850 (Firmware 1.0.3) nach DNG gewandelt:

Testmotiv
Dateigrößenvergleich NEF vs. DNG

Die Kameraeinstellungen: Zunächst verwende ich standardmäßig 14 Bit Farbtiefe pro Farbkanal:

und wähle sodann die verlustfreie Komprimierung der RAW-Dateien:

So ist maximale Qualität/Reserve bei der Speicherung meiner Bilder sichergestellt.

Der DNG-Konverter ist für die Untersuchung hier wie folgt eingestellt:

und es wurde jede der 3 Optionen, die im Aufklappmenü angeboten werden, untersucht.

Aus jeder der dabei entstandenen DNG-Dateien und aus der NEF-Datei habe ich mittels EXIFtool die eingebetteten JPG-Bilder und die Metadaten ausgelesen.

Dazu dienen folgende Befehle:

1. eingebettete(s) JPG-Bild(er)

    ~ $ exiftool -a -b -W %d%f_%t%-c.%s -preview:all .
   

   Der Befehl liest alle RAW-Dateien des aktuellen Verzeichnisses und extrahiert die eingebetteten JPG-Dateien, unabhängig davon, unter welchem Tag sie referenziert werden.

2. Metadaten

    ~ $ exiftool -G $file > "${file%.*}".txt
   

   schreibt die Metadaten der Files in eine Textdatei gleichen Namens, dabei ist $file jeweils der Platzhalter für den Dateinamen.

Ergebnisse

In der ersten Zeile der Tabellenzellen finden sich jeweils die Bildformate in Pixeln (Kantenlänge), in der zweiten Zeile die Speichergröße in Byte:
Die Dateigröße in der letzten Spalte ergibt sich aus derjenigen der ersten Spalte abzüglich der Summe der Dateigrößen der eingebetteten JPG-Bilder.

Tabelle: Bildformate in Pixeln Kantenlänge, Dateigrößen in Byte

1. Das zur NEF-Datei funktional äquivalente DNG (letzte Zeile) ist somit magere 4,94% kleiner (54,5 anstatt 57,3 MB). Nimmt man die “Netto-Werte” der letzten Spalte, dann sind das 5,4% (die einer ggf. anderen Kompression zuzuschreiben sind). Dafür lohnt sich absolut keinerlei Aufwand - zumal dieser Aufwand auch noch mit Unwägbarkeiten verbunden ist, die ich im anderen Artikel beschrieben hatte.
2. Die Zwergen-Vorschauen in den anderen beiden Varianten verhindern eine zügige Verarbeitung großer Bildmengen mit den oben genannten Tools, da z. B. eine Schärfenkontrolle unmöglich ist.
   Das bedeutet einen massiven Mehraufwand, wenn man diese “speicherplatzsparenden” DNG-Versionen nutzen will: es müssen erst alle Original-RAWs auf den Rechner kopiert werden, dann die Bilder vorsortiert und v. a. “ausgedünnt” werden (für Wildlife- und Sportfotografen quasi “überlebensnotwendig” - ein Wandeln direkt beim Import verbietet sich hier deshalb von selbst), und erst die verbliebenen Bilder können dann - in einem zusätzlichen Arbeitsschritt - in DNG gewandelt werden …
   Wo bitte soll da noch ein Vorteil sein?
3. Zusatzbemerkung: will man sicher gehen (letzte 3 Absätze) und bettet die Original-NEF-Datei mit ein, dann erhöht sich die Dateigröße auf immerhin 111.492.736 Bytes (111,5MB).
4. weitere Zusatzbemerkung:
   Nimmt man die .NEF-Datei und versucht, sie weiter zu komprimieren, dann ergibt sich ein kaum meßbarer Unterschied in der Dateigröße:

   Verfahren	Dateigröße	Diff.
   .nef	57.312.025 Bytes	0%
   .zip:	56.967.787 Bytes	-0,6%
   .7z:	57.080.963 Bytes	-0,4%

Interessant fand ich die Erkenntnis, daß der DNG-Konverter offenbar irgendwie an den Bildern “herumentwickelt” - die eingebetteten JPG-Bilder sehen jedenfalls tlw. anders aus als die im Original-RAW:

 

Das erste Bild stammt aus dem Original-Kamera-RAW, das zweite aus dem Konverter-DNG.

Nikon - die Zweite: NEF vs. DNG, Vergleich der Files aus der D700

Auch hier ist das RAW-Format auf 14bit verlustfrei komprimiert eingestellt in der Kamera - wie bei der D850 oben im Beitrag. Der Software (Firmware?) - Stand wird in den EXIF-Daten angegeben mit ‘Ver.1.02’.

Das Testmotiv:

Indianer-Sommer in den Vogesen

und die Ergebnisse:

Tabelle: Bildformate in Pixeln Kantenlänge, Dateigrößen in Byte

Auch hier zeigt sich (bei einer 9 Jahre alten Kamera): Man kann Nikon nicht wirklich vorwerfen, daß deren RAW-Kompression nix taugt - wir sprechen hier von einem Unterschied von max. nicht mal 346 kB netto - oder 2,2%(!).
Mit eingebetteten Vorschauen ist die komplette DNG-Datei 11,8% größer als die NEF-Datei, die kleinste Variante der DNG-Datei ist 10% kleiner als die NEF-Datei - eben durch Weglassen der Voll-Vorschau.

Aller guten Dinge sind drei: NEF vs. DNG aus der Nikon D800

Zuerst - wie gehabt - das Testmotiv, RAW-Format auch hier auf 14bit verlustfrei komprimiert eingestellt in der Kamera. Der Software (Firmware?) - Stand wird in den EXIF-Daten angegeben mit ‘Ver.1.01’:

Und die Ergebnisse:

Tabelle: Bildformate in Pixeln Kantenlänge, Dateigrößen in Byte

Was ergibt sich nun daraus?

1. Die Gesamt-Dateigrößen sind bei gleichwertigem Inhalt (also Vorschau in voller Größe) bis auf wenige 100kB identisch.

2. Der DNG-Konverter “schnippelt” offenbar an den RAW-Daten herum: an der langen Kante ist das DNG um 46 Px kürzer - was soll das denn?
   Ausschnitte aus den EXIF-Daten des .NEF-Files:

    [EXIF]          SubfileType          : Full-resolution Image
    [EXIF]          ImageWidth           : 7424
    [EXIF]          ImageHeight          : 4924
    [MakerNotes]    CropHiSpeed          : Off (7424x4924 cropped to 7424x4924 at pixel 0,0)
    [Composite]     FileTypeDescription  : Nikon (RAW) Electronic Format
    [Composite]     ImageSize            : 7424x4924    
   

   Ausschnitte aus den EXIF-Daten des .DNG-Files:

    [EXIF]          SubfileType          : Full-resolution Image
    [EXIF]          ImageWidth           : 7378
    [EXIF]          ImageHeight          : 4924    
    [EXIF]          ActiveArea           : 0 0 4924 7378
    [Composite]     FileTypeDescription  : Digital Negative
    [Composite]     ImageSize            : 7378x4924
   

3. Schaut man sich die netto-Werte an, dann ergibt sich hinsichtlich der Effizienz der RAW-Komprimierung ein Unterschied von mageren 3,6% (oder 1,5 MB bei einer Gesamtgröße von über 40 MB).

4. Wenn ich Vorschauen mit ein paar MB weglasse, wird das File um ein paar MB kleiner - ein Wunder? Aber wie schon geschrieben: in der Kamera geht das eben nicht, wenn man das Bild vor Ort beurteilen will.

Fazit also auch hier: die Nikon RAW-Kompression ist nicht wirklich schlecht.

Schlußfolgerungen

Nach dem oben Dargestellten relativiert sich Gunther’s Aussage dann auch:

Es ist mir unverständlich, warum keiner der großen Hersteller auf das nun seit 13 Jahren etablierte DNG-Format zurückgreift, obwohl es offen dokumentiert ist und von jedem nutzbar. Es beinhaltet Kompressionsalgorithmen, die denen der Kamerahersteller weit überlegen sind und deutlich kleinere Dateien ermöglichen ohne Verluste.

Wenn ein Kamerahersteller RAW-Dateien speichert, dann kann er nicht so tricksen wie Adobe und die JPG-Daten weglassen oder zur Unkenntlichkeit zusammenschrumpfen, denn der Fotograf will die Möglichkeit haben, nach der Aufnahme die Detailschärfe prüfen zu können - und dazu ist die volle Auflösung unerlässlich. Das bemerke ich einschränkend nach praktisch jeder Aufnahme mit der Panasonic DMC-LX100 (Firmware 1.0): diese liefert eine JPG-Auflösung in der RAW-Datei von 1920x1440Px, und schon ab der zweiten Zoomstufe sieht man Artefakte anstatt die Bild-Schärfe beurteilen zu können. So geht das vielleicht bei einer Knipse, aber nicht bei einer ausgewachsenen Kamera.

Ferner gilt auch heute immer noch: Die Kamerasoftware ist durch ihre Hardware begrenzt - sie muss die Rohdatei so schnell wie möglich schreiben und nicht zu viel Strom aufnehmen, so dass die Kompression auf Geschwindigkeit und nicht auf Dateigröße optimiert ist. Computersoftware hat diese Einschränkung nicht. Und ehrlich gesagt ist es mir persönlich lieber, ich kann schneller (oder länger) fotografieren, als daß ich irgend ein paar (meist einstellige) Prozent an Speicherplatz spare.

Bleibt von den Vorteilen des DNG nur noch: ‘offen dokumentiert’. Aber auch das hilft nur bedingt, dazu schreibe ich in den Schlußbemerkungen noch etwas.

… und die Konsequenzen?

Ich bleibe bei meiner Meinung: DNG ist solange ok, wie es direkt aus der Kamera kommt, d. h. vom Kamerahersteller unterstützt wird.
Alles andere - insbesondere die Umwandlerei mit Drittsoftware - ist in meinen Augen nix Halbes und nix Ganzes und bringt - wie oben gezeigt - nicht wirklich Vorteile. Und wenn dann - wie im Fall der D800 - der Konverter auch noch an RAW-Datei rumschnippelt, dann wird’s vollends fragwürdig.

Aufruf zum Mitmachen

Wer bis hierher durchgehalten hat, der wird sich vielleicht fragen: Und nun?

Ob das DNG-Format wirklich der Weisheit letzter Schluß ist, das kann dahin gestellt werden:
Wikipedia beschreibt das Format so:

Das Digital-Negative-Format (DNG, deutsch digitales Negativ) ist ein patentiertes, offenes, nicht-freies, verlustfreies Rohdatenformat, das für die Digitalfotografie entwickelt wurde.

Da kommt das Wort ‘patentiert’ vor, eben ‘nicht-frei’. Ob und wann Adobe da irgendwelche Rechte geltend macht … wer weiß (Lightroom sollte auch “für immer” als Kaufversion angeboten werden).

Und wie Adobe selbst mit seinem “offenen Format” umgeht, zeigt diese Meldung im Adobe Blog vom Februar 2019:

The new Enhance Details algorithm enables you to increase the resolution of both Bayer and X-Trans based photos by up to 30%. Enhance Details works on any raw file apart from files converted to a linear raw file, HDR or Panorama merged files (though you can apply Enhance Details to the ingredient files first and then merge), smart proxies, lossy compressed DNGs, or DNGs saved with 1.1 compatibility.

übersetzt:

Der neue Algorithmus Enhance Details ermöglicht es Ihnen, die Auflösung von Bayer- und X-Trans-basierten Fotos um bis zu 30% zu erhöhen. Enhance Details funktioniert mit jeder Rohdatei, mit Ausnahme von Dateien, die in eine lineare Rohdatei konvertiert wurden, HDR- oder Panoramadateien (obwohl Sie Enhance Details zuerst auf die Inhaltsstoffdateien anwenden und dann zusammenführen können), Smart Proxies, verlustbehaftete komprimierte DNGs oder DNGs, die mit 1.1-Kompatibilität gespeichert wurden.

Wer also seine RAWs damals in DNG konvertiert und die Originale entsorgt hat - der guckt in die Röhre. Zurückwandeln ist nicht möglich - ist doch ein tolles Beispiel für die “Zukunftssicherheit des ‘offenen Formates’ DNG”.
Auch interessant ist der Abschnitt Appendix A: Compatibility with Previous Versions der DNG 1.5 Spezifikation: Wenn man sich da die Liste der Inkompatibilitäten und teils auch Implementierungsfehler seitens Adobe ansieht … dann sollte man zumindest mit dem Entsorgen originaler RAW-Dateien sehr zurückhaltend sein.

Die Entwickler von RawTherapee beschreiben in Rawpedia Szenarien, weshalb es auch bei Verwendung des “archivfesten” DNG ratsam sein kann, dieses immer wieder auf neue Versionen zu konvertieren - speichern und “vergessen” scheint also auch da nicht die unumstößliche Regel zu sein.

Even if your camera supports shooting straight to DNG, your camera’s implementation of DNG is likely outdated. In some cases it may be warranted to re-convert your old DNGs to a newer DNG specification using the newest version of Adobe’s DNG Converter. Possible reasons could be that the newer color matrices might be more accurate, lossless compression might be improved, improved support for defective pixel marking, inclusion of new opcodes, injection of new useful metadata tags, etc.

übersetzt:

Auch wenn Ihre Kamera die Aufnahme direkt in DNG unterstützt, ist die Implementierung von DNG durch Ihre Kamera wahrscheinlich veraltet. In einigen Fällen kann es gerechtfertigt sein, Ihre alten DNGs mit der neuesten Version des DNG-Konverters von Adobe wieder in eine neuere DNG-Spezifikation zu konvertieren. Mögliche Gründe könnten sein, dass die neueren Farbmatrizen genauer sein könnten, die verlustfreie Kompression verbessert werden könnte, die verbesserte Unterstützung für defekte Pixelmarkierungen, die Aufnahme neuer Opcodes, die Einspeisung neuer nützlicher Metadaten-Tags usw.

Aber auch hier: viel wenn, möglich und könnte … - und selbst das dürfte wohl die obige Problematik mit den DNG Ver. 1.1-Files, die von Adobe nicht mehr unterstützt werden, nicht lösen können.

Was soll ich jetzt tun?

Anstatt also sich auf windige Konvertierungsorgien einzulassen, sollte der geneigte Leser und Fotograf lieber dazu beitragen, daß die alten originalen RAW-Formate für die Zukunft erhalten bleiben und zu wirklich freien Projekten beitragen:

Das ist nicht schwierig, dazu muß man einfach Dateien aus seiner Kamera als Muster einem offenen Projekt wie raw.pixls.us zur Verfügung stellen.

2380 Worte - Lesezeit: 12 Minute(n)

Zu diesem Artikel: 

weitere Artikel

Nikon .NEF und die Dateigrößen: L, M-RAW, S-RAW, 14bit und 12bit vs. Adobe DNG (Teil 2)

12.02.2020 Im letzten Artikel habe ich mir RAW-Formate aus verschiedenen Nikon-Kameras bezüglich des Speicherplatzes, den die Bilder benötigen, angeschaut - und mit Adobe DNG verglichen. Heute soll es speziell um die aktuellen kleinen Nikon-Formate gehen: 12 statt 14bit Farbtiefe sowie die Größen M und S.

RAW-Dateigrößen - Teil 3: Canon, Pentax, Olympus, Panasonic und Fuji vs. Adobe .DNG

03.03.2020 Nachdem ich letzten Monat gezeigt habe, daß durch Umwandlung von Nikon-RAW-Dateien in DNG (und damit zwangsläufig dem 'Wegwerfen' der Originaldateien) nicht wirklich Speicherplatz zu sparen ist, geht es heute um Dateien vieler anderer Kamera-Hersteller.

sRAW, mRAW - die kleinen RAW-Formate der Nikon D500

07.07.2019 Nachdem Nikon von der D810 zur D850 den Aufbau der kleinen RAW-Formate komplett geändert hatte, wollte ich sehen, wie diese Formate bei der D500 aussehen

Verwirrung über Nikon D850 RAW-Formate

14.01.2019 Nikon ermöglicht in der D850 die Nutzung von RAW-Files unterschiedlicher Größen (sRAW, mRAW und volle Größe) - doch unterschiedliche Programme zeigen unterschiedliche Kantenlängen an. Was ist da los?