L'archivage des photos : quelques principes
Il y a un an, Alpha-numérique me proposait de rédiger un petit article sur l'archivage. Très enthousiaste à cette idée, je m'attelais à la tâche sans savoir que je n'arriverais à rien produire de particulièrement intéressant. Après un an, la feuille blanche était toujours devant moi : trop technique et donc pas d'inspiration sur le sujet.
Je décidais donc de changer de sujet et d'élargir la perspective en incluant l'utilisation de l'A900 que j'ai faite au travers de mes récents voyages et reportages car finalement, bien archiver, c'est d'abord avoir de bonnes règles de gestion d'images, le matériel étant alors choisi en fonction de ces règles.
En voyage, le fourre-tout est bien chargé. Outre le boîtier, les optiques CZ 16-35 et 24-70, le Sony 70-200 F2.8 et le flash H V L-F58 AM, j'ajoute un PC portable qui va me permettre de commencer à trier et travailler les images sur place.
J'ai choisi le SONY VGN-Z21ZN/X avec 4Go de Ram et 2 disques SSD de 128 Go montés en RAID1. Ce portable ainsi équipé pèse 1,5 kgs. C'est un des moins lourds que j'ai trouvés et sa puissance me permet d'exécuter sans problème DxO Optics Pro, Photoshop et Lightroom. Certes le prix est en rapport mais, franchement, il en vaut la peine.
Suivant la destination, il m'arrive de rajouter le 400 mm F4.5, le CZ 135 F1.8, le 50mm, un monopode et un trépied.
Enfin, des sauvegardes sont assurées sur deux disques externes de 500 Go. Je ne prends pas de tailles supérieures car, lorsqu'un disque tombe en panne, plus sa taille est importante, plus la quantité d'informations perdues est grande. Je préfère donc avoir plusieurs petites unités indépendantes qu'une seule importante. J'applique aussi ce raisonnement à mes cartes mémoires, j'ai opté pour 3 de 8 Go et 2 de 16 Go. Il faut tout de même faire attention : si on compte bien, cela fait au moins 8 unités de stockage et la probabilité qu'une de ces unités tombe en panne augmente sensiblement.
Prochainement, j'espère pouvoir partir faire une virée à Madagascar, et j'ajouterai certainement un videur de cartes car le 220 volts ne se trouve pas tous les soirs.
Travailler en RAW
Je travaille uniquement en RAW, le JPEG étant réservé à des moments où la qualité n'est pas très importante et la livraison rapide. Ce cas de figure arrive rarement : j'ai toujours quelques jours pour livrer mes images et j'en profite pour les peaufiner. Etant de nature paresseuse, je ne supporte pas de passer plus d'une minute par image en post traitement. Au delà, je considère la photo ratée et je me maudis de ne pas avoir mieux soigné l'exposition ou d'avoir travaillé à d'aussi bas ISOs. Par ailleurs, sur un plan plus pragmatique, je suis intimement persuadé qu'un logiciel externe disposant de puissance, de temps et de ressources supérieures, ne peut que me sortir une image de meilleure qualité.
Le RAW augmente de manière importante le besoin en espace de stockage : 35 Mo pèsent lourd. Il suffit de bracketer quelques fois et le besoin explose. Lors d'un voyage en Martinique qui a duré 10 jours, j'ai ramené 45 Go de photos et sélectionné 50 épreuves : j'ai écrit 100 fois "je ne dois pas céder à la facilité" !
Sécurisation des images
Au bureau, j'utilise une station de travail bi-xeon Quad Core ( soit au total 8 coeurs ) avec 8 Go de RAM et 2 disques SATA III de 300 Go chacun montés en RAID1.
L'archivage proprement dit est réalisé sur plusieurs NAS (Network Attached Storage) composés de 4 disques de 250 GO montés en RAID5 soit au total 750 Go.
Pour simplifier, un NAS est un équipement qui permet d'accéder à un ou plusieurs disques via Ethernet. Il se compose donc:
* d'un microprocesseur basique
* d'un contrôleur Internet
* de un ou plusieurs disques.
Une fois branché et configuré, il apparait dans votre explorateur réseau comme un ordinateur classique ( ici 4BAY-NAS)...
Figure 1 visualisation du NAS 4BAY-NAS sous Vista
... qui exporte des répertoires partagés:
Les NAS possèdent une interface LAN et sont visibles du serveur, de la station et du portable via le réseau. Le débit est assez faible, il ne faut donc pas avoir à accéder trop souvent aux données qui y sont stockées.
Par rapport à un PC, Les NAS proposent des modes de protection de données qui permettent de récupérer les fichiers si un des disques vient à tomber en panne. Les modes RAID1 et RAID5 sont les plus courants : RAID1 (ou mirroring), les données sont écrites simultanément sur 2 ou plusieurs disques, RAID5 les fichiers sont écrits sur au moins 3 disques en ajoutant une information permettant de reconstruire l'ensemble des fichiers si l'un des disques est défectueux. On trouve aussi du RAID2 (plus utilisé), RAID3, RAID4 mais moins intéressants en terme de protection de données. Le RAID0 n'est pas une solution de protection car elle consiste à enregistrer un fichier sur plusieurs disques afin d'améliorer les performances lors de la lecture des fichiers. Enfin, rien ne vous empêche de combiner différents niveaux de RAID: RAID 5 1 signifie que vous allez gérer 2 ensembles de disques organisés en RAID5. Dans ce cas, vous aurez besoin de 6 disques au minimum.
Le recyclage de vieux PCs est aussi une solution à prendre en compte. J'utilise ainsi un vieux serveur Pentium IV à double cœur pour la gestion de mes images en y ayant installé un serveur Java et une base de données. Ce serveur possède 2 disques de 160 Go montés en RAID1. L'inconvénient est qu'un PC consomme beaucoup d'énergie et peut être bruyant par rapport à un NAS.
Comme vous pouvez le constater, dès que j'ai une unité de calcul ( un serveur ou une station de travail), les disques sont systématiquement en RAID1.
Vous pourriez penser qu'il s'agit de paranoïa, mais j'ai déjà "usé" des disques et ces précautions me semblent indispensables pour ne pas perdre de données:
Tout ce petit monde fonctionne sous XP ou Vista, les NAS sous Linux, et sont configurables via une interface WEB.
Faut-il faire des sauvegardes sur DVD de vos images? A mon sens non : un DVD est un moyen d'échanger des données, de faire une sauvegarde temporaire mais sa fragilité et sa durée de vie n'en font pas un moyen d'archive à long terme.
Amélioration des performances
Dans votre flux de production, le réseau peut être un facteur de ralentissement sans que vous vous en rendiez compte, et il ne faut pas négliger ce point lorsque vous montez votre configuration : les temps de chargements et de sauvegarde d'images peuvent être extrêmement longs. Si vous travaillez à plusieurs (dans un studio par exemple) et que vous avez besoin de partager vos images (un tiff de l'A900 pèse environ 100mo, et s'il faut rajouter les modifications Photoshop, on va monter facilement à 200 voire 300 mo pour une image), le réseau est le facteur limitant.
Votre réseau contient en général un routeur qui permet de faire communiquer vos différents appareils entre eux. Si vous avez un internet haut débit, la solution la plus simple est d'utiliser le routeur ADSL du fournisseur d'accès. Ces routeurs sont en général fiables et bon marché mais leur interface réseau plutôt limitée. Typiquement, le mien a une bande passante de 100 Mbit/s ce qui est largement suffisant pour 99,9% des applications.
Cependant, mon ordinateur affiche lui 1Gb/s soit 10 fois plus "rapide" . Vous pouvez choisir alors entre 2 solutions:
* si votre station dispose d'un 2eme port Ethernet, vous y connectez directement un NAS grâce à un câble croisé.
* vous faites l'acquisition d'un switch 1Gb. Ce petit équipement permet de relier des unités IP entre elles et de les faire communiquer sans passer par le routeur. Ce dernier reste cependant indispensable pour allouer les adresses IPs aux différents équipements.
La première solution est intéressante dans votre politique d'archivage, car elle vous permet de masquer ce NAS aux autres équipements.
La deuxième solution est très simple à mettre en place et très peu onéreuse et c'est celle que j'ai choisie.
Si vous travaillez en studio et que votre volume d'images échangées sur le réseau est important, je vous conseille de prendre des NAS avec 2 ports Ethernet et de travailler sur la première solution : l'idée est de créer 2 réseaux, un dédié à l'archivage et au partage, l'autre lié à l'enregistrement des épreuves en vue d'un partage. Il faut cependant avoir une production conséquente avant d'envisager une telle solution.
Ne faites pas confiance qu'au matériel
Une fois une telle architecture mise en place, vous êtes quasiment assuré de ne pas perdre d'images sur une panne de matériel. Il reste tout de même à régler un dernier problème: comment vous prémunir du vol ou de la destruction simultanée de votre matériel ? La solution la plus simple est de sauvegarder vos images sur des disques et de les confier à plusieurs de vos amis.
Vous pouvez aussi faire appel à des prestataires spécialisés dans l'archivage de données, mais réfléchissez bien avant de leur confier vos épreuves : ils peuvent faire faillite, être victime de piratages et eux mêmes perdre des données. Enfin, si votre situation financière vous permet de payer maintenant la location d'un espace d'archivage, rien ne vous dit que ce sera toujours le cas dans 20 ans.
Gestion de votre espace d'archivage
Vous aurez beau multiplier les NAS et recycler vos vieux PCs, arrive un jour où vous devez gérer vos images en faisant le tri entre les bonnes et les mauvaises. Quelle politique pouvez vous choisir ? Pour ma part, j'ai décidé de travailler sous la forme de caches : je dédie un (gros) espace de disque sur la station de travail aux dernières épreuves que je souhaite modifier et une fois que l'espace est rempli, je le vide des photos les plus vieilles vers un autre espace et ainsi de suite. Rien ne vous empêche de définir un autre endroit où les photos un peu moins récentes seront enregistrées et ainsi de suite. Vous pouvez alors multiplier le nombre de "niveaux" de cache, par exemple :
A chaque passage d'un niveau, un tri doit s'effectuer pour ne garder au final que les meilleurs. Si cette méthode permet d'archiver, elle ignore la gestion. Pour cela, il faut impérativement un outil informatique qui sache retrouver automatiquement les images en fonction de critères de recherche que vous définirez en vous masquant la complexité de votre matériel.
A ma connaissance, cet outil n'existe pas encore pour les amateurs ou les professionnels, et nous en reparlerons peut-être un jour.
Conclusion
Au final, le coût engendré par l'archivage numérique des images peut être très élevé. Si les premiers prix de NAS sont aux alentours de 500 euros, certains atteignent quelques milliers d'euros. A ceci, il faut ajouter l'obsolescence du matériel qui va vous forcer à acheter des équipements en prévision d'une panne. J'ai ainsi en stock plusieurs disques neufs compatibles avec mes NAS, 2 CPUs pour ma station, de la RAM, une alimentation, etc. Si vous êtes un amateur, le recyclage de PC reste la solution la moins onéreuse et la plus simple. Si vous êtes professionnel, vos moyens d'archivage doivent être compatibles avec votre pratique, mais sécurisez au minimum vos disques principaux en adoptant du RAID1.
Commentaires
Je suis personnellement sensible à la sécurité des photos que je stocke.
J'ai fais une seule fois les frais d'avoir une copie unique de mes données que j'ai perdues lorsque mon disques externe est tombé.
Aujourd'hui, je multiplie les sauvegardes. Cependant, la mise à jour des informations est aussi un point important.
Je serai intéressé de connaître les différents logiciels de mirroring et d'actualisation des données. En effet, en travaillant sur Photoshop, le développement des RAW génère des fichiers *.xmp qu'il est intéressant de recopier sur les sauvegardes. Je suis actuellement en train de tester "Super Flexible file synchroniser" pour automatiser cette tâche
Merci pour le travail réalisé!
Rémy
C'est toujours instructif de voir les méthodes utilisées par les autres.
Quelques remarques néanmoins:
- s/contrôleur Internet/contrôleur Ethernet/
- L'absence d'une note concernant les risques liés à l'archivage localisé en un seul lieu (surtension électrique, incendie, inondation, cambriolage, etc...).
Pour les sauvegardes, j'utilise CrashPlan : ce logiciel gratuit propose, outre un backup en ligne classique (payant), de sauvegarder vos données à distance sur la machine d'un ami ayant installé le même logiciel.
Une question concernant la pérennité du format de données : faut-il conserver les fichiers RAW tels quels, ou les convertir dans un format plus neutre dès aujourd'hui ?
Je vais également partager ma config de stockage, un peu différente en tans que particulier, mais avec de grande similitude quand même :
- De retour de séances, je grave systématiquement mes images sur DVD (c'est mon négatif !! ) que je range et n'utilise que très rarement en cas de mauvaise manipe.
- Un NAS 5 bais brancher sur un onduleur (très important) 5x2TO en Raid 5. C'est la dessus que je bosse mes images, sur un réseau en gigabit c'est performant.
- Un deuxième NAS 2x2TO en raid 1 pour dupliquer les données sensible du premier en mode synchronisation une fois par semaine. Le reste du temps il est éteint et caché !!.
- Un disque dure externe 1TO ou je re-duplique les images inestimables à mes yeux (souvent les plus moches ...) assez régulièrement, qui est stocké chez un ami.
J'ajouterais une critique sur le titre, "Archivage" est souvent associé au classement, tri ... alors que ce sujet parle plus de stockage et sécurité ...
merci pour vos retours.
Pour la note, j'ai mis cela dans la partie "Ne faites pas confiance qu'au matériel "
Hery
Il faut également s'interroger sur la pérénité du format des données , votre RAW propriétaire 2010 sera -t-il toujours accepté dans 10 ans par les futurs logiciels , ne faut-il pas convertir en DNG ?
Et comme le dit Plinux , il faut délocaliser les backup (incendie,vol,etc..)
En attendant, aucun boîtier n'a jamais disparu d'une liste, et le poids d'un format lisible par un logiciel est ridicule en regard du poids du logiciel lui-même...
Ce problème de pérennité de format concerne tous les formats de fichier et pas seulement dans le domaine de l'image: qui vous dit qu'un PDF créé il y a 5 ans sera toujours lisible une fois qu'Adobe aura fait faillite :wink: ?
Maintenant, Julien a raison, il n'y a pas péril en la demeure quant au support des raw actuels pour les années à venir. Du moins en restant dans l'optique d'une petite structure qui gère finalement peu de formats différents et qui développe ses solutions d'archivage en interne. Dans le cas par exemple d'une bibliothèque où les archives peuvent dormir plusieurs dizaines d'années, qui mandate une entreprise extérieure car les bibliothécaires et archivistes ne sont pas formés pour ça, la question de l'obsolescence du matériel et des formats se pose avec davantage d'acuité.
Ceci étant, après l'avoir utilisé longuement pour l'écriture d'un article à paraître dans le prochain numéro de Compétence Photo, je confirme que Capture NX2 est de très loin le meilleur logiciel propriétaire. Ceci étant, vu son prix, c'est la moindre des choses.
A titre personnel je préfère quand même Lightroom, que je continuerais à utiliser même si je devenais Nikoniste, mais j'ai été vraiment très impressionné par Capture NX2...
J'ai adopté le videur de carte mémoire Hyperdrive colorspace, et j'avoue que cet appareil est très pratique. Il ne répond pas complètement à la sécurisation des données s'il est utilisé seul, mais son avantage est clairement reconnu en terme d'encombrement et de rapidité de vidage.
Je suis d'accord avec Julien, le RAW ne disparaitra pas du jour au lendemain, et il sera temps de convertir dès que ça sentira le roussi. d'autant plus, que peut être, demain les convertisseur DNG seront plus performants en nous créant des DNG light. Allons ne cédons pas à la panique.
S’abonner au flux RSS pour les commentaires de cet article.