Nov 23 2010

DxOMark 2011 perfectionne son système d'évaluation des optiques et des boîtiers

DxOMark2011_corner.jpgEn juin dernier, nous vous avions proposé une visite guidée de la nouvelle mouture du site DxOMark, référence en matière d'évaluation de la qualité des matériels photographiques évolués. Nous avions notamment mis en exergue les tests de qualité optique qui représentent le produit phare de DxO Labs depuis la création de la compagnie.
Fondée sur les mesures DxOMark, la polémique autour de la difficulté des capteurs de nos reflex à tirer tout le parti des optiques à grande ouverture a vigoureusement rappelé que DxO Labs évalue également les boîtiers, et qu'un couple objectif/capteur est un ensemble absolument indissociable.

Hasard du calendrier, c'est une nouvelle mouture du site qui nous est aujourd'hui proposée, avec des modifications beaucoup plus conséquente qu'il pourrait sembler au premier abord. Présenter de façon claire, accessible et informative la multitude de mesures que produit le labo relève de la quadrature du cercle, car toute tentative de synthétisation est nécessairement réductrice. Sans modifier les grands principes de présentation des résultats, DxO Labs a rendu plus informatifs certains graphes et modifié de manière très sensible l'éclairage des mires de test afin de le rendre plus conforme à un usage photographique standard.
Je vous propose un rapide tour d'horizon des nouveautés que vous trouverez dans cette nouvelle version du site.



Modification du protocole de test

L'ancien éclairage des mires (5000 lux, 1/125s), qui correspondait à une lumière extérieure moyenne, était sans doute excessif car il ne discriminait pas assez les couples objectifs/boîtier qui doivent, dans la "vraie vie", affronter des conditions de lumière bien moins favorables. Le précédent protocole ne récompensait donc pas assez les optiques à grandes ouvertures qui apportent un surcroît d'utilisabilité en basse lumière. L'éclairage des mires de test a donc été réduit assez drastiquement (150 lux, 1/60s, correspondant à un éclairage moyen en intérieur).

La notation des objectifs a logiquement été chamboulée par ce changement de protocole, et l'on trouve désormais beaucoup plus d'objectifs lumineux en haut du classement. Pour autant, afin de continuer à apporter une information opératoire aux photographes de studio, aux paysagistes et à tous ceux qui shootent en condition d'éclairage favorable, DxO Labs a maintenu les mesures basées sur l'ancien protocole. Le résultat global, accessible dans le sous-menu Use Case Scores (voir plus bas), se nomme désormais Mid-Light Score, mais ne sert plus à différencier les objectifs entre eux.



Evaluation et classement des objectifs

La présentation du classement des objectifs n'a guère changé. Ce n'est donc plus le Lens Peak Score qui les départage mais le tout nouveau DxOMark Score, établi sur la base des mesures réalisées avec le nouveau protocole d'éclairage. Les concurrents étant des couples objectif/boîtier, on pourra retrouver plusieurs fois le même objectif dans le classement. Ne vous en étonnez pas.

DxOMark2011_1.jpg


Il est impératif, nous ne le répéterons jamais assez, de ne comparer que ce qui est réellement comparable. Pour cela, DxOMark propose un grand nombre de filtres qui permettent de réduire les couples boîtier/objectif à ceux réellement concurrents. Utilisez systématiquement le filtre Sensor format car l'impact de la taille du capteur sur le résultat global est considérable. Si vous avez un boîtier APS-C et que vous comparez le résultat de votre objectif avec un autre évalué sur un plein format, vous risquez de déprimer alors qu'il n'y a pas de raison à cela. Le meilleur objectif sur boîtier APS-C n'arrive qu'en 100ème position du classement global, avec un DxOMark score de 19, alors que le même objectif est 8ème avec score de 29 sur un boîtier à capteur plein format...
Comparer sur un boîtier donné un zoom, si bon soit-il, et une focale fixe lumineuse a déjà plus de sens, mais il faut se garder d'en tirer des conclusions trop négatives car la formule optique d'un zoom est toujours le résultat d'un compromis.
Idéalement, comparez des objectifs de même type sur des boîtiers à capteurs de même dimension.


Ce DxOMark Score n'est pas seulement le reflet du pouvoir séparateur de l'objectif mais une sorte agrégation pondérée de différents paramètres, qui sont pour la plupart détaillés dans le second onglet Optical Metric Score :

DxOMark2011_2.jpg


En cliquant sur un objectif, vous atteindrez la page qui lui est consacrée. Elle rassemble un grand nombre d'informations disséminées sous plusieurs onglets :

DxOMark2011_3.jpg


DxOMark2011_2zoom.jpg
La page de résumé (Overview) contient une innovation majeure pour les zooms, comme ici le Zeiss 24-70/2.8 sur l'Alpha 850 : si le DxOMark score est toujours le score maximal (avec indication de la focale et de l'ouverture qui l'ont atteint), une barre bleue indique désormais la dispersion des résultats sur l'ensemble des focales de l'objectif. Plus cette barre est étendue, moins l'objectif est homogène sur sa plage focale. Ainsi, même si c'est toujours le score maximal qui départage les objectifs, la barre bleue permet en un coup d'oeil d'avoir une idée de l'homogénéité de l'objectif.


L'onglet DxOMark Score permet d'aller plus loin dans le détail des résultats. Utilisant un code couleur comme marqueur de qualité, du vert au rouge, une carte présente les scores pour chaque focale et chaque ouverture :

DxOMark2011_4.jpg

On visualise aisément la plage d'utilisabilité de l'objectif selon l'usage auquel on le destine. On peut aller encore plus loin dans les détails en examinant un à un les paramètres constitutifs du score, via les autres onglets.

Le Lens Use Case Score est intéressant, car il fournit une notation globale de l'objectif selon les principaux usages photographiques, et abrite par ailleurs l'ancien "Peak score" évalué en lumière favorable, rebaptisé Mid-Light Score :


DxOMark2011_5.jpg

Pour plus d'informations sur le contenu des autres onglets, nous vous renvoyons à notre précédent article sur DxOMark.



Evaluation et classement des boîtiers

Peu de changements à noter dans la partie du site relative aux tests de capteurs. Notons tout de même la visualisation, sur la page de résumé, de l'ensemble des objectifs testés avec le boîtier sélectionné :

DxOMark2011_7.jpg




Conclusion

DxOMark est la référence incontestable en matière de tests optiques, mais également dans l'évaluation objective de la qualité des capteurs. Entièrement basées sur le RAW, les mesures réalisées par DxO Labs sont les seules à donner une image complète de la qualité intrinsèque des matériels testés. Au contraire des nombreux laboratoires qui continuent à tester les JPEG produits par les boîtiers (parfois d'ailleurs avec un  protocole DxO Analyser), les mesures en RAW sont affranchies des traitements logiciels embarqués, qui n'offrent qu'une projection déformée du signal. Une dose d'accentuation en plus ou de moins dans la production du JPEG pouvant modifier sensiblement le résultat final, les mesures en RAW sont les seules qui peuvent - et doivent - être considérées comme valides.

Dans cette version "2011" du site DxOMark, une pertinente modification du protocole de test, qui se déroule désormais dans un contexte d'éclairage standard, accroît l'utilisabilité des résultats. Les scores synthétiques sont plus informatifs, notamment pour les zooms qui disposent désormais d'une indication d'homogénéité sur leur plage focale. La cartographie du nouveau DxOMark Score offre sur un seul graphique une vision claire et simple à appréhender de la qualité d'un objectif en fonction des focales et des ouvertures. C'est donc une mise à jour très intéressante que propose DxO Labs, accompagnée d'un lot de 200 nouveaux couples objectifs/boîtiers

Un reproche que l'on peut faire à DxO Labs est de ne toujours pas proposer de version française de DxOMark. Pour une compagnie française, c'est quand même un comble... et c'est bien dommage pour le lectorat maîtrisant mal la langue de Georges Bush Shakespeare car les abondantes explications techniques que contient le site ne leur sont pas accessibles. Espérons que la prochaine version sera enfin traduite...

Commentaires   

# Guest 24-11-2010 14:01
:evil: Même pas en francais
# Philippe PIRET 03-12-2010 18:14
Merci Patrick pour ce compte-rendu.

Pour moi, DxOMark est désormais très clairement la référence pour effectuer les bonnes comparaisons avant tout achat.

Les magazines qu'Alphanum passe régulièrement en revue, je veux dire ceux d'entre eux que je préfère, ne suffisent absolument pas. Quand on consulte intelligemment DxOMark, on ne peut qu'en être encore un peu plus convaincu.

A+

Les commentaires ont été désactivés

Revue de presse

12 mars 2015
competence-photo-n-45-mars-avril-2015Retour de la revue de presse sur Alpha-numérique avec le numéro 45 de Compétence Photo qui vient d'arriver dans les kiosques (en attendant les numéros [...]
14 avril 2014
revue-de-la-presse-photo-hors-serie-mdlp-sur-lightroom-5-et-workflow-n-7Retour de la revue de presse dans Alpha-numérique avec un spécial Monde de la Photo, en attendant la chronique des numéros "normaux" datés de mai d'ici [...]
10 mars 2014
competence-photo-n-39-mars-avril-2014Le numéro 39 de Compétence Photo est arrivé dans les kiosques. À la une, un dossier très intéressant sur la vente de photos. Écrit à quatre mains par [...]
10 janvier 2014
competence-photo-n-38-janvier-fevrier-2014Le 38e opus de Compétence Photo est arrivé dans les kiosques à journaux. Au menu, un grand dossier de 32 pages sur l'exposition, que j'ai eu le plaisir [...]
12 novembre 2013
competence-photo-n-37-novembre-decembre-201330 pages sur GIMP ! Eh oui, c'est bien votre serviteur qui a commis ce forfait, le même qui émet régulièrement des réserves sur l'utilisation des [...]
27 octobre 2013
revue-de-la-presse-photo-novembre-2013Les revues de presse sont passées à la trappe ces derniers mois, victimes de mes indisponibilités à répétition. Je le regrette, car je suis très attaché à [...]
12 septembre 2013
competence-photo-n-36-septembre-octobre-2013Le numéro 36 de Compétence Photo est en kiosque. Au menu, un grand dossier sur la photo de studio. C'est un sujet récurrent dans le magazine, notamment au [...]