Fév
01
2013
Évaluer un boîtier ou une optique exige un protocole de test à la fois rigoureux et reproductible. Rigoureux pour garantir la fiabilité des résultats, reproductible pour permettre la comparaison entre les résultats de plusieurs appareils. Sans un minimum de matériel d'éclairage, une cible pertinente et une bonne compréhension de ce que l'on cherche à mesurer, mieux vaut s'abstenir.
Test du Sony NEX-6 par les Pixelistes : un gros problème de protocole !
Évaluer un boîtier ou une optique exige un protocole de test à la fois rigoureux et reproductible. Rigoureux pour garantir la fiabilité des résultats, reproductible pour permettre la comparaison entre les résultats de plusieurs appareils. Sans un minimum de matériel d'éclairage, une cible pertinente et une bonne compréhension de ce que l'on cherche à mesurer, mieux vaut s'abstenir.S'abstenir, c'est précisément ce que ne font pas les photographes amateurs qui publient des tests approximatifs sur les forums et sur les blogs. Ce n'est pas un problème a priori, mais ça le devient quand il s'agit d'un site très fréquenté comme celui des Pixelistes et que le test est signé par le patron des lieux, ce qui lui donne un caractère plus "officiel". Il s'avère par ailleurs que lesdits lieux ont longtemps été réservés au matériel Nikon. L'ouverture sur le matériel d'autres marques est plutôt une bonne nouvelle, sauf s'il s'agit de l'éreinter comme c'est le cas pour le Sony NEX-6.
Cet article est d'abord une mise en garde adressée aux lecteurs pixelistes afin qu'ils aient conscience des faiblesses du protocole mis en place sur leur site. Mais il s'adresse plus largement à tous les photographes qui veulent tester un boîtier, afin qu'ils déjouent les principaux pièges posés par cet exercice périlleux.
Avant de commencer, mettons les choses au clair. Je n'ai rien contre les Pixelistes et il ne s'agit pas d'une querelle de clocher. J'ai beaucoup de respect pour le travail de Marc Decristoforo, alias Pyroclastique, qui est un copain. Avant de me résigner à écrire cette mise en garde, j'ai tenté de le convaincre de retirer provisoirement la partie problématique du test en attendant qu'elle soit refaite sur la base d'un meilleur protocole. Il a malheureusement choisi de ne rien faire, et l'erreur commise est trop énorme pour ne pas la signaler ici. Même si Marc refait le test, les lecteurs de la version initiale ne retourneront pas lire l'article...
Cela étant dit, venons-en au test du NEX-6, que je vous suggère de lire avant de prendre connaissance de ce qui suit. La partie incriminée est le test de bruit à hauts ISO, qui est un sujet inépuisable d'erreurs de protocole et de mauvaises interprétations. Même dpreview n'y a pas échappé, comme je l'avais mis en évidence il y a quelques mois dans un article intitulé Sony Alpha 77, test complet #2 : bruit numérique et erreurs de protocole.
Voici la partie d'image ayant été utilisée pour évaluer le bruit numérique à différentes valeurs ISO :
On voit immédiatement que l'image est très sombre. Cela saute encore plus aux yeux quand on la compare à celle utilisée dans un autre test des pixelistes, celui du Fuji X-E1.
Pour mesurer l'ampleur du problème, il est utile d'examiner l'histogramme des luminosités de ces deux images.
À gauche, l'histogramme de l'image prise par le NEX, à droite celui pour le Fuji. L'énorme écart saute aux yeux et il est confirmé par les informations figurant sous les vignettes. On constate que la luminosité moyenne est de 69 pour le NEX, et de 139 pour le Fuji (l'écart entre les médianes est encore plus important, mais conservons la valeur moyenne). Sachant que les valeurs de luminosité vont de 0 à 255 entre le noir pur et le blanc pur, l'écart de 70 entre les deux moyennes correspond à 27% de l'ensemble de la plage des luminosités. Ce type de capteur ayant une dynamique d'environ 12 IL, l'écart est donc d'environ 3 IL. Comme on voit sur l'histogramme du Fuji que l'image a été bien exposée, cela indique que la sous-exposition de l'image prise avec le NEX est d'environ 3 IL, ce qui est considérable !
Il faut savoir qu'en première approximation, diminuer l'exposition de 1 IL augmente le bruit de 1 IL, comme je l'avais montré dans l'article intitulé Alpha 900 + DxO Optics Pro 6 = 102400 ISO ? Cela signifie qu'avec une sous-exposition de 3 IL, le bruit à 800 ISO est semblable à celui à 6400 ISO si l'image avait été correctement exposée. Comment s'étonner alors que dans le test du NEX-6, Marc ait perçu du bruit dès 800 ISO ? On s'étonne presque qu'il n'en ait pas avant...
L'erreur ayant été approximativement quantifiée, essayons d'en comprendre l'origine. L'image complète de la prise de vue donne une première indication.
L'arrière-plan est clair et la cible est très mal éclairée. La cellule, qui devait être réglée en mesure large, a fait de son mieux avec cette composition disparate, et a logiquement produit une partie centrale sous-exposée. Pour limiter le problème, il aurait fallu ne cadrer que la cible ou, à tout le moins, choisir une mesure pondérée centrale ou une mesure spot sur une partie de luminosité moyenne de la cible.
L'autre partie de l'erreur vient d'ailleurs, peut-être d'une sous-exposition intrinsèque au boîtier. Quoi qu'il en soit, pour qu'un test de bruit soit valide, il faut que l'exposition de la cible soit bonne. Si l'appareil a tendance à sous-exposer dans le contexte très particulier d'un test sur mire, il faut corriger l'exposition (en passant en M ou via la correction d'exposition en mode A ou S). Ce point est très important et constitue une fréquente source d'erreur dans les protocoles de test. Il faut bien avoir conscience que ce n'est pas la cellule de l'appareil qui est testée, mais le capteur et seulement le capteur. Il est donc impératif de découpler les comportements du capteur et de la cellule. La chose est encore plus importante lorsque des comparaisons entre boîtiers sont émises, comme dans ce test entre le NEX et le Fuji.
Pour conclure, contrairement à ce que prétend Marc, tous les tests sérieux du capteur CMOS 16 Mpx du NEX-6 ont indiqué qu'il était l'un des meilleurs APS-C, voire le meilleur, qu'il soit embarqué dans un NEX, dans un Alpha, dans le Pentax K-5 ou dans le ... Nikon D7000. Il suffit de regarder les scores DxOMark pour le vérifier. C'est quand même bien dommage qu'un test réalisé sur la base d'un protocole très approximatif vienne jeter le doute sur les qualités de ce capteur et du NEX-6. Et il est encore plus regrettable que son auteur, ayant pourtant pleinement conscience du problème, ait choisi de laisser le test en l'état. Comme l'écrivait Augustin d’Hippone, Humanum fuit errare, diabolicum est per animositatem in errore manere.
Commentaires
Très personnellement je préconise ceci : laisser aux labos le soin de tester les boitiers et contenter vous d'une bonne prise en main !
Personnellement lorsque je veux des mesures fiables je ne chipote pas, je vais faire un tour chez DxO
Tester chacun des composants permet d'obtenir des données scientifiques, propre et répétable permettant d'évaluer correctement le potentiel du composant.
Il est aussi intéressant d'évaluer le comportement des automatismes, à partir du moment - et ce n'est pas le cas dans ce test - ou l'on explique clairement qu'on évalue l'ensemble/l'automatisme et non le composant.
C'est particulièrement important pour un test grand publique, visant des personnes testant en "tout auto". Par contre, je ne suis pas sûr que ce soit le cas des Pixelistes !
Le problème du tests des automatismes, c'est qu'ils sont beaucoup plus dur à évaluer, notemment sur les cas où ils se trompent.
Cela étant, ce n'est pas possible de laisser un test à la merci de la réaction de la cellule du capteur. Shooter une mire n'est pas une situation que la cellule est censée comprendre tant elle n'a rien à voir avec la "vraie vie". Il me semble donc impératif de contrôler l'exposition dans un test ISO sous peine d'obtenir des résultats aléatoires. Et quand la cible change d'un test à l'autre, je n'en parle même pas... :confused:
Comme tu dis, c'est bien dommage...
C'est exactement pour éviter ce genre de problème que sur mon blog le matériel que je teste, est testé sur le terrain, et que je me refuse à faire du test labo.
Faire du teste labo est quelque chose qui demande beaucoup de rigueur, et un savoir-faire évident, sans compter le matériel nécessaire.
C'est une très bonne chose que de démontrer les problèmes que peut engendrer un test fait sans toutes la rigueur nécessaire!
En bref, très bon article que je plussoie ^^
Mais cela demande une certaine rigueur, comme tu le démontres très bien.
Merci pour le compliment pour mon test, cela me fait vraiment plaisir!
C'est vrai qu'un test terrain sur le A99 à toutes sa place sur un site consacré à la marque :mrgreen:
En tout cas, je te remercie pour ta remarque!
Si ça peut t'arranger, cela ne me pose pas le moindre problème! :wink:
J'ai encore plein d'articles tests à publier, liste non exhaustive:
Sans compter les objectifs, les boitiers que je dois encore recevoir...etc.
Bref, je suis un peu trop débordé pour le coup ^^
Mais je te remercie pour la proposition ;)
Des fois on se dit que même les journées de 48h seraient trop courtes.
Mais d'un autre côté, on fait des choses qui nous passionnent, donc, c'est un mal pour un bien ;)
Idéalement il faudrait faire comme C.I. qui montre toujours le crop du timbre et le pompom de velours, toujours éclairés de la même manière (intensité et t° de couleur) pour faire des tests fiables.
Pour des tests "terrain" comme celui de Pixeliste finalement, on doit rester plus circonspects. Etre précis sur le bruit et l'AF sont certainement les 2 caractéristiques les plus dures à tester.
Sans compter que pour le bruit... on parle de JPG, de RAW? Traités avec Lr, Dxo, C1? En tout auto ou réglages à 0? et 0 sur Lr c'est la même chose que 0 sur C1? Bref, il faut une chaine de test sans variables pour que ça marche!
Là le problème, c'est l’entêtement de Marc Decristoforo à laisser en ligne un test FAUX...
Tu as parfaitement raison Patrick. Le rapport signal/bruit est défavorable dans les basses lumières, alors pas étonnant que le résultat soit tronqué.
Tu l'avais aussi signalé qu'il fallait un crop comparable en fonction de la définition de l'image pour juger de la quantité de bruit.
Cyril
Merci encore pour votre foi
L'auteur mentionne cependant son propre doute sur les résultats qu'il obtient. C'est assez rare chez les testeurs (qu'ils se prétendent rigoureux ou non)
Parce qu'en réalité qui est vraiment rigoureux ? Vous ?
Vous testez un échantillon de combien d'objectifs avant de prononcer un avis général de performance ? (100, 20, 1). J'ai ma petite idée.
A partir de là quand on connaît la variance de production série (ne parlons pas des tests d'objectifs anciens où c'est encore pire) on peut relativiser la prétendue rigueur. "Les numériques" en ont fait les frais sur le SELP1650 en décembre.
Ensuite une mire à une distance donnée ça vaut quoi ? On sait bien qu'il y a des objectifs bons en proxy et médiocres vers l'infini. Donc à mes yeux la mire à distance unique c'est juste une données insuffisante parmi d'autre.
Sans parler de ceux qui font uniquement sur une mire n&b. (on aura juste une idée de la résolution n&b)
Comment comparer des boitiers sachant qu'on compare toujours des couples boitier-objectif.
Tout ça pour dire que je n'ai jamais lu de tests labos que je considère comme rigoureux.
C'est vrai qu'il y en a de plus rigoureux que d'autres. C'est tout. Mais la seule chose qui m'interesse c'est l'avis "vrai vie" auquel on ne peut donner du crédit que lorsqu'une unanimité se dégage.
Par contre ça me désole de lire sur un blog que j'apprécie "moi je suis rigoureux, DXO aussi et dpreview et tartanpion ne le sont pas". Ca me semble inutile sachant que le lecteur est capable de se faire son avis.
Lorsque je lis ce genre de propos je me questionne sur la passion excessive de l'auteur des propos quant à la marque en question.
Le lecteur est capable de faire une moyenne des avis qu'il trouve à travers le net et la presse. Et donc de juger celui qui semble trop partisan.
J’interprète ce coup de gueule comme celui d'un blogueur qui dévoile sa passion excessive pour la marque Sony (que je partage).
Et il pose un gros doute quant à votre indépendance vis à vis de Sony aux yeux du lecteur.
Bien sur ça ne gène pas les habitués qui partagent cette passion. Mais le lecteur "de passage" qui tombe sur ce post en première page sait immédiatement à quoi s'en tenir : Est-il sur un site officiel Sony France ??
La question se pose en tout cas.
C'est vraiment dommage de teinter à ce point en orange le blog car le contenu est de meilleure qualité que ce qu'on trouve en moyenne sur le net.
D'autant plus dommage que la remarque de fond est entièrement fondée. C'est uniquement la ton employé et les arguments très appuyés trahit cette passion. Le même message aurait pu avoir plus de portée et surtout de crédit formulé autrement. Juste aider le lecteur à se poser les bonnes questions. A lui de juger ensuite. Pas à vous (surtout avec ce nom de domaine)
Jean-Philippe
Personne ne prétend proposer des tests parfaits, pas même DxO et moi encore moins. En revanche, chacun se doit de faire au mieux avec les moyens à sa disposition.
Si j'ai écrit cet article, c'est parce que l'auteur a publié son test en pleine conscience de l'énorme erreur commise, ce qui n'est pas acceptable. Et la phrase qui signale ses doutes sur la validité des tests, il l'a rajoutée à la suite de notre échange de mails, concession maximale qui lui était visiblement possible de faire.
Quant à vos accusations de collusions avec Sony, elles me font bien sourire et cela fait longtemps que je n'y avais pas eu droit sur alpha-numérique. Mais j'ai bafoué le photographiquement correct en émettant une critique sur le contenu d'un autre site, ce qui est mal. Il s'avère que non seulement je n'ai pas de relation avec Sony autre que la réception des dossiers de presse la veille de l'annonce officielle, mais qu'en plus il n'y a sur ce site ni publicité, ni lien sponsorisé ni partenariat d'aucune sorte. Vous parlez de passion ? En effet, c'est cela et cela seul qui me motive, puisque ce site ne fait que me coûter du temps et le prix de son hébergement. Cette passion, c'est celle du partage et non celle du matériel Sony. En revanche, je suis évidemment plus sensible à ce qui se fait et se dit autour du matériel Sony puisque c'est celui que j'ai choisi en tant que photographe. D'où cette réaction que je n'aurais évidemment pas eue s'il s'était agi d'un matériel Nikon testé sur un site dédié au matériel Nikon. Je laisse cela à d'autres plus concernés. Est-ce un problème ? L'universalité n'est que je sache pas une obligation sur le Web, et j'ai pour principe de ne parler que de ce que je connais, ce qui me semble assez sain.
Pour le reste, je vous suggère de remballer votre condescendance et de passer désormais votre chemin. Vous trouverez sur la toile quantité de sites bien plus intéressants et objectifs que le mien. Et surtout, n'oubliez pas de cliquer sur leurs encarts publicitaires...
pourquoi publier des commentaires aussi bouffis de prétention. C'est le genre de gars à ne parler que pour donner des leçons. Il dit qu'il lit le site, mais je ne me souviens pas qu'il ait posté un autre commentaire que ceui-ci, pour débattre ou pour remercier de ton partage bénévole. Ces types sont la plaie du net, bien plus que les kikoolol. La seule chose qu'ils savent faire c'est critiquer et détruire alors qu'eux-mêmes n'apportent jamais rien à personne.
Les gens qui ont une très haute estime d'eux-mêmes ne s'abaissent pas à remercier, Sylvain. Ils prennent, car tout leur est dû. Mais quand ils croient déceler une occasion de démontrer leur supériorité et leur hauteur de vue, ils s'expriment. Et sans fautes d'orthographe.
Allez, ceci n'est pas bien grave. On a un troll tous les 6 mois sur alpha-numérique. Il suffit de lire les zones de commentaires d'autres sites du même genre pour constater à quel point nous sommes ici remarquablement épargnés... :)
Comme toi je ne censure jamais (et pourtant j'ai en moyenne plus de 100 commentaires par article)et j'ai pourtant eux très peu de "troll".
Je dois pouvoir les compter sur les doigts d'une main.
Par contre, des remarque comme celle qui t'a été faite, ça, j'y ai eu droit, plusieurs fois.
Heureusement, dans l'ensemble, c'est beaucoup plus de commentaires positifs que de négatifs ^^
Enfin bref, allez, ça met un peu d'ambiance...
Tu es au moins aussi corrompu que moi qui, tout le monde le sait bien, suis vendu et entièrement à la botte d'Adobe qui finance mon coûteux site , dont le fonctionnement présente, lui aussi, un coût kolossal (avec un k, ce qui est encore plus haut dans la hiérarchie des colossalités).
:mrgreen:
A propos Patrick, Augustin que tu cites dans le texte est un "paÏs"
Un païs ? J'avoue mal connaître la vie privée de Saint-Augustin...
Je suis assez d'accord avec toi sur le manque flagrant de sérieux sur ce test. L'exposition d'une photo est un point clé concernant le bruit.
Sur l'exemple du Nex 6, c'est flagrant.
Mais il fait la même chose pour le matériel Nikon. Regardez le comparatif haut iso D300/D700/D600. Même endroit, même jour, et 3 expos totalement différentes. Et le mode semi auto A donne 2 expos différentes entre le D700 et le D600, ce dernier "sur-exposant" de la bagatelle de 1IL par rapport à son prédécesseur. Que peut-on donc en conclure ?
Et même DXO. Prenez la valeur de "low-light iso". Le d600 prendrait le large, un petit 1/3 d'IL face au 6D, et 1IL à l'a99.
Et si l'on regarde le comparatif entre ces 3 appareils sur dpreview, on se dit que finalement, le 6D serait un poil de fesses devant le D600, et l'a99 entre 1/2 et 3/4 d'IL derrière, parfaitement logique avec l'histoire du miroir, soit sur un tirage de la vraie vie, des résultats vraiment très proches, et où l'écart se fera plutôt sur qui exposera mieux (et non pas se borner à lire uniquement une valeur d'iso dans un mode auto ou semi auto).
Alors qui croire ?
Je pense que, autant avant les écarts étaient conséquents, autant, maintenant, se borner à savoir qui donnera le plus propre des isos, n'est pas un quête si intéressante, tous se valent.
Et sur ce point précis, je préfère comparer des photos "de la vraie vie", et tout le monde dans les mêmes conditions.
Ta dernière phrase me laisse un peu sans voix. Des photos de la vraie vie prises dans les mêmes conditions ? Mais c'est totalement antinomique. La spécificité de la vraie vie est d'être fondamentalement non reproductible. Tu peux apprécier ce type de photos pour fonder un jugement, mais certainement pas une comparaison...
J'ai cité dpreview, qui est une autre source, mais j'ai sciemment poussé un peu le bouchon, car je sais pertinemment que les conditions de prises de vue ne sont pas les mêmes
Mais si cette notation précise a le mérite d'exister, c'est son interprétation qui pourra être tendancieuse. J'ai cité justement D600, 6D et a99. relativement gros écarts, et plus particulièrement pour l'a99 qui a l'air de se faire monstrueusement distancer. Pourtant, hors photo de mire, si on règle les 3 à 3200 ou 6400 iso, par exemple, je ne suis pas convaincu qu'on sache les différencier, peut-être même pour l'a99.
C'est la notation en valeur d'iso que je critique surtout, bien que je sois conscient que c'est compliqué de faire autrement.
Car si on revient sur cette valeur d'iso, je ne devrais pas utliser mon Nex 7 au-delà de 1000 iso. Pourtant, mes photos à 1600 iso, j'en ferais des A2 sans aucun soucis de qualité, tant en couleur qu'en bruit. Alors où est la limite.
Pour le comparatif, quand je peux, je prends les 2 appareils avec moi, et photos identiques au même moment. Ca me permet en premier lieu de comparer les stratégies d'exposition. C'est souvent intéressant. Bien plus qu'une mire dans un environnement "studio". Puis, de mettre tout le monde au même niveau en mode M. Et on a parfois des surprises. Et parfois même vis à vis des résultats de dxo.
Pour en revenir à l'essai pixelliste, il faut être honnête, pouvait-on s'attendre à un essai non orienté et impartial ?
A part peut-être quelques commentaires, Nous diront-ils que les boîtiers Nikon surexposent parfois dangereusement pour limiter le bruit ? Non, tu liras uniquement que le bruit est limité sur les boîtiers Nikon.
Pourtant, faire les choses avec un peu plus de sérieux, c'est tout à fait possible. Tu citais, par exemple et à juste titre, la prise en main de darth.
Contrairement à l'impression que donne les graphiques, ce score ne cherche pas à quantifier le rapport Signal/Bruit à haut iso, mais cherche à quantifier les ISOs max pour une qualité d'image acceptable, en tenant compte, certes du rapport signal/bruit, mais aussi de la dynamique des images, et de la "profondeur" des couleurs.
Les ISOs max ainsi obtenu par DxO sont souvent plus bas que ce que *je* considère comme acceptable et plus souvent limité par la dynamique que par le rapport signal/bruit.
Je recommande d'ailleurs cet article : http://www.dxomark.com/index.php/Publications/DxOMark-Reviews/DxOMark-Camera-Sensor2 pour approndir ses connaissance des limites des capteurs.
Le fait de choisir un programme semi automatique, d'ailleurs l'auteur remarque que l'appareil sous expose. Que ce soit le cas ou pas en terme de protocole de test c'est un peu approximatif car on a intégré au moins deux paramètres variables et surtout inconnus: Celui que l'on recherche et un autre qui est celui de l'expo même un gamin de première année sait cela. impossible dans ce cas de connaitre le niveau d'interaction
D'autre part je croyais que les testeurs utilisaient des conditions reproductibles et choisies au moins pour les matériels susceptibles d'être ensuite comparés.
Par contre, le capteur est différent de ceux qui ont fait les beaux jours du D7000 ou du X100 sans doute une évolution mais c'est un autre ne serait ce que par la présence de photosites dédiés à la mesure de distance il parait même différent de celui du 5 R la sensibilité démarre plus bas et surement pas par bidouillage logiciel.
Une chose est sure une sous expo induit un temps de pose insuffisant pour les éléments sombres et fausse tout commentaire sur le niveau de bruit.
A propos de Saint Augustin, ce vénérable pourfendeur d'hérétiques et de Vandales s'est retrouvé, probablement contre sa volonté, à servir de faire valoir dans un bouquin sommes toutes intriguant.
"Le Sermon sur la chute de Rome"
Mais cela ne te dis toujours pas comment nous sommes "PaÏs" lui et moi ...
Dans le cas de mon genre d'utilisation, la lenteur au démarrage (2,46 secondes d'après le site Les Numérique) pose problème.
D'autre part, n'ayant jamais utilisé d'écran tactile sur un appareil photo (le NEX-6 n'en est pas équipé)j'aimerais savoir si c'est une caractéristique fort avantageuse ?
L'interface tactile est un plus sur la série 5, car certains réglages sont accessibles plus vite. Les séries 6 et 7 en ont moins besoin, mais je comprends quand même mal les raisons de ce choix de la part de Sony. Pour le NEX-6, c'est dommage, mais de façon accessoire.
J'apprécie un démarrage rapide de l'appareil car je prends très souvent des photos en rue, montrant des situations cocasses comme par exemple quelqu'un passant devant une affiche publicitaire, etc. Je dois donc être très rapide pour saisir un instant fugace.
Après une longue étude des sites français et américains, avec le critère décisif qu'il me faut un appareil avec écran orientable (pour prendre discrètement certaines photos), et qu'il soit possible de le glisser dans une grande poche, et aussi un zoom, le meilleur choix est un NEX pour remplacer mon Canon G1X moins performant. D'autant plus que le nouvel objectif 16/50 est très compact.
Reste le problème du choix entre le NEX-5R et le NEX-6, en tenant compte du fait que la pratique m'a montré, avec mon Canon G1X que ... je ne me sers jamais du viseur, préférant beaucoup la grande vision sur l'écran orientable.
Le NEX 5R peut maintenant aussi être acheté, entre autres chez Digit Photo, avec le nouveau et meilleur objectif 16-50 que tu cites.
Il est exact que le viseur du Canon G1X est lamentable.
S’abonner au flux RSS pour les commentaires de cet article.