央视的《手机相机测试质量报告》真的靠谱吗
http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F102e4ea13f136ea0cffc51c3ca2a95d7.jpg 欢迎关注“创事记”的微信订阅号：sinachuangshiji文/李侃 (出品自Zealer|Lab) 背景介绍：近日，央视《每周质量报告》节目上随机选取了苹果、三星、诺基亚、联想、OPPO、LG、索尼、TCL 以及 nubia 这 9 个品牌 10 种型号的手机进行了拍照测试。结果显示，10 款手机中，拍照全部符合标准的只有 2 款，而三星 Galaxy S5 ( SM-G9008V ) 、苹果 iPhone 6 ( A1586 ) 、诺基亚 Lumia 930 等八款产品的拍照性能均不合格，主要问题集中在色彩还原准确度、曝光量误差、动态分辨率等项目上。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F69c6d40a905a1973605f6dfda074a2fd.jpghttp://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F394906e14f2ac4a31ac106e4a057e951.jpg 关于央视节目所采用的相关国家标准： 《 GB/T 29298-2012 数字(码)照相机通用规范》 《 SJ/T11415-2010 非广播用数字摄录一体机通用规范》 《 YD/T 1607-2007 数字移动终端图像及视频传输特性技术要求和测试方法》 由于现阶段智能手机相机功能的特殊性，这些标准并不能很好的匹配现阶段产品及市场现状。这一点来看，被点名的几个品牌真挺委屈的，不是说厂家不按照这个标准来，是现阶段确实没有合适的标准去参考，由于手机的用户使用场景和产品特性所限，直接简单粗暴的采用数码照相机的标准来测试检验是否达标，不具备任何意义。拿上面所提到的三个国标来看，勉勉强强能用到手机上的是：《 YD/T 1607-2007 数字移动终端图像及视频传输特性技术要求和测试方法》。 但有两点需要指出： ⦁ 该标准发布于 2007 年，目前来看其测试手段及对应算法已经远远落后于国际上 IEEE 、CPIQ 等国际标准化组织近几年专门针对手机推出的新测试标准。例如视频中所提到人眼判断解析力喇叭图等方式，由于主观因素过大，现阶段已经被国际上各大测试机构所淘汰。属于严重滞后标准。 ⦁YD/T 后面加上 /T 意味着该标准为 非强制性标准，作用仅仅是为了提供测试方法的参考性。具体是否采用，全权取决于厂家或测试机构意愿，国家监管机构仅对此标准持推荐态度。如果没有写入经双方同意的经济合同中，该标准是不具备任何法律效力的。 由此来看，视频中浙江省消费者权益保护委员会所委托的国家照相机质检中心实验室所提供的测试方案和遵循标准，指导性极其有限。换个角度来看，产品力驱动的厂家，都不会去刻意沿用一个过时的，甚至有可能阻碍产品性能提升的非强制性标准。 实际上，国家工信部也意识到了这个问题，在今年已经开始针对视频中提到的 YD/T 1607-2007 标准，向部分企业和测试机构发放征求意见稿，目的在于改进和取代现有陈旧标准。作为一个专业机构，国家照相机质检中心显然没有及时予以跟进。事实上对于新标准我们也在积极参与，希望能够在不久的将来对整个行业有所助力。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F0d7eb6af65006b5804f34480ed175038.jpg 关于测试方法：http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F1633bb3878f4044c8b13eb1caeb81dca.jpg 解析力方面，首先能看到视频中使用的是传统的 ISO Camera Resolution Chart ISO12233 标准解析力测试图卡，该图卡过于老旧，目前大都是一些相机发烧友和相机模组产线上才会去使用，配合 Olympus Hyres，Imatest 等软件来对数据进行读取(基于Matlab sfrmat 由 Peter Burns 参考 ISO12233 标准编写)，以 MTF/SFR (调制传递函数/空间响应频率)形式展现。该方案主要特点是价格便宜，整套测试平台搭建简单，适合对测试精度要求不高的场合。缺点也很明显，由于图卡不支持 OECF 光电转换系数(缺省 gamma 值预设为 0.5 或 1 )，无法定义灰阶，导致测试结果稳定性很差，光照些微变化就会让结果产生明显异常波动，而且有精度很容易被机内锐化算法影响等诸多问题。具体究竟有多难用，你用过才知道。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F5bc56f895d401d9ae864bc2349dd5b39.jpg 另外视频中所采用的，是 ISO12233 图卡的肉眼观察检测，方法是观察者通过观察喇叭图的线条清晰程度和粘连程度来判断解析力的大概范围。这个办法是极其不严谨的，由于主观因素太重，存在太多不可控状况，导致数据波动很大，仅适合做一些粗略的估算。现如今国际上，大部分专业相机测试机构或网站都已经摒弃了该方法。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F7e3976b514fb37f2a1a39ff3c76b7523.jpghttp://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fe6284f9044dcb5c7911daa09b93c57ec.jpg 那是否有新的测试方法呢？有的，而且就是在去年发布的 ISO12233:2014 ，最大的变化是加入了 Siemens Star 西门子星图来对解析力进行测试。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F617c91a0fb67afcb7f09ad126799ab3e.jpg 具体测试方案如下图所示(拍摄于 ZEALER|LAB ，类似实验室大都不允许随便拍照)，可以看到标版上均匀分布着 25 个圆饼状的西门子星图，它可以直接读取出对应位置各个角度的解析力情况。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fcbf88a02914b300dfdbd914b08bce6ac.jpg 根据 ZEALER|LAB 以往几百台手机机型的测试经验来看，这个方案的稳定性很高，多次测量前后误差小于 1% (实际上千分之一左右)，而且能够大幅降低锐化算法的不良影响，提高精度。尤其是适合测试手机这类以输出大幅度机内处理 jpeg 图片为主的拍照设备。相信工信部即将推出的新版 YD/T 1607 标准也会采用 Siemens Star 的测试方法，并淘汰掉节目中实验室所用的无比陈旧的标版。 所以总的来说，国家照相机质检中心的工作人员对于解析力的评判方式与测试方法并不专业，而且有一定的误导嫌疑。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F0223e8b9f62b931bcb49e327863b9368.jpghttp://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F1bf5a7873cc6a5b3ee054a78e058d2f1.jpg 色彩测试方面，从视频中所看到该工作人员在对色灯箱中的拍摄方式是极为不严格的。由于摆放方式的错误，途中 Xrite 24 色色卡很有可能出现照射不均匀的情况，从而让颜色数据的读取出现误差。正确且严格的摆放方式应当将色卡放置于竖直平面，且为左右两灯各 45° 角照射，中央亮度最均匀区域放置照射色卡。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F8055c8104388b83ded8edd7a7f1bb709.jpg 为了进一步验证数据，我们在 ZEALER|LAB 的影像实验室中，使用目前最为先进的 iQ-LED 光源(CRI>=99%)生成 1000 Lux 的 D65 光照环境，拍摄更为复杂精准的 96 色色卡，来对颜色偏差进行了一次复验，数据通过 iQ-Analyzer 分析软件读取，最终结果为基于遵循 CIE 15 标准的 delta E ，把每个色块的柱状图汇总呈现。对于视频中简单的放到 photoshop 下打开凭肉眼观察判定，我们认为其方法过于轻率主观，有失专业，且无法提供标准化数据支撑。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fb0d2216c760fcb0761aeefce352956de.jpgiPhone 6 此外，我们还选取了两台相机作为对照参考，一台是德国生产的全画幅旁轴数码相机，另一台是产自日本的全画幅单反数码相机，两款相机都是各自产品线中的代表性产品，机身加镜头的价格均超过四万元。各自的对应数据如下：http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fb28b34a8351e18395df42cacc40637bc.jpg德国产数码相机http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F40b6024a6d19e28f24356b8f5ac3d875.jpg日本产数码相机 很有意思的是，两台专业级相机的 delta E(mean)平均色彩误差值分别为 11.6 和 17.4 ，均高于 iPhone 6 的 8.9 。按照国家照相机质检中心工作人员所说的，的确蓝色与红色更加浓艳一些，但作为对照的两台数码相机事实上还要更加浓艳，颜色偏差更大。如果连 iPhone6 都不合格，那么这两台价格相对昂贵，被众多摄影师当做专业器材使用的顶级产品，只能说更加的不合格。放在常识上是明显讲不通的。 那为什么相机的颜色不做成标准色呢？在相机领域有过研发经验的朋友都会知道，绝对精准的颜色是非常不好看的，会使画面显得过于平淡缺乏美感，没有消费者会喜欢这种风格。所以市面上 任何一家数码相机厂家 都会对输出的 jpeg 照片进行一定程度上的色彩调教，在 CCM 色彩转换矩阵中人为施加一些色彩偏差，一方面是为了提升画面美感，另一方面是形成品牌差异性，提高认知度，正如同相机玩家们常说的尼康的黄色，宾得的绿色，佳能的红色，奥林巴斯的蓝色，富士的人像肤色，都是每个相机品牌发色里最好看最具代表性的特征，而严格意义上讲，这些特色都是所谓的“拍摄物体偏色” “不能准确还原”。当然这个偏色的尺度要在一定范围内，绝对不可以严重到人眼会感觉到不适的程度。 再者，对于一部分入门级的数码相机，以及手机，内部的 ISP 里都会内置一套场景模式算法。它的作用是识别不同的拍摄场景，并根据场景特点往大部分人最喜欢的方向去优化颜色。我们常见的高通就会提供一些场景补偿算法，以及绿色增益算法，供手机厂家在 tuning 相机色彩的时候调用，使画面更具美感。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fa6433a74b2347086420d4f4a6c9916c7.jpghttp://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fef9c79baedab4572892afaa88260f396.jpg 例如这个花花草草又红又绿的场景，几乎百分百会触发类似于花卉的场景模式，相机会大幅度提升画面饱和度，让颜色更加浓艳，更讨消费者眼睛喜欢。视频中说花瓣颜色偏差太大，细节都看不清了，那真心不是手机厂家犯的错误，而是人家费老大劲故意调教出来的颜色。对于“色彩还原准确度”的描述，节目制作人员明显是缺乏专业性的。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fd4001b51e64be69ca2fa7bc084b886e1.jpg 关于录制视频的动态分辨率方面，节目中称是通过用视频录制静止的 ISO12233 标版实现的。在业内目前似乎已经没有多少人在用这种明显不符合实际的检测方法了，凭常识就可以知道，怎么会有人会用视频去录纹丝不动的东西呢？视频动态分辨率所拍摄的标版肯定得是可以移动的才对。多年以前有人用是因为测试技术还没有完善，但现如今类似方案已经有很多，我们参考德国 Image Engineering 公司的方案：http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F9a76ca86ee881ef615e04d9f00e360ab.jpg 中央的标版是可以设定一个速度值匀速运动的，从而用 Matlab 算法读出每个速度下的解析力，观察它随着速度增加，解析力降低的情况，也就是我们常见的目标运动的越快，视频画面里就越模糊。之后通过 iQ-Analyzer 软件读出数据。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fac4a7ac1870824cd722dcf72ee1c722d.jpghttp://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F9f9ee99d1c35fbf287baf93fa93537c2.jpg 这里引用一组 iPhone 5 和佳能 5D Mark2 的视频解析力对比，可以看出，在画面主体速度很低的情况下，无论照度明暗，iPhone 5 的解析力是大幅超越 5D2 的，但差距随运动速度增加迅速逆转，5D2 的表现更加稳定。也就是说，如果录制偏静态的视频，手机甚至是可以超越单反的。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Fea2e4524b63462a2e79ffd258790b650.jpghttp://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F8fa8f507ba523489e87fb7d1af62be14.jpghttp://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Ff0004e5dde577905dc0991d6f3617b91.jpg 一个草堆，本身纹理是否清晰，涂抹感是否严重，颜色相近区域的细节好坏等，在图像测试领域称之为 Texture 测试，也就是让 DxO 相机测试机构得以成名的 Dead Leaves 枯叶图测试方案。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F98f105c4d4233dc203bf16bafd508b01.jpg 我们可以看到这个真正的标版，中央如同枯叶一样的彩色斑点，就是枯叶图的代表性特征。目的就是专门为了考验相机对于不明显色彩纹理的分辨能力。简单来说就是把一片枯黄的叶子放在一张白纸上，绝大部分相机都能拍出反差强烈的叶片边缘与白纸的反差，但叶片上的纹理以及枯黄的斑点，那就不是每个相机都能拍出来的了。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2Faf09fa14e0a65dfaf8a0083f9ef3fc32.jpg 视频中所用明明是黑白条纹的 ISO12233 标版，它与上文中枯叶标版完全是两个东西。令人不解的是，节目中的测试机构居然用不直接相关的 ISO12233 标版来评估 texture 细节数据，指导性是很有限的。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F8baa8f9fd5e93ba83be6cdc0a6608b33.jpg 作为参考，这里有德国科隆大学的 Professor Uwe Artmann 在 Electronic Imaging Conference 2013 上所发布的文献：《 Image Quality Evaluation Using Moving Targets 》，文中对于枯叶图和视频移动标版的测试方法及原理都有详尽的介绍。PS，Uwe Artman 参与了很多 IEEE，CPIQ 国际影像测试标准的制订，我们采用的 Siemens Star 测试方案就是他协助搭建的，业内熟知的 DxO 所使用的 Deadleaves 枯叶图细节测试方案，实际用起来有很多问题， Uwe 则是对其进行改进和完善，大幅度提升了严谨性，从而推出第二代枯叶测试标准。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F4b665dd3d77c15f0b9b16caf13091ba5.jpghttp://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F300cf734ec875504ef563af073285b5c.jpg 在曝光量测试方面，这里出现了一个让我们所有工程师都哭笑不得错误，视频中看到他们直接使用灯箱生成纯色目标把手机贴在上面拍摄。不是说这种方法不行，而是类似方法在手机上仅仅能够用来测试暗角啊， Color Shading 伪色之类的状况，拿来测试 OECF 光电转换等跟曝光有关的项目是绝对绝对不行的，大部分手机这么测都会出问题，十有八九会过曝。因为一方面纯色标版会引发测光不准，另一方面如此严苛的曝光范围，手机这种几乎无法完全手动控制曝光参数的设备真的很难做到。http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F1c51d4e81c9794e24774099abdf4b27b.jpg 严格的测试方案一般会遵循国际上常用的 ISO12524 标准。实在找不到图，还是拿 ZEALER|LAB 影像实验室的照片来看，图中那个黑色的箱子是 LE7 集分球灯箱，它内部有几百个不同颜色的小型光源，通过专门的软件控制，可以模拟生成自然界任何一种颜色的可见光源，没错，任何一种！http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F37c963554ffcc4f92ad509fb09c0d1ae.jpg 光线均匀透过上面有方块和圆盘的标版，每个方块对应着一种亮度，而圆盘才是关键，是专门为测试手机相机设计的，旋转它能够单独调节圆形区域内的明暗度，欺骗手机上全自动测光功能，从而做到最佳曝光。此时分析每个不同亮度方块的数值，就可以得到曝光特性，相机宽容度，噪点分布情况等数据。 其它非技术层面的东西我们就不做太多吐槽了，简单说下。 严格的相机影像实验室，需要有全黑的房间，不开启灯箱，没有任何光线干扰，在搭建期间就要求墙面和屋顶全部漆成中性灰，地面一般处理成亚光黑，空调、灯具开关，桌椅等都需要进行亚光处理，否则出现一个反光点，反射到标版上，就有可能引起很大的测量误差。一旦产生光污染，一百多万的灯箱跟几十万的标版全都白费，数据分析软件是极其敏感的，里面很多指数型的算法，一点点误差都会被放大(我会告诉你趴在灯箱前面操作，金属胸牌都会让宽容度数据严重出错吗~全部数据重测，说多了都是泪，就是这么傲娇！)http://s.img.mix.sina.com.cn/auto/resize?size=560_0&magnify=0&img=http%3A%2F%2Fsinastorage.com%2Fstorage.csj.sina.com.cn%2F86e029d195e017930780607d702ab2ab.jpg 我们来看下节目里的检测实验室：像蓝色的像镜子一样销魂的地面，各种白色桌椅，更夸张的是他们工作人员都穿着 白！色！实！验！服！简直是走到哪照到哪！ 影像实验室的图实在难找，一般都不会随便让人拍，这里还是用我们自家的来给大家做个参考，穿着这一身衣服扣着帽子，一测几个小时下来，还是很闷很辛苦的。此外节目里还提到的像前置摄像头跟后制摄像头一起测(真没法一起测，前置摄像头各种自带美颜功能，数据会乱套，而且应用场景和硬件差异较大，非要按照同一标准来真心没几个能合格的)，测试曝光的时候居然开启闪光灯(必然会欠曝)， 24 色色卡拍出来是歪斜的(软件可能会无**确识别色块位置)等等。 数码相机自从 1975 年在纽约罗彻斯特的柯达实验室被发明出来以后，对其成像的测试方法也在一同进步和发展，现如今来看依然是一门是很前沿的学科，技术门槛很高，但又远没有想象的那么完善，国际上每年的影像评估会议都会有专家提出大量变革性的测试方法和测试标准出现。手机不同于专业相机，在使用场景和产品特性都极其特殊，所以相对相机，它的测试标准几乎是空白，有太多的标准丞待完善。而很多大厂在测试标准的建立方面都是非常积极的，一方面国内厂家像华为等都已经派专家常驻欧洲去抢标准，而像 Sony ，东芝， Apple 等更是返聘了他们一些已经退休的资深工程师直接参与 CPIQ 标准的制订，以便取得先发优势。同样的，几大运营商也都意识到国家标准和测试方法太过老旧的问题，都在试图建立自己的手机入网相机评估标准，甚至很多厂家也在做。此外，工信部也在努力推进新版国家标准的出台。在这种现状下，所谓的针对手机拍摄性能不合格的质量报告是非常的幼稚和可笑的，任何一个业内人士都明白，对现如今的手机而言，他们所提到的国家标准本来就是不合格的。 最后，给央视这档节目做个总结：很不负责任的借用所谓专业机构的名号，采用早已过时的非强制性标准，通过一些不严谨甚至错误的测试方式，会给消费者带来一个严重产品误导。
页:
[1]