注册登录APP
钱包APP

一个视频网站背后的技术观

搞技术的人大多有种“技术信仰”,坚信技术改变世界。有的甚至认为世上就没有技术解决不了的问题。

前几天我去阿里文娱拜访了一位视觉图像方面的技术大神,江文斐,他就是个技术信徒。但他说,这两年的一些事让他改变了想法,他开始重新思考技术和这个世界的关系……

1

 

2017年11月27日傍晚,优酷的媒体技术团队遭到“前所未有的质疑”。负责人江文斐收到同事消息,说有人在微博上吐槽他们。

当时,一部名为《海上牧云记》的连续剧正在热播,有人声称“对比了优酷、爱奇艺、腾讯视频三家的视频画质,优酷的最差”

吐槽者不是别人,正是《海上牧云记》的导演曹盾。

如果情况属实,这一巴掌就直接抽在整个优酷媒体技术团队脸上 —— 对于技术团队来讲,这是个关乎技术尊严的事!

江文斐很纳闷,自己研究了十多年的图像处理技术,国际专利拿过40多项,还是好几个国际顶级学会和期刊的审稿人,要论技术,没理由输给其他家。

“这家伙莫不是故意来黑我们的吧?”

好几个同事也在群里发来视频截图,反复对比也没发现任何画质问题,弹幕里甚至还有人夸优酷“画质很好”。

微信图片_20190121161107.jpg

直到联系上曹盾导演本人,才发现原来他上优酷时用的手机流量,当时网络不太好,优酷便自动跳到 360P 画质播放模式,这才闹出了“画质不如其他两家”的乌龙事件。

但事情并没完,经过沟通,江文斐从曹盾导演口中听到一句更震惊的话:“三家播的(画面效果)都不是我拍的东西。”

微信图片_20190121161112.jpg

江文斐当场纳了个尼。

“优酷、腾讯视频、爱奇艺三家网站背后的 BAT 基本算是全中国技术最 Dior 的三家互联网公司了,怎么就没有一家播出他想要的画面效果?”

 

2 

到这里,幺哥必须插播一下技术背景知识。不然吃瓜群众可能会心想“不就是播放个视频么?能有啥技术含量?”

其实里头门道可不少。

国内三大视频网站里除了爱奇艺,其他两家浅黑科技都有过了解。腾讯视频背后的技术咱们之前写过(详见:《央视转播背后的骚操作》),优酷(阿里文娱)的背后有整个阿里巴巴的技术支撑,当然也是没得说。

优酷在视频技术方面的骚操作,光我知道的就有两个大招:“窄带高清”“画质重生”

先说窄带高清。

所谓“窄带”,顾名思义,比较窄的带(这不废话么),通常指“带宽低于4M的宽带”。如果把现在常见的100M家庭宽带网称为“信息高速公路”,那窄带就是“信息独木桥”。

在高速公路上发车司空见惯,“窄带高清”技术的厉害之处在于它能让人们在“独木桥上飙车”—— 即便设备在低网速的状态下,依然能流畅播放高清视频。

它的核心思想是:把每个 Bits (网络流量)分配到最能产生价值的地方。

微信图片_20190121161117.gif

什么意思呢?我给大家打个比方。

当你的网络带宽无限时,视频里放的是苍老师的特写,你当然希望是高清无码而不是AV画质,总之分辨率越高越好。

但如果画面里出现的是一堵白墙,什么也没有,从肉眼上看 1080P 和 360P 基本没差。这时就可以适当降低码率、调整分辨率来节省流量。

基于这个原理,同样是1080P,小猪佩奇动画片跟好莱坞大片用到的流量可以相差一个量级。

微信图片_20190121161120.jpg

在网络带宽不太够用的情况下,经过这样调整,低分辨率的视频甚至比高分辨率的更清晰。

原因很简单,这就好比让你在颜料有限的情况下画一幅画,画布并非越大越好,不大不小刚刚好,才能发挥每一滴油墨的价值,效果也最好。

不仅如此,“窄带高清”还能基于人眼视觉模型来编码。通过适当舍弃掉画面里人们厌恶、忽略的部分(比如毛刺、脱焦的背景),把节省下来的流量用来加强人眼最关注的地方,从而优化整个画面

就拿下面这张图来举例,放弃一部分背后白墙的清晰度,省下来的 “Bits”流量就能对小姐姐的手指、脸、吉他弦等地方进行画质增强。


微信图片_20190121161124.jpg

再说画质重生。

它能让原本粗糙、色彩不足、掉帧的画面重新焕发生命力,变得细腻、清晰、连贯,其中包括很多项技术。

比如标清转高清,修复每一帧图像,去除画面里的毛刺,让 AV 画质变无码高清;比如 2K 转4K,把低分辨率的画面通过人工智能技术重新制作成高分辨率的细腻画面;再比如 30 帧转 60 帧,把原本帧数低的视频(30帧)自动补足缺失的帧,消除播放中的错顿感。

就拿下面这张动图来说,之所以苏炳添腿不动就能拿冠军,就是因为动图的帧数太少,缺了一些帧,30 帧数转 60帧的技术可以自动补足缺失的帧,让苏炳添的腿动起来。

微信图片_20190121161136.gif

讲了那么多,其实幺哥就想说明一点,无论是腾讯视频、爱奇艺或优酷,背后的视频技术实力肯定都不弱,毕竟BAT的技术实力在那摆着。

可偏偏曹盾导演却偏说三家播放的《海上牧云记》画面效果都不行,都没有播出他想要的画面效果,究竟为什么呢?

这牵扯到视频行业一个巨大的历史遗留问题。江文斐给我科普了一段影视行业的硬知识:

导演拍戏时,面前通常摆着两台监视器,根据屏幕上的画面来指导拍摄。画家用油墨和画布创造艺术,而这两块屏幕就是导演的画布

微信图片_20190121161139.jpg

传统电影有一套固定的工业制作标准,比如画面调色必须在48尼特(尼特是屏幕亮度单位)下进行,最终成片也在48尼特的电影院屏幕上播放,这样就能把控质量,确保观众看到的就是导演想呈现的画面。

类似的,DVD 出现以后,DVD 版影片是在100尼特下调色,100尼特的电视机上播放,也能把控质量。

然而,互联网视频发展起来以后,就乱套了。

“手机、电脑、平板、电视、投影,各种各样参数的设备一下子全蹦了出来,观影场景变得完全不可控了。问题就出在这,我们用手机看到的画面,跟导演在监视器屏幕里创造的完美画面,其实不一样。”

他用电影《黑豹》里的画面举了个例子。

微信图片_20190121161142.jpg

“很多好莱坞大片有丰富的暗部细节,坐在电影院里,画面充满质感,看着很爽。同样的画面一旦搬到手机上,在明亮的环境下肯定看不清。”

观众为了看清画面,观众会把手机屏幕调亮。调到一定亮度,比如超过300尼特,很多设备就渲染不出正确的色彩,画面就开始失真。

亮度被硬拉上去,整个画面就像是蒙了一层灰,完全失去了原来的质感。

微信图片_20190121161145.jpg

道理很简单,原本48尼特、100尼特下制作的影片直接放在200尼特、400尼特亮度的屏幕上播放,画面亮度被硬拉上去,就好比一杯咖啡兑水,稀释成五杯、十杯,没了原来的味道。

“有一些平台和播放设备为了充分展现产品特性,会对屏幕画面进行一些‘改善’,这时虽然画面里的人还是那个人,景还是那个景,哪怕画面变得非常绚丽,都不再是导演原来构想的完美画面。”

(只是幺哥做的几个示意图,并非实际效果)

微信图片_20190121161148.jpg

江文斐忽然扭过头问我:“你知道电视机的‘商场模式’吗?”

 他告诉我,商场里的电视机为了展现性能和画面的绚丽,会把画面调得特别绚丽,配上华丽的视频,视觉效果非常抓眼球,很利于销售。

微信图片_20190121161151.jpg

“商场模式”并不适合放在家里长期看,一是看久了辣眼,二是颜色太艳导致画面失真。电视买回家需要调回“家庭模式”才好。

“平台和播放设备对画质的‘改善’就相当于‘剧场模式’,比如某平台的视频颜色特绚丽,某款手机的屏幕特柔和………… 做广告宣传时截下来几张对比图,分分钟把普通吃瓜群众唬得一愣一愣。但那种效果并不适合用户长期观看,一是容易视觉疲劳,二是改变了作品原有的风格。”

江文斐说他做了很多年的视觉图像技术,以前也一直追求‘最好的画面效果’,但那件事让他有了新的认识:

“这世上根本就没有什么最好的画面,导演才是内容的创作者,他们早已在拍摄片场用毕生功力构造出了心中最完美的画面。

我们做视频网站的都是传播者,如实传达,便是最好的画面。”

也似乎是从那时起,这个观念在优酷的技术土壤里生了根。

3

2018年前后,一种叫 “ HDR”的图像显示模式流行起来,这种模式能让图像的呈现效果更逼真震撼,于是国内视频网站三巨头纷纷跟进。

“HDR”的全称叫“高动态光照渲染”,与之对应的是“SDR”  ,标准动态光照渲染…………呃…………听不明白是吧?没关系,幺哥再打个比方你就秒懂。

你或许有过这样的经历:出门玩耍,面前忽然出现了一个美轮美奂的景象,你大喊一声“哇哦呜~”然后赶紧掏出手机拍下来。可是,怎么拍也拍不出肉眼看到的那种效果。

要么就是曝光过度,一片白;要么曝光过少,一片黑;哪怕曝光正常,也和肉眼看到的不太一样,像是失去了灵魂。

微信图片_20190121161154.jpg

之所以拍不出人眼看到的效果,主要因为人眼的精密度比相机和屏幕精密得多。

就拿亮度来说,人眼对光线亮度的识别范围很广,既能看到很亮很亮的物体(高达20000尼特),也能看到很暗很暗的物体(小到0.0001尼特),但相机却只能通过调节光圈和感光度捕捉一定的亮度范围内的物体。

微信图片_20190121161157.jpg

有人想了一招,在同一瞬间拍很多张图片,每张图片的曝光量依次增加,然后再叠加起来,取每一张照片最清楚的部分,不就能捕捉到所有亮度信息了?

微信图片_20190121161200.jpg

但问题又来了,亮度信息捕捉到了,却没法用屏幕显示出来。因为真实世界的亮度最高可以达到10亿尼特(直视阳光的亮度),手机、电脑屏幕显然没法和太阳光或者探照灯一样亮,不然咱们都被亮瞎了。

微信图片_20190121161203.jpg

于是又有人想出一招,把真实世界的亮度信息用算法“映射”到设备屏幕的亮度范围,不就能让普通显示器呈现出逼真的图像质感?

微信图片_20190121161206.jpg

就这样,一张视觉效果逼近真实的“HDR”图像横空出世了!

微信图片_20190121161209.jpg

微信图片_20190121162146.jpg

到这一步,你已经基本理解了消费级 HDR 图像拍摄的原理。

专业级影视作品的后期制作道理类似,也是把真实世界的画面在有限的亮度和色彩上进行调色创作。

SDR 版本的就按照“100尼特亮度、1678万种颜色”的标准来调色,HDR 版本就按“1000尼特亮度、至少107亿种颜色”的标准来调色。

江文斐告诉我,之所以我们现在接触 HDR 视频比较少,主要原因有二:

一是能解码 HDR 的设备太少。目前绝大多数手机、电脑、电视都不具备 HDR 解码能力,所以没法播放 HDR 影片。

二是 HDR 片源太少。由于HDR调色对设备和人工成本的要求较高,所以大部分影视作品都没做 HDR 版本。

为了让更多吃瓜群众享受到 HDR 的看片体验,2018年初优酷内部制定了一个名为“普惠HDR”的计划。

他们发现,虽然市面上大部分手机都没法解码 HDR 视频,屏幕也没有达到1000尼特的 HDR 标准,但屏幕亮度已经有300、400、500 尼特甚至更高亮度,超出了 SDR 能表达的100尼特范围。

微信图片_20190121161212.jpg

于是,他们做了一套“HDR云端解码”方案,在优酷的服务器上对所有 HDR 影片进行解码,并且根据不同型号手机的屏幕亮度进行“个性化渲染”。如果你的手机屏幕(最大)亮度是500尼特,就按照500尼特来渲染,如果是600尼特,就按600尼特的标准来渲染,充分发挥手机屏幕的特性。

微信图片_20190121161215.jpg

江文斐告诉我:“这样做了以后,在某同类视频网站只有 iPhone 8 及以上的机型的用户才能看 HDR 效果。但是在优酷,价格 2000 元左右的安卓机就能使用 HDR 效果。”

除此之外,由于 HDR 片源太少,优酷还祭出了另一个大招:“机器智能调色”

他们做了一套基于机器学习的智能算法模型,找来一批 SDR片源和专业调色师调过的 HDR 片源进行训练,让模型获得一种能把 SDR 片源变成 HDR 片源的能力,并且效果很接近专业调色师制作出来的 HDR 效果 。

微信图片_20190121161218.jpg

“不过,你会发现优酷上的很多视频 HDR 版和 SDR 版的看着差不太多,那是因为导演本来就是按照 SDR 构想的画面,我们会尽量贴近导演原本想表达的画面。”

江文斐告诉我,经过这段时间的沉淀,他们在视觉效果上变得更严谨了。他说优酷完全可以把 HDR 片源制作得非常绚丽,让人一眼就看出来不同,但是那样就又成了“商场模式”,不是导演想表达的样子。

4

临走时,江文斐又给我讲一件事。

李安导演的《比利林恩的中场战事》时,全片采用4K分辨率、 120帧来拍摄,这个做法非常前卫大胆,因为以往的电影大多是24帧。(所以电影也被称为24帧的艺术)

这么做的结果很明显,画面异常清晰,放大之后连毛孔都能看清,而且每个动作异常连贯真实。但当时却遭到了很多业内人士和影评人的批评,他们说120帧的《比利林恩》失去了电影的质感,根本不像电影了。

这件事让江文斐感到惊奇,为什么李安导演采用了更先进的技术,拍出的效果更真实,却被骂了?后来优酷做普惠 HDR 时,他就托一个业内好友去好莱坞问了几个资深制作人对 HDR 技术的看法,得到的答案居然是 “Who  cares?”

谁关心什么 HDR ?

“大多数时候,导演们在创作之初就是按照SDR构想的画面,现在为了HDR重新调色,是技术的要求。”

朋友告诉他,很多时候快镜头导致的画面模糊,以及有些画面看着不那么清晰,不那么真实,其实是导演有意而为之。

“影视是艺术品,导演是创者作,是表达者,他需要用每一帧画面抓住成千上万个观众的视线,调动他们的情绪,所以务必确保所有观众都关注屏幕里的同一个地方。如果要求画面的所有细节都同样清晰、连贯、真实,不分主次,那就没法表达了。”

就像一位国画大师刚刚挥毫泼墨完成一幅山水,你非要求涂成彩色的油墨画,说这样才真实?就像一位摄影师拍了一张明暗分明的照片,你非把暗处调亮?真这么做,就坏了意境,毁了构图。

失去表达,便不再是艺术。

微信图片_20190121161222.jpg

他说自己曾用“画质重生”技术把86版的《射雕英雄传》翻新过一遍,明明画质很好看,却怎么看都缺了些“感觉”。虽然优酷也重制了大量内容,但他们(技术团队)内心其实也很忐忑,生怕算法影响了艺术的表现力。

我就问他,“你们倒腾出这么多技术,30帧转60帧,2K转4K、SDR变HDR,如果都不用,岂不白白耗费心血研究?”

他说不啊,技术不应该为了使用而使用。并不是每个镜头都需要 HDR、高帧率,但我现在可以告诉艺术家们,当你需要的时候,它已经准备好了!

过去,假如导演们想突出黑与白的超高反差,高速运动中细节的纤毫毕现,在只有SDR,24帧的条件下只能束手无策。而现在有了HDR、高帧率,一切都轻而易举。

“让艺术家们不再被束缚,借助新技术创造出更好的艺术……”

江文斐一边抬手比划一边说着,一回头,眼神中仿佛带着光。

微信图片_20190121161225.jpg

那一刻,我忽然重新感受了技术的力量和一个技术人的荣光。

技术不是所有问题的答案,更不是唯一解。但它是工具,是武器,是更多的选择。人类有了更多选择,便多了些自由。

参考资料:

文中用到的HDR图片取自百度百科的HDR词条

原创: 谢幺谢幺

2条回复

  • 用户头像
    枪花 · 19-02-10
    长见识了
  • 用户头像
    时简过客 · 19-01-21
    时代在进步,虽然这过程很坎坷,但是终将无法阻挡,从无声电影到有声电影,从黑白到彩色,一些东西终将被淘汰,被一些新事物取代,还世界上恒古不变的可能就是变化了
作者
用户头像
文章 46关注 0粉丝 12
相关文章
联系客服