在线视频技术精要
上QQ阅读APP看书,第一时间看更新

1.2 视频技术:历史

写下本节标题时,颇觉得有些过于宏大,因为视频行业开辟有年,方向众多,源流错综复杂,明星公司各逞一时之豪,关键技术几经换代,时而席卷包举,时而割据偏安,短短数十年,有如朝代兴衰,远非在此短短数页所能尽述。然而目力所及,总觉得有不可磨灭之处,不应完全遮蔽于时间长廊之中,下面或按公司,或按产品,列出个人对当前行业格局仍影响深远的一些内容进行介绍,星星点点,挂一漏万,只期望构建出一幅相对立体的画面,可以起到温故而知新的作用。

1.2.1 技术与产品驱动

在行业生态、产品形态尚未完善的时候,技术是世界变化的主要驱动者,下面谈到的几家公司,都以其技术和相应的产品闻名。

(1)Microsoft

今天的人们虽然仍将微软公司视作行业巨头,但环视四周,Google、Apple、Facebook、Amazon等公司也绝不逊色,甚至还有超出。可若回溯至20世纪90年代的某些时段,微软几乎可以算作唯一的霸主,甚至是整个软件行业的代名词。

从编程语言到操作系统,从公共服务到消费硬件,当时微软公司的野心是将触手涉及软件领域的方方面面。他们意识到多媒体娱乐在人们生活中的地位,从很早就开始全面支持以音视频为核心的多媒体技术。自支持DirectX编程接口的Windows 95开始,微软的思想和产品在视频行业占据了重要的版图。

微软在1996年3月发布了开发者中非常著名的DirectShow(见图1-1),可以看作世界上第一个被广泛应用的音视频框架,它被置入DirectX 5中,并在之后成为Windows 98的标准组成部分,直至现在,仍有大量的多媒体应用程序基于DirectShow编写。在Windows Vista之后的版本,微软另行提供了一套较新的多媒体框架Media Foundation,也赢得了许多用户。从Windows Vista到Windows 8.1,微软还在操作系统内嵌了专为大屏设计的Media Center功能(见图1-2),为用户提供了解决方案。

图1-1 DirectShow的软件封面

图1-2 Media Center的界面

在近年微软大力发展的云服务Azure中,有非常全面的视频服务解决方案,适合没有太多技术研发能力的在线视频服务提供商集成使用。由于公司过大,并非所有产品或项目都能取得成功,例如其MP3播放器Zune较之苹果的iPod,Sliverlight技术较之Adobe公司的Flash,市场地位都较为边缘化,甚至已经完全消失。

除了以上内容,微软还是DRM方案PlayReady的提供商,提供颇有市场声誉的内容保护方案。

(2)Apple

乔布斯在离开苹果的那些年里,曾经用卖出苹果股份得到的钱收购卢卡斯的电脑动画部,成立了皮克斯(Pixar)动画工作室。在多年艰苦积累后,随着多部动画长片(如Toy Story)的成功,皮克斯动画工作室终以高价被迪士尼收购,这或许能够部分体现他对影音行业发展的向往和远见。

当20世纪90年代后期,乔布斯重新执掌苹果,首先稳定了军心,通过具有透明外壳的iMac扭转了财务报表的亏损,随后带来真正的革命,于2001年发布了划时代的产品iPod。配合2003年上线的iTunes音乐商店(见图1-3),iPod在短短数年之内就重塑了整个音乐产业的业态,最终控制了MP3播放器90%以上的市场,并于后续开启了由iPhone引领的智能手机时代。

图1-3 iPod和iTunes

实际上,苹果公司在图像和影音处理上的口碑由来已久,即使在“Wintel”联盟风光的时候,也有固定的支持者为了多媒体功能而选择苹果的麦金托什系列电脑。公司早在1991年底就发布了著名的QuickTime第一个版本,支持许多沿用至今的功能,包括专有编码器、多轨道(Track)、可开放扩充的文件格式等,其文件格式后被接受成为MPEG4标准的一部分,即现今最为流行的视频文件格式MP4。

在2007年,苹果发布了移动时代最重要的产品之一——iPhone,让手机成为用户拍照、摄像和音视频观看的一大中心。随着iPhone 3.0在2009年发布,苹果开始推广HLS流媒体协议,利用M3U8格式作为索引、将整个流分成一系列很小的文件供客户端选择下载。凭借协议内容的简单有效、对CDN的友好,以及苹果用户的疯长,HLS协议很快在同时代的流媒体协议中独占鳌头,并直接影响了后来DASH联盟及协议的产生,开启了新的时代。

由于苹果在消费领域举足轻重的地位,在2017年的WWDC开发者大会上,公司宣称将全面支持HEVC和其衍生的图片格式HEIF,很可能将影响未来几年编码和图片格式的格局。除此之外,苹果还是视频流媒体服务潜在的重量级玩家。

(3)RealNetworks

1995年,微软高管Rob Glaser离开公司,创办了Real公司,后改名RealNetworks。它开发了骨灰级网虫耳熟能详的一系列音视频工具(见图1-4),主要包括能播放多种格式文件的播放器RealPlayer、流媒体服务器Real Media Server(其商业版是Helix Server)、编码工具Real Producer(商业版为Helix Producer)等。

图1-4 Real公司的音视频产品:Realplayer、Helix

与之配套,早期最流行的流媒体控制协议RTSP也是由RealNetworks和哥伦比亚大学合作开发的,公司还借鉴正在标准化过程中的先进编码技术,开发了专有的视频和音频编码格式(RV、RA)与文件容器(RM、RMVB),较当时流行的其他格式有巨大优势。

因为Real的编码技术能有效节约带宽和存储空间,又特别针对网络条件波动的情况进行了许多优化处理,不论在线观看还是下载播放的情况都能给予用户很好的体验,在世纪之交刚刚起步的互联网环境中如鱼得水,赢取了大量用户。

这一弄潮于时代浪尖的公司,巅峰时市值曾达到接近微软市值的一半,掀起了流媒体音乐和视频的风暴。但时势易变,自微软在操作系统中捆绑嵌入Windows Media Player后,需要付费的Real Player等产品的市场占有率就节节败退。虽然Real试图转型为服务类公司,也做了诸多尝试,例如建立起Rhapsody这样的互联网音乐品牌、发起对微软的诉讼(在多年旷日持久的交锋后获胜并获得了可观赔款)、售卖公司在多媒体领域的几百项核心专利和编码器团队换取再投资资金,即使到近年,公司也还有类似Helix Broadcaster这样令人眼前一亮的产品出现,但因整体战略、商业模式和市场策略上表现不佳,都未能挽救颓势。

(4)Adobe

Photoshop曾经是PC时代最为著名的明星软件产品之一,被视为Adobe公司的代表作品,但让它成为消费市场明星的还是其Flash技术。Flash原是Macromedia公司设计的一种二维动画软件,后于2005年公司被Adobe收购,改称Adobe Flash。初始的Flash技术主要用于互联网网页的矢量动画,并使用向量运算的方式产生较小的、采用自己特殊格式SWF的文件,后支持FLV和F4V格式的视频,并设计了广泛使用的流媒体协议RTMP。

为支持整个多媒体生态,Adobe还另有流媒体服务器Adobe Media Server以及编码工具Adobe Flash Encoder,在业界颇有一定的影响力。对标苹果大获成功的HLS协议,Adobe公司还推出了基于HTTP的流媒体协议HDS,即HTTP Dynamic Streaming。在专业图像、视频和音频领域,Adobe也颇有建树,例如提供包含多种音视频工具的Adobe Creative Suite软件集、专业音频编辑和混合软件Adobe Audition、非线性编辑软件Adobe Premiere等。

1.2.2 服务构建生活

互联网服务以其便捷的用户体验,独特的商业模式逐渐成为人们生活的重要组成部分,完善的网络环境和用户规模不仅惠及面向消费者的在线视频服务,还让云服务逐渐代替传统的授权软件,涌现出大量不一样的技术服务提供商,以下列出最为著名和有代表性的一些服务提供商。

(1)YouTube

在2005年,Chad Hurley、陈士骏和Jawed Karim等几个PayPal早期工程师一起建立了YouTube,允许使用者上传、观看、分享和评论。到2006年11月,Google以16.5亿美元收购了YouTube并持续投入,直至其成长为世界上最大的在线视频网站(见图1-5)。截至2017年,YouTube的每月登录用户数达到15亿之多。

图1-5 2005年的YouTube网站

YouTube的商业模式,是鼓励人们上传他们的视频,展示给其他人,藉由各式各样上传者制作的视频内容,包括剪辑、短片、预告、音乐电视、业余拍摄的视频、宣传片等,吸引用户观看,其广告产生的收入将与制作者分成。在绝大多数情况下,包括没有Google账号的所有用户都可以直接观看网站上的视频并不需付费,如果内容不够吸引人,制作者就无法获得足够的收入,以此激励制作者提供更好的视频内容。

由于Google带来的极客风格,也因为YouTube本身巨大的用户量,YouTube在多项视频技术上都走在业界前列,YouTube较早地使用了VP9等独立开发的编码技术,节省了巨大的带宽和加载时间,也较早地拓展全球化业务,提供数十种语言的版本供不同国家的用户使用。在2015年,YouTube全面切换到HTML5播放,取代已经落后的Flash技术,同年,YouTube也开始支持360度影片的上传和观看。此外,在视频网站中,YouTube也在精准全面的内容推荐、广告投放和售卖以及编码和流媒体优化等方面有着极高的口碑。

(2)Netflix

在建立在线视频付费收看的盈利模式的服务提供商中,Netflix是当之无愧的先驱。公司早年的商业模式是提供在线DVD租赁,创始人Reed Hastings声称,他的动机源自某一次租的录像带过期被罚了40美元,就此他开始思考如何为用户提供更人性化的电影租赁服务。

Netflix首先推出的就是在线光碟租赁生意(见图1-6),相比之前称霸线下租赁的霸主Blockbuster,Netflix的轻资产、网上运营、邮寄到户让它可以用每次租赁0.5美元对5美元的价格大胜对手,随后,Netflix在1999年推出了无到期日、无逾期费、无邮费的会员制。

图1-6 2002年的Netflix网站

2007年,Netflix终于推出了在线点播服务,相对租赁业务,在价格、随时随地服务获取、个性化设置等方面大幅提升用户体验,2010年Netflix开始打入国际市场,2011年展开自制影视作品(如《纸牌屋》)的制作,2017年4月,Netflix还宣布与爱奇艺合作,将一些影视作品授权在中国播放,当前他们拥有的美国及海外付费会员用户合计已达到1亿。

公司早期使用微软的编码等技术,在之后的年份里,逐渐建立起卓有声名的工程师团队,改善其与众不同的技术栈,例如H.264、Dolby Digital、VP9、OGG、HLS和DASH等。在编码方面,近年Netflix已经走在业界前列,一方面很早就建立了精细化的编码优化体系;另一方面,Netflix将机器学习、深度学习和主观评测结合,建立起远超侪辈的编码效能。Netflix较早地使用云计算技术,将大部分服务放在AWS上,从2012年到2015年,公司还逐步建设起自己的CDN能力,服务国际用户,并给予外界许多启发。

从其他方面看,自2000年开始,Netflix就已经推出了个性化的电影推荐系统,用户可以为电影打分,网站根据用户的观看和评论历史,以及有类似兴趣的用户观看记录,向用户推荐内容。由Netflix发起的“百万美元推荐竞赛”,既帮助工程团队广取众长,也极为吸引眼球,让内容推荐成为行业内的“显学”。

(3)Hulu

2007年,NBC和新闻集团一同出资,组建了Hulu公司,为用户提供在线观看电影及电视剧服务,当前的主要股东包括迪士尼、NBC、21世纪福克斯和时代华纳。前期的Hulu与Netflix不一样,向用户提供免费的视频观看服务,但同时需要观看较长的贴片广告,后期则改变为类似会员制收费模式,与Netflix不同之处是,用户可以选择较便宜又没有额外观看限制的套餐,代价是仍需观看一定时长的广告(见图1-7)。

图1-7 机顶盒上的Hulu

2013年,公司的主要股东曾想出售公司,但经过深入评估后发现在线视频的发展是业9界趋势,不应错失,所以反而大额出资,重塑公司的技术、服务和品牌。历经几年的二次发展,现在Hulu在美国已有数千万按月付费用户,此外,通过Yahoo等第三方渠道,每月也有数千万的观看量。Hulu还曾在日本投资,对当地用户提供在线视频服务,但运营不算成功,现已基本中止。当前Hulu于2017年最新发布的直播服务,将与有线电视台签约获取的上千个电视台以在线视频的方式,推送到千家万户,极受用户欢迎,有望成为公司的另一大倚靠。

公司很早就在北京设立研发中心,从清华、北大等顶尖高校招揽毕业生,为国内业界培养了许多高质量人才。Hulu是DASH协议的大力推动者和身体力行的使用者,在编码、流媒体、数据中心、大数据、推荐以及广告等方面都走在业界前列。

(4)Amazon

Prime Video是亚马逊旗下的在线视频服务,Prime服务可谓大名鼎鼎,用户只要加入会员,就可享受在线购物2日内免费送达,此外还提供许多绑定的服务,包括免费电子书等,Prime Music和Prime Video也赫然在列。借助亚马逊的强势地位,Prime Video在用户数上不逊Hulu,设备支持方面甚至颇有优势。配合公司的全球战略,Prime Video的国家覆盖范围甚至还要大过Netflix。但是,由于缺乏独立运营,Prime Video的内容和服务吸引力上和以媒体集团关系著称的Hulu相比尚有欠缺,也无法在自制剧上和天价投入的Netflix相比。公司虽然于此特别注重,但是暂时还不能与其他家抗衡。

亚马逊的AWS是世界最大,可能也是最佳的云服务提供者,其中就包括云上的视频编转码、数据存储、分发服务、CDN等,Prime Video近水楼台,也享有相应的技术优势。作为巨头公司,亚马逊还拥有Fire TV和Alexa音箱等与视频服务具有协同效应的产品,它还在2015年收购了视频公司Elemental,Elemental在业界以其基于GPU的高速、高质量编码技术知名,这也增强了其视频服务的整体实力。

(5)Sling TV

这是一项兴起不久的直播服务,由美国卫星广播巨头Dish Network推出,自2012年开始提供50个以上频道的直播节目,开始是通过Roku机顶盒提供服务,后来扩展到包括Fire TV、Android TV、Apple TV、XBox One、LG smart TV等在内的多种设备。公司的套餐设置(如“蓝色”或“橙色”等)颇为知名,到2017年中为止,共拥有200万付费用户。与此类似,DirecTV Now(属于AT&T)和PS Vue(来自Sony)也向用户提供多个频道打包的观看服务,以上公司大多还提供云录像(DVR)功能。

(6)Brightcove

Brightcove(见图1-8)是知名的老牌视频云服务提供商,2004年,Jeremy Allaire创办了公司并担任首席执行官,他也曾是Macromedia公司Flash平台的开发主导者。Brightcove的视频云可以被理解为SaaS类型的服务,支持用户上传视频、在线编转码、内容管理、DRM保护、定制播放器、跨平台传输、视频分销和广告等。Brightcove对规模不大的中小公司提供有吸引力的,有足够内容保护机制的方案,也帮助较大的公司建立市场,交易视频内容。

图1-8 Brightcove的Logo

(7)Bitmovin

Bitmovin(见图1-9)是成立不久的视频服务新秀,与Brightcove提供相似的视频云服务,包括视频上传、转码、定制播放器、广告插入、数据分析等,因为没有技术负累,它专注于较新的技术栈(如动态码率技术、分段转码技术等),短短数年间已经建立起了较好的口碑。

图1-9 Bitmovin的Logo

(8)Conviva

Conviva是致力于在线视频优化和分析的公司代表之一,总部在硅谷,它通过接入在线视频公司的数据,帮助进行流媒体服务的分析,给出体验报告,并给予及时的预测和报警服务。即使较大规模的视频公司,也时常使用他们的服务,以替代自主构建数据存储和分析的设施。

1.2.3 中国引领创新

以往,互联网的技术和模式,大都发源于美国市场,随后才能在中国的市场上见到模仿者,近年来却产生了一种新的趋势,即中国市场的领先公司开始依据市场特点和自身能力,首创出大量前所未见的应用方法、商业模式和技术方案,引领创新潮流,故而,中国的视频服务尤有值得记叙的一笔。

(1)优酷、土豆

作为YouTube在中国的模仿者,优酷于2006底年上线,到2007年,其日视频播放量就11达到1亿,初始致力于成为短视频分享平台,后转型为授权影视作品的点播服务,并涉足电影电视制作领域。土豆网与优酷类似,也在2005年成立,在很长一段时间内,优酷和土豆是中国数一数二的视频网站,二者分别于纽交所和纳斯达克上市,并于2012年3月通过100%换股方式合并,成为优酷土豆集团公司,后续公司延续双品牌运营,于2015年10月被阿里巴巴宣布收购,现已成为阿里文化娱乐集团的一部分(见图1-10)。

图1-10 优酷网站的视频上传页面

优酷在技术上早期依赖Flash文件格式和相应流媒体协议,较晚才转向HTML5,由于国内网络基础设施的限制和昂贵的费用,优酷很早就开始自行建立CDN,又有提供视频平台服务、直播、游戏等业务,对各项现代技术都有涉猎。在阿里巴巴接手后,许多平台直接采用阿里的成熟技术,架构体系发生了很大改变。

(2)搜狐视频

搜狐于2004年成立了搜狐宽频,即搜狐视频的前身,此后在多年的发展中,搜狐曾多次站在时代前沿,在2008年搜狐成为北京奥运会互联网内容服务赞助商,2009年搜狐独家首播大量正版影视剧,2013年搜狐成为美剧资源最多的视频网站,2014年56网并入搜狐视频。由于搜狐本身在近年的互联网竞争中处于弱势,与新浪视频类似,当前的搜狐视频已经无法在行业内引领潮流,但仍试图从VR技术等方面突围。

技术上,搜狐视频令人印象深刻的是其传统与P2P方式结合的点播与直播实现。由于国内基础设施和带宽价格的问题,在很长时间内,P2P都被视作一剂良方,多家在线视频公司均借此成名,如被苏宁控股的聚力视频,被爱奇艺收购的PPS,被百视通收购的风行网,以及暴风影音、迅雷等。

(3)乐视

今日的乐视深陷资金链风波,然而过去的年份中,公司也曾在视频领域有所成就。2004年,乐视成立,初期颇为挣扎,后在其他人没有意识到版权重要性的时候低价获取了大量优质IP,通过分销积累到第一桶金,到2010年以后,互联网影视渐成风尚,乐视也因此脱胎换骨,最高时曾十分接近在线视频服务的第一梯队。乐视在CDN建设、编解码技术等领域都有过独到之处,乐视电视提供较现代的界面设计和用户体验,也可供后来者借鉴。

(4)爱奇艺

2010年,百度经过认真考量,上线了视频服务奇艺,后更名为爱奇艺,从最开始,爱奇艺就全面跟随Netflix和Hulu模式,致力于正版影视领域,力求覆盖全面,塑造和竞争对手相比较高的品牌形象。2013年,百度收购了PPS视频业务,并将其与爱奇艺整合,一举超过多家竞争对手,在随后几年中成为中国主流的在线视频网站,在综艺、电影、动画、自制剧等方面尤有优势。

技术上,爱奇艺在2013年、2014年后上线了多项亮点技术。例如“绿镜”功能根据大数据帮用户精简视频观看片段,基于Docker的分布式转码服务,视频广告投放平台、个性化首页等,近年在将视频、数据与人工智能算法的连接上,爱奇艺也有出色表现,并于2018年在纳斯达克成功上市(见图1-11)。

图1-11 爱奇艺在纳斯达克上市

(5)腾讯视频

腾讯视频在几大视频巨头中入局较晚,2011年才上线运营独立域名,与爱奇艺类似,它也定位在正版点播及电视直播上,其特色内容包括2013年上线的中国最大的英剧频道、2015年获取的NBA付费直播频道等。在技术布局上,腾讯视频不若爱奇艺全面开花,但胜在扎实推进,在存储、分发、编码、多终端支持、搜索、CDN、错误处理等方面均有可靠积累。近年来,腾讯建立了音视频实验室,与微信、QQ等部门的音视频技术团队相互砥砺,在服务质量上口碑颇佳。

(6)暴风影音

最早这是一款由暴风科技设计的播放器,原本以单一软件覆盖多种解码方式为卖点,逐渐发展成依托P2P技术提供视频聚合服务的公司,近年来,暴风公司将布局重点转向VR,发布了暴风魔镜等产品。暴风曾在2007年收购了早年由精英程序员梁肇新开发的知名播放器豪杰超级解霸,在播放上有“左眼”等亮点技术。

(7)Bilibili

与其他在线视频的巨头不同,Bilibili初始模仿日本流行的视频网站NICONICO,以极具特色的弹幕技术为吸引,构建了以二次元文化为核心、版权动漫和二次创作内容分享模式并重、社区氛围的在线视频观看网站,收入模式上很大程度依赖于游戏联运。Bilibili的弹幕技术和运营融合较好,亦在基于HTML5的播放体验上表现良好。

(8)金山云

自张宏江博士从微软工程院离开来到金山,金山在云服务尤其是视频云上投入了大量的资源,其中在视频领域的H.265编码器可谓一大亮点。金山云的编码团队采用从最小工具集开始重新编写、结对编程、极限编程等方法达到令人惊讶的编码性能,2016年其编码器KSC265在视频编码器大赛上获得软件编码器第一名。

1.2.4 形形色色的玩家

或许不如上述公司广为人知,但行业中活跃着的玩家形态多种多样,各不相同,有的公司以软件知名,也有公司以硬件设备著称,切入点既可以是复用器、编码器,也包含客户端设备,但凡有一技之长,又能把握市场脉搏,都能够在市场中发挥影响,博取利润。

(1)DivX

DivX既是公司名称又是产品名称,软件产品包括播放器、网页播放器、转码器和编解码包,其编码器最广为人知的版本DivX3.x实际是微软的MPEG-4v3编码器的Hack版本,其次是DivX4。2007年,DivX收购了专业的编码技术提供商MainConcept。

DivX在欧洲有最多的用户,在美国得到了许多好莱坞电影公司的认可,亚洲也曾有很多地区流行过相应的格式。与RealNetworks相似,纯粹的软件提供商今天已不是行业的中心,仍然让人铭记的是其在世纪初对产业发展的推动作用。

(2)Harmonic

哈雷公司是广播电视行业的巨头,关注的市场包括地面广播、有线接入、卫星直播、电信运营商、OTT内容分发和内容编制等,其在编转码、播出、存储、采集、分发、云视频等技术上均有深厚积累,尤其在硬件编码器上一向具备顶尖的实力(当然也有不菲的价格),包括Harmonic、Harvision、Harris、RGB、Teradek、BoxCast在内各厂商的硬件编码器常常被用于满足有线电视服务商和在线视频服务商的后台需求。

(3)Roku

Roku是一系列以播放音视频多媒体内容为主的机顶盒产品(见图1-12),通过有线或WI-FI连接互联网,Roku机顶盒从不同内容提供商(如Netflix、Hulu、HBO、DirecTV Now、Sling TV等)那里获取内容并提供给用户。机顶盒采用定制的操作系统Roku OS,以其低廉的价格和出色的内容整合能力,在2017年的统计中,占据美国37%以上家庭的客厅。

图1-12 Roku机顶盒

与之对应,中国的互联网机顶盒因有牌照限制,是和IPTV隔离的不同市场,只有CNTV(中国网络电视台)、上海文广、华数、南方传媒、湖南广播电视台、CRI(中国国际广播电台)、中央人民广播电台七家实体具备提供服务的资格,其他服务提供商必须与牌照方进行合作才能合法运营。当前多方混战之下,小米盒子、天猫魔盒等各擅胜场,创维、海信、爱奇艺、华为、海美迪等也不甘落后,较之美国市场更为混乱。

(4)Wowza

公司自2005年建立,在那个Adobe的Flash流行、RTMP协议广泛应用的年代,Wowza较早地打破Adobe Media Server的垄断,提供了基于RTMP的流媒体服务器,随后快速扩展到支持各种编码格式和流媒体协议,提供DRM支持,编码支持以及云服务。由于低价扩张、在线认证的商业模式和快速添加的功能集,Wowza很快对流媒体服务器的前霸主Helix Server和Adobe Media Server形成威胁并快速超越。

Wowza近年来较为知名的举措是开发了硬件编码器ClearCaster(见图1-13)用于Facebook上直播的支持。

图1-13 Wowza的ClearCaster

(5)Beamr

这是一家业内人士才会关注的技术公司,成立于2009年,总部在以色列。他们专注于编码技术的优化,从H.264时代到现今的H.265,在符合标准并保证主观观看质量的前提下,将视频压缩得更多。由于视频编码技术的门槛,较小的在线视频公司常常使用它的服务以优化存储空间和带宽的使用。