1.3.1 核心关键技术
数字媒体技术的核心关键技术主要涉及媒体信息的处理、传输和内容管理等几个方面。
1.媒体信息处理技术
媒体信息数据通常是非常庞大的,特别是视音频数据,如果直接进行传输或存储,势必占用极宽的传输带宽或巨大的存储空间,造成资源的极大浪费。根据IDC的“The Digital Universe in 2020”统计,2012年全球有分析价值的数据中有一半是监控视频数据,这个比例在2015年上升到65%,速度是每两年翻一番。我国现有3000万台监控摄像机,每月生成的视频数据高达60EB。因此,研究高效的视音频压缩编码等媒体信息处理技术十分重要。
随着技术的不断进步,新一代压缩编码算法的效率不断提高,例如视频压缩编码的H.265标准就比H.264标准的效率提高一倍左右,这就意味着在不改变传输带宽的情况下可使网络视频流传输能力提高一倍,或是在不改变存储容量的情况下使系统存储能力提高一倍。然而需要说明的是,由于视频图像的分辨率不断提高,由标清,到高清,再到超高清(4K格式),使得视频源的数据量也相应成倍增长,对视频信息的传输、存储也同样带来了巨大的压力。因此,实际数字媒体应用系统其实是对全系统的各个环节都提出了更高的要求,都需要通过不断地深入研究而加大处理力度、提高处理效率。
Google于2017年初发布的RASIR(Rapidand Accurate Super Image Resolution,快速且精确的超级图像分辨率)技术采用了机器学习算法,通过低分辨率与高分辨率图像的比对和超分辨率重建技术,可以在不牺牲图像质量的前提下节省75%的传输带宽。紧接着,一家名为Gamalon的初创公司发布了一项通过Bayesian Program Synthesis(贝叶斯程序合成)技术处理概率问题的新算法,用最优的方法解释收集到的数据,因而系统仅通过很少的数据就可以获得与完全训练后的神经网络相当的识别水平。据该公司称,其新技术相比Google的深度学习框架TensorFlow的效率高出100倍。
虽然提高编码效率往往意味着算法复杂度也相应提高,但这一代价可因硬件设备性能的提高而抵消掉。
另外,面对海量的媒体信息数据,如何有效地查找、使用信息也是十分值得关注的问题,因此如何通过对媒体信息内容的分析实现高效的内容检索、对象识别就显得非常重要了。
近年来,随着大数据、深度学习等概念的提出,图像/视频内容分析、语音识别等媒体信息处理技术不断取得新的进展。
2.媒体传输技术
报纸、杂志等传统媒体属于有形媒体,只能通过物流形式进行传输;广播、电视等无形传统媒体则是通过有线、无线载体以电信号(电波)形式进行传输。如今,数字化的传统媒体及新媒体绝大多数都是通过媒体网络进行传输,且呈爆炸性增长之势,而媒体网络的服务端接入带宽、客户端接入带宽以及从服务器端到客户端之间的传输带宽成为影响媒体传输质量的瓶颈。因此,为了保证媒体传输的服务质量(Quality of Service,QoS),研究高效的媒体传输技术也是十分重要的。并且,为了保证视音频等媒体内容传输的实时性以及流畅性,还进一步诞生了流媒体传输技术。
事实上,数字化媒体文件的传输随着网络的诞生就已经实现了,但是通过网络传输的媒体文件是不能实时播放的,必须先将其完整地下载到本地计算机,然后才能打开文件再进行播放。然而对于大的媒体文件,其下载过程通常会花费很长时间,严重影响了媒体资源传输的实时性。流媒体技术的出现使得人们无需再等待媒体文件的完全下载,而是可以边下载、边播放,极大地提高了媒体传输的实时性和效率。
流媒体传输的基本原理是在用户端计算机上创建一个适当大小的缓冲区,在媒体播放前预先下载一小段数据作为缓冲,随即经几秒或十几秒的启动延时即可开始播放。这样,在网络传输出现波动(瞬时带宽不足致使媒体数据“供不应求”)时,播放程序就会取用一小段缓冲区内的数据,从而避免了播放中断,保证了媒体播放的流畅性。
流媒体传输需要遵循一定的网络协议,如提供时间信息和实现流同步的实时传输协议(Real-time Transport Protocol,RTP)、提供流量控制和拥塞控制服务的实时传输控制协议(Real-time Transport Control Protocol,RTCP)、应用程序如何有效地通过IP网络传送多媒体数据的实时流协议(Real-time Transport Streaming Protocol,RTSP)以及能为流媒体传输提供QoS保证的资源预定协议(Resource Reserve Protocol,RSVP)等。
在无线媒体传输方面,作为第四代移动通信技术(4G)延伸的第五代移动通信技术(5G)已经出现。相对于4G技术来说,5G网络的峰值速率将增长数十倍,从4G的100Mbit/s提高到几十吉比特每秒,这就意味着用户在1s内就可以下载十几部高清电影,而可支持的用户连接数量也将增长到100万用户/km2,可以更好地满足海量数字媒体资源的接入。而媒体传输的端到端延时则从4G的十几毫秒减少到5G的几毫秒。
另外,除了个人通信效能的提升外,5G技术的出现还把4G时代仅是停留在构想阶段的车联网、物联网、智慧城市、无人机网络等概念变为现实,并进一步应用到工业、医疗、交通、安全等领域,从而极大地促进这些领域的生产效率,创造出新的生产方式。
3.媒体内容管理技术
随着数字媒体种类、数量的不断增长,如何对海量的数字媒体资源进行有效的管理也是十分重要的。这就涉及媒体资源的存储、检索、内容挖掘以及集成分发等诸多环节,涉及多媒体数据库的合理构建。一个好的数字媒体内容管理平台,最基本的要求就是对各种媒体格式及其相关业务流程的支持,例如广播电视领域的媒体资产管理系统,就应尽可能支持所有的视音频媒体格式以及多种途径的节目收录、节目编辑、节目处理、节目发布、媒体资源的存储管理、系统管理等广播电视业务流程。
另外,随着数字媒体资源(如数字图书、数字视音频节目等)在互联网等媒体网络上的广泛传播,盗版、盗链、盗播等现象变得日益严重,因此,研究数字媒体内容的版权保护问题也是十分重要的,并因此诞生了数字版权管理(Digital Rights Management,DRM)技术,通过多级的加密、授权,可以从技术层面防止数字媒体资源的非法使用或复制。