从实验室到工业应用:音频和视频研发的难点和机遇 发布时间:2020-03-27
近年来,随着移动互联网的普及和智能终端设备的广泛应用,各种形式的实时音视频通信方式,如短视频、直播、在线教学1V1等,在公众中流行起来,成为一种新的日常通信方式。在技术方面,应用平台也在积极接近市场需求驱动的音视频技术,将这种过去主要面向专业和大型场景的先进技术推出实验室,探索在大众市场扎根的模式和可能性,使易用性和稳定性的音视频功能真正“飞进普通家庭名下”。
毫无疑问,音频和视频的研发需要从理想的实验室环境到充满不确定性的实际应用场景。在这个阶段,音频和视频应用到哪里去了?遇到了哪些研发瓶颈?如何解决它?
音频和视频正在成为应用中的一个硬需求。
随着互联网的深入普及,实时音视频通信已经成为一个绝对僵化的应用。根据中国互联网络信息中心第40次互联网网络发展调查,截至2017年6月,互联网视频用户数量达到5.65亿,使用率为75.2%,在互联网应用列表中排名第四,并呈现持续上升趋势。因此,从普及率和普及率的角度来看,实时音频和视频功能正成为互联网时代交流的必要条件。
用户在多样化场景中频繁调用实时音视频功能的趋势也证明了使用实时音视频的必要性。以网上医疗为例,网上诊疗已经合法化,成为人们寻求医疗咨询的新“姿态”。在教育领域,依靠音频和视频功能进行交流的在线教育为教育行业开辟了新的可能性。据统计,到2018年,在线教育市场预计将超过2000亿英镑。然而,以实时音频和视频社交为特征的游戏(如《杀狼》)的流行表明,人与人之间的联系和互动的时空边界再次得到扩展,实时面对面的社交已经成为现代人不可或缺的生活方式。
开发音频和视频并不容易,有两个主要难点需要解决。
音视频功能给用户的交流带来了便利,也启发了应用平台开发基于音视频功能的商业模式。不可否认,需要使用“通用”的音视频调用功能或“酷”的短视频功能,但在底层技术的开发中需要访问“千山万水”。综上所述,面向应用平台的音视频技术研发面临两大难点,即高开发门槛和灵活全面的开发以满足业务需求。
首先,音频和视频开发本身涉及复杂和多层次的技术堆栈。开发人员需要对其进行彻底分类,并形成一套完整的底层技术来完成功能的实现。还有很长的路要走。此外,在移动互联网时代,移动薄弱网络链路的普遍存在、用户网络服务门户拓扑的复杂性,以及实时音视频的兴起所带来的双方甚至多方对网络传输调度的需求,都给音视频开发的技术环境带来了不确定性,进一步增加了音视频开发和部署的难度。总之,对于大多数应用平台来说,音视频技术的开发是一个高门槛、高投入的领域,需要大量的人力物力来生产。
其次,音视频功能是一个比较宽泛的概念,要将其与业务需求相结合并应用到实践中还有很长的路要走。其中,对配套业务端进行灵活全面的开发非常重要。例如,移动终端和网络终端都成为用户调用实时音视频功能的门户,因此开发基于网络终端和服务器终端的综合音视频技术就显得尤为必要。同时,音视频场景的使用非常多样化,尤其是实时音视频场景的使用更加丰富,对声音质量、图像质量、流量、延时等的要求也各不相同。相应地,音视频技术的发展也需要面向使用场景,做有针对性的技术梳理,实现功能的灵活发展。
网易云NRTC解决音视频发展困境
数十年来,网易云一直致力于音频和视频。从以益新为代表的即时通讯工具到云类等具有音视频通信能力的产品,网易云的音视频技术实力经受住了多轮考验,形成了一套与时俱进、准确把握研发痛点的音视频解决方案。网易云自主开发的全功能工业音视频技术框架NRTC,即nrtc:网易实时通信,是网易云基于其以往音视频研发经验形成的一个全面、灵活、易用的工程解决方案。其目标是降低音视频功能开发的门槛,包括实时音视频,并帮助用户实现方便快捷的开发和部署。
NRTC的全面性体现在其技术、功能和场景的综合应用上,帮助用户有效降低音视频开发的门槛。从技术上来说,NRTC是一个适合网络和服务器开发的完整解决方案,可以帮助用户实现多点实时音频和视频通信。在功能上,NRTC提供多样化的音频和视频通信功能,包括直播、实时音频和视频通话等。在应用场景中,NRTC可以为音频和视频约会、在线教学和其他场景提供特殊的解决方案。
在灵活性方面,NRTC在传输端采用私有协议,保证了音视频通信功能能够灵活满足开发过程中业务和开发环境的需求。例如,在连接建立和链路选择中,传输层私有协议大大提高了连接效率,并避免了繁重的标准化传输协议通信。此外,基于传输层私有协议,用户可以轻松扩展媒体包,而无需遵循开源技术规定的太多标准,并且可以根据实际情况进行简化和优化。
凭借简单易用的SDK,NRTC真正实现了音视频研发工程,使得音视频开发能够通过易用的开发工具实现多样化的功能部署。例如,用户可以访问SDK来实现音频和视频通话、交互式直播、点对点和多人会议,而不必为服务器、信令等编写单独的代码。同时,依靠NRTC强大的SDK,用户可以轻松实现网络终端与其他移动终端和个人电脑终端的互通。
(照片:网易云音视频功能介绍)
目前,NRTC已帮助许多行业的用户成功开发和部署实时音频和视频功能。在实时音视频方面,网易云NRTC为网易云音乐、网易云课堂、网易新闻、网易有道等网易产品提供全套实时音视频技术解决方案和支持。同时,网易云nrtc还为在线心理服务平台1: 00、教学平台柚子钢琴培训等提供实时音视频功能。使得用户可以轻松实现在线实时查询、视频陪练等。此外,受欢迎的终极狼黑仔游戏也采用了NRTC支持的网易云音频和视频解决方案。最终狼黑仔通过丰富、灵活、易用的应用编程接口,在短时间内完成了实时音视频的底层技术开发,实现了自由场景切换、灵活角色设置等实时音视频社交功能。在短视频方面,NRTC还提供以“光智能”为特色的短视频解决方案。目前,网易云短视频解决方案已经成功帮助网易云音乐为UGC和PUGC制作人提供了更多的人民币和更时尚的曝光机会,进一步强化了网易云音乐的音乐社区定位。
(照片:网易云音频和视频在远程医疗中的应用)
结论
音频和视频的普及推动了相应的技术研发需求。面对高门槛、高投入的音视频技术开发,应用平台需要经历“长征”,才能完成功能的实施和部署。网易云开发的全功能工业音视频技术框架NRTC,通过全面、灵活、易用的解决方案,直接触及音视频开发的痛点,为平台高效完成音视频功能开发提供了有力工具,也为行业整合技术和服务模式以满足市场需求提供了借鉴。
这篇文章是由网站管理员的用户提交的。未经网站管理员同意,严禁复制。例如,如果大多数用户在稿件中发现虚假报告,欢迎读者反馈、纠正和报告问题(反馈入口)。
免责声明:本文是对用户的贡献。站长之家发布这篇文章只是为了传达信息。这并不意味着站长之家同意其观点,不对内容的真实性负责,仅供用户参考,不构成任何投资或使用建议。读者被要求核实真实性和可能的风险,任何后果将由读者自己承担。
相关文章推荐
- 山东省为湖北省防疫和控制捐赠了10亿
- 金被发现在音乐会上作弊,并一度假装
- 刘备见人时说他是钟的。刘备和刘胜是
- 揭示雍正帝的特殊爱好,喜欢给大臣们
- 钟一生中从未打过一次著名的战役。为
- 当海印的财富管理公司计划裁员三分之
- 200,000名股东激动不已!从下限到上
- 苏宁瑞城启动230万美元基准科技城建
- 中国在意大利的防疫:从误解到赞美
- 2020年,空调品牌承受不起损失
- 龙脊股份(601012。上海:控股股东李春
- 不到两周,情节就会逆转!美国拒绝接
- 谁比NBA总决赛冠军更强?乔丹8-4,科
- 买车后,这10样东西一定在你的车里。
- 独立教练:我非常希望把阿奎罗和卢卡
- 李:西班牙体力和驾照都在手。我的家
- 七年前的今天,热火失去了詹伟,波什
- 前意大利小姐在科斯塔库塔吐口水:和
- [晨谈]是时候展示你的大脑了!让我们
- 4月1日河北疫情最新消息:2例新输入病
- 如果没有奔驰和宝马,BAIC华晨的“空
- 通用汽车下周交付首批20,000个口罩
- 穆尼:我的目标是在巴黎疫情期间和我
- 赖斯身体:巴洛特利失去了俱乐部和球
- 谢晖:从助理教练到教练是很自然的。
- 巴拉圭前锋的近1000件球衣被盗!包括
- 博腾事故:无人员伤亡,财产损失约25
- "显然我应该战术性地为梅西服务!"
- 怡保体育用爱心赞助波尔多,携手展示
- 马德里竞技主席:现在讨论军事问题没
- 美国新增确诊病例累计超过170,000例
- ANSA:孔蒂和国际球员都愿意减薪,目

