声网自研的抗丢包音频编码,将你从仪表板获取的 App ID

摘要2018年11月21日,“声网Agora”正式宣布完成7000万美元C轮融资,由全球科技股对冲基金Coatue
Management领投,SIG海纳亚洲、Morningside晨兴资本和顺为资本跟投。从YY到声网声网Agora成立于2014年,由前YY语音CTO赵斌在硅谷创立,定位全球实时通信云服务商,其核心技术为RTC。实时通信(Real-time
Communication,
简称RTC),即允许两人或多人使用网络实时的传递文字消息、文件、语音与视频交流,也就是现在很多应用内都会有的聊天、语音、视频功能。通过调用声网的API,开发者可以快速创建这些功能,实现例如视频社交、互动直播、游戏开黑、AR远程协作、视频报警、视频客服、机器人视频陪伴等场景。自研算法优化底层技术音视频传输,通常需要经过“采集—预处理—编码—传输—端处理—解码”等一系列流程,不同服务商会在每一个环节进行优化,从而提高传输速率、质量。例如,声网的预处理已经不仅包括美颜、瘦脸等基础功能,还加入了“人机交互”——在直播中,用户用手势比一个心型,那么系统就会自动识别出来,发几个颗心给对方。再比如,对音视频传输质量影响很大的编、解码环节。编、解码可以理解为压缩、解压缩,原则上,在网络传输出现问题时压缩包会丢失,丢的越多,出现的卡顿就越多。在这方面,声网首席科学家、国际编解码专家钟声曾表示:“视频编码,声网的新算法在高丢包率、低延迟情况下,能体现更多优势。相同质量下只需要一半的码率,比如延迟只有4帧情况下,丢包率是60%,基本上码率只有原来的一半,同时编码的质量和复杂性没有本质变化。如果拿到很模糊的图像,需要在低码率、低分辨率情况下还原,基于传统多像位滤波、三次发差值等方法还原出来的图像,总体上比较模糊。用了深度学习算法之后,细节明显提升,即使在较差网络条件、带宽受限的情况下,依旧可以还原清晰画质。但深度学习有一个大问题,就是需要在大模型、大数据、大平台上实现,可用户基本都在使用移动端,对于算法的实现是一个挑战。声网在这方面也做了很多优化,比如在iPhone6上把一个放大9倍算力支持到每秒200帧,已经达到实时。在音频方面,声网自研的抗丢包音频编码
Agora Solo™ 已发布进化版Solo X™,具有抗丢包特性,即使是在 50%
的丢包下,用户都可以听清对方所讲的内容。同时,自研的分组信号互补技术,兼容Opus和WebRTC。”音视频普及带动场景延伸据悉,除了硅谷,声网已于上海、北京、广州、伦敦、班加罗尔、东京等地有分布式协作团队。目前已在全球自建200多个数据节点的SD-RTN™
软件定义实时网,服务了全球超20万开发者,覆盖全球超过20亿终端用户,每日支持通话分钟数超过3亿,客户包括社交、直播、游戏、教育等、民生、政务、医疗、金融、物联网等行业,同时与小米、陌陌、中国移动在线、The
Meet Group、Hike
Messenger、Badoo、Musical.ly、V-cube、好未来、招商银行等建立了战略合作关系。列举一个应用场景,目前重庆市已推出急救视频
120 自救互救服务,在拨打 120
或下载相关App后,医生可通过视频对话,指导现场人员进行自救或互救,若用户此前并未下载
App,拨打120后,手机会收到一条包含 URL 的短信,用户可通过 Web
端与急救医生视频对话。该场景的实时视频通话就是通过声网SDK实现的。再比如,郑州铁路警方用AI警务眼镜筛查网上在逃人员的新闻中,采用的是亮亮视野推出的搭载VPU的AR眼镜,其中内嵌了声网的语音通话技术。谈及未来,声网CEO赵斌表示,目前看来,RTC技术服务平台市场规模超80亿美金,亚洲和欧美市场使用量最大,中东、俄罗斯、非洲等市场增长较快。随着语音聊天室、视频社交、互动课堂等成熟使用场景的普及,音视频互动已成为用户最为主流的使用习惯,未来更多线下的真实互动场景将被搬到线上,构建新的线上世界。声网Agora官网

摘要2019年1月14日,快播王欣推出了一款匿名IM社交软件——马桶MT,它的灵感像是来自于美国的匿名分享应用Secret(已关闭)。概述原快播创始人王欣近日在微博预告了其新公司云歌人工智能推出一款全新社交产品的消息,这款产品命名为“马桶MT”(另见《王欣回应微信封禁,解释新IM为何取名“马桶MT”》)。▲
“马桶MT”的logo▲“马桶MT”的部分APP截图官方介绍称:马桶MT是一个人脉暗网,是朋友圈的影子,所有微信上看不到的听不到的,甚至是被删除的内容都可能出现在这里。马桶MT这款软件来看,话题有点类似微信的漂流瓶,但可以带红包发布,聊天还能领红包!这绝对是中国特色了,想必会吸引不少小伙伴。马桶MT似乎还支持熟人匿名聊天,平时不方便对人说的话,可以在这里匿名吐槽。马桶MT已开通了官方微信公众号,从2018年10月30日至今总共发布了10条消息。其公众号介绍称,“马桶MTR是一款用图片加语音或者文字来呈现的话题社交工具,产品亮点为可以让用户获得更真实和客观的意见,可以随心畅聊,并能够获得真实反馈。”“马桶MT”官网截图“马桶MT”相关链接官方网站:
昨夜也第一时间发布了微博,显示马桶MT的分享链接已经被微信封杀,他无奈调侃道:“不知道你怕什么?”以快播曾经的影响力来看,腾讯给以重视也是理所当然的,星星之火可以燎原,千里之堤溃于蚁穴,老祖宗的祖训还是腾讯记得最牢。2)“马桶MT”服务器挂了!今日(2019年1月15日)上午,网友们反馈,马桶MT
App“断网”,被曝无法刷新、话题发布失败,无法收到验证码并登录等。到了下午,上午打不开的马桶MT官网已经能打开了,但打开之后显示“下载马桶MT人数超过服务器负载能力,导致用户接不到短信验证码,
刷新不了内容,无法正常使用。对不起,我们正在扩容服务器,优化服务。。。”

摘要声网的Flutter版音视频SDK于近期发布。声网 Agora.io 是为 App
开发者提供全球范围实时音视频通信服务的云服务商引言Google
在去年12月正式发布了,跨平台开发框架 Flutter 1.0。一套代码,可在
Android、iOS 双端运行。Agora Flutter SDK 是声网基于 Agora Video SDK
封装了一个 Flutter plugin,可以为你的 Flutter App
实现实时的音视频通话功能。同时,除了 SDK,这里有一个 QuickStart Demo
,地址是:
Demo 跑起来。首先是准备工作你需要做如下准备:Agora.io 开发者帐户(需要在
Agora 官网注册)Flutter1.0.0快速开始这个示例将展示如何使用 Agora Flutter
SDK
构建一个简单的视频通话应用程序,包括:加入/离开频道静音/取消静音切换摄像头布局多个视频视图创建一个帐户并获取一个App
ID要构建和运行示例应用程序,请首先获取Agora App ID:在 agora.io
创建开发人员帐户。完成注册过程后,您将被重定向到仪表板页面。在左侧的仪表板树中导航到Projects>
Project List。将你从仪表板获取的 App ID
复制到文本文件中。你将在启动应用程序时用到它。更新并运行示例应用程序打开
settings.dart 文件并添加刚刚获得的 App
ID。constAPP_ID=””;在项目目录中运行packages
get命令:#installdependenciesflutterpackagesget构建完成后,执行run命令启动应用程序。#startappflutterrun我们建议大家在开发期间按照
Flutter 官方引导推荐,使用 IDE(包括但不限于 VS
Code)来控制整体构建过程有关如何设置 IDE
的详细信息,请参阅官方文档:
Agora Flutter SDK 和 Demo
有任何意见或建议,欢迎点击「阅读原文」在论坛回帖反馈。我们的工程师们会查看大家的回帖,并积极考虑大家的需求。稍后我们还将为大家分享更多
Flutter 的开发经验,以及基于 Agora Flutter SDK
开发的详细教程。声网链接下载地址:

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*
*
Website