WebRTC客户端主要流程分析
1.通信过程
因为WebRTC规范里没有包含信令协议,所以像OWT、mediasoup等支持WebRTC的开源项目,其通信两端建立连接的过程中的信令逻辑各不相同。但是,总体上来说,其通信过程必然会包括以下过程。
发起端创建本地的PeerConnection,并且创建Offer。 发起端通过信令服务器将Offer发送给应答端。 应答端创建本地的PeerConnection,把发起端的Offer设置到PeerConnection中,并且获取到Answer。 应答端通过信令服务器将Answer发送给发起端。 发起端把应答端的Answer设置到PeerConnection中。 两端都收集本地PeerConnection的ICE Candidate,通过信令服务器发送给对方,对方收到ICE Candidate后设置给本地的PeerConnection。 两端成功建立音视频通道,开始收发音视频数据。
这个过程如果是在局域网中,可以通过某种方式与对端直接建立好信令通道,则可以不需要信令服务器,直接建立P2P的音视频通道。
这个过程中有些概念可以了解一下。
音视频免费学习资料获取:后台私信扣1
PeerConnection:WebRTC最初设计师用于浏览器的P2P媒体通信,所以其核心接口类就是PeerConnection,简称PC。
Offer、Answer:都属于SDP。SDP是一种描述会话协议,用于描述一次会话的多媒体数据格式等配置信息。通信双方交换SDP就是为了协商一个双方都支持的会话配置。
ICE:一种NAT穿透协议,利用STUN、TURN协议完成工作。ICE会在SDP中增加传输地址信息,然后对其进行连通性测试,测试成功后就可以用于传输媒体数据了。
ICE Candidate:即ICE的传输地址信息,包括host、srflx、relayed和prflx。 2.核心流程
WebRTC支持的客户端系统有iOS、Mac、Android、Windows和Linux。各端的代码各不相同,但是,其核心API的调用过程是类似的。所以,只要把握了总体的调用过程就能顺藤摸瓜的去查看各端的详细代码。这里总结下调用的关键步骤:
全局初始化。
创建PeerConnectionFactory。
通过PeerConnectionFactory接口创建PeerConnection。
创建Capturer。
通过PeerConnectionFactory接口创建Source、Track。
通过PeerConnection接口创建Transceiver。
创建Offer、Answer,设置给PeerConnection,并相互交换。
相互交换ICE Candidate,通过ICE Candidate回调接受对端ICE Candidate,设置给PeerConnection。
P2P连接的状态可以通过监听PeerConnection的状态回调函数(Windows端是OnIceConnectionChange)。
其中,几个重要的WebRTC中的概念可以了解一下: Capturer:视频数据采集,包括相机、屏幕、视频文件等。 Source:数据源,数据来自Capturer或其他,然后将数据传给Track。 Track:媒体数据交换的载体。 Sink:Track数据的消费者,本地预览和渲染远端视频都是Sink。 Transceiver:负责收发媒体数据。
以视频数据收发为例,发送端的Capturer采集到视频数据,交给Source,再由Source交给本地的Track,然后本地Track中数据分为2路,一路给本地Sink做预览,一路由Transceiver发送给接收端。接收端的Track收到数据后交给接收端的Sink进行渲染。
作者:caesar1228
原文链接:https://blog.csdn.net/caesar1228/article/details/127198711?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EYuanLiJiHua%7EPosition-3-127198711-blog-78008769.pc_relevant_3mothn_strategy_recovery&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EYuanLiJiHua%7EPosition-3-127198711-blog-78008769.pc_relevant_3mothn_strategy_recovery&utm_relevant_index=6
哈勃太空望远镜探测到矮星系的保护罩麦哲伦日冕研究人员证实了难以捉摸的麦哲伦日冕的存在,这是一个由热的电离气体组成的保护性光环,以前只在理论上认为有。几十亿年来,银河系最庞大的宇宙伙伴大麦哲伦云和小麦哲伦云一直在太空中进行着动
重阳节老年人饮食谨记四点农历九月初九是我国传统节日重阳节。俗话说家有一老,如有一宝,敬老孝老爱老是中国民族的传统美德。今年的重阳节正好处于国庆假期期间,针对老年人饮食,中国食品科学技术学会日前发布重阳节老
政策加力,为制造业高质量发展添动能新华社北京9月30日电题政策加力,为制造业高质量发展添动能新华社记者王雨萧吴雨张辛欣制造业是实体经济的根基。针对市场主体当前困难较大等情况,近日召开的国务院常务会议进一步加大纾困政
我国制造业区域高质量发展取得积极成效上半年25个集群完成产值6。2万亿元沿长江11省市已建设1134家绿色工厂,沿黄河9省区工业用水效率高于全国平均水平重点培育的25个先进制造业集群主导产业产值近10万亿元一组组数据折射出我国制造业区域协调发展的可喜变
普京的二难俄乌冲突的爆发与延宕,本源是在政治伦理上,国际社会陷入了民族国家与联邦国家的二难。早期斯拉夫人,对古希腊古罗马帝国而言,与盎格鲁萨克逊人日耳曼人一样,同为北方三大蛮族,是奴隶的来源
人品有问题的人,微信聊天就知道了01hr聊天是一件很奇妙的事情,黑的可以说成白的,白的可以说成黑的。从古至今,我们都期待一次真诚的聊天,要么给予安慰,要么启迪智慧。战国时的齐闵王,今年去攻打宋国,明年去攻打赵国和
一年半内融资三次,红杉腾讯均为股东,这家CRM公司怎么突破内卷?记者李京亚编辑互联网广告圈一位元老级人物杨炯纬进军企业服务赛道,被多方评价为ToB领域的风向标。他所创办的卫瓴科技在投资圈颇有热度,一年半内连续融资三次,红杉腾讯都有站台,最新一轮
从代工到合作,李一男的牛创新能源不造车去哪了李一男口中造车没偷过一天懒,也没一天缺过钱的牛创新能源,研发的首款车型自游家NV终于来了。9月29日,自游家品牌官宣,NV将于10月8日全面登场。同时,此前飘忽不定的车辆尾标也最终
买学习平板选护眼屏真有必要吗?究竟什么样的学习平板才值得入手学习没兴趣上课听不懂作业不会做家长教不了?等等这些学习问题都是目前家长们所面临的,加上双减政策的实施,没有了辅导班,孩子课堂听讲和课后自学就更加的重要。特别是对于中小学的孩子们,正
廿万公里10章新疆餐厅吃饭,有人给片哈密瓜,千万不要接,是笼子哈萨克骑手在北疆勒马驰骋第一节准备一个人到新疆,书记不干了。自从俺在紫鹊界小东江漓江徒步归来之后,觉得一个人独游那是太过瘾了。这不国庆节又要到了放假七天,俺又在发愁到哪里去混过这几
新疆怎一个美字了得草原牧区行新疆篇作者光明日报调研组开栏的话清朗的风,从广袤无垠的草原上轻轻拂过,在乳香茶香酒香间盘桓萦绕,又将泥土的芬芳骏马的嘶鸣牧人的歌声送往渺渺的远方草原牧区,是游人向往的大美
真是艰难啊中国女排2523险胜李盈莹一锤定音冲击世锦赛开门红2022女排世锦赛小组赛,中国女排对阵阿根廷队,第一局中国队赢得真是艰难啊,2523险胜,李盈莹完成了一锤定音,中国队冲击世锦赛开门红。这次的世锦赛,中国女排阵容不整,缺少了朱婷和
龚翔宇缺战!中国女排2523险胜阿根廷!袁心玥再次让人失望北京时间9月25日,女排世锦赛小组赛,世界排名No。4的中国女排迎来首秀,对手是世界排名No。22的阿根廷女排!这是双方第一次在世锦赛上交手,但是在世界杯和奥运会赛场上,双方则是打
对自己,对孩子,不要妄自菲薄经历的事情多了,自然修得大道对自己,不要妄自菲薄。对孩子,不要妄自菲薄。经历的事情多了,自然修得大道。当然,要主动修炼,历经苦难,历经困难,方能等道1。身心困苦,正是修炼的表现之一。内心紧张心跳快内心焦虑时时
放空和发呆,是一种压力的释放导言一千个读者,有一千个哈姆雷特,总有一个属于你的哈姆雷特,道生一二三无穷,总有一个适合你,条条大路通罗马,总有一条道你能走得通,道理千千万,总有一个能真正点醒你,解读千千万,总有
青未了风吹青绿深秋,风渐渐凉了起来,秋天的渐行渐远似乎预言着冬天马上就要来临了,然而,只要是看一眼此刻窗外的美景,你的心,马上就会欣欣然了起来。我是大自然的忠实粉,我爱它胜过爱形形色色自己的同类
生与死生与死当挂断手机通话的那刻起,金钱成为压垮我的最后一根稻草,我买了一束鲜花,换上了我平日里想穿又不敢穿的那身蓝色西装,这样的装扮在人群中格格不入。于是我只能趁着月亮给我放风的时候,
中通客车,是在玩你们呢有消息称,中通客车将会向俄罗斯出口新能源汽车。还有消息称,中通客车正在生产一种新能源汽车,会配备漂移改装套件。消息真不真不知道,就知道中通客车涨停了?用脑袋想一想,俄罗斯现在需要新
海尔海纳运用数字模型,解决胶州湾大桥监管难题当前,物联网信息技术和新基建高速发展,打造智慧应急管理,用智能科技监测预防突发事件的发生提升应急处置的能力和效率,是城市应急管理的必经之路。海尔海纳云拥有强大的平台能力和技术能力,
教育部发布新版职业教育专业简介,工业互联网专业建设全面提速日前,教育部发布新版职业教育专业简介(以下简称简介)。作为职业教育专业目录更新的工作延伸,简介对专业内涵进行了全面系统权威阐释,覆盖新版专业目录全部19个专业大类97个专业类的13
小而全,好用的功能统统给你iWALK糖果真无线耳机写在前面真无线耳机可以说是手机平板等移动设备的最佳伴侣了,其中又数半入耳真无线,最受广大消费者青睐,无感佩戴,小巧方便快捷,能通话,能刷剧,更是听音乐的不错选择。本次与您分享这款i
贸发网采购平台发力,助闽企出海接单香港贸发局的线上B2B平台贸发网采购已创立二十余年,在海外买家中享有盛誉。针对疫情之下外贸企业遇到的难题,不少内地省市在贸发网采购平台设立地方专页,向海外买家推广优质品牌产品并取得