QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

基于 Agora SDK 实现 macOS 端的多人视频互动

  • 2020-02-25
  • 本文字数:5145 字

    阅读完需:约 17 分钟

基于 Agora SDK 实现 macOS 端的多人视频互动

本文介绍如何使用 Agora SDK 在 macOS 端快速实现互动直播。互动直播和实时通话的区别就在于,直播频道的用户有角色之分。你可以将角色设置为主播 Broadcaster,或者观众 Audience,其中主播可以收、发流,观众只能收流。

Demo 体验

Agora 在 GitHub 上提供开源的互动直播示例项目 OpenLive-macOS-Objective-C/OpenLive-macOS-Swift。在实现相关功能前,你可以下载并查看源代码:


Github:https://github.com/AgoraIO/Basic-Video-Broadcasting

前提条件

  • Xcode 9.0 或以上版本

  • 支持 macOS 10.10 或以上版本的 macOS 设备

  • 有效的 Agora 账户(免费注册)


如果你的网络环境部署了防火墙,请根据声网文档中心的「应用企业防火墙限制」打开相关端口。

准备开发环境

本节介绍如何创建项目,并将 Agora SDK 集成至你的项目中。


创建 macOS 项目


参考以下步骤创建一个 macOS 项目。若已有 macOS 项目,可以直接查看集成 SDK。


  1. 开 Xcode 并点击 Create a new Xcode project。

  2. 选择项目类型为 Cocoa App,并点击 Next。

  3. 输入项目信息,如项目名称、开发团队信息、组织名称和语言,并点击 Next。

  4. 如果你没有添加过开发团队信息,会看到 Add account… 按钮。点击该按钮并按照屏幕提示登入 Apple ID,完成后即可选择你的账户作为开发团队。

  5. 选择项目存储路径,并点击 Create。

  6. 进入 TARGETS > Project Name > General > Signing 菜单,选择 Automatically manage signing,并在弹出菜单中点击 Enable Automatic。

  7. 集成 SDK


选择如下任意一种方式将 Agora SDK 集成到你的项目中。

方法一:使用 CocoaPods 自动集成

  1. 开始前确保你已安装 Cocoapods。参考 Getting Started with CocoaPods 安装说明。

  2. 在 Terminal 里进入项目根目录,并运行 pod init 命令。项目文件夹下会生成一个 Podfile 文本文件。

  3. 打开 Podfile 文件,修改文件为如下内容。注意将 Your App 替换为你的 Target 名称。


# platform :macOS, '10.11' use_frameworks!target 'Your App' do  pod 'AgoraRtcEngine_macOS'end
复制代码


  1. 在 Terminal 内运行 pod update 命令更新本地库版本。

  2. 运行 pod install 命令安装 Agora SDK。成功安装后,Terminal 中会显示 Pod installation complete!,此时项目文件夹下会生成一个 xcworkspace 文件。

  3. 打开新生成的 xcworkspace 文件。

方法二:手动复制 SDK 文件

前往 SDK 下载页面,获取最新版的 Agora SDK,然后解压。


将 libs 文件夹内的 AgoraRtcEngineKit.framework 文件复制到项目文件夹下。


打开 Xcode,进入 TARGETS > Project Name > Build Phases > Link Binary with Libraries 菜单,点击 + 添加如下库。在添加 AgoraRtcEngineKit.framework 文件时,还需在点击 + 后点击 Add Other…,找到本地文件并打开。


添加前:



添加后:



  • AgoraRtcEngineKit.framework

  • Accelerate.framework

  • CoreWLAN.framework

  • libc++.dylib

  • libresolv.9.tbd

  • SystemConfiguration.framework

  • VideoToolbox.framework

  • 添加媒体设备权限


  1. 根据场景需要,打开 Xcode ,在 info.plist 文件中,点击 + 图标开始添加如下内容,获取相应的设备权限


添加前:



添加后:



  1. 若你的项目已启用 App Sandbox 或 Hardened Runtime 设置,则需勾选如下内容,获取相应的设备权限


根据 Apple 官方要求:


  • 对于在 Mac App Store 发布的软件,需要启用 App Sandbox 设置。详见 Apple 官方声明。

  • 对于不在 Mac App Store 发布的软件,需要启用 Hardened Runtime 设置。详见 Apple 官方声明。

  • Hardened Runtime 设置中的 Library Validation 会阻止 app 加载框架、插件或库,除非框架、插件或库是由 Apple 或是与 app 相同的团队 ID 签名的。当遇到需要取消该安全限制的场景(例如无法枚举到第三方虚拟摄像头)时,请勾选 Hardened Runtime -> Runtime Exceptions -> Disable Library Validation。

实现互动直播

本节介绍如何实现互动直播。互动直播的 API 调用时序见下图:



  1. 创建用户界面


根据场景需要,为你的项目创建互动直播的用户界面。若已有用户界面,可以直接查看导入类。


如果你想实现一个视频直播,我们推荐你添加如下 UI 元素:


  • 主播视频窗口

  • 退出频道按钮


当你使用示例项目中的 UI 设计时,你将会看到如下界面:



  1. 导入类


在项目中导入 AgoraRtcEngineKit 类:


// Objective-C#import <AgoraRtcEngineKit/AgoraRtcEngineKit.h>
// Swiftimport AgoraRtcEngineKitAgora Native SDK 默认使用 libc++ (LLVM),如需使用 libstdc++ (GNU),请联系 sales@agora.io。SDK 提供的库是 Fat Image,包含 32/64 位模拟器、32/64 位真机版本。
复制代码


  1. 初始化 AgoraRtcEngineKit


在调用其他 Agora API 前,需要创建并初始化 AgoraRtcEngineKit 对象。


你需要在该步骤中填入项目的 App ID。请参考如下步骤在控制台创建 Agora 项目并获取 App ID。


  1. 登录控制台,点击左侧导航栏的项目管理图标 。

  2. 点击创建,按照屏幕提示设置项目名,选择一种鉴权机制,然后点击提交。

  3. 在项目管理页面,你可以获取该项目的 App ID。

  4. 调用 sharedEngineWithAppId 方法,传入获取到的 App ID,即可初始化 AgoraRtcEngineKit。


你还可以根据场景需要,在初始化时注册想要监听的回调事件,如本地用户加入频道,及解码远端用户视频首帧等。


// Objective-C- (void)initializeAgoraEngine {    // 输入 App ID 并初始化 AgoraRtcEngineKit 类。    self.agoraKit = [AgoraRtcEngineKit sharedEngineWithAppId:appID delegate:self];}
// Swiftfunc initializeAgoraEngine() { // 输入 App ID 并初始化 AgoraRtcEngineKit 类。 agoraKit = AgoraRtcEngineKit.sharedEngine(withAppId: AppID, delegate: self)}
复制代码


  1. 设置频道模式


初始化结束后,调用 setChannelProfile 方法,将频道模式设为直播。


一个 AgoraRtcEngineKit 只能使用一种频道模式。如果想切换为其他模式,需要先调用 destroy 方法释放当前的 AgoraRtcEngineKit 实例,然后使用 sharedEngineWithAppId 方法创建一个新实例,再调用 setChannelProfile 设置新的频道模式。


// Objective-C// 设置频道模式。[self.rtcEngine setChannelProfile:AgoraChannelProfileLiveBroadcasting];
// Swift// 设置频道模式。agoraKit.setChannelProfile(.liveBroadcasting)
复制代码


  1. 设置用户角色


直播频道有两种用户角色:主播和观众,其中默认的角色为观众。设置频道模式为直播后,你可以在 App 中参考如下步骤设置用户角色:


  1. 让用户选择自己的角色是主播还是观众

  2. 调用 setClientRole 方法,然后使用用户选择的角色进行传参

  3. 注意,直播频道内的用户,只能看到主播的画面、听到主播的声音。加入频道后,如果你想切换用户角色,也可以调用 setClientRole 方法。


// Objective-C if (self.isBroadcaster) {        self.clientRole = AgoraClientRoleAudience;        if (self.fullSession.uid == 0) {            self.fullSession = nil;        }    } else {        self.clientRole = AgoraClientRoleBroadcaster;    }    // 设置用户角色。    [self.rtcEngine setClientRole:self.clientRole];
// Swift// 设置用户角色。agoraKit.setClientRole(.audience)agoraKit.setClientRole(.broadcaster)
复制代码


  1. 设置本地视图


如果你想实现一个语音直播,可以直接查看加入频道。


成功初始化 AgoraRtcEngineKit 对象后,需要在加入频道前设置本地视图,以便在通话中看到本地图像。参考以下步骤设置本地视图:


  • 调用 enableVideo 方法启用视频模块。

  • 调用 setupLocalVideo 方法设置本地视图


// Objective-C// 启用视频模块。[self.agoraKit enableVideo];- (void)setupLocalVideo {    AgoraRtcVideoCanvas *videoCanvas = [[AgoraRtcVideoCanvas alloc] init];    videoCanvas.uid = 0;    videoCanvas.view = self.localVideo;    videoCanvas.renderMode = AgoraVideoRenderModeHidden;    // 设置本地视图。    [self.agoraKit setupLocalVideo:videoCanvas];}// Swift// 启用视频模块。agoraKit.enableVideo()func addLocalSession() {    let localSession = VideoSession.localSession()    videoSessions.append(localSession)    // 设置本地视图。    agoraKit.setupLocalVideo(localSession.canvas)     let mediaInfo = MediaInfo(dimension: settings.dimension,                                  fps: settings.frameRate.rawValue)    localSession.mediaInfo = mediaInfo    }
复制代码


  1. 加入频道

  2. 完成初始化和设置本地视图后(视频通话场景),你就可以调用 joinChannelByToken 方法加入频道。你需要在该方法中传入如下参数:


  • channelId: 传入能标识频道的频道 ID。输入频道 ID 相同的用户会进入同一个频道。

  • token:传入能标识用户角色和权限的 Token。可设为如下一个值:

  • 若项目已启用 App 证书,请使用 Token。

  • nil

  • 临时 Token。临时 Token 服务有效期为 24 小时。你可以在控制台里生成一个临时 Token,详见获取临时 Token。

  • 在你的服务器端生成的 Token。在安全要求高的场景下,我们推荐你使用此种方式生成的 Token,详见生成 Token。

  • uid: 本地用户的 ID。数据类型为整型,且频道内每个用户的 uid 必须是唯一的。若将 uid 设为 0,则 SDK 会自动分配一个 uid,并在 joinSuccessBlock 回调中报告。

  • joinSuccessBlock:成功加入频道回调。joinSuccessBlock 优先级高于 didJoinChannel,2 个同时存在时,didJoinChannel 会被忽略。需要有 didJoinChannel 回调时,请将 joinSuccessBlock 设置为 nil。

  • 更多的参数设置注意事项请在声网文档中心搜索并参考 joinChannelByToken 接口中的参数描述。


// Objective-C- (void)joinChannel {    // 加入频道。    [self.agoraKit joinChannelByToken:token channelId:@"demoChannel1" info:nil uid:0 joinSuccess:^(NSString *channel, NSUInteger uid, NSInteger elapsed) {    }];}
// Swift// 加入频道。agoraKit.joinChannel(byToken: KeyCenter.Token, channelId: channelId, info: nil, uid: 0, joinSuccess: nil)
复制代码


  1. 设置远端视图


视频通话中,通常你也需要看到其他用户。在加入频道后,可通过调用 setupRemoteVideo 方法设置远端用户的视图。


远端用户成功加入频道后,SDK 会触发 firstRemoteVideoDecodedOfUid 回调,该回调中会包含这个远端用户的 uid 信息。在该回调中调用 setupRemoteVideo 方法,传入获取到的 uid,设置远端用户的视图。


// Objective-C// 监听 firstRemoteVideoDecodedOfUid 回调。// SDK 接收到第一帧远端视频并成功解码时,会触发该回调。// 可以在该回调中调用 setupRemoteVideo 方法设置远端视图。- (void)rtcEngine:(AgoraRtcEngineKit *)engine firstRemoteVideoDecodedOfUid:(NSUInteger)uid size: (CGSize)size elapsed:(NSInteger)elapsed {    if (self.remoteVideo.hidden) {        self.remoteVideo.hidden = NO;    }    AgoraRtcVideoCanvas *videoCanvas = [[AgoraRtcVideoCanvas alloc] init];    videoCanvas.uid = uid;    videoCanvas.view = self.remoteVideo;    videoCanvas.renderMode = AgoraVideoRenderModeHidden;    // 设置远端视图。    [self.agoraKit setupRemoteVideo:videoCanvas];}
// Swift// 监听 firstRemoteVideoDecodedOfUid 回调。// SDK 接收到第一帧远端视频并成功解码时,会触发该回调。// 可以在该回调中调用 setupRemoteVideo 方法设置远端视图。func rtcEngine(_ engine: AgoraRtcEngineKit, firstRemoteVideoDecodedOfUid uid: UInt, size: CGSize, elapsed: Int) { let userSession = videoSession(of: uid) userSession.updateMediaInfo(resolution: size) // 设置远端视图。 agoraKit.setupRemoteVideo(userSession.canvas) }
复制代码


  1. 离开频道


根据场景需要,如结束通话、关闭 App 或 App 切换至后台时,调用 leaveChannel 离开当前通话频道。


// Objective-C[self.rtcEngine setupLocalVideo:nil];    // 离开频道。    [self.rtcEngine leaveChannel:nil];    if (self.isBroadcaster) {        [self.rtcEngine stopPreview];    }// Swiftfunc leaveChannel() {           setIdleTimerActive(true)    agoraKit.setupLocalVideo(nil)    // 离开频道。    agoraKit.leaveChannel(nil)    if settings.role == .broadcaster {       agoraKit.stopPreview()    }    navigationController?.popViewController(animated: true)    }
复制代码

示例代码

你可以在 OpenLive-macOS-Objective-C/OpenLive-macOS-Swift 示例项目中查看完整的源码和代码逻辑。


Github:https://github.com/AgoraIO/Basic-Video-Broadcasting

运行项目

你可以在 macOS 设备中运行此项目。当成功开始视频直播时,主播可以看到自己的画面;观众可以看到主播的画面。


本文转载自声网 Agora 公众号。


原文链接:https://mp.weixin.qq.com/s/_vRQqJgSeMyxoWAveUNy4g


2020-02-25 15:17669

评论

发布
暂无评论
发现更多内容

华为云CodeArts Build快速上手编译构建-进阶玩家体验

华为云PaaS服务小智

云计算 编译 开发 华为云

海外交友源码平台搭建:基础功能的实现(一)

山东布谷科技

软件开发、 源码搭建 海外市场 语音交友源码

一种实现Spring动态数据源切换的方法 | 京东云技术团队

京东科技开发者

spring aop 企业号 6 月 PK 榜 数据源切换

Vue3中常用的Composition(组合)API-watch(监视)函数

不觉心动

6 月 优质更文活动

300行代码模拟cdn访问过程

蓝胖子的编程梦

CDN DNS CDN加速 CDN技术 #DNS

Airtest图像识别测试工具原理解读&最佳实践 | 京东云技术团队

京东科技开发者

图像识别 移动开发 UI自动化测试 企业号 6 月 PK 榜 Airtest

手牵手带你实现mini-vue | 京东云技术团队

京东科技开发者

Vue 数据绑定 vue2 企业号 6 月 PK 榜 双向数据绑定

蚂蚁集团自动化混沌工程 ChaosMeta 正式开源

ChaosMeta

高可用 混沌工程 故障演练 kubernetes 运维 混沌测试

vivo 游戏黑产反作弊实践

vivo互联网技术

游戏黑产 游戏礼券

海南正规等级保护测评单位有哪些?叫什么名字?

行云管家

等保 等级保护 海南 等保测评单位

Backdata.net 搜索引擎

Larry

搜索引擎 导航网站

AI关于AI民主化的高见

FN0

AIGC

一文读懂ChatGPT的工作原理:大语言模型是个啥?它到底咋工作的?

禅道项目管理

#人工智能 ChatGPT AI 2022

Java 中优雅的 RESTful API 设计:实现高效且易维护的接口

xfgg

Java RESTful API 6 月 优质更文活动

浅谈API安全

权说安全

API 安全

数字化扶乩的最佳语言是英语?

FN0

AIGC

在人工智能冲击下,IT部门的生存价值在哪里?

FN0

AIGC

基础设施SIG月度动态:ABS新增ISO、VHD镜像构建,自动热补丁制作流程正式上线

OpenAnolis小助手

镜像 基础设施 龙蜥社区 sig abs

细说敏捷测试-敏捷实战中的探索 | 京东云技术团队

京东科技开发者

敏捷开发 测试 敏捷测试 企业号 6 月 PK 榜

CSS小技巧之悬停3D发光效果

南城FE

CSS 前端 动画 3D 交互

随机2D形状周围层流预测!基于飞桨实现图形神经网络

飞桨PaddlePaddle

人工智能 百度 飞桨

Java 内存与缓存管理:应对大数据场景的优雅高效策略

xfgg

Java 6 月 优质更文活动

漫谈 SAP 产品里页面上的 Checkbox 设计与实现

汪子熙

SAP 前端设计 思爱普 6 月 优质更文活动

TBB 开源库及并发 Hashmap 的使用

KaiwuDB

KaiwuDB TBB开源库 Hashmap使用

软件测试/测试开发丨Pytest结合数据驱动-CSV

测试人

程序员 软件测试 自动化测试 csv pytest

高性能网络 SIG 月度动态:联合 IBM 就 SMC v2.1 协议升级达成一致,ANCK 率先完成支持

OpenAnolis小助手

开源 ibm 高性能网络 anck 龙蜥sig

前端如何处理「并发」问题?

不叫猫先生

并发 axios 6 月 优质更文活动

如何评估大型语言模型(LLM)?

Baihai IDP

人工智能 深度学习 大模型 白海科技 大模型评估

使用华为云AstroZero,不用一行代码,制作端午节加班申请模板

华为云PaaS服务小智

云计算 零代码 华为云

培育开源人才,助力开源生态发展|2023开放原子全球开源峰会校源行分论坛圆满落幕

开放原子开源基金会

开源 开放原子全球开源峰会 开放原子 校源行

AI+电力、大模型主题人工智能师资培训班重磅招募中

飞桨PaddlePaddle

人工智能 百度 paddle

基于 Agora SDK 实现 macOS 端的多人视频互动_文化 & 方法_声网_InfoQ精选文章