写点什么

作业帮直播课“手势识别”功能研发实践

  • 2021-02-28
  • 本文字数:1063 字

    阅读完需:约 3 分钟

作业帮直播课“手势识别”功能研发实践

只要对着屏幕竖起拇指,不到 1 秒,屏幕上便会回应同样的手势,完成一次“点赞”。这是“手势识别”AI 功能带给用户的互动体验。在作业帮直播课“小组直播间”中,“手势识别”功能收获一众“粉丝”,成为学生互动满意度最高的功能,本文介绍了该功能的研发过程。


项目需求

作业帮小学产品负责人曹越发现,师生间的肢体互动是活跃课堂气氛、提升上课效率的有效手段。尤其在“小组直播间”双向视频的模式下,由于师生间可以互相看见,类似的互动变得更加高频,一节课大约有 5~6 次。


与此同时,曹越也发现了“即时反馈缺失”带来的问题。“有时候老师让孩子给自己点个赞,点赞之后老师没有说把手放下,有的孩子可能就会一直举着,因为他们不确定老师是不是看见了自己的点赞。”


一位主讲老师同时面对数千甚至上万学生的课堂,有限的精力无暇回应每一位学生。是否能有这样一个功能,让学生的每一次参与都被感知,每一次互动都被回应?借助 AI 能力回应小学生在课堂上的互动行为,“手势识别”功能的需求被提出。

研发过程

作业帮智能技术实验室负责人王岩团队接到了这一需求。最初,在产研团队和主讲老师的头脑风暴环节,大概提出了 15-20 种手势,单手和双手都有。“产品要贴近应用,小朋友不理解的和老师上课用不到的,做了也没用。”王岩说。最后,根据老师课堂实用性,保留了点赞、比心、OK 等常用手势。


但在功能落地过程中,难点也随之而来。小朋友比划的形式、角度等都会影响识别的准确率,这就需要前期尽可能多地收集样本素材,更准确地定义各个手势。


针对每个手势,技术都会内部先录制一版 demo。因为要确定手势是否贴合小朋友的习惯,需要模拟孩子上课的视角。为此,技术老师编写了一个小程序。然后,一群程序员,聚在办公室里,打开手机前置摄像头,跟着自己编写的小程序,模仿小朋友做出各种比心、点赞的手势。


初版 demo 完成后,负责产品的聂靖骐开始在灰度测试中收集小朋友手势,总共发起 4-5 次收集。“由主讲老师在课中进行引导,让学生比出点赞、比心等手势。然后,根据各种手势的占比多少进行取舍。”最后,有近万名学生的 2000 多种手势被收录到系统中。


2020 年初,随着“小组直播间”的正式上线,手势识别的功能也被应用到课堂上。2020 年暑期,在小组直播间功能升级调研中,手势识别成为小学生互动满意度最高的功能,有 77.14%的小学生表示,非常满意,平均满意度达 4.7 分(满分 5 分)。


借助 AI 技术,作业帮让在线课堂活跃起来,变得更加有趣。对于接下来的规划,聂靖骐仍希望这项功能更好地应用到教学场景。“朝着这个方向,我们会继续丰富手势和提高识别准确率,为老师和学生带来更丰富的体验。”

2021-02-28 10:006678

评论 3 条评论

发布
用户头像
dcfvdsgvsdfdsfdsfds
2021-03-03 03:30
回复
用户头像
😓
2021-02-28 13:05
回复
没有更多了
发现更多内容

手把手教你成为荣耀开发者:如何获取平台帮助及最新通知?

荣耀开发者服务平台

开发者 安卓 平台赋能 数智创新 honor 技术支持

培训班学习完后就业前景怎么样

小谷哥

ArkUI,更高效的框架设计

HarmonyOS开发者

HarmonyOS

从源码层面深度剖析Spring循环依赖

京东科技开发者

spring 缓存 循环依赖 spring MV @Bean

培训班出来的前端和自学的优势

小谷哥

8000字详解Thread Pool Executor

华为云开发者联盟

Java 开发 华为云 12 月 PK 榜

彪悍升级|尚硅谷Hive新版视频教程发布

小谷哥

贾斯特里尼&布鲁克斯葡萄酒,提升用餐仪式感

联营汇聚

如何使用轮播图在小程序内实现水平内容自动切换?

Towify

小程序 微信小程序 无代码 轮播图

教你如何轻松搞定云上打印管理

华为云开发者联盟

云计算 华为云 12 月 PK 榜 云打印

干货|3DMax优化模型的方法有哪些?

Finovy Cloud

云渲染 3DMAX

云原生安全系列3:5个 Kubernetes API 网络安全访问最佳实践

HummerCloud

云原生 k8s 云原生安全 kubernetes 运维

什么是低代码?低代码平台能解决什么样的问题?

优秀

低代码 低代码平台

跨平台应用开发进阶(三十二) :AK/SK鉴权原理简介

No Silver Bullet

uni-app 12月月更 AK/SK鉴权

小游戏未来将在技术侧如何发展

Onegun

小游戏 小游戏开发

大数据培训班应该如何学习?

小谷哥

贾斯特里尼&布鲁克斯葡萄酒,佳节送礼首选

联营汇聚

大数据培训机构如何选择?

小谷哥

数据库原理及MySQL应用 | 实体联系模型

TiAmo

数据库 :MySQL 数据库 12月月更

如何用3D流体实现逼真水流效果?

HarmonyOS SDK

HMS Core

Wallys//AX200NGW,adapter card with one M.2 slot/DR2g41 Linux,WiFi-modules,4-miniPCIE-slot

wallysSK

AX200NGW

港华燃气上线WeOps推动运维效能提升,托举业务智慧运行!

嘉为蓝鲸

运维 自动化运维 嘉为蓝鲸 #WeOps

云原生时代的灰度发布有几种“姿势”?

嘉为蓝鲸

灰度发布 自动化运维 嘉为蓝鲸

YonBuilder移动开发平台 AVM框架 数字滚动组件

YonBuilder低代码开发平台

开发者 前端 avm.js AVM

什么是 Redis 持久化,如何理解?

千锋IT教育

Redis 6.0

如何制作一个实时在线显示评论?

Towify

微信小程序 编辑器 无代码

嘉为蓝鲸受邀出席汽车新智造数字行业峰会,助力构建数字时代竞争力!

嘉为蓝鲸

数字时代 自动化运维 嘉为蓝鲸

双旦来临,贾斯特里尼&布鲁克斯红酒为您多添一份情调

联营汇聚

贾斯特里尼&布鲁克斯,优质葡萄酒都有甄选法则

联营汇聚

无效回表谁的锅?存储引擎:这事儿不赖我

小小怪下士

Java MySQL 程序员

可观测落地实践-从战略管理到工具落地

嘉为蓝鲸

可观测 自动化运维 嘉为蓝鲸

作业帮直播课“手势识别”功能研发实践_AI&大模型_筱澍_InfoQ精选文章