在业务测试提质效的目标背景下,自动化测试是最重要的解决手段。面对字节海量的移动端产品,千差万别的业务诉求,如何提供符合业务需求的移动端自动化方案,成为一项亟待解决的技术问题。
在 4 月 11-13 日举办的 QCon 全球软件开发大会暨智能软件开发生态展中,字节跳动客户端测试技术专家朱宏宝以《字节移动端智能化测试实践》为题,深入分享了字节在移动端自动化领域的技术思考、解决方案和应用实践,通过意图识别、步骤自动纠错修复、自动分级 mock、断言规则自动生成、音视频断言、页面元素级智能断言等能力,解决移动端自动化在场景覆盖、稳定性和效果回报等方面的挑战,探索自动化测试的杠杆效应,实现对业务测试团队的规模化提质增效。点击此处下载完整幻灯片
据了解,移动端智能化测试平台已经在字节多个主要产品中应用,包括头条、西瓜视频、番茄小说、豆包、飞书等几十款 App。朱老师表示,他们还将基于 LLM,利用移动端智能化测试平台成熟能力,实现需求文档生成文本用例,文本用例即自动化用例。
该演讲为听众提供了深入了解字节在移动端智能化测试领域的尝试与思考的机会。同时,也引发了关于如何用新方法解决传统移动端自动化领域问题以及移动端智能化测试发展趋势与前景的广泛讨论。针对大模型对移动端自动化更多的赋能,他和听众们主要针对如下场景做了深入讨论——
应用场景一:利用功能感知决策的方式,解决自动化覆盖率低、泛化能力差问题:将 GUI 页面信息传递给 LLM, 生成自动化脚本驱动 App 执行,并不断将应用程序测试过程中的反馈传递给 LLM,从而实现 LLM 与移动应用程序交互
应用场景二:特殊的文本可能会导致应用程序崩溃,因此需要生成多样化的异常输入来全面测试应用程序:结合 LLM,自动生成可引起 App 崩溃检测的异常文本输入
应用场景三:针对应用程序崩溃复现问题,可以根据崩溃的堆栈跟踪来自动复现移动应用程序的崩溃:利用预训练的大型语言模型来预测触发崩溃的探索步骤,并设计了一种基于强化学习的技术来提供应用探索的全局引导和减少不准确的预测结果
QCon 北京 2024 已圆满落幕,5 月 17 日至 18 日,AICon 全球人工智能开发与应用大会暨大模型应用生态展即将盛大开幕,期待与你相见。
本届 AICon 一共设置了 14+ 专题,邀请到来自阿里巴巴、腾讯、百度、微软、字节跳动、华为、智谱、科大讯飞、百川、月之暗面等领先企业的 60 多位专家大咖,跟大家分享最真实的大模型开发、应用落地一手经验,围绕 AI Agent 、RAG 、行业创新应用等热点话题展开深入探讨。点击查看大会详细议程,目前会议 9 折优惠购票火热进行中,扫描二维码,购票或咨询其他问题。
评论