写点什么

一句话改图!字节豆包通用图像编辑模型 SeedEdit 上线测试

  • 2024-11-11
    北京
  • 本文字数:1362 字

    阅读完需:约 4 分钟

大小:692.66K时长:03:56
一句话改图!字节豆包通用图像编辑模型SeedEdit上线测试

11 月 11 日,字节在豆包大模型团队官网上公布最新通用图像编辑模型 SeedEdit。据悉,SeedEdit 支持一句话轻松改图,包括修图、换装、美化、转化风格、在指定区域添加删除元素等各类编辑操作,通过简单的自然语言即可驱动模型编辑任意图像。目前,该模型已经在豆包 PC 端及即梦网页端开启测试。

 

用户可以在豆包生成图片后,点击继续编辑按钮,输入简单的文本指令对图片背景或主体进行轻松调整,实现一句话改图。例如,用户在生成一张“小狗在草地奔跑”的图片后,可以直接输入“背景换成海边”等指令,获得一张基于原图片的微调图。此外,用户也可以尝试在豆包 PC 或即梦的图像生成功能中自行上传参考图并进行二次加工。


 

据悉,SeedEdit 是国内首个实现产品化的通用图像编辑模型。过往,学术界在文生图和图生图领域已有较多研究,但做好生成图片的指令编辑一直是难题,二次修改很难保证稳定性和生成质量。今年以来,Dalle3、Midjourney 接连推出产品化的生图编辑功能,相较业界此前方案,编辑生成图片的质量大大改善,但仍缺乏对用户编辑指令的精准响应和原图信息保持能力。 

 

字节跳动豆包大模型团队表示,图像编辑任务的关键在于取得“维持原始图像”和“生成新图像”之间的最优平衡,这一理念贯穿了整个模型的设计与优化过程。

 

据介绍,在模型数据生产中, SeedEdit 针对数据稀缺问题,重新设计模型架构,并且采用多模型、多尺度和多标准的数据制造方案很大程度上解决了数据量,数据多样性和数据质量的问题。作为一款专为图像编辑任务设计的模型,SeedEdit 在通用性、可控性、高质量等方面取得了一定突破。

 

此前业界技术主要针对单个专家任务进行优化,比如针对表情、发型、背景的删除或替换,或专门配置工作流进行风格调配,每次出现新的编辑任务均需收集对应数据进行训练开发。而 SeedEdit 作为通用的图像编辑模型,适用各类编辑任务,支持用户脑洞大开的奇思妙想,无需再训练微调即可快捷应用。 它与业界同类方法对比 (如 EMU Edit 和 Ultra Edit),取得显著更优的性能指标。

 

 

HQ-Edit 等基准测评显示:SeedEdit 能理解相对模糊的指令,且执行细致编辑时具有更高的图像保持率和成功率

 

即便在常规任务中,相比专家模型,SeedEdit 也有一定优势。比如,在“抠图”换背景等用户最常用到的图像分割任务中,SeedEdit 编辑生成后的图像风格自然,无“贴图感”;在局部涂抹、编辑、添加和删除元素等任务中,相比手动涂抹编辑, SeedEdit 通过语言指定, 大大节省了用户涂抹的时间,尤其针对裂纹、发丝等相对精细的涂抹区域。

 

 要求图片将草莓替换成柠檬

 

同时,SeedEdit 通过创新的模型架构,多尺度、多规则的数据获取、构造和过滤方案,能更好地理解用户意图并对齐 diffusion 生图模型,极大提高了图像编辑的精准度,并保持了高质量的图片生成效果。


 要求去掉裂纹,让图片变干净

 

基于豆包文生图大模型,目前 SeedEdit 支持中文和英文输入,还可以对中文成语和专有名词进行精准响应。下一步,SeedEdit 还将开放多轮复杂编辑的功能。

 

豆包大模型团队表示,现阶段 SeedEdit 对模型生成图片的编辑效果要好于输入真实图片,同时在更复杂和更精细的控制上仍有改进空间。未来,SeedEdit 会在真实图片保真、ID 保持、编辑精确性、以及长时序的故事类、漫画类生成方面做进一步的优化和探索,提升编辑可用率和用户体验,支持用户更高效地创作有趣的内容。

 

2024-11-11 11:595535

评论

发布
暂无评论
发现更多内容

openGauss 年终成绩单出炉,聚开发者之力,建繁荣生态

ForkJoinPool实践

FunTester

软件测试 | postman进行发送请求

测吧(北京)科技有限公司

测试

软件测试 | 使用CURL发送请求

测吧(北京)科技有限公司

测试

【观察】汇聚中国开源数据库创新力量,openGauss驶入发展“快车道”

易点天下基于 StarRocks 全面构建实时离线一体的湖仓方案

StarRocks

数据库 大数据 开源

如何制作可视化报表?

XxinQi

软件测试 | Mock是什么?

测吧(北京)科技有限公司

测试

openGauss获2022年度创新产品奖!

软件测试 | 常见接口协议

测吧(北京)科技有限公司

测试

软件测试 | session、cookie和token的区别是什么?

测吧(北京)科技有限公司

测试

软件测试/测试开发 | 一文带你了解测试流程体系

测试人

软件测试 自动化测试 测试开发 测试流程

移卡AI Lab占懿:AIGC让AI从幕后走向台前,将带来产业颠覆变革!

科技热闻

软件测试 | 接口测试的价值与体系

测吧(北京)科技有限公司

测试

携手同心,三阳开泰:读懂2023华为中国政企合作伙伴政策

脑极体

华为

基于深度学习的表格检测与识别技术的优势

合合技术团队

人工智能 深度学习 模型 自动学习

JavaScript 中深拷贝方法structuredClone

devpoint

JavaScript 深拷贝与浅拷贝 lodash structuredClone

3D与Blender:开源的3D计算机图形软件集

Finovy Cloud

blender 3D软件

软件测试 | HTTP和HTTPS抓包分析

测吧(北京)科技有限公司

测试

openGauss数据库荣获中国计算机学会(CCF)科技成果特等奖

极客天地

2023年2月中国数据库排行榜:OTO新格局持续三月,人大金仓、AnalyticDB排名创新高

墨天轮

数据库 华为云 TiDB oceanbase 国产数据库

软件测试 | 抓包分析TCP

测吧(北京)科技有限公司

测试

软件测试 | 常见代理工具

测吧(北京)科技有限公司

测试

软件测试 | 什么是HTTP

测吧(北京)科技有限公司

测试

软件测试 | GET和POST区别与实战

测吧(北京)科技有限公司

测试

openGauss正式推出资源池化架构,全新升级社区工具DataKit

广袤乡村气象新丨烟台有了新模式

乡村振兴

数据库掌门人论坛回顾,激辩技术和行业发展趋势

镜舟科技

数据库 数据库、

openGauss开源社区2022年度运营报告

一句话改图!字节豆包通用图像编辑模型SeedEdit上线测试_AI&大模型_褚杏娟_InfoQ精选文章