AICon 上海站|日程100%上线,解锁Al未来! 了解详情
写点什么

一句话改图!字节豆包通用图像编辑模型 SeedEdit 上线测试

  • 2024-11-11
    北京
  • 本文字数:1362 字

    阅读完需:约 4 分钟

大小:692.66K时长:03:56
一句话改图!字节豆包通用图像编辑模型SeedEdit上线测试

11 月 11 日,字节在豆包大模型团队官网上公布最新通用图像编辑模型 SeedEdit。据悉,SeedEdit 支持一句话轻松改图,包括修图、换装、美化、转化风格、在指定区域添加删除元素等各类编辑操作,通过简单的自然语言即可驱动模型编辑任意图像。目前,该模型已经在豆包 PC 端及即梦网页端开启测试。

 

用户可以在豆包生成图片后,点击继续编辑按钮,输入简单的文本指令对图片背景或主体进行轻松调整,实现一句话改图。例如,用户在生成一张“小狗在草地奔跑”的图片后,可以直接输入“背景换成海边”等指令,获得一张基于原图片的微调图。此外,用户也可以尝试在豆包 PC 或即梦的图像生成功能中自行上传参考图并进行二次加工。


 

据悉,SeedEdit 是国内首个实现产品化的通用图像编辑模型。过往,学术界在文生图和图生图领域已有较多研究,但做好生成图片的指令编辑一直是难题,二次修改很难保证稳定性和生成质量。今年以来,Dalle3、Midjourney 接连推出产品化的生图编辑功能,相较业界此前方案,编辑生成图片的质量大大改善,但仍缺乏对用户编辑指令的精准响应和原图信息保持能力。 

 

字节跳动豆包大模型团队表示,图像编辑任务的关键在于取得“维持原始图像”和“生成新图像”之间的最优平衡,这一理念贯穿了整个模型的设计与优化过程。

 

据介绍,在模型数据生产中, SeedEdit 针对数据稀缺问题,重新设计模型架构,并且采用多模型、多尺度和多标准的数据制造方案很大程度上解决了数据量,数据多样性和数据质量的问题。作为一款专为图像编辑任务设计的模型,SeedEdit 在通用性、可控性、高质量等方面取得了一定突破。

 

此前业界技术主要针对单个专家任务进行优化,比如针对表情、发型、背景的删除或替换,或专门配置工作流进行风格调配,每次出现新的编辑任务均需收集对应数据进行训练开发。而 SeedEdit 作为通用的图像编辑模型,适用各类编辑任务,支持用户脑洞大开的奇思妙想,无需再训练微调即可快捷应用。 它与业界同类方法对比 (如 EMU Edit 和 Ultra Edit),取得显著更优的性能指标。

 

 

HQ-Edit 等基准测评显示:SeedEdit 能理解相对模糊的指令,且执行细致编辑时具有更高的图像保持率和成功率

 

即便在常规任务中,相比专家模型,SeedEdit 也有一定优势。比如,在“抠图”换背景等用户最常用到的图像分割任务中,SeedEdit 编辑生成后的图像风格自然,无“贴图感”;在局部涂抹、编辑、添加和删除元素等任务中,相比手动涂抹编辑, SeedEdit 通过语言指定, 大大节省了用户涂抹的时间,尤其针对裂纹、发丝等相对精细的涂抹区域。

 

 要求图片将草莓替换成柠檬

 

同时,SeedEdit 通过创新的模型架构,多尺度、多规则的数据获取、构造和过滤方案,能更好地理解用户意图并对齐 diffusion 生图模型,极大提高了图像编辑的精准度,并保持了高质量的图片生成效果。


 要求去掉裂纹,让图片变干净

 

基于豆包文生图大模型,目前 SeedEdit 支持中文和英文输入,还可以对中文成语和专有名词进行精准响应。下一步,SeedEdit 还将开放多轮复杂编辑的功能。

 

豆包大模型团队表示,现阶段 SeedEdit 对模型生成图片的编辑效果要好于输入真实图片,同时在更复杂和更精细的控制上仍有改进空间。未来,SeedEdit 会在真实图片保真、ID 保持、编辑精确性、以及长时序的故事类、漫画类生成方面做进一步的优化和探索,提升编辑可用率和用户体验,支持用户更高效地创作有趣的内容。

 

2024-11-11 11:595555

评论

发布
暂无评论
发现更多内容

从零开始学数据结构和算法 (五) 分治法 (二分查找、快速排序、归并排序)

android 程序员 移动开发

你确定自己学会了自定义MarqueeView?这个你会吗?进来看看吧

android 程序员 移动开发

从面试无人问津到手拿百度offer,还原一段野生程序员的成长经历

android 程序员 移动开发

【设计模式】第八篇 - 原型模式 - DOTA-幻影长矛手

Brave

设计模式 原型设计 11月日更

仿微信视频通话大小视图切换(SurfaceView实现),面试官6个灵魂拷问

android 程序员 移动开发

作为面试官,如何考察工程师的软素质,Android开发经典实战

android 程序员 移动开发

全网唯一一份,从入门到精通的Android进阶学习笔记整理,Android应用层

android 程序员 移动开发

从零开始分析InstantRun源码,kotlin实现接口

android 程序员 移动开发

使用Google开源库AutoService进行组件化开发,移动应用开发课程设计心得

android 程序员 移动开发

从零开始学数据结构和算法-(五)-分治法-(二分查找、快速排序、归并排序)

android 程序员 移动开发

作为一名Android面试官,这些面试官常问的开发面试题你都掌握好了吗?

android 程序员 移动开发

你告诉我太卡了,那是你不晓得性能优化之app卡顿优化,销售应届毕业生的面试题

android 程序员 移动开发

质量基础设施一站式服务平台,NQI云服务平台搭建

电微13828808271

作为一名Android开发者,你有过迷茫吗?,面经解析

android 程序员 移动开发

作为一名Android面试官,这些面试官常问的开发面试题你都掌握好了吗?(1)

android 程序员 移动开发

作为一名面试者你应该知道的【上-带大厂面试题】,android组件化开发与sdk

android 程序员 移动开发

演进实录|不同阶段的企业如何搭建监控体系?

阿里巴巴云原生

阿里云 Kubernetes 容器 云原生 监控工具

使用 Kotlin API 实践 WorkManager,看完豁然开朗

android 程序员 移动开发

使用C#创建,查看,2021大厂Android面试题精选

android 程序员 移动开发

使用更为安全的方式收集 Android UI 数据流,深入浅出Android

android 程序员 移动开发

做个酷炫的“锤子” 开关效果,kotlinwindows桌面开发

android 程序员 移动开发

任性!我开发了一款自己用的天气预报app,android双击事件响应

android 程序员 移动开发

作为Android开发者,你真的知道Android按下开机键到启动发生什么吗?

android 程序员 移动开发

我以为对jvm性能调优很了解,直到我到阿里面试完之后

Java 程序员 JVM

做android开发一直不相信35岁危机,好像被自己遇到了,9次Android面试经验总结

android 程序员 移动开发

做了6年Android开发,你会的还只有初级工程师的技术吗?

android 程序员 移动开发

作为程序员的我们应该如何在当今国内的信息产业生存?,万字解析

android 程序员 移动开发

你知道App为什么会Crash吗?,Android性能优化之APK优化

android 程序员 移动开发

使用 Flutter 快速实现聊天应用,计算机移动应用开发

android 程序员 移动开发

做了三年Android,公司发不出工资了,怎么办,阿里、腾讯大厂Android面试必问知识点系统梳理

android 程序员 移动开发

全网热议:Android 在未来是否会走向终结?,android路由实现

android 程序员 移动开发

一句话改图!字节豆包通用图像编辑模型SeedEdit上线测试_AI&大模型_褚杏娟_InfoQ精选文章