梗图理解“天花板”！港中文终身教授贾佳亚团队推出多模态模型：GPT-4+DALL-E 3，王炸组合刷爆榜单

近日，港中文终身教授贾佳亚团队推出了一款名为 Mini-Gemini 的多模态模型，包括 2B 小杯到 34B 的超大杯，一经发布便登上了 PaperWithCode 热榜。凭借超强的图文理解力，Mini-Gemini 的最强模型版本在多个指标上，直接媲美 Gemini Pro，GPT-4V，网友称其效果堪称是开源社区的 GPT4+DALL-E 3 的王炸组合！

目前，研究团队将 Mini-Gemini 的代码、模型、数据全部开源。更有意思的是，超会玩梗的 Mini-Gemini 线上 Demo 已经发布，人人皆可上手试玩。“浅尝”之后，有人认为：Mini-Gemini 跟商业模型差不了多少！

最“懂”图的大模型？

图像理解及推理

当下，绝大多数多模态模型仅支持低分辨率图像输入和文字输出。而在实际场景中，许多任务都需要对高清图像进行解析，并用图像的形式进行展现。Mini-Gemini 在这一点上有着不错的表现：

给它一张做面包的九宫格漫画教程，Mini-Gemini 能看懂并进行手把手教学。

拍一张苹果店 Mac 电脑信息图，Mini-Gemini 能够将两种 Mac 的参数列表横向对比。

Mini-Gemini 还能理解输入曲线图的数学意义，并使用代码复现这张图。

高清复杂的多图表理解和归纳也是小菜一碟，Mini-Gemini 直接秒变打工人效率提升的超级外挂。

有网友对此表示：妈妈再也不用担心我的生活了。

图片生成

更重要的是，除了图像理解和推理能力，Mini-Gemini 还解锁了图像的生成能力。通过一些抽象的多模态指令，Mini-Gemini 就可以给出推理，并生成合适的图片，这个操作像不像是 ChatGPT 和 DALL-E 3 的联动？！让我们看一些例子：

输入一张画着冰川中的仙人掌的图片，让 Mini-Gemini 解释图中的矛盾点并举一反三。它会说：“在沙漠环境中自然不会出现冰。这种矛盾的类似例子可能是一只北极熊出现在热带雨林中，因为北极熊适应于寒冷、覆盖着冰的环境，在炎热潮湿的气候中无法生存。”并生成一张热带雨林中北极熊的图片：

Mini-Gemini 还可以在多轮对话中通过简单指令生成连环小故事。比方说，让它根据用户输入讲一个贵族小老鼠的故事。Mini-Gemini 会根据前文的文字生成结果和用户输入进行推理，在保持一致性的情况下对图片进行修改，使其更符合用户的要求。

梗图理解

目前市面上的大模型们在对于 meme 图的理解方面总是不尽人意，不过 Mini-Gemini 不一样，通过其强大的 OCR 和推理能力，它能做到准确指出笑点。

输入一张周一上班心神俱疲“社畜”狗的梗图，Mini-Gemini 还能用它的生图功能还你一只周末下班的快乐小鸡毛！

技术细节

大道至简，Mini-Gemini 的整体思路并不复杂。其中的 Gemini（双子座）表达的是使用视觉双分支的信息挖掘（Mining-Info in Gemini）解决高清图像理解问题。

核心在于三点：

（1）用于高清图像的双编码器机制

（2）更高质量的数据

（3）训练阶段结合生成模型数据拓展

详细来说，Mini-Gemini 将传统所使用的 ViT 当做低分辨率的 Query，而使用卷积网络（ConvNet）将高分辨率的图像编码成 Key 和 Value。使用 Transformer 中常用的 Attention 机制，来挖掘每个低分辨率 Query 所对应的高分辨率区域。从而在保持最终视觉 Token 数目不变的情况下去提升对高清图像的响应，保证了在大语言（LLM）模型中对于高清图像的高效编码。值得一提的是，由于高分辨率分支卷积网络的使用，可以根据需要对图像所需的分辨率自适应调整，能够遇强则强。对于图像的生成部分，Mini-Gemini 借助了 SDXL，使用 LLM 推理后所生成的文本链接两个模型，类似于 DALLE3 的流程。

Mini-Gemini 进一步收集并优化了训练数据的质量，并加入了跟生成模型结合的文本数据进行训练。在仅使用 2-3M 数据的情况下，实现了对图像理解、推理、和生成的统一流程。可以说，Mini-Gemini 在各种 Zero-shot 的榜单上毫不逊色于各种大厂用大量数据训练出来的模型：

量化数据指标对比

最后提一嘴，Mini-Gemini 的 Demo 操作极其简单，直接输入图像或文字进行对话即可，读者朋友们可以试一试（网址附在文末咯）！

参考链接：

Github 地址：https://github.com/dvlab-research/MiniGemini

Demo 地址: http://103.170.5.190:7860/

论文地址：https://arxiv.org/pdf/2403.18814.pdf

模型地址：https://huggingface.co/collections/YanweiLi/mini-gemini-6603c50b9b43d044171d0854

数据地址：https://huggingface.co/collections/YanweiLi/mini-gemini-data-660463ea895a01d8f367624e