微软开源的AI视觉交互系统


大家好,我是爱学习的了不起!

自从 chatgpt 发布以来,其智能的对话体验受到了广泛关注,各种有关 AI 的 开源项目层出不穷。

今天给大家推荐一个微软的开源项目,一个月的时间就斩获了31.4k + star,这个项目是 – Visual-ChatGPT。

项目简介

Visual ChatGPT调用ChatGPT以及一系列视觉基础模型来以实现在聊天过程中发送和接收图像,以及动态对图像进行处理。支持AI绘画、语言回答、看图回答,能够实现更加智能、人性化的图像对话体验。

项目特点

  • 提供视觉聊天系统,可以接收和发送文本和图像

  • 提供复杂的视觉问答和视觉编辑指令,可以解决复杂视觉任务

  • Visual ChatGPT 可以在多个领域或任务上表现出智能行为,并且可以根据上下文切换不同模式

系统架构

Visual ChatGPT 不是从头开始训练一个新的多模型 ChatGPT,而是基于 ChatGPT 构建的。Prompt Manager是ChatGPT 和VFM 之间的桥梁,它的功能如下:

  • 告诉 ChatGPT 每个 VFM 的功能并指定输入输出格式
  • 处理不同 VFM 的历史、优先级和冲突
  • 把不同的视觉信息转换为语言格式便于 ChatGPT 理解

处理流程

用户上传了一张黄色花朵的图片,并输入了一条指令”请根据该图像生成的深度图在生成一朵红色花朵,然后逐步将其制作成卡通图片”,

在 Prompt Manager 的帮助下,ChatGPT 可以利用这些 VFM,并以迭代的方式接收它们的反馈,直到满足用户的需求。

项目地址

1
https://github.com/microsoft/visual-chatgpt

总结

Visual ChatGPT 把 Visual Foundation 视觉模型接入 ChatGPT,用户能够和 ChatGPT进行图像方式的交互,能够接收复杂的视觉指令,让多个模型协同工作。感兴趣的同学赶快去试试吧~

写在最后:

这段时间最火的话题非chatgpt莫属,欢迎加入ChatGPT俱乐部,掌握最新ChatGPT的动态,帮助我们去了解、学习ChatGPT,分享有关的机遇和经验。

简单说下星球可以提供哪些服务:

1、ChatGPT的使用方法,最新资讯,商业价值。

2、一些副业思考、创业案例、落地案例分享。

3、组织星球小伙伴一起参与实战项目,亲身感受 AI浪潮。

4、系列课程和训练营,手把手带着大家去实操ChatGPT。

5、邀请顶尖行业大佬,每周给大家发现一个商业落地案例。

6、最早期、专业的 AI 交流社群。探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。

到今天,已经5000+人加入,已经跃居ChatGPT&AI类全国前三!

现在星球在运营初期,正式运营价格定为699,目前团队给出了加入的最低价199,星球马上要来一波大的涨价,如果你还在犹豫,可能最后就要以更高价格加入了。

早就是优势,建议大家尽早以便宜的价格加入!

问君能有几多愁,开源项目解千愁,我们下期再见!


文章作者: 开源小分队
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 开源小分队 !
  目录