LobeHub
LobeHub
返回
更新日志

视觉识别:与图片对话,不只是文字

LobeHub 现已支持多模态模型,包括 GPT-4 Vision、Google Gemini Pro Vision 和 GLM-4 Vision。上传或拖拽图片到对话中,助理将理解视觉内容并作出回应。

视觉识别:与图片对话,不只是文字

LobeHub 的对话不再局限于纯文字。我们现已支持多个具备视觉识别能力的大语言模型,包括 OpenAI 的 gpt-4-vision、Google Gemini Pro Vision,以及智谱 GLM-4 Vision。

自然地分享图片

上传图片或直接拖拽到对话框,助理就能理解视觉内容并基于上下文继续对话。无论是截图、照片、图表还是任何视觉参考,都能轻松分享。

这为日常场景和专业场景带来了更自然的多模态体验:

  • 分享生活中的照片并展开讨论
  • 上传界面截图获取设计反馈
  • 分享图表并获得解读
  • 引用视觉内容而无需用文字描述

上下文感知的视觉理解

助理不只是 "看见" 图片 —— 它能在持续对话中理解图片内容。你可以针对特定细节追问、比较多张图片,或将视觉资料作为复杂讨论的参考。

对于专业领域,这意味着更清晰的上下文和更实用的回复。医学影像讨论、建筑方案评审或技术图表分析,当双方都能看到相同的视觉参考时,交流变得更加自然高效。

个性化的语音交互

为了更好地服务不同地区和偏好的用户,我们还加入了 OpenAI Audio 和 Microsoft Edge Speech 的高品质语音选项。选择符合你风格或场景的声音,获得更个性化的交互体验。

版本详情

Features

  • v0.101.0Support upload images to chat with gpt4-vision model.
  • v0.100.0Platform check utils.
  • v0.99.0Add Environment Variable for custom model name when deploying.
  • v0.98.0Support latest openai model.
  • v0.97.0Add open new topic when open a topic.
  • v0.96.0Improve pin mode about session group.
  • v0.95.0Support function call at message end, support plugin settings modal, support plugin state and settings.
  • v0.94.0Add agent share.
  • v0.93.0Support multi-language translate.
  • v0.92.0Support translate message to current language.
  • v0.91.0Add hotkeys.
  • v0.90.0Add Lazyload.

What's improved

  • v0.100.5Refactor the input area to suit the files upload feature.
  • v0.99.1Add max height to model menu in chat input area.
  • v0.98.2Refactor antd locale file to useSWR.
  • v0.98.1Update welcome assetes.
  • v0.96.9Update topic list header.
  • v0.96.3Fix SessionList on mobile.
  • v0.96.2Fix some styles and make updates to various files.
  • v0.96.1Add guide to market page.
  • v0.95.1Improve plugin message ui.
  • v0.95.0优化 plugin 文件夹命名以支持 standalone 类型的插件.
  • v0.94.1Update ShareAgentButton.
  • v0.93.0Refactor chain.
  • v0.90.2Refactor OpenAIStreamPayload with chat name.
  • v0.90.1Fix lazyload height.

What's fixed

  • v0.100.4Hotkey disabled in form tags.
  • v0.100.3Fix market error.
  • v0.100.2Upgrade viewport for nextjs 14.
  • v0.98.3Fix redirect to welcome problem when there are topics in inbox.
  • v0.97.1Use pnpm to fix docker release.
  • v0.97.0Fix toggle back to default topic when clearing topic.
  • v0.96.8Fix a bug that weather plugin is not work correctly, template remove sharp deps.
  • v0.96.7Fix a bug when click inbox not switch back to chat page.
  • v0.96.6Improve plausible analytics ENV.
  • v0.96.5Fix docker image optimization error log.
  • v0.96.4Fix agents market locale fallback to english.
  • v0.94.5Fallback agent market index to en when not find correct locale.
  • v0.94.4Fix break cn chars in stream mode.
  • v0.94.3Fix agent share format.
  • v0.94.2Fix agent market with other locales.
  • v0.90.3Fix ActionBar props and regenerate btn with error message.
LobeHub

Super-Agents on Your Team

今天就把 Super-Agents 招进你的团队。