🔥京东开源宝藏,像人一样存在:持续观看视频流/摄像头,每秒自主决定说话 / 沉默 / 委托!
JoyAI-VL-Interaction 是京东开源的 8B 实时视频-语言交互系统(全栈开源),彻底告别传统 turn-based 模式。
核心优势:
- 实时存在感:延迟 <1 秒,支持长时间流式摄像头/直播输入
- 视觉触发主动性:只在关键时刻开口,安静时绝不打扰
- Agent Delegation:复杂任务自动委托后台,继续监视场景
- 全开源栈:模型权重 + 400万+ 时间对齐数据 + 训练配方 + 一键部署(vLLM + WebUI + ASR/TTS)
性能亮点:在 58 个真实场景人评胜率领先 Doubao 77.6%、Gemini 87.9%,尤其监控警报、实时计数、直播解说。
创新技术:内置决策机制 + AdaCodec 高效编码 + 强化学习 + 5+ 分钟长时视觉记忆。
亮点场景:厨房安全、幼儿照看、直播解说、烹饪指导、App 导航、体育评论等,能主动抓住传统 AI 错过的关键时刻。
安防监控员、幼儿/老人照护者、直播主播/解说员、家庭厨师、体育教练、远程教师、仓库管理员、视障辅助人员都赶紧用起来!
显示更多