大家好! gpt image 2 的生图效果已经可以以假乱真,基于图片,我们的项目 OpenTalking 利用 soulx-flashtalk-14b 模型可以实现可动的对话交互。 GitHub 地址: https://github.com/datascale-ai/opentalking
OpenTalking 默认 avatar 模型是 flashtalk ,为了帮助大家快速体验,整条链路只需要本地部署 一个 模型服务( FlashTalk WebSocket ); LLM 、STT 、TTS 全部走阿里云百炼 API ( OpenAI 兼容端点 + DashScope 实时 ASR/TTS ),也可无痛切换为自己启动或者 OmniRT 部署的自定义模型服务。完整安装说明、模型权重下载和分布式部署见 docs/quickstart.md 、docs/deployment.md 和 docs/hardware.md 。
开箱即用的实时链路:从 LLM 回复、流式 TTS ,到字幕事件、状态事件和 WebRTC 播放,全部在一条链路中完成。
除了对话之外,电商带货、新闻主播、创意演唱/模仿秀都可实现,您可以开发更多的模式。
话不多说,上图 OWO:
(炉石酒馆鲍勃) https://i.imgur.com/GWDcF9t.png
(初音未来 Miku ) https://i.imgur.com/MtgAwSK.png
项目基于 Apache License 2.0 协议开源,欢迎大家来跑一跑,提提 Issue 或者 PR !本项目仅用于学习研究,请勿用于违法犯罪。