Framework TEN 实时多模态语音AI智能体开源框架

做实时语音 AI 助手（能听、能说、能边说边打断）时，最难的不是接个大模型，而是把“音频采集、VAD、打断检测、转写、LLM、TTS、视频 avatar”这些模块用低延迟管线串起来，还要跨 RTC 与 WebSocket。市面方案要么延迟高、要么绑死某家服务。
TEN 的动机，是提供一套开源、实时、多模态、可插拔的 agent 框架，把这些模块像搭积木一样组合起来。

项目基本信息

一、项目介绍

TEN-framework/ten-framework（TEN，Transformative Extensions Network）是一个 Apache-2.0 协议的开源框架，专注实时多模态对话式 AI。它把语音助手需要的各环节（VAD、转写、LLM、TTS、打断检测、avatar 等）做成可组合的扩展，支持 RTC 与 WebSocket 连接，并提供低延迟、高质量的实时能力。生态含 TEN Framework、Agent Examples、VAD、Turn Detection、Portal 等；示例覆盖多用途语音助手、Doodler 涂鸦、说话人分离、唇形同步 avatar、SIP 电话等，可本地或云端部署。

二、核心优势

1. 实时多模态：把音频/视频/VAD/转写/LLM/TTS 串成低延迟管线。
2. 可组合扩展：各环节是积木式扩展，按需替换与编排。
3. 多连接：支持 RTC 与 WebSocket，便于接入不同前端。
4. 示例丰富：语音助手、说话人分离、唇形 avatar、SIP 电话等开箱示例。
5. 可部署：本地或云端，Docker 与 Codespaces 均可起。

三、适用场景

• 构建可打断、低延迟的实时语音 AI 助手。
• 做带 avatar 的视频通话/直播数字人。
• 需要说话人分离、转录的实时会议应用。
• 想把自研模型/服务接入既有语音管线。

四、安装教程

以示例方式快速起（本地）：参考仓库 Agent Examples，通常克隆后用 Docker 或按文档装依赖运行；也可通过 GitHub Codespaces 一键开环境。示意：

git clone https://github.com/TEN-framework/ten-framework.git
cd ten-framework
# 按对应 Agent Example 的 README 装依赖（Docker / 本地 Python+Node）

常见报错：实时音频依赖（如麦克风/设备权限、portaudio）在不同系统配置不同；首次构建拉取较多依赖，需稳定网络。

五、使用示例

以官方语音助手示例为入口，配置你的 STT/LLM/TTS 扩展后即可本地运行实时对话；也可把示例里的 VAD、Turn Detection 等模块按需替换成自研实现。真实效果：用户说话被实时转写、LLM 生成回复、TTS 合成语音，并在可打断的对话里保持低延迟；SIP 示例还能把这套能力接进电话。

六、常见问题

Q：TEN 和 LangChain 类框架一样吗？
A：定位不同：TEN 专注实时多模态语音/视频管线与低延迟编排，而非纯文本 LLM 链。
Q：必须用某家模型吗？
A：不，各环节是扩展，可换不同 STT/LLM/TTS，也可接自研服务。
Q：协议能商用吗？
A：采用 Apache License 2.0，允许商用与修改，需保留版权与许可声明。

七、总结

TEN 是一套开源、实时、多模态、可插拔的语音 AI 智能体框架，把 VAD/转写/LLM/TTS/avatar 等模块串成低延迟管线，并配丰富示例与可部署形态。对想做实时语音/数字人应用的团队，它是 Apache-2.0、跨 RTC/WebSocket、可本地或云端落地的务实框架。