FunAudioLLM

📋 分类信息

LOGO图标

🖼️ 查看图片

SuoLie索猎-权威分类

智能Al工具 » AI编程工具 类

索猎权威多元分类

IT,综合,科研院所研发,互联网/科技/软件开发,AI,人工智能

线上/线下

线上

内容类型

网址导航,平台链接,资源/工具

中国地区

其他地区

链接地址http(https)://

https://fun-audio-llm.github.io/

FunAudioLLM是什么：

FunAudioLLM是一个由阿里巴巴集团通义语音团队开发的框架，旨在增强人类与大型语言模型（LLMs）之间的自然语音交互。该框架包含两个创新模型：SenseVoice和CosyVoice。SenseVoice用于高精度的多语言语音识别、情感识别和音频事件检测；CosyVoice则用于自然语音生成，支持多语言、音色和情感控制。这两个模型的结合使得FunAudioLLM能够实现如语音翻译、情感语音聊天、互动播客和富有表现力的有声读物朗读等应用，推动了语音交互技术的边界。

• 低延迟与多语言支持：SenseVoice提供极低延迟的语音识别，支持超过50种语言。
• 自然语音生成：CosyVoice在多语言语音生成、零样本语音生成、跨语言语音克隆和指令跟随能力方面表现出色。
• 开源与社区支持：相关的SenseVoice和CosyVoice模型已在Modelscope和Huggingface上开源，同时在GitHub上发布了相应的训练、推理和微调代码。
• 情感与事件识别：SenseVoice不仅能够识别语音中的情感，还能检测音频事件，如音乐、掌声和笑声。

• 语音到语音翻译：通过整合SenseVoice、LLMs和CosyVoice，实现不同语言之间的语音翻译。
• 情感语音聊天：开发情感语音聊天应用，根据用户的情感状态生成相应的情感语音回复。
• 互动播客：创建互动播客，通过实时世界知识和多智能体系统提供更丰富的用户体验。
• 富有表现力的有声读物：利用LLMs的分析能力识别书籍中的情感，并通过CosyVoice合成富有表现力的有声读物。

• 语音翻译：用户可以用中文说话，系统将其翻译成英文或其他语言的语音输出，适用于跨国会议或旅游时的即时翻译。
• 情感语音聊天：用户表达不同情感时，系统以相应的情感语音回复，如用户说“我今天特别开心”，系统会用欢快的语气回应。
• 互动播客：主播和嘉宾可以通过语音交互，系统实时处理语音内容，提供更自然的对话体验，观众也可以通过语音参与互动。
• 有声读物：系统根据书籍内容的情感分析，生成富有表现力的有声读物，提高听众的阅读体验。