LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Langua...

一、文章主要内容总结

本文提出了 LongCat-Audio-Codec，一种专为工业级端到端语音大语言模型（Speech LLM）设计的音频编码-解码方案，核心目标是平衡编码效率与解码质量，同时满足低延迟流式合成需求。

1. 核心背景与设计挑战

• 语音LLM的技术范式逐渐转向离散语音令牌，需同时兼顾理解任务（文本-语音跨模态关联）与生成任务（高保真、低延迟）的需求。
• 关键挑战包括：协调跨模态理解与实时生成效率、适配文本与语音的信息密度差异（语音令牌需更多上下文容量）、平衡码本数量与模型推理复杂度。

2. 核心架构设计

• 解耦式语义-声学令牌器：分别通过Transformer提取语义特征（捕捉长程依赖）、卷积层提取声学特征（增强对未见数据的鲁棒性），实现分层建模。
• 编码-解码器优化：编码器采用分段式设计，赋予令牌双向上下文感知；解码器支持流式解码，结合LSTM、因果卷积等结构，在低复杂度下实现高保真语音生成（保留语义和韵律信息）。
• 码本配置策略：语义编码限制在单个码本，声学编码采用自适应分组残差向量量化（AGRVQ），支持2-4个码本灵活配置，平衡信息容量与推理效率。

3. 多阶段训练策略

• 阶段1（编码器预训练）：基于5