企业官网建设流程全解析

文章主要内容和创新点

主要内容

本文针对语音大语言模型（SLLM）在处理长对话情感识别（ERC）时受限于上下文窗口的问题，提出了一种动态参数记忆（Dynamic Parameter Memory, DPM）机制。该机制通过在推理过程中逐步将句子级信息和情感编码到临时LoRA模块中，使SLLM能在有限上下文窗口下处理无限长的音频序列。
具体而言，研究首先训练了一个情感SLLM作为基础模型，具备音频理解和情感推理能力；随后将DPM机制融入推理过程，通过逐句更新临时LoRA模块“记忆”上下文信息，解决了SLLM因语音高帧率导致的长序列处理瓶颈。实验在IEMOCAP数据集上验证了DPM的有效性，结果显示其在长音频序列情感识别中性能显著提升，达到当前最优水平（SOTA）。

创新点

1. 设计并训练了高效的情感SLLM：该模型全面优于传统分类器方法，为DPM机制的应用奠定了坚实基础。
2. 提出动态参数记忆（DPM）机制：从根本上解决了SLLM处理对话中长情感语音的难题，为各类音频理解任务提供了一种具有广泛应用前景的通用方法。
3. 验证了DPM的显著优势：通过ERC任务证明，DPM在长音频序列处理中性能优异，且在不同长度音频上均有效，实验结果达到SOTA水平。

翻译部分

摘要

近年来，研究聚焦于应用语音大语言模型（SLLM）来改进语音情感识