IT之家 8 月 6 日音讯，Bilibili Index 团队于 8 月 4 日发布博文，宣告经过自研 IndexTTS2 模型，推出“原声风格”视频配音功用，能支撑将部分中文视频翻译为外语的原声风格配音。
该团队表明经过该自研模型，让视频人物不再是千人一面的“代言人声线”，而是像自己亲身讲外语相同天然，声响、口气、节奏，乃至特性表达都和原片简直共同，观众能听到“这个人用另一种言语在说话”。
该模型立异性地提出了一种通用于 AR 体系的“时刻编码”机制，初次处理了传统 AR 模型难以准确操控语音时长的问题。这一规划在保存 AR 架构在韵律天然性、风格搬迁才能、多模态扩展性等方面优势的一起，也具有了组成定长语音的才能。
团队还推出经过音色克隆、声场共同性、多声源交融等技能，处理了传统配音中声响品格缺失、字幕搅扰及本地化本钱高级痛点。
体系还针对多说话人场景优化说话人切割、心情搬迁与语速操控，并引进 RIVAL 对立式强化学习结构提高翻译质量与风格适配度。
在视频层面，结合字幕擦除与根据 Diffusion 的高保真唇形同步，保证音画共同与沉溺感。B站表明，未来将支撑更多言语，并方案开源模型，推进多言语、跨模态内容全球化传达。