近日,豆包語音團隊發布了“AI多人有聲劇”自動化方案。方案支持多角色、高表現力的TTS(語音合成)演播,同時實現了全自動AI后期的鏈路,從小說文本到高質量的多人有聲劇成品,全部由AI端到端完成。
據了解,“AI多人有聲劇”自動化方案基于高自然度的多角色智能朗讀,配合AI后期自動添加音樂、音效、特效, 并進行智能混音,能夠全自動生產媲美真人水準的有聲劇作品。這套方案不僅使得聽書自然度、沉浸感顯著提升,且生產鏈路全程無人工參與,可大幅降低制作成本、縮短制作周期,高效覆蓋更多書籍。

“AI多人有聲劇”自動化方案支持從小說文本到完整成品有聲劇的全自動生產。該方案可以自動進行角色劃分,準確率超過98%,同時其語音大模型通過對海量文本與語音的多模態預訓練,原生地將文本和語音模態融合,引入思維鏈信息,具備強大的文本理解能力和語音演繹能力,多人演播效果發音自然、情感豐富。
此外,方案中的畫本預測模型在多角色演播音頻基礎上,實現了從小說文本到帶有音效、人聲特效、環境音、配樂的畫本預測,在得到畫本信息之后進行音頻召回并合成、智能動態調整音頻參數,并結合多角色TTS最終合成“有聲劇”成品。
目前,首批通過“AI多人有聲劇”方案端到端創作的作品已經在番茄小說APP上線,效果超出預期,并得到書友良好反饋,為聽書行業注入全新活力。未來,“AI多人有聲劇”方案仍將不斷升級,覆蓋更多有聲內容,小說更新即可讓用戶同步享受精品有聲劇。
END











