在快速發(fā)展的人工智能領(lǐng)域，技術(shù)突破與用戶體驗提升正引領(lǐng)著語音對話模型邁向新的高度。從最初的簡單問答到如今復(fù)雜多變的對話場景，人機交互正經(jīng)歷著前所未有的深刻變革。傳統(tǒng)的訓(xùn)練數(shù)據(jù)已難以適應(yīng)當(dāng)前的需求，現(xiàn)代交互要求系統(tǒng)不僅能理解語言的上下文，還需快速識別用戶的需求并作出恰當(dāng)反饋。

在此背景下，晴數(shù)智慧聯(lián)合中國科學(xué)院聲學(xué)研究所，共同開源了“雙工自然對話語音數(shù)據(jù)集_中文”，為語音對話模型提供更加真實、細(xì)膩的訓(xùn)練數(shù)據(jù)。通過對每位說話者語音的獨立分析，該數(shù)據(jù)集讓語音對話模型能夠洞察對話中的上下文變化、語調(diào)起伏以及情感波動，從而生成更加自然、準(zhǔn)確的回應(yīng)。同時，雙工分離數(shù)據(jù)讓端到端模型的構(gòu)建更為精準(zhǔn)，反饋速度更快。

AI實時交互新體驗" alt="數(shù)據(jù)開源 " 高質(zhì)量雙工自然對話中文語音數(shù)據(jù)集，引領(lǐng)AI實時交互新體驗" loading="lazy"/>

數(shù)據(jù)集描述

晴數(shù)智慧開發(fā)的多通道自然對話語音數(shù)據(jù)集，旨在解決當(dāng)前語音對話模型面臨的兩大問題：一是如何在復(fù)雜對話環(huán)境中準(zhǔn)確捕捉并區(qū)分每位說話者的語音信息;二是如何使AI模型更好地理解并適應(yīng)自然對話中的打斷、交互等動態(tài)過程。

上圖為雙工語音交互模型架構(gòu)圖。雙工語音交互模型(如 dGSLM [1]、Moshi [2]和SLIDE [3])突破了傳統(tǒng)單工語音交互模型一問一答的僵化響應(yīng)模式，實現(xiàn)了同步聽說以及在交互過程中自然的打斷與插話。然而，這些模型的訓(xùn)練高度依賴雙工自然對話語音數(shù)據(jù)。而此類數(shù)據(jù)的稀缺，尤其是在中文領(lǐng)域，嚴(yán)重限制了上述模型的性能提升。

為解決這些問題，我們采取了創(chuàng)新的數(shù)據(jù)采集與處理策略。首先，通過獨立采集每位說話者的音軌，并單獨對每個說話人做分類標(biāo)注，完整的保留了對話過程中自然的打斷，交互等過程。其次，通過將每位說話者的音頻分離，我們能夠提供更清晰、更精準(zhǔn)的訓(xùn)練數(shù)據(jù)，使模型更專注于理解和響應(yīng)自然說話的交互過程。

為了讓大家更直觀地了解我們的多通道數(shù)據(jù)，我們特別選取了5小時的對話內(nèi)容作為本次開源數(shù)據(jù)集。本數(shù)據(jù)可以用于模型的微調(diào)或者測試使用(非商用)。

數(shù)據(jù)集優(yōu)勢與亮點

自然度：捕捉真實場景下的自然對話，確保數(shù)據(jù)的高度自然流暢;

領(lǐng)域多樣性：覆蓋多個行業(yè)與話題，滿足跨領(lǐng)域應(yīng)用需求;

地域多樣性：融入不同地域的語音特征，增強模型的泛化能力;

副語言標(biāo)簽：特別標(biāo)注副語言信息，如語氣、停頓等，為深度情感分析與交互體驗升級提供有力支持。

除了中文雙工對話數(shù)據(jù)開源之外，我們同樣開源了英語雙工對話數(shù)據(jù)，對英語雙工數(shù)據(jù)感興趣的朋友，歡迎通過以下鏈接下載并使用，探索更多可能～

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）