Seed-Music是字節跳動開發的音樂生成模型。用戶可以通過輸入多模態數據（例如文本描述、音頻參考、樂譜、聲音提示等）來生成音樂，并且它提供方便的后期編輯功能，例如修改歌詞或旋律。

Seed-Music 將自回歸語言模型與擴散模型相結合，以提供對生成音樂的精確控制，同時保持生成音樂的質量。

Seed-Music還支持用戶上傳簡短的語音片段，系統會將其轉換為完整的歌曲。

此外，Seed-Music不僅支持聲樂、器樂生成，還支持歌聲合成、歌聲轉換、音樂編輯等功能，適合不同的用戶群體。

Seed-Music主要特點:

• 高品質音樂生成

• 支持聲樂和器樂作品的生成。用戶可以通過文字、音頻等方式輸入，實現多元化的音樂創作。

• 受控音樂生成

• 提供細粒度的音樂控制，允許用戶根據歌詞、風格描述、參考音頻、樂譜等生成符合自己需求的音樂。

• 多模態輸入：Seed-Music支持多種輸入方式，如歌詞、曲風描述、參考音頻、樂譜、語音提示等，實現細粒度控制。

• 風格控制：用戶可以通過文字或音頻引用指定音樂的風格、節奏、旋律等，生成符合自己需求的作品。

聲音合成與轉換

• 歌聲合成：生成多種語言的自然且富有表現力的歌聲。

• 零采樣歌唱轉換：只需10秒的語音或歌唱錄音即可轉換成不同風格的音樂。

• Lyrics2Song ：將輸入的歌詞轉換為帶伴奏的聲樂，支持短音樂和長音樂生成。

• 音頻提示和風格轉移：支持音頻延續和風格轉移，根據現有音頻生成類似風格的新音樂。

• 器樂生成：生成高品質的純器樂，適合無歌詞的場景。

音樂后期編輯

• 支持歌詞和旋律的修改，允許用戶直接在生成的音頻上進行編輯和調整。

• 歌詞和旋律編輯：Seed-Music提供了交互工具，允許用戶直接在生成的音頻中編輯歌詞和旋律，方便后期調整。

• 音樂混音編曲：系統不僅可以生成完整的歌曲，還支持對生成的歌曲進行修改，如調整樂器聲部、混音效果等。

多風格、多語言支持

• Seed-Music可以生成涵蓋多種音樂風格（如流行、古典、爵士、電子等）的作品，并支持多語言演唱生成，適合全球用戶。

• 實時生成和流媒體支持

• 支持實時音樂生成和流媒體輸出，提高用戶交互性和創作效率。

Seed-Music應用：

• 歌詞生成歌曲：用戶可以輸入歌詞，Seed-Music 能夠自動生成完整的歌曲。這對于創作歌詞但缺乏作曲能力的用戶非常有幫助。

• 音樂編輯：Seed-Music 提供了高靈活度的音樂編輯功能。用戶可以通過領譜（lead sheet）來增減音軌或改變風格，從而獲得不同版本的音樂作品。

• 跨語種聲樂轉換：該系統支持將中文人聲轉換為英文聲樂輸出，擴大了創作的可能性和多樣性。

• 音頻片段生成完整歌曲：即使是短小的音頻片段，Seed-Music 也能將其擴展為完整的歌曲，這對于需要快速生成音樂內容的用戶非常實用。

• 多模態輸入生成音樂：支持通過文本描述、音頻參考、樂譜等多種方式輸入來生成音樂，滿足不同用戶的創作需求。

另外，Seed-Music還具備克隆人聲生成歌曲的功能，提供精細的音符級調整，適合多語言的音樂創作。

相關資訊：

字節跳動旗下有哪些產品