字節(jié)推出了一種新的大模型，名為 BuboGPT，BuboGPT 是一種先進(jìn)的大型語言模型（LLM），能夠?qū)⑽谋尽D像和音頻等多模態(tài)輸入進(jìn)行整合，并具有將回復(fù)與視覺對(duì)象進(jìn)行對(duì)接的獨(dú)特能力。它展示了在對(duì)齊或未對(duì)齊的任意圖像音頻數(shù)據(jù)理解方面的出色對(duì)話能力。

通過文字描述、圖像定位和聲音定位，BuboGPT 可以準(zhǔn)確判斷聲音來源，即使音頻和圖像之間沒有直接關(guān)系，也可以合理描述兩者之間的可能關(guān)系。

相比其他多模態(tài)大模型，BuboGPT 利用文本與其他模態(tài)之間的豐富信息和明確對(duì)應(yīng)關(guān)系，提供了對(duì)視覺對(duì)象及給定模態(tài)的細(xì)粒度理解。

為了實(shí)現(xiàn)多模態(tài)理解，BuboGPT 使用了一個(gè)共享的語義空間，并構(gòu)建了一個(gè)視覺定位 pipeline，其中包括標(biāo)記模塊、定位模塊和實(shí)體匹配模塊。

通過語言作為橋梁，BuboGPT 能夠?qū)⒁曈X對(duì)象與其他模態(tài)連接起來。研究人員還展示了 BuboGPT 在圖像描述、聲音來源識(shí)別等方面的能力，并開源了代碼和數(shù)據(jù)集，發(fā)布了可玩的 demo。

BuboGPT核心功能:

1、多模態(tài)理解: BuboGPT 實(shí)現(xiàn)了文本、視覺和音頻的聯(lián)合多模態(tài)理解和對(duì)話功能。

2、視覺對(duì)接: BuboGPT 能夠?qū)⑽谋九c圖像中的特定部分進(jìn)行準(zhǔn)確關(guān)聯(lián)，實(shí)現(xiàn)細(xì)粒度的視覺對(duì)接。

3、音頻理解: BuboGPT 能夠準(zhǔn)確描述音頻片段中的各個(gè)聲音部分，即使對(duì)人類來說一些音頻片段過于短暫難以察覺。

4、對(duì)齊和非對(duì)齊理解: BuboGPT 能夠處理匹配的音頻 - 圖像對(duì)，實(shí)現(xiàn)完美的對(duì)齊理解，并能對(duì)任意音頻 - 圖像對(duì)進(jìn)行高質(zhì)量的響應(yīng)。