Magi模型，可以自動(dòng)將漫畫(huà)轉(zhuǎn)錄成文字并自動(dòng)生成劇本，還可以通過(guò)識(shí)別漫畫(huà)頁(yè)面上的面板、文字塊和角色，重新排序和關(guān)聯(lián)，輸出連貫的對(duì)話內(nèi)容，準(zhǔn)確地為每幅漫畫(huà)生成文本記錄，從而保證輸出文本的邏輯性，使整個(gè)流程更加高效。Magi模型由牛津大學(xué)工程科學(xué)系的視覺(jué)幾何組開(kāi)發(fā)。

Magi適用于那些需要將漫畫(huà)圖片自動(dòng)化生成文本的研究人員、開(kāi)發(fā)者或者漫畫(huà)愛(ài)好者。它為這些用戶提供了方便快捷的工具，從而幫助他們輕松進(jìn)行數(shù)字化漫畫(huà)內(nèi)容及索引。

Magi GitHub源碼：https://github.com/ragavsachdeva/magi

Magi論文：https://arxiv.org/abs/2401.10224

Magi模型主要功能：

• 面板檢測(cè)：精確識(shí)別漫畫(huà)頁(yè)面上的各個(gè)面板,即畫(huà)家繪制的獨(dú)立矩形畫(huà)框,這是理解漫畫(huà)頁(yè)面布局和內(nèi)容的第一步。

• 文本檢測(cè)：在每個(gè)面板內(nèi)部定位文字區(qū)域，提取包含重要對(duì)話或敘述的文本塊，這是理解面板內(nèi)容的基礎(chǔ)。

• 角色檢測(cè)：檢測(cè)每個(gè)面板內(nèi)出現(xiàn)的角色，獲取其在圖像中的邊界框、姿態(tài)、表情等視覺(jué)信息，這對(duì)后續(xù)分析至關(guān)重要。

• 角色識(shí)別：基于檢測(cè)結(jié)果，識(shí)別每個(gè)角色的身份信息，如名字、稱呼等，這可以幫助跟蹤故事中的人物。

• 角色聚類：根據(jù)面部特征、服裝特征等信息，將同一角色的不同姿態(tài)圖片聚類到一起，從而區(qū)分頁(yè)面上的不同角色。

• 語(yǔ)音分配：判斷文本塊屬于頁(yè)面上哪個(gè)角色的對(duì)話，將語(yǔ)音正確分配給對(duì)應(yīng)的角色，這對(duì)生成精確的劇本必不可少。

• 閱讀排序：根據(jù)面板位置、閱讀順序,將分散的文本塊重新排序和連接，輸出連貫的對(duì)話內(nèi)容，從而保證輸出文本的邏輯性。

Magi如何使用?

1、上傳漫畫(huà)圖片

2、系統(tǒng)自動(dòng)識(shí)別并提取漫畫(huà)圖片相關(guān)信息生成文本

3、用戶根據(jù)需要對(duì)文本進(jìn)行編輯和修改

通過(guò)Magi的這些功能，Magi能夠自動(dòng)將漫畫(huà)頁(yè)面轉(zhuǎn)化為詳細(xì)的文字劇本，解決漫畫(huà)頁(yè)面的自動(dòng)理解和劇本生成問(wèn)題，包含角色對(duì)話和相應(yīng)的動(dòng)作或情境描述，這使得漫畫(huà)內(nèi)容的數(shù)字化處理變得輕松快捷，使讀者能夠通過(guò)閱讀文本來(lái)完整地體驗(yàn)漫畫(huà)故事。