Magi模型，可以自動將漫畫轉錄成文字并自動生成劇本，還可以通過識別漫畫頁面上的面板、文字塊和角色，重新排序和關聯，輸出連貫的對話內容，準確地為每幅漫畫生成文本記錄，從而保證輸出文本的邏輯性，使整個流程更加高效。Magi模型由牛津大學工程科學系的視覺幾何組開發。

Magi適用于那些需要將漫畫圖片自動化生成文本的研究人員、開發者或者漫畫愛好者。它為這些用戶提供了方便快捷的工具，從而幫助他們輕松進行數字化漫畫內容及索引。

Magi GitHub源碼：https://github.com/ragavsachdeva/magi

Magi論文：https://arxiv.org/abs/2401.10224

Magi模型主要功能：

• 面板檢測：精確識別漫畫頁面上的各個面板,即畫家繪制的獨立矩形畫框,這是理解漫畫頁面布局和內容的第一步。

• 文本檢測：在每個面板內部定位文字區域，提取包含重要對話或敘述的文本塊，這是理解面板內容的基礎。

• 角色檢測：檢測每個面板內出現的角色，獲取其在圖像中的邊界框、姿態、表情等視覺信息，這對后續分析至關重要。

• 角色識別：基于檢測結果，識別每個角色的身份信息，如名字、稱呼等，這可以幫助跟蹤故事中的人物。

• 角色聚類：根據面部特征、服裝特征等信息，將同一角色的不同姿態圖片聚類到一起，從而區分頁面上的不同角色。

• 語音分配：判斷文本塊屬于頁面上哪個角色的對話，將語音正確分配給對應的角色，這對生成精確的劇本必不可少。

• 閱讀排序：根據面板位置、閱讀順序,將分散的文本塊重新排序和連接，輸出連貫的對話內容，從而保證輸出文本的邏輯性。

Magi如何使用?

1、上傳漫畫圖片

2、系統自動識別并提取漫畫圖片相關信息生成文本

3、用戶根據需要對文本進行編輯和修改

通過Magi的這些功能，Magi能夠自動將漫畫頁面轉化為詳細的文字劇本，解決漫畫頁面的自動理解和劇本生成問題，包含角色對話和相應的動作或情境描述，這使得漫畫內容的數字化處理變得輕松快捷，使讀者能夠通過閱讀文本來完整地體驗漫畫故事。