紫東太初，中科院自動化所和武漢人工智能研究院推出新一代大模型，從三模態(tài)走向全模態(tài)，支持多輪問答、文本創(chuàng)作、圖像生成、3D理解、信號分析等全面問答任務，擁有更強的認知、理解、創(chuàng)作能力，帶來全新互動體驗。

紫東太初大模型2.0可以做什么

中科院自動化所和武漢人工智能研究院推出新一代大模型，從三模態(tài)走向全模態(tài)，支持多輪問答、文本創(chuàng)作、圖像生成、3D理解、信號分析等全面問答任務，擁有更強的認知、理解、創(chuàng)作能力，帶來全新互動體驗。

文本創(chuàng)作

能準確理解用戶意圖，并生成語意連貫、邏輯通順的文本內(nèi)容。覆蓋常見的各類型文本創(chuàng)作業(yè)務場景如：寫文章讀后感、崗位招聘JD、信件郵件、邀請函、行程規(guī)劃等等。

知識問答

能準確理解用戶輸入的問題語境，并實時地做出對應的知識性問答。包括：生活常識、工作技能、醫(yī)學知識、歷史人文等等。

圖文音理解

視覺-文本-語音，更關(guān)注圖文音三模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)特性，對更廣泛、更多樣的下游任務提供模型基礎(chǔ)支撐。

音樂生成

可以通過給定的文本提示可控生成高保真的音樂，并支持即興創(chuàng)作多種風格類型和多種樂器演奏的音樂。

3D理解

基于點云數(shù)據(jù)的3D場景理解和物體感知能力。

信號分析

支持雷達信號鑒別與知識交互，可借助模型快速掌握信號基本來源及參數(shù)等。

紫東太初大模型功能總覽

“紫東太初2.0” 旨在追求以更全面的問答能力、更豐富的表達能力、多輪多模態(tài)問答能力，滿足更多復雜業(yè)務場景下的對話和創(chuàng)作需求。

1、圖像能力

圖像描述能力說明：“紫東太初2.0” 能基于用戶上傳的圖片素材，準確理解并回答圖片識別類問題，具體地，可以識別圖像主體、背景、動作、顏色等等。同時支持上下文信息理解和多輪問答。

示例指令：

上傳一張圖片，然后發(fā)送 “請描述一下這張圖片里面有什么”

上傳一張圖片，然后發(fā)送 “請描述一下這張圖片里面有哪些顏色”

2、目標檢測

能力說明：“紫東太初2.0” 支持豐富品類的目標檢測任務，能夠判定目標類型、數(shù)量和對應的位置信息。

示例指令：

上傳一張圖片，然后發(fā)送“圖片中有幾個人物”

上傳一張圖片，然后發(fā)送“幫我看看圖片中有幾種類型的動物”

3、圖像檢索

能力說明：“紫東太初2.0” 擁有海量的高質(zhì)圖片素材庫，能為用戶搜索出關(guān)聯(lián)度高的精致圖片素材。

示例指令：

“幫我找一張櫻花盛開圖”

“幫我找一幅上海夜景圖”

“汽車長什么樣子呢，給我看看圖片”

4、圖像生成

能力說明：“紫東太初2.0” 能基于用戶指令訴求生成對應的精致圖片，并可以修改描述微調(diào)圖片內(nèi)容。Promote描述小技巧：添加具象的主體特性描述有助于定位到核心場景內(nèi)容，添加風格或其他特性修飾詞描述有助于調(diào)整圖片整體效果。

示例指令：

“畫一幅唯美風格的櫻花盛開圖”

“生成一張小狗在草地上玩耍的照片”

“幫我畫一幅老虎在游泳的圖片”

5、文字識別

能力說明：“紫東太初2.0” 能支持多場景、多語種、高精度的文字檢測與識別服務，具體業(yè)務場景包括：卡證文字識別、票據(jù)文字識別、文檔圖像處理等等。

示例指令：

上傳一張圖，然后發(fā)送“圖中有什么文字”

上傳一張圖，然后發(fā)送“幫我識別出圖片中的所有文字”

6、語言能力

中文問答

能力說明：“紫東太初2.0” 能準確理解用戶輸入的問題語境，并能做出準確的知識性問答。包括：生活常識、工作技能、醫(yī)學知識、歷史人文等等。

示例指令：

“考你一下，四大名著有哪些”

“請問一下，世界上最高的山峰是哪一座”

“什么是胃病，有哪些常見的類型和治療方法？”

“怎樣安排個人財務和預算規(guī)劃？”

7、文本摘要

能力說明：“紫東太初2.0” 能快速理解文章的核心觀點，根據(jù)長文本提取簡潔而準確的摘要。

示例指令：

“幫我提取文章的摘要”+ 輸入文章內(nèi)容

“幫我把這篇文章改得精簡一些”+ 輸入文章內(nèi)容

8、文本續(xù)寫

能力說明：“紫東太初2.0” 能基于用戶輸入的故事引導自動續(xù)寫豐富故事內(nèi)容。

示例指令：

“請續(xù)寫故事：從前，山上住著3個老和尚”

9、文本創(chuàng)作

能力說明：“紫東太初2.0” 能準確理解用戶輸入意圖,并生成語意連貫、邏輯通順的文本內(nèi)容。覆蓋常見的各類型文本創(chuàng)作業(yè)務場景如：寫文章讀后感、崗位招聘JD、信件郵件、邀請函、行程規(guī)劃等等。

示例指令：

“幫我寫一個200字人工智能大模型發(fā)布會的新聞稿”

“寫一篇互聯(lián)網(wǎng)ai產(chǎn)品經(jīng)理招聘JD”

“寫一篇《三體》的讀后感”

“請幫我出一份武漢3日游的行程規(guī)劃”

“寫一封給武漢市政府的感謝信”

10、標題生成

能力說明：“紫東太初2.0” 能基于對文章或者長文本的理解，快速聚合生成精簡且概括的標題文案。

示例指令：

“請給這篇文章生成一個標題：”+ 輸入文章內(nèi)容

11、語法分析

能力說明：“紫東太初2.0” 能基于用戶上傳的中英文文本素材，準確理解并分析句子的語法，提醒語法錯誤并修改等等。

示例指令：

請把句子修改成正確的語法表達“張總經(jīng)理和李總工程師正在討論一個技術(shù)改造項目，他同意他的看法。”

請指出句子中的錯誤，并把它改成正確的表達“A number of students is going to learn a foreign language.”