Piece it Together（PiT）是什么？

Piece it Together（PiT）是由特拉維夫大學和Bria ai的研究人員開發的一種視覺概念生成框架 。它能夠將用戶提供的部分視覺組件無縫集成到一個連貫的整體概念中，并同時生成缺失的部分，從而生成一個完整且合理的概念，也就是說，你只需要隨機輸入幾個圖像，比如一張翅膀、一撮頭發、一只眼睛，它就能自動幫你生成一幅完整圖像。這種方法特別適用于創意設計領域，例如角色設計、產品設計和玩具設計等。

PiT功能特征

• 部分到整體的生成：將用戶提供的部分視覺組件（如物體的某個部分、草圖等）整合成一個完整的概念。

• 缺失部分的補全：自動推斷并生成缺失的部分，使最終生成的概念在目標領域內合理且完整。

• 語義操作：在生成的概念上進行語義編輯和操作，例如調整角色的風格、情緒等。

• 文本條件的恢復：通過IP-LoRA技術，恢復生成概念的文本條件控制能力，使生成的圖像能夠更好地適應不同的場景或風格。

• 基于IP+空間的表示：使用IP-Adapter+的內部表示空間，相比CLIP空間，能夠更好地保留視覺細節，同時支持語義操作。

• 輕量級流匹配模型：通過訓練一個輕量級的流匹配模型（IP-Prior），能夠基于特定領域的先驗知識生成連貫的組合。

• 靈活的輸入形式：支持多種輸入形式，包括圖像片段、草圖等，為用戶提供更大的靈活性。

• 多樣的輸出結果：對于相同的輸入，模型可以生成多種合理的輸出，幫助設計師探索不同的創意方向。

PiT應用場景

• 角色設計：設計師可以輸入角色的部分特征（如翅膀、眼睛等），模型生成完整的角色設計，并支持進一步的語義編輯，如調整角色的情緒或風格。

• 產品設計：輸入產品的部分設計元素（如形狀、材質等），模型生成完整的產品設計，并支持風格調整。

• 玩具概念化：輸入玩具的部分特征（如動物的頭部、服裝等），模型生成完整的玩具設計。

• 創意繪畫：輸入草圖或部分繪畫元素，模型生成完整的繪畫作品，并支持風格調整。

PiT使用方法

1. 準備輸入：用戶需要準備一些視覺組件，如圖像片段、草圖等，這些組件可以是概念的一部分。

2. 輸入模型：將這些組件輸入到PiT模型中。

3. 生成概念：模型會自動整合這些組件，并生成一個完整的概念，同時補全缺失的部分。

4. 語義編輯（可選）：用戶可以在生成的概念上進行語義編輯，如調整風格或情緒。

5. 文本條件控制（可選）：通過IP-LoRA技術，用戶可以為生成的概念添加文本條件，以適應不同的場景或風格。

項目地址：https://eladrich.github.io/PiT/

論文：https://arxiv.org/html/2503.10365v1