Krillin AI:基于LLMs的專業級視頻翻譯、配音和語音克隆工具
Krillin ai是什么?
Krillin AI是一個基于大型語言模型(LLMs)的專業級視頻翻譯、配音和語音克隆工具,一鍵部署全流程,可以生成適配抖音,小紅書,嗶哩嗶哩,視頻號,TikTok,Youtube Shorts等平臺的內容,支持B站,支持中,英,日,德,土耳其語等等56種語言翻譯,通過端到端的工作流程,用戶只需點擊幾次,即可將原始素材轉化為跨平臺內容。
Krillin AI功能特征
一鍵啟動全流程:無需復雜配置,自動安裝依賴,從視頻下載到成品輸出可一鍵完成。
多語言支持:支持 56 種語言的翻譯,覆蓋全球主要語種。
多平臺適配:適配抖音、小紅書、嗶哩嗶哩、TikTok、YouTube 等多平臺內容格式。
視頻獲取:集成 yt-dlp,支持從 YouTube、Bilibili 等平臺下載視頻,也可上傳本地視頻。
字幕識別與翻譯:使用 Whisper 模型進行高精度字幕識別,支持 OpenAI、阿里云等主流供應商的語音和大模型服務。
智能字幕分割對齊:利用自研算法對字幕進行智能分割和對齊,避免錯位和上下文丟失。
自定義詞匯替換:支持一鍵替換詞匯,適應特定領域語言風格。
專業級翻譯:整段翻譯引擎,確保上下文一致和語義連貫。
配音和聲音克隆:可選默認的男女生音色生成翻譯后的視頻朗讀配音,或者上傳本地音頻樣本克隆音色進行朗讀。
視頻合成:一鍵合成橫屏和豎屏視頻,自動處理寬度超限的字幕。
Krillin AI應用場景
影視愛好者:打破語言壁壘,讓影視愛好者能夠暢游全球影視世界。
創作者:節省時間和成本,快速產出多語言版本的視頻內容。
企業培訓與國際交流:幫助跨國企業快速翻譯培訓視頻;在國際會議中實時翻譯發言。
Krillin AI使用教程
安裝與啟動:無需復雜配置,直接安裝并啟動 Krillin AI。
視頻導入:通過集成的 yt-dlp 下載視頻,或上傳本地視頻。
字幕識別與翻譯:選擇目標語言,Krillin AI 自動進行字幕識別和翻譯。
配音與合成:選擇配音音色或上傳音頻樣本進行聲音克隆,然后一鍵合成視頻。
Krillin AI安裝基本步驟
1. 下載可執行文件:
訪問Krillin AI的Release頁面,找到與你設備系統匹配的可執行文件(如Windows或macOS版本)。
將下載的文件放入一個空文件夾中。
2. 配置文件設置:
在文件夾內創建一個名為config的文件夾。
在config文件夾中創建一個名為config.toml的文件。
從Krillin AI的源代碼config目錄下復制config-example.toml文件的內容,并將其粘貼到config.toml文件中。
根據你的需求填寫配置信息。如果你需要使用OpenAI模型但不會獲取API Key,可以加入項目提供的QQ群免費試用。
3. 啟動服務:
雙擊可執行文件,或者在終端中執行該文件來啟動服務。
打開瀏覽器,輸入http://127.0.0.1:8888(如果在配置文件中更改了端口,請使用你設置的端口)。
Github項目:https://github.com/krillinai/KrillinAI