Midscene是一款基于ai技術的自動化瀏覽器助手，能夠通過自然語言操作網頁。你只需簡單描述想要執行的操作，Midscene會自動處理網頁，如發推文、驗證內容、搜索信息等功能。

Midscene.js主要功能

• 自然語言交互：用戶可以用自然語言指令來控制瀏覽器，例如“點擊登錄按鈕”或“搜索關鍵字”，Midscene能夠理解并執行這些命令。

• 數據提取：Midscene能夠自動提取網頁上的信息，并以結構化的格式（如JSON）輸出，例如提取搜索結果或表格數據。

• 網頁操作：它支持在多個網站上執行各種操作，如發推特、填寫表單、點擊鏈接等，用戶無需編寫復雜的代碼。

• 可視化報告: 每次運行后都會生成詳細的可視化報告，包含動畫回放和步驟詳情，方便調試和優化測試過程。

• 集成性高: 支持與 Puppeteer、Playwright 等工具無縫集成，適合各種自動化測試場景。

• 靈活性強: 允許用戶選擇不同的大規模語言模型（LLM），甚至支持開源模型 UI-TARS。

• UI自動化測試：Midscene可用作UI自動化測試工具，幫助開發者快速編寫和維護測試腳本，提高測試效率。

Midscene.js使用案例

• 社交媒體管理：用戶可以直接向Midscene指令，如“發布一條狀態更新”或“回復某條評論”，Midscene會自動完成這些操作，節省時間和精力。

• 數據采集：在進行市場研究或數據分析時，用戶可以使用Midscene迅速抓取特定網站上的信息，比如“提取所有產品價格和描述”，Midscene則自動處理并提供所需的結構化數據。

• 自動化測試：對于開發者而言，Midscene的自然語言指令使得編寫UI測試變得更加簡單。開發者只需描述要測試的行為，Midscene便可以自動執行測試步驟并生成報告。

Midscene.js使用方法：

示例代碼 (使用 Puppeteer):

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 導航至目標網站
    await page.goto("http://example.com");

    // 執行 Midscene.js 動作
    await midscene.execute(page, '輸入用戶名 "testuser"');
    await midscene.execute(page, '點擊登錄按鈕');

    // 數據提取
    let userData = await midscene.query(page, '提取用戶信息為 JSON 格式');
    console.log(userData); 

    // 關閉瀏覽器
    await browser.close();
})();

Midscene.js使用方法超簡單，只要安裝Chrome插件就可以用，不需要編程基礎，只需描述想要執行的任務，它就可以理解你的意圖然后自動執行相應的瀏覽器操作，是不是很神奇。

GitHub：https://github.com/web-infra-dev/midscene