Midscene是一款基于ai技術(shù)的自動化瀏覽器助手，能夠通過自然語言操作網(wǎng)頁。你只需簡單描述想要執(zhí)行的操作，Midscene會自動處理網(wǎng)頁，如發(fā)推文、驗(yàn)證內(nèi)容、搜索信息等功能。

Midscene.js主要功能

• 自然語言交互：用戶可以用自然語言指令來控制瀏覽器，例如“點(diǎn)擊登錄按鈕”或“搜索關(guān)鍵字”，Midscene能夠理解并執(zhí)行這些命令。

• 數(shù)據(jù)提取：Midscene能夠自動提取網(wǎng)頁上的信息，并以結(jié)構(gòu)化的格式（如JSON）輸出，例如提取搜索結(jié)果或表格數(shù)據(jù)。

• 網(wǎng)頁操作：它支持在多個網(wǎng)站上執(zhí)行各種操作，如發(fā)推特、填寫表單、點(diǎn)擊鏈接等，用戶無需編寫復(fù)雜的代碼。

• 可視化報(bào)告: 每次運(yùn)行后都會生成詳細(xì)的可視化報(bào)告，包含動畫回放和步驟詳情，方便調(diào)試和優(yōu)化測試過程。

• 集成性高: 支持與 Puppeteer、Playwright 等工具無縫集成，適合各種自動化測試場景。

• 靈活性強(qiáng): 允許用戶選擇不同的大規(guī)模語言模型（LLM），甚至支持開源模型 UI-TARS。

• UI自動化測試：Midscene可用作UI自動化測試工具，幫助開發(fā)者快速編寫和維護(hù)測試腳本，提高測試效率。

Midscene.js使用案例

• 社交媒體管理：用戶可以直接向Midscene指令，如“發(fā)布一條狀態(tài)更新”或“回復(fù)某條評論”，Midscene會自動完成這些操作，節(jié)省時(shí)間和精力。

• 數(shù)據(jù)采集：在進(jìn)行市場研究或數(shù)據(jù)分析時(shí)，用戶可以使用Midscene迅速抓取特定網(wǎng)站上的信息，比如“提取所有產(chǎn)品價(jià)格和描述”，Midscene則自動處理并提供所需的結(jié)構(gòu)化數(shù)據(jù)。

• 自動化測試：對于開發(fā)者而言，Midscene的自然語言指令使得編寫UI測試變得更加簡單。開發(fā)者只需描述要測試的行為，Midscene便可以自動執(zhí)行測試步驟并生成報(bào)告。

Midscene.js使用方法：

示例代碼 (使用 Puppeteer):

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 導(dǎo)航至目標(biāo)網(wǎng)站
    await page.goto("http://example.com");

    // 執(zhí)行 Midscene.js 動作
    await midscene.execute(page, '輸入用戶名 "testuser"');
    await midscene.execute(page, '點(diǎn)擊登錄按鈕');

    // 數(shù)據(jù)提取
    let userData = await midscene.query(page, '提取用戶信息為 JSON 格式');
    console.log(userData); 

    // 關(guān)閉瀏覽器
    await browser.close();
})();

Midscene.js使用方法超簡單，只要安裝Chrome插件就可以用，不需要編程基礎(chǔ)，只需描述想要執(zhí)行的任務(wù)，它就可以理解你的意圖然后自動執(zhí)行相應(yīng)的瀏覽器操作，是不是很神奇。

GitHub：https://github.com/web-infra-dev/midscene