Midscene是一款基于ai技術(shù)的自動(dòng)化瀏覽器助手，能夠通過(guò)自然語(yǔ)言操作網(wǎng)頁(yè)。你只需簡(jiǎn)單描述想要執(zhí)行的操作，Midscene會(huì)自動(dòng)處理網(wǎng)頁(yè)，如發(fā)推文、驗(yàn)證內(nèi)容、搜索信息等功能。

Midscene.js主要功能

• 自然語(yǔ)言交互：用戶可以用自然語(yǔ)言指令來(lái)控制瀏覽器，例如“點(diǎn)擊登錄按鈕”或“搜索關(guān)鍵字”，Midscene能夠理解并執(zhí)行這些命令。

• 數(shù)據(jù)提取：Midscene能夠自動(dòng)提取網(wǎng)頁(yè)上的信息，并以結(jié)構(gòu)化的格式（如JSON）輸出，例如提取搜索結(jié)果或表格數(shù)據(jù)。

• 網(wǎng)頁(yè)操作：它支持在多個(gè)網(wǎng)站上執(zhí)行各種操作，如發(fā)推特、填寫表單、點(diǎn)擊鏈接等，用戶無(wú)需編寫復(fù)雜的代碼。

• 可視化報(bào)告: 每次運(yùn)行后都會(huì)生成詳細(xì)的可視化報(bào)告，包含動(dòng)畫回放和步驟詳情，方便調(diào)試和優(yōu)化測(cè)試過(guò)程。

• 集成性高: 支持與 Puppeteer、Playwright 等工具無(wú)縫集成，適合各種自動(dòng)化測(cè)試場(chǎng)景。

• 靈活性強(qiáng): 允許用戶選擇不同的大規(guī)模語(yǔ)言模型（LLM），甚至支持開(kāi)源模型 UI-TARS。

• UI自動(dòng)化測(cè)試：Midscene可用作UI自動(dòng)化測(cè)試工具，幫助開(kāi)發(fā)者快速編寫和維護(hù)測(cè)試腳本，提高測(cè)試效率。

Midscene.js使用案例

• 社交媒體管理：用戶可以直接向Midscene指令，如“發(fā)布一條狀態(tài)更新”或“回復(fù)某條評(píng)論”，Midscene會(huì)自動(dòng)完成這些操作，節(jié)省時(shí)間和精力。

• 數(shù)據(jù)采集：在進(jìn)行市場(chǎng)研究或數(shù)據(jù)分析時(shí)，用戶可以使用Midscene迅速抓取特定網(wǎng)站上的信息，比如“提取所有產(chǎn)品價(jià)格和描述”，Midscene則自動(dòng)處理并提供所需的結(jié)構(gòu)化數(shù)據(jù)。

• 自動(dòng)化測(cè)試：對(duì)于開(kāi)發(fā)者而言，Midscene的自然語(yǔ)言指令使得編寫UI測(cè)試變得更加簡(jiǎn)單。開(kāi)發(fā)者只需描述要測(cè)試的行為，Midscene便可以自動(dòng)執(zhí)行測(cè)試步驟并生成報(bào)告。

Midscene.js使用方法：

示例代碼 (使用 Puppeteer):

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 導(dǎo)航至目標(biāo)網(wǎng)站
    await page.goto("http://example.com");

    // 執(zhí)行 Midscene.js 動(dòng)作
    await midscene.execute(page, '輸入用戶名 "testuser"');
    await midscene.execute(page, '點(diǎn)擊登錄按鈕');

    // 數(shù)據(jù)提取
    let userData = await midscene.query(page, '提取用戶信息為 JSON 格式');
    console.log(userData); 

    // 關(guān)閉瀏覽器
    await browser.close();
})();

Midscene.js使用方法超簡(jiǎn)單，只要安裝Chrome插件就可以用，不需要編程基礎(chǔ)，只需描述想要執(zhí)行的任務(wù)，它就可以理解你的意圖然后自動(dòng)執(zhí)行相應(yīng)的瀏覽器操作，是不是很神奇。

GitHub：https://github.com/web-infra-dev/midscene