Eval for "A LLM-Based Approach for End-to-End Web GUI Test Script Generation and Execution"

Published: 18 September 2025| Version 1 | DOI: 10.17632/kczd9vtvfy.1
Contributor:
Wenrui Duan

Description

Contains code, experimental data and scripts

Files

Steps to reproduce

首先解压web-agent-gitrepo.zip并运行`npm i`安装依赖然后运行`npm run build`构建； 然后进入packages/cli中，dist/index.js即cli端的可执行程序； 然后解压web-agent-eval-main.zip查看其中的操作描述数据； 参考如下方式运行程序，其中需要配置LLM的信息 ACTION_MODEL_NAME="xxx" \ ACTION_MODEL_BASE_URL="xxx" \ ACTION_MODEL_API_KEY="xxx" \ CLASSIFICATION_MODEL_NAME="xxx" \ CLASSIFICATION_MODEL_BASE_URL="xxx" \ CLASSIFICATION_MODEL_API_KEY="xxx" \ ACTION_INPUT=text or text-vision or vision 取决于llm能力 \ ACTION_OUTPUT=function-call or structured-output or json_schema 取决于llm能力 \ node ../web-agent/packages/cli/dist/index.js exec \ --ll trace \ --lp out.log \ --steps p=zentao/sut/21.0/login.json \ --steps i='click "Program" module link' \ --steps i='refresh this page' \ --steps i='click "Create Program" button' \ --steps i='fill in "just for test" in name input box' \ --steps i='click "Planned End"' \ --steps i='click "six month" for Planned End' \ --steps i='click "Save" button' \ --steps p=wait.json \ --cp page-config.json 其中 --ll trace 表示日志级别为trace，便于调试； 其中 --lp out.log 表示日志输出到out.log文件； 其中p表示操作原语，无须LLM即执行，输入的参数可以是操作原语json数据或者是存储有操作原语json数据的文件路径； 其中i表示操作描述，输入的参数可以是操作描述文本或者是存储有操作描述文本的文件路径。 其中--cp page-config.json 表示浏览器启动的配置，以Playwright作为参数标准 example of page-config.json: ```json { "type": "chromium", "launchOptions": { "headless": false, "timeout": 120000 }, "contextOptions": { "locale": "en-US", "viewport": { "width": 1280, "height": 800 } } } ``` 任何问题请联系我，并注明来意： isduanwenrui2001@163.com +8613718292890 wechat: 13718292890

Institutions

  • Beihang University

Categories

Web Application, Graphical User Interface, Large Language Model

Licence