网站首页 > 技术文章 正文
使用 Windows 自带的 MSAA 发现浏览器窗口,自动执行 JavaScript 很简单!
aardio 代码示例:
import winex;
import winex.accObject;
import winex.key;
//遍历浏览器窗口(兼容 Chrome,Edge 等)
for hwnd,title in winex.each("Chrome_WidgetWin_1") {
//获取 MSAA 接口对象
var accObject = winex.accObject.fromWindow(hwnd);
//查找文本框
var edit = accObject.find(
role = 0x2A;
name = "<Address and search bar>|<地址和搜索栏>";
)
if(edit){
//获取浏览器地址栏内容
var url = edit.value();
//修改浏览器地址栏内容
edit.setValue("javascript:alert(document.location.href)")
edit.takeFocus();
//后台发送按键消息
winex.key.click(hwnd,"ENTER");
thread.delay(1000);
}
}
运行一下看看效果:
所有 Windows 系统都自带 MSAA,接口简单,易于使用,生成的 EXE 程序体积也会很小。aardio 标准库 winex.accObject 则对 MSAA 做了进一步封装,用法就更简单了。
窗口基础知识
1、什么是窗口
「窗口」是应用程序在屏幕上创建的一个显示区域,通常用于接收并处理用户操作,并显示要输出的内容。窗口上的文本框、按钮、菜单这些也都是窗口。
我们一般将顶层独立窗口称为「窗体」,而窗体上的子窗口称为「控件」。
2、什么是窗口句柄
窗口句柄是一个用于唯一标准窗口的整数值。
其实很多系统资源,例如位图、进程、线程都有唯一标准资源的句柄。
在 aardio 中所有句柄都存为指针类型,唯有窗口句柄是普通的数值类型。
3、无句柄窗口
无句柄窗口是指该窗口上的控件没有创建子窗口,典型的例如网页上的按钮、文本框都没有窗口句柄。MSAA 可用于操作无句柄窗口。
使用窗口探测器
请在 aardio 中打开 『工具 > 探测器 > 窗口探测器』:
拖动『窗口探测器』左下角的十字图标到目标窗口上,就会显示窗口信息。
使用窗口探测器我们可以发现 Chrome, Edge 等浏览器的网页窗口类名都是 "Chrome_WidgetWin_1", 所以我们可以用下面的 aadio 代码获取所有打开的浏览器窗口:
import winex;
for hwnd,title in winex.each("Chrome_WidgetWin_1") {
}
aardio 中 winex 名字空间的所有库、函数都是用于操作外部程序窗口的。
winex.each() 用于遍历所有符合条件的窗口, winex.each() 的第一个参数可以指定窗口类名,这个类名支持模式匹配语法( 类正则表达式,但更简单,用法请参考语法文档 )。
自窗口句柄获取 MSAA 对象
自窗口句柄获取 MSAA 对象,代码很简单:
import winex;
import winex.accObject;
//遍历浏览器窗口(兼容 Chrome,Edge 等)
for hwnd,title in winex.each("Chrome_WidgetWin_1") {
//获取 MSAA 接口对象
var accObject = winex.accObject.fromWindow(hwnd);
}
使用 MSAA 探测工具
请在 aardio 中打开 winex.accObject 的文档或源码,搜索“ACC对象浏览工具” 并下载该工具( inspect.exe )。
运行 inspect.exe ,点选下图的『 Watch Cursor 』图标:
也就是允许探测鼠标指向的窗口。
然后将鼠标移向浏览器的地址栏,Inspect 找到了地址栏所在的 ACC 对象,并显示了一堆信息,我们重点关注这几行:
Name: "Address and search bar"
Role: editable text (0x2A)
Name 是 ACC 对象的名称。
Role 是 ACC 对象的角色,其实就是控件类型。
根据上面的信息,我们修改代码获取浏览器地址栏:
import winex;
import winex.accObject;
import console;
//遍历浏览器窗口(兼容 Chrome,Edge 等)
for hwnd,title in winex.each("Chrome_WidgetWin_1") {
//获取 MSAA 接口对象
var accObject = winex.accObject.fromWindow(hwnd);
//查找地址栏
var edit = accObject.find(
role = 0x2A;
name = "<Address and search bar>|<地址和搜索栏>";
)
//显示地址栏的内容
if(edit) console.log( edit.value() )
}
console.pause();
在 aardio 中运行上面的代码,我们干净利索地拿到了浏览器地址栏的网址。
拿到一个 accObject 对象以后,可以调用 accObject.find() 函数继续查找符合条件的子节点。而查找参数就是我们用 Inspect.exe 探测到的参数。
查找参数中,role, state 可以是文本,也可以是数值,一般建议用数值( 速度更快 )。
上面的 name 参数用到了模式匹配:
name = "<Address and search bar>|<地址和搜索栏>";
这个模式表达式中的 | 线是 “或” 的意思,而 < > 括号用于包含子串。如果目标 ACC 对象的 name 包含 "Address and search bar" 或者 "地址和搜索栏" 都符合条件。
后台按键
aardio 标准库 key,mouse 用于对前台窗口模拟按键鼠标。
例如:
key.press("ENTER")
作用就是模拟按下回车键。
如果我们改用 winex.key, winex.mouse 就可以直接向后台窗口发送按键或鼠标消息。这样的好处是不会干扰用户操作。
例如向浏览器窗口发送回车键消息:
import winex;
import winex.key;
//遍历浏览器窗口(兼容 Chrome,Edge 等)
for hwnd,title in winex.each("Chrome_WidgetWin_1") {
//后台发送按键消息
winex.key.click(hwnd,"ENTER");
thread.delay(1000);
}
键名
操作按键的函数都需要用到键名。
我们还可以直接运行 aardio 『 工具 > 鼠标按键 > 按键指令生成器』
在『按键指令生成器』窗口内我们任意按键,就可以显示对应的键名了。
听说 UIA 更先进
有时候先进也是一种负担,飞机比自行车先进,这不等于任何时候都要用飞机替代自行车。
当然,在 aardio 中调用 UIA 也是很简单的,示例( 可独立运行 ):
import process;
process.executeWaitInput("notepad.exe",io.getSpecial(0x25/*_CSIDL_SYSTEM*/,"drivers\etc\HOSTS"));
//导入 .Net 类
import System.Windows.Automation;
TreeScope = ::UIAutomationTypes.import("System.Windows.Automation.TreeScope");
//访问 .Net 类的静态成员
Automation = System.Windows.Automation;
AutomationElement = Automation.AutomationElement;
RootElement = AutomationElement.RootElement;
//查找记事本窗口
var condNotepadClass = Automation.PropertyCondition(AutomationElement.ClassNameProperty,"Notepad")
var notepad = RootElement.FindFirst( TreeScope.Children, condNotepadClass)
//查找记事本的编辑框
var condEditClass = Automation.PropertyCondition(AutomationElement.ClassNameProperty,"Edit");
var editBox = notepad.FindFirst( TreeScope.Descendants, condEditClass);
if(!editBox){
//Windows 11
condEditClass = Automation.PropertyCondition(AutomationElement.ClassNameProperty,"RichEditD2DPT");
editBox = notepad.FindFirst( TreeScope.Descendants, condEditClass);
}
//获取记事本内的文本
var textPattern = editBox.GetCurrentPattern(Automation.TextPattern.Pattern);
var text = textPattern.DocumentRange.GetText(50)
import win.dlg.message;
win.dlg.message().info(text + " ……")
然并卵,WebDriver 不香么?
aardio 调用 WebDriver 就更简单了,示例:
import chrome.driver;
var driver = chrome.driver();
//创建会话,打开chrome浏览器,调用参数仅用于演示( 可以省略 )。
var browser = driver.startBrowser();
//打开网页
browser.go("网址你猜")
//查找文本输入框,返回的DOM对象也可以使用ququerySelector继续查找子节点
var ele = browser.querySelector("body").querySelector("#kw");
//在网页输入框输入内容
ele.setValue( "ChromeDriver" )
猜你喜欢
- 2024-10-24 Service Workers - JS API 简介(servicedescriptor)
- 2024-10-24 web性能优化的15条实用技巧(web应用性能优化思路)
- 2024-10-24 如何在 Service Worker 重新启动时重用信息
- 2024-10-24 Python在selenium里面注入JavaScript程序的方法
- 2024-10-24 requireJS 实战(requirejs define)
- 2024-10-24 面试妥了!2020 爬虫面试题目合集(爬虫面试经历)
- 2024-10-24 Nest.js 从零到壹系列(一):项目创建&路由设置&模块
- 2024-10-24 JS小知识,分享 7 个高频的工具函数,也许你用的上
- 2024-10-24 如何使用Playwright优化测试性能(play—player)
- 2024-10-24 JavaScript开发人员都应知道的异步迭代,你会了吗?
- 11-26Win7\8\10下一条cmd命令可查得笔记本电脑连接过的Wifi密码
- 11-26一文搞懂MySQL行锁、表锁、间隙锁详解
- 11-26电脑的wifi密码忘记了?一招教你如何找回密码,简单明了,快收藏
- 11-26代码解决忘记密码问题 教你用CMD命令查看所有连接过的WIFI密码
- 11-26CMD命令提示符能干嘛?这些功能你都知道吗?
- 11-26性能测试之慢sql分析
- 11-26论渗透信息收集的重要性
- 11-26如何查看电脑连接过的所有WiFi密码
- 最近发表
- 标签列表
-
- cmd/c (57)
- c++中::是什么意思 (57)
- sqlset (59)
- ps可以打开pdf格式吗 (58)
- phprequire_once (61)
- localstorage.removeitem (74)
- routermode (59)
- vector线程安全吗 (70)
- & (66)
- java (73)
- org.redisson (64)
- log.warn (60)
- cannotinstantiatethetype (62)
- js数组插入 (83)
- resttemplateokhttp (59)
- gormwherein (64)
- linux删除一个文件夹 (65)
- mac安装java (72)
- reader.onload (61)
- outofmemoryerror是什么意思 (64)
- flask文件上传 (63)
- eacces (67)
- 查看mysql是否启动 (70)
- java是值传递还是引用传递 (58)
- 无效的列索引 (74)