Python自动操作GUI神器PyAutoGUI怎么使用
GUI控制神器我们今天的主人公是pyautogui，pyautogui是一个纯Python的GUI自动化工具，通过它可以让程序自动控制鼠标和键盘的一系列操作来达到自动化测试的目的。这个模块的安装也是老一套：pip3installpyautogui安装好了就可以直接使用了。鼠标操作鼠标移动桌面操作最基本的就是鼠标操作了，我们可以控制鼠标的移动：#移动鼠标pyautogui.moveTo(200,400,duration=2)pyautogui.moveRel(200,500,duration=2)整个桌面是
GUI 控制神器
我们今天的主人公是 pyautogui，pyautogui 是一个纯 Python 的 GUI 自动化工具，通过它可以让程序自动控制鼠标和键盘的一系列操作来达到自动化测试的目的。
这个模块的安装也是老一套：
pip3 install pyautogui
安装好了就可以直接使用了。
鼠标操作
鼠标移动
桌面操作最基本的就是鼠标操作了，我们可以控制鼠标的移动：
# 移动鼠标 pyautogui.moveTo(200,400,duration=2) pyautogui.moveRel(200,500,duration=2)
整个桌面是以左上角为坐标轴的原点，所有的操作都以这个原点，来确定操作位置。
第一行是将鼠标移动到指定的像素(200,400)位置，第二行代码是将鼠标按照当前点向右移动200px，向下移动400px这个方向移动。
两行代码中都有一个共同的参数 duration，这个参数表示移动时间，即在指定时间内完成移动操作，单位是秒。
运行这两行代码，观察屏幕鼠标的变化，是不是很神奇？
我们还可以获取鼠标位置：
print(pyautogui.position())
这个很好理解，就是获取鼠标在当前屏幕中的坐标位置，运行这行代码，我们会得到诸如下面的信息：
Point(x=400, y=900)
鼠标点击
通常，我们的鼠标有左右两个按键，高级点的鼠标中间还有个按键。
我的鼠标只有两个按键，中间没有按键，唉~
pyautogui针对这三个按键操作都有相应的处理：
# 鼠标点击，默认左键 pyautogui.click(100,100) # 单击左键 pyautogui.click(100,100,button='left') # 单击右键 pyautogui.click(100,300,button='right') # 单击中间 pyautogui.click(100,300,button='middle')
鼠标点击，如果不指定 button 参数，默认是点击左键，前面两个参数就是点击坐标的位置。
运行这段代码，看看你的桌面会发生什么？
鼠标除了点击操作，还有双击操作：
# 双击左键 pyautogui.doubleClick(10,10) # 双击右键 pyautogui.rightClick(10,10) # 双击中键 pyautogui.middleClick(10,10)
操作函数也很简单，相信大家一眼就能看明白，如果一眼看不明白，请多看几眼！
熟悉前端的小伙伴可能会马上联想到，鼠标操作有按下和释放的过程，我们屏幕操作也有对应的控制：
# 鼠标按下 pyautogui.mouseDown() # 鼠标释放 pyautogui.mouseUp()
鼠标拖动
我们可以控制鼠标拖动到指定坐标位置，并且设置操作时间：
pyautogui.dragTo(100,300,duration=1)
这个运行效果和前面移动类似。
根据前面移动的经验，我们也有按照方向拖动鼠标：
pyautogui.dragRel(100,300,duration=4)
鼠标滚动
在桌面操作中，我们有时候需要滚动鼠标到达向上或者向下的位置，这时候我们可以使用 scroll 这个函数来控制：
pyautogui.scroll(30000)
参数是整数，表示向上或向下滚动多少个单位，这个单位根据不同的操作系统可能不一样。如果向上滚动，传入正整数，向下滚动传入负整数。
屏幕处理
获取屏幕截图
我们先来假设一个场景：我现在要在屏幕上找到一个红色的点，你会怎么做？通常的做法是拿到这个红色点的颜色值，然后再对屏幕上的点逐个进行比较，直到找到为止。
pyautogui 为我们这个操作场景提供了支持，分别有三个函数可以完成这三件事情。
im = pyautogui.screenshot()
im.save('screenshot.png')
rgb = im.getpixel((100, 500))
print(rgb)
match = pyautogui.pixelMatchesColor(500,500,(12,120,400))
print(match)第一个是获取屏幕截图函数，它可以返回一个 Pillow 的 image 对象; 第二个是获取屏幕截图中指定坐标点的颜色，返回 rgb 颜色值；第三个是将指定坐标点的颜色和目标的颜色进行比对，返回布尔值。
我们再来升级一下需求：
我现在要在屏幕上找到 edge 浏览器的图标，你会怎么做？
通常的做法是先知道 edge 浏览器的图标长啥样，是绿色还是蓝色，是胖的还是瘦的，对吧？然后再在屏幕上去进行图标的匹配，直到找到一个图标跟我们目标图标一样，就得到了结果。
于是，我们的代码如下：
# 图像识别（一个）
oneLocation = pyautogui.locateOnScreen('1.png')
print(oneLocation)
# 图像识别（多个）
allLocation = pyautogui.locateAllOnScreen('1.png')
print(list(allLocation))你可以在桌面上将某个应用的图标截取下来，保存为图片，然后使用上面几行代码来识别，识别成功，你会返回类似下面的结果：
Box(left=20, top=89, width=33, height=34) [Box(left=20, top=89, width=33, height=34)]
这就是图片在桌面的位置，如果找不到图片，就会返回 None。
键盘输入
键盘函数
键盘输入有下面几个常用的函数：
keyDown()：模拟按键按下
keyUP()：模拟按键松开
press()：模拟一次按键过程，即 keyDown 和 keyUP 的组合
typewrite()：模拟键盘输出内容
举个例子，大家平时输入感叹号（！）是怎么操作键盘的？
按住 shift 按键，然后再按住 1 按键，就可以了。用 pyautogui 控制就是：
pyautogui.keyDown('shift')
pyautogui.press('1')
pyautogui.keyUp('shift')运行上面的代码，如果你的鼠标是放在编辑框中，你会得到一个感叹号！
我们还可以直接输出内容：
pyautogui.typewrite('python', 1)第一个参数是输出的内容，第二个参数是间隔时间，单位是秒。
运行上面代码，你的编辑器里面就会每隔1秒钟按顺序输出 python 的6个字母。
特殊符号
有时我们需要输入键盘的一些特殊的符号按键，比如 换行、方向键等，这些有相对应的键盘字符串表示：
pyautogui.typewrite(['p','y','t','h','o','n','enter'])
运行上面代码，编辑器里面就会输出 python 之后换行。
其他特殊按键对应的字符串请参考官方说明。
快捷键
如果我要复制一个内容，大部分情况下会使用快键键 ctrl + c，按照上面讲的，我们应该这么实现：
pyautogui.keyDown('ctrl')
pyautogui.keyDown('c')
pyautogui.keyUp('c')
pyautogui.keyUp('ctrl')这样写起来很麻烦，而且需要掌控按键的按下和释放的顺序。
pyautogui 为我们提供了一个快捷的函数：
pyautogui.hotkey('ctrl','c')实现的效果和上面的4行代码相同。
信息框
当你在模拟一个桌面操作的时候，如果有分支操作需要根据实际情况来判断，你是不是需要有一个地方可以让你选择走哪个分支？
pyautogui 贴心地考虑到了这种情况，你可以通过弹出一个选择框来中断当前的操作，选择操作分支。
way = pyautogui.confirm('领导，该走哪条路？', buttons=['农村路', '水路', '陆路'])
print(way)这里就是我们 HTML 页面的 confirm 选择框，选择了选项之后，我们可以获取到选择的选项，然后基于这个选项做判断，进入相应的操作分支。
除了选择确认框之外，还有其他一些提示信息框：
# 警告框
alert = pyautogui.alert(text='警告！敌军来袭！', title='警告框')
print(alert)
# 密码框
password = pyautogui.password('请输入密码')
print(password)
# 普通输入框
input = pyautogui.prompt('请输入指令：')
print(input) 
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。