Python键鼠操作自动化库PyAutoGUI简介

我不是女神ヾ 2023-03-14 08:24 8阅读 0赞

PyAutoGUI是一个Python语言的键鼠自动化库，简单来说和按键精灵的功能一样。但是因为是Python的类库，所以可以使用Python代码配合一些其他类库完成更加强大的功能。下面让我为大家介绍一下吧。

## 安装 ##

从pip安装即可。

pip install pyautogui

稍等一下安装就完毕了。

![从pip安装类库][pip]

## 使用介绍 ##

简单介绍一下PyAutoGUI的函数以及使用方法。

### 鼠标操作函数 ###

操作鼠标点击的函数。

<table> 
 <thead> 
  <tr> 
   <th>函数</th> 
   <th>简单说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>move(x,y)、 moveTo(x,y)</td> 
   <td>移动鼠标，前者移动相对位置，后者移动到指定位置</td> 
  </tr> 
  <tr> 
   <td>click(x,y)、doubleClick、rightClick</td> 
   <td>单击/双击/右击，无参版本在当前位置点击鼠标</td> 
  </tr> 
  <tr> 
   <td>drag(x,y)、dragTo(x,y)</td> 
   <td>拖动鼠标</td> 
  </tr> 
  <tr> 
   <td>mouseDown、mouseUp</td> 
   <td>按下按键，松开按键</td> 
  </tr> 
  <tr> 
   <td>scroll</td> 
   <td>向下滚动鼠标滚轮的函数</td> 
  </tr> 
 </tbody> 
</table>

### 键盘操作函数 ###

操作键盘按键的函数。

<table> 
 <thead> 
  <tr> 
   <th>函数</th> 
   <th>简介</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>press(‘left’,press=3)</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>hotkey(‘ctrl’,‘s’)</td> 
   <td>按下Ctrl+S组合键</td> 
  </tr> 
  <tr> 
   <td>keyDown、keyUp</td> 
   <td>按下和松开键盘按键</td> 
  </tr> 
 </tbody> 
</table>

### 提示框函数 ###

PyAutoGUI可以显示提示框，这时候程序会暂停运行，直到用户点击提示框。

<table> 
 <thead> 
  <tr> 
   <th>函数</th> 
   <th>简介</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>alert(text=’’,title=’’,button=[‘OK’,‘Cancle’])</td> 
   <td>显示警告对话框</td> 
  </tr> 
  <tr> 
   <td>confirm()</td> 
   <td>显示确认对话框</td> 
  </tr> 
  <tr> 
   <td>prompt()</td> 
   <td>显示提示对话框</td> 
  </tr> 
  <tr> 
   <td>password()</td> 
   <td>显示密码输入对话框</td> 
  </tr> 
 </tbody> 
</table>

### 屏幕截图和定位函数 ###

截取屏幕的函数，也可以从屏幕中寻找匹配的图片，并返回其坐标。你可以事先保存一些按钮的截图，然后通过这种方式定位按钮的位置，然后点击。

<table> 
 <thead> 
  <tr> 
   <th>函数</th> 
   <th>简介</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>screenshot(‘image.png’)</td> 
   <td>保存截图并返回截图，无参版本直接返回截图不保存</td> 
  </tr> 
  <tr> 
   <td>center(‘image.png’)</td> 
   <td>从屏幕上寻找图片位置，返回框位置</td> 
  </tr> 
  <tr> 
   <td>locateOnScreen(‘img’)</td> 
   <td>从屏幕寻找图片位置，直接返回坐标</td> 
  </tr> 
 </tbody> 
</table>

## 简单例子 ##

先来看看官网的画图例子，我把代码稍微改了一下。运行这个例子需要先打开一个画图窗口，并放到全屏，然后运行Python代码，迅速将画图程序切换到前台。这样就可以看到PyAutoGUI控制鼠标来绘制精确的直线了。

import pyautogui
    import time
    
    time.sleep(3)
    
    distance = 100
    pyautogui.moveTo(400, 300)
    while distance > 0:
        pyautogui.drag(distance, 0, duration=0.1)   
        distance -= 5
        pyautogui.drag(0, distance, duration=0.1)   
        pyautogui.drag(-distance, 0, duration=0.1) 
        distance -= 5
        pyautogui.drag(0, -distance, duration=0.1)

绘制出来的图片应该是这样的。

![图片结果][format_png]

如果要完成一些实际工作，难免会遇到识别点击复杂样式图片的场景。前面提到了截图和图片识别可以比较好的解决这个问题。这个例子需要先安装OpenCV库和opencv-python包，安装完毕之后就可以运行了。这里将win10计算器的几个按钮保存成图片，然后用PyAutoGUI的图片识别功能找到按钮的坐标，这样就可以无障碍的点击按钮，无需关心窗口的位置。特别提一点，下面的confidence参数需要安装了OpenCV才可以使用，它允许我们模糊匹配图片。

import pyautogui
    import time
    
    time.sleep(3)
    
    # Windows计算器的按钮截图
    five = '5.png'
    eight = '8.png'
    multiply = 'multiply.png'
    equals = 'equals.png'
    
    # 图片识别和点击的函数
    
    
    def find_and_click(image):
        x, y = pyautogui.locateCenterOnScreen(image, confidence=0.9)
        pyautogui.click(x, y)
    
    
    # 执行5*8=
    find_and_click(five)
    find_and_click(multiply)
    find_and_click(eight)
    find_and_click(equals)

这个例子的截图和代码都在我的github上，欢迎大家查看。

https://github.com/techstay/python-study/tree/master/pyautogui-sample

[pip]: /images/20230312/0e641f6ab77440e6bd25b2c91441a82c.png
[format_png]: /images/20230312/df6d4edc16b24e5682a77c40d36a3606.png