Python笔记-利用OpenCV的matchTemplate屏幕找图并使用pyautogui点击

我会带着你远行 2022-09-11 07:09 109阅读 0赞

要找的图为计算机，也就是icon.png，对应的图标为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVQxOTk1_size_8_color_FFFFFF_t_70_g_se_x_16][]

需要安装的依赖：

pip install cv2
    pip install PIL
    pip install pyautogui

代码如下：

import cv2
    from PIL import ImageGrab
    import numpy as np
    import pyautogui
    
    if __name__ == '__main__':
    
        im = ImageGrab.grab()
        im.save('./res/screen.png', 'png')
    
        img_rgb = cv2.imread('./res/screen.png')
    
        # 所有操作在灰度版中进行
        img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
        template = cv2.imread('./res/icon.png', 0)
    
        res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
        threshold = 0.7
        loc = np.where(res >= threshold)
    
        for pt in zip(*loc[::-1]):
            print(pt[0], pt[1])
            # pyautogui.moveTo(pt[0] + template.shape[0] / 2, pt[1] + template.shape[1] / 2)
            pyautogui.doubleClick(pt[0] + template.shape[0] / 2, pt[1] + template.shape[1] / 2)
    
            pass
    
    
        print('over')
        pass

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVQxOTk1_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/ddd43200e6fd4d34a0b52fcea3e6935d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，109人围观）

还没有评论，来说两句吧...

相关阅读

相关 opencv模板匹配matchTemplate

模板匹配的原理模板匹配可以说是一种最简单的模式识别方法，它的实现主要是通过模板图像在被匹配图像中的平移，在被匹配图像中逐个区域寻找和模板图像相似的区域，如果存在某区域的

妖狐艹你老母/ 2022年12月29日 12:52/ 0 赞/ 503 阅读

相关 python-pyautogui的使用

Pyautogui是Python的一个库，可以模拟鼠标键盘的操作，实现自动化的功能！安装： > pip install pyautogui 正常情况都可以安装成功，如

你的名字/ 2022年10月23日 03:57/ 0 赞/ 200 阅读

相关 android 模拟屏幕点击

工作中有一个界面刚进入时要弹出一个popupwindow，里面有键盘，结果直接模拟点击事件不起作用，还报错， 12-26 17:01:08.636: D/CrashHandl

Myth丶恋晨/ 2022年09月19日 08:08/ 0 赞/ 241 阅读

相关 Python笔记-uiautomator2截图点击，OpenCV找图

对应的代码如下： import time import uiautomator2 as u2 import cv2 import n

ゞ浴缸里的玫瑰/ 2022年09月11日 07:10/ 0 赞/ 316 阅读

相关 Python笔记-利用OpenCV的matchTemplate屏幕找图并使用pyautogui点击

要找的图为计算机，也就是icon.png，对应的图标为： ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1

我会带着你远行/ 2022年09月11日 07:09/ 0 赞/ 110 阅读

相关 Python文档阅读笔记-PyAutoGUI基本使用

PyAutoGUI使用Python来控制鼠标和键盘。PyAutoGUI可以在Windwos，macOS、Linux上跑。安装： pip install pyaut

太过爱你忘了你带给我的痛/ 2022年09月09日 09:24/ 0 赞/ 195 阅读

相关 Python笔记-使用SSIM找两张图不同及使用Opencv显示

运行截图如下： ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVQxOTk1_size_2

川长思鸟来/ 2022年08月28日 08:45/ 0 赞/ 152 阅读

相关点击屏幕获得物体

简单记录一下： Mobile：Get Hit Result Under Finger for Objects PC: Get Hit Result Under Cursor

素颜马尾好姑娘i/ 2022年05月28日 23:53/ 0 赞/ 198 阅读

相关 python opencv图像匹配 matchTemplate函数

算法思路将目标图像在源图像中滑动，计算两个相同大小图像的距离，最后根据距离最小的位置作为匹配结果其中计算图像距离的算法有多种：TM\_SQDIFF，TM\_SQD

Bertha 。/ 2022年04月24日 01:00/ 0 赞/ 203 阅读

相关 Android模拟点击屏幕，实现按键精灵点击屏幕功能

我在实现安卓模拟点击屏幕固定位置时尝试了很多方法，碰了不少壁，现在我将我实现的方法分享给大家，以及我尝试过的方法也分享给大家，让大家在开发的路上少走些弯路。首先我尝试用安卓

秒速五厘米/ 2022年04月04日 16:50/ 0 赞/ 3742 阅读