Python实现图片按钮坐标定位：pyautogui与aircv方案对比
发布时间：2026-10-16| 4人浏览过
本文探讨Python中查找图片按钮坐标的两种方案。针对pyautogui在小尺寸图片识别上的不足，介绍使用aircv进行封装的方法。通过对比两种工具的实现逻辑，展示如何获取桌面截图、计算中心点及四角坐标，并提供完整的代码示例与可视化调试流程，帮助开发者解决自动化操作中的精准定位问题。
Python查找图片按钮的坐标位置
出于业务自动化的需求，接触到了类似Airtest截图点击的技术方案。
起初尝试使用pyautogui获取图片坐标，但该工具对小尺寸图片的识别精度不足，甚至无法识别。经过调研，发现另一种工具并进行了封装，具体实现如下。
方案一：使用pyautogui
x, y=pyautogui.locateCenterOnScreen("img_path")
# 如果查找到值，会返回坐标的元组，找不到返回None。上面的写法会报错
print(x, y)
pyautogui.click(x,y)
# 点击操作
方案二：使用aircv
def matchImg(imgobj,confidence=0.7):
"""
imgobj:待查找的图片
confidence:最低相似度
"""
# 截取桌面操作，写入内存中，不必每次都保存实体图片
screenshotIm = screenshot(region=None)
desktop = np.array(screenshotIm)
imobj = ac.imread(imgobj)
return ac.find_template(desktop ,imobj,confidence)
if __name__ == "__main__":
imgobj = 'img_path'
print(matchImg(imgsrc,imgobj,confidencevalue))
该方法的返回值包含桌面尺寸、图像中心点坐标以及待查询图片的四个角点坐标；若未找到匹配项，则返回None。
读取图片区域坐标的实现流程记录
首先导入所需的Python库：
import cv2
import time
import win32gui, win32ui, win32con
import os第一步，获取目标图片，可以直接截取屏幕图像或加载已有图片文件。
'''1、窗口截图，直接获取当前最前面的全屏幕截图'''
def window_capture(filename,w=1920,h=1080):
hwnd = 0 # 窗口的编号，0号表示当前活跃窗口
# 根据窗口句柄获取窗口的设备上下文DC（Divice Context）
hwndDC = win32gui.GetWindowDC(hwnd)
# 根据窗口的DC获取mfcDC
mfcDC = win32ui.CreateDCFromHandle(hwndDC)
# mfcDC创建可兼容的DC
saveDC = mfcDC.CreateCompatibleDC()
# 创建bigmap准备保存图片
saveBitMap = win32ui.CreateBitmap()
# 为bitmap开辟空间
saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
# 高度saveDC，将截图保存到saveBitmap中
saveDC.SelectObject(saveBitMap)
# 截取从左上角（0，0）长宽为（w，h）的图片
saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
saveBitMap.SaveBitmapFile(saveDC, filename)
return True第二步，将获取到的图片路径传递给用于识别坐标的函数。
g_rectangle = [0, 0, 0, 0] #设置初始值坐标
clicked = False
g_startPoint = [0, 0] #设置初始值获取的坐标
def startRoi(path):
cv2.namedWindow("IMG_Show", 0) # 创建画布
cv2.resizeWindow("IMG_Show", 1920, 1080) # 设置长和宽
cv2.setMouseCallback("IMG_Show", onMouse) # 连接鼠标
# 按"Esc"退出
print("如果想要退出窗口，点击按钮 ESC,退出窗口...")
while cv2.waitKey(30) != 27: #监听事件
global frame
frame = cv2.imread(path,cv2.IMREAD_COLOR) #读取图片数据
# 画矩形
'''
由（x_min，x_max）组成，为绘制的边框的左上角；
(g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):设置为绘制的边框的左上角和绘制的边框的右下角
(0, 0, 255):指定边框的颜色，由（B,G,R）组成，当为（255,0，0）时为绿色，可以自由设定；
1:线条的粗细值，为正值时代表线条的粗细（以像素为单位）
'''
cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
cv2.imshow("IMG_Show", frame)
# cv2.destroyWindow("IMG_Show")
'''
event:当前发生的鼠标事件类型
x和y:发生鼠标事件时鼠标在图像位置的x，y坐标
flags: cv2_EVENT_FLAG_* (MouseEventFlags)类型的变量
param: 自定义的传递给 setMouseCallback 函数调用的参数
'''
# x和y： 发生鼠标事件时鼠标在图像位置的x，y坐标
def onMouse(event, x, y, flags, param):
global clicked
global g_rectangle
global g_startPoint
if event == cv2.EVENT_MOUSEMOVE: # 滑动
if clicked == True:
#当鼠标点击时，打印一下信息
g_rectangle[0] = g_startPoint[0]
g_rectangle[1] = g_startPoint[1]
#实时获取，对应变化后的x，y坐标
g_rectangle[2] = x
g_rectangle[3] = y
print("坐标:%s" % g_rectangle)
# 左键按下事件
if event == cv2.EVENT_LBUTTONDOWN: # 左键点击
#获取鼠标第一时间点击的坐标
g_startPoint[0] = x
g_startPoint[1] = y
clicked = True
# 左键弹起事件
if event == cv2.EVENT_LBUTTONUP: # 左键放开
print("====================选中框的坐标：===========================")
print("矩形框左上角坐标：")
print(g_rectangle[0], g_rectangle[1])
print("矩形框右下角坐标：")
print(g_rectangle[2], g_rectangle[3])
print("矩形框宽度：")
print(g_rectangle[2]-g_rectangle[0])
print("矩形框高度：")
print(g_rectangle[3]-g_rectangle[1])
clicked = False第三步，通过画布显示结果，在界面上绘制矩形框以自动识别并显示图片区域的坐标（参考下图）。
完整代码展示：
'''
读取图片的坐标
'''
import cv2
import time
import win32gui, win32ui, win32con
import os
'''1、窗口截图'''
def window_capture(filename,w=1920,h=1080):
hwnd = 0 # 窗口的编号，0号表示当前活跃窗口
# 根据窗口句柄获取窗口的设备上下文DC（Divice Context）
hwndDC = win32gui.GetWindowDC(hwnd)
# 根据窗口的DC获取mfcDC
mfcDC = win32ui.CreateDCFromHandle(hwndDC)
# mfcDC创建可兼容的DC
saveDC = mfcDC.CreateCompatibleDC()
# 创建bigmap准备保存图片
saveBitMap = win32ui.CreateBitmap()
# 为bitmap开辟空间
saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
# 高度saveDC，将截图保存到saveBitmap中
saveDC.SelectObject(saveBitMap)
# 截取从左上角（0，0）长宽为（w，h）的图片
saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
saveBitMap.SaveBitmapFile(saveDC, filename)
return True
g_rectangle = [0, 0, 0, 0] #设置初始值坐标
clicked = False
g_startPoint = [0, 0]
def startRoi(path):
cv2.namedWindow("IMG_Show", 0) # 创建画布
cv2.resizeWindow("IMG_Show", 1920, 1080) # 设置长和宽
cv2.setMouseCallback("IMG_Show", onMouse) # 连接鼠标
# 按"Esc"退出
print("如果想要退出窗口，点击按钮 ESC,退出窗口...")
while cv2.waitKey(30) != 27: #监听事件
global frame
frame = cv2.imread(path,cv2.IMREAD_COLOR) #读取图片数据
# 画矩形
'''
由（x_min，x_max）组成，为绘制的边框的左上角；
(g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):设置为绘制的边框的左上角和绘制的边框的右下角
(0, 0, 255):指定边框的颜色，由（B,G,R）组成，当为（255,0，0）时为绿色，可以自由设定；
1:线条的粗细值，为正值时代表线条的粗细（以像素为单位）
'''
cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
cv2.imshow("IMG_Show", frame)
# cv2.destroyWindow("IMG_Show")
'''
event:当前发生的鼠标事件类型
x和y:发生鼠标事件时鼠标在图像位置的x，y坐标
flags: cv2_EVENT_FLAG_* (MouseEventFlags)类型的变量
param: 自定义的传递给 setMouseCallback 函数调用的参数
'''
# x和y： 发生鼠标事件时鼠标在图像位置的x，y坐标
def onMouse(event, x, y, flags, param):
global clicked
global g_rectangle
global g_startPoint
if event == cv2.EVENT_MOUSEMOVE: # 滑动
if clicked == True:
#当鼠标点击时，打印一下信息
g_rectangle[0] = g_startPoint[0]
g_rectangle[1] = g_startPoint[1]
#实时获取，对应变化后的x，y坐标
g_rectangle[2] = x
g_rectangle[3] = y
print("坐标:%s" % g_rectangle)
# 左键按下事件
if event == cv2.EVENT_LBUTTONDOWN: # 左键点击
#获取鼠标第一时间点击的坐标
g_startPoint[0] = x
g_startPoint[1] = y
clicked = True
# 左键弹起事件
if event == cv2.EVENT_LBUTTONUP: # 左键放开
print("====================选中框的坐标：===========================")
print("矩形框左上角坐标：")
print(g_rectangle[0], g_rectangle[1])
print("矩形框右下角坐标：")
print(g_rectangle[2], g_rectangle[3])
print("矩形框宽度：")
print(g_rectangle[2]-g_rectangle[0])
print("矩形框高度：")
print(g_rectangle[3]-g_rectangle[1])
clicked = False
if __name__ == '__main__':
path = r"./save_img/jietu.jpg"
if not os.path.isdir:
os.mkdir(path)
ret = window_capture(filename=path)
time.sleep(0.2)
if ret == True:
startRoi(path)
以上为个人经验总结，希望能为大家提供参考，也希望大家多多支持本站。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
