人脸位置定位鼠标并实现眨眼点击

比眉伴天荒 2022-01-25 14:38 379阅读 0赞

环境：
    python: 3.7
    cv2: 4.1.0
    pyautogui

[haar分类器下载][haar]

受前几天的hackfun第一名（键鼠替代方案）启发，尝试自己做一个简易版。由摄像头检测人脸位置，并由此定位鼠标位置；检测图像中的眼睛位置，然后眨眼（眼睛消失）实现鼠标单击。

效果嘛，能够实现基本的预想功能，但是体验不太好。比如鼠标移动较卡顿（视频帧率太低），比如要精确定位比较困难，比如人总会眨眼而不一定想要点击。

总之，人脸来控制鼠标，确实不太方便不能像手那样随心所欲，但这个是为特殊人群服务的替代方案，所以也还行吧。

**实现方法是在上一个博客中所讲的人脸识别的基础上，添加识别眼睛的功能，引入pyautogui库，来实现对鼠标的控制。**

--------------------

[单纯的动态人脸检测参考我的这篇文章][Link 1]

代码：

import cv2
    import pyautogui
    
    cap = cv2.VideoCapture(0)
    
    while(True):
        # Capture frame-by-frame
        ret, frame = cap.read()
        frame = cv2.flip(frame, 1)
        print(frame.shape)
    
        # Our operations on the frame come here
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    	
    	# 下面这两个分类器文件替换成自己电脑上的。用everything搜索一下。
        xmlfile = r'C:\ProgramData\Anaconda3\Lib\site-packages\cv2\data\haarcascade_frontalface_default.xml'
        xmlfile2 = r'C:\ProgramData\Anaconda3\Lib\site-packages\cv2\data\haarcascade_lefteye_2splits.xml'
    
        face_cascade = cv2.CascadeClassifier(xmlfile)
        eyes = cv2.CascadeClassifier(xmlfile2)
    
        faces = face_cascade.detectMultiScale(
            gray,
            scaleFactor=1.15,
            minNeighbors=5,
            minSize=(5, 5),
        )
        eyes = eyes.detectMultiScale(
            gray,
            scaleFactor=1.15,
            minNeighbors=5,
            minSize=(5, 5),
        )
        print("发现{0}个目标!".format(len(faces)))
        for (x, y, w, h) in faces:
            cv2.rectangle(frame, (x, y), (x + w, y + w), (0, 255, 0), 2)
            xx = max(0, min(10*(x - 100), 1980))
            yy = max(0, min(20*(y - 100), 1080))
            pyautogui.moveTo(10*(x - 100), 10*(y - 100), duration=0.01)
        for (x, y, w, h) in eyes:
            cv2.rectangle(frame, (x, y), (x + w, y + w), (0, 255, 0), 2)
        print("{0} 个眼睛!".format(len(eyes)))
        if len(eyes) < 1:
            pyautogui.click()
        cv2.imshow("frame", frame)
        # Display the resulting frame
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    # When everything done, release the capture
    cap.release()
    cv2.destroyAllWindows()

[haar]: http://alereimondo.no-ip.org/OpenCV/34/
[Link 1]: https://blog.csdn.net/wjh2622075127/article/details/90712424