在airtest中使用ocr反向识别文本内容

深藏阁楼爱情的钟 2024-04-18 08:29 40阅读 0赞

airtest是网易开发的一款基于图象识别的ui自动化框架，其对元素操作的流程是先对元素进行截图，再和客户端当前界面截图进行对比，找出位置，执行点击操作。

这样的操作免除了传统的查找控件的繁杂，但是对元素的断言却不够精细，尤其在不仅仅判断元素是否存在，而且还要对文本的内容进行检查时，可以说无能为力了。

想要解决这个问题，可以使用回归传统的元素查找方式（airtest内置了各端通过元素查找方式的api），查找到元素，再判断他的文本属性，得到内容；但这样的方式第一需要在元素的映射方式上增加传统的例如xpath的关系，第二很多时候由于不规范开发等原因，元素的定位属性往往不容易确定，花费时间查找其实已经丢失了图像识别控件的便利性。

在实际的操作中（我的项目是pc端+安卓端双端互动的场景），我发现可以利用airtest本身的api，外加ocr的python库，做到对元素内容的识别，从而解决这个问题。

大概的思路是，先用airtest本身的api，将待识别内容截图扣下来，然后利用ocr的库进行对其内容识别。

理论上，如果你的设备分辨率不会变更，那么其实不需要用到airtest的api，直接用固定的位置，通过opencv等图像处理的库进行抠图保存即可，但由于生产设备的分辨率不能保证，因此，需要一个相对的位置，对这个位置，airtest里有直接可用的方法，这个方法也是其本身对分辨率兼容的办法。

airtest通过你截图时记录的坐标，设备分辨率，来生成一个recordpos，这个pos其实就是一个用来计算当分辨率不同时他的坐标偏移量。

具体怎么通过recordpos进行计算坐标，这里就不赘述了，主要说一下通过recordpos进行元素查找的方法，这个方法是get\_predict\_area，有四个参数，分别是record\_pos（截取控件图片时的偏移量）、image\_wh（空间的宽高）、image\_resolution（截取图片时记录的设备分辨率）、screen\_resolution（查找控件时所在设备的实际分辨率）。

该方法会返回一个四角坐标，我们把这个四角坐标用内置的图片处理方法，在设备及图上进行截图保存，就可以获取到待识别控件的图片啦，然后再用ocr库对这个图片进行识别，就可以得到控件的文本内容了。

示例代码如下（只适用于本人的硬件设备，用作参考）：

dev = device()
            stu_answer_num = r'./valid_pic/stu_answer_num.png'  # 答题区域的截图路径
            interact_pic_path = r'./valid_pic/snap_interact.png'  # 互动界面的截图路径
            interact_image = dev.snapshot(interact_pic_path)  # 把互动界面截图保存
    
            from PIL import Image
            import pytesseract
            from airtest import aircv
            from airtest.core.cv import Predictor
    
            screen_resolution = aircv.get_resolution(interact_image)  # 获取互动界面截图的实际分辨率
            # 动态创建类继承自Predictor，修改类参数，偏移值DEVIATION为0，用以获取精准的截图区域
            predictor = type('Pos', (Predictor,), {'DEVIATION': 0})
            xmin, ymin, xmax, ymax = predictor.get_predict_area(record_pos=(0.404, -0.213), image_wh=(265, 45),
                                                                image_resolution=(1919, 1040),
                                                                screen_resolution=screen_resolution)  # 获取答题区域的截图坐标
            predict_area = aircv.crop_image(interact_image, (xmin, ymin, xmax, ymax))
            aircv.imwrite(stu_answer_num, predict_area)  # 将待识别区域进行截图保存
            answer_str = pytesseract.image_to_string(Image.open(stu_answer_num), 'chi_sim')  # 识别出的文字类似’全 班 共 参 与 : 1/1‘
            print(answer_str)
            if answer_str.find('参 与'):
                answer_str = answer_str.split(' ')[-1]  # 取1/1
                answer_num = int(answer_str.split('/')[0])  # 取答题人数
                return answer_num

`return`

（喜欢请转发，谢谢！）

加入爱测未来qq群，获取更专业的技术知识分享：

274166295  （爱测未来二群）

610934609  （爱测未来三群）

195730410  （爱测未来四群）

更多精彩文章：

[移动端H5调试与自动化][H5]

[Android兼容性测试应该怎么做逼格更高呢？][Android]

[JVM性能调优][JVM]

[MTP-移动测试平台][MTP-]

[性能分析之OS资源饱和度][OS]

[前端性能监控][Link 1]

[来自520的福利----视频直播平台性能测试][520_----]

[前端性能测试平台及应用][Link 2]

[震惊性能测试圈的经典案例！！][Link 3]

——————————————————

爱测未来公众号

WX:itest\_forever

![format_png][]

测试之道 | 测试技术

长按识别二维码，关注爱测未来公众号，了解更多精彩内容

[H5]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247483979&idx=1&sn=7dfe9b5272e8e4114a044c7004217554&chksm=e8e57d53df92f445386a07a3f9857c5387afe46b32099e964048e3153b71c0dbef94f6021519&scene=21#wechat_redirect
[Android]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485367&idx=1&sn=47d25a996707eea2068414d91f92d9b9&chksm=e8e578afdf92f1b9746d583b2a9fe164983be4ec531eab97f610bb55412f55af9029fbc67a06&scene=21#wechat_redirect
[JVM]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485348&idx=1&sn=4fe30e15f668db9c457188c6de75b999&chksm=e8e578bcdf92f1aa714f52eff622fb6ba4e87c7dc8351f722a397e8c4e54c7ca4303900a7d73&scene=21#wechat_redirect
[MTP-]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485194&idx=1&sn=448d170ee990a75e88bedb269476519e&chksm=e8e57812df92f1049d871284489732396157d183364e45f868c71527a91f5f34138922f015bc&scene=21#wechat_redirect
[OS]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485367&idx=2&sn=7a850720ec5d1c86e2c2296ff17e00e9&chksm=e8e578afdf92f1b94d7d8896c7d74fff4694407f4ecf9234388c1633f0904b19505bee921b35&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247484484&idx=1&sn=6d280c97689d9bfd47862f11acb0465b&chksm=e8e57b5cdf92f24ad6c3d1b360ff47bf3e1c64888676838780d11ed7ac636b85259b74a6b67c&scene=21#wechat_redirect
[520_----]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247484887&idx=1&sn=67b21e3248a66544973065f86d1a2f0b&chksm=e8e57acfdf92f3d94b9f363a75fc59a5332671fc616f14e575fc9f643346abafd0498cf60c53&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247484099&idx=1&sn=87416e2b4d41fe49689e1b4c8c3c8406&chksm=e8e57ddbdf92f4cdc0ada1d3b93b431c7094eb802b43fea8816b42f6b2bf9c706047d6c1a2af&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247484831&idx=1&sn=f0eabefe0857ecf36c0102c93641ecf4&chksm=e8e57a87df92f3913b79e6f85f667fa846c2c910b84a54b3b19ab47b0ceae7e5cf70a68324dd&scene=21#wechat_redirect
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9Bdll6U0daUUZBTFAyR1VaMzFXbkxsWlNTZDgxZGtUeGFpY29RZUtmMGFNS3dpY05sVEZORmIwbXpwRUVMM1Q1Qm5zWkgxbW5oZ1NYaWNRSHI4MloweG1PZy82NDA_d3hfZm10PXBuZw?x-oss-process=image/format,png