一种识别特定区域像素排列方式的需求

功能建议 · 1563 次浏览
mygod 创建于 2019-08-06 14:01

标题有点绕,实际需求如下:

某个动作执行后,可以监测电脑屏幕显示内容,按照用户设定方式来查找特定屏幕区域,以方便定位到特定区域后执行鼠标点击等模拟操作。用户主要通过区域内像素特定排列方式来设定。以下举例:


假设场景:

大量材料上传中,预计花费数小时。希望上传完成后自动关闭上传软件。

实现思路:

材料上传完成后会出现完成按钮,点击完成,即可退出软件。则考虑循环,每隔一分钟检测一次屏幕上是否出现该按钮,出现后鼠标模拟点击。


按钮检测方式:

人工设定完成按钮中的几个特征点,例如下图中以三个红色箭头表示的三个像素:

坐标 ,色域

(0,0),(255,199,43),

(0,10),(0,0,0),表示从第一个像素坐标位置下移了10个像素,色域为0,0,0的白色

(20,5),(255,198,43)同理。

通过三处像素坐标限定与色域限定,基本可以准确定位到屏幕上的具体位置了。

操作方式:

软件先调用截图功能,人工选定区域,再人工或随机生成几个特定点坐标,软件识别坐标与色域值,并记录。确定后软件按照设定值进行当前屏幕测试,测试成功后保存动作设定。


这个想法是源于很久以前用过一个游戏用浏览器,里面提供了类似的脚本编写功能,特点就是可以像上面这样根据用户需求检测特定区域执行操作。这个功能在模拟操作脚本上应该挺有用的吧,特别是某些窗口移动后导致点击位置不固定的场景下,使操作脚本变得更灵活,不知道这个功能好不好实现……


软件已经实现该功能了,比自己想象的更方便好用。



ttossing~ 2019-08-06 14:16 :
怎么联系?
mygod 回复 ttossing~ 2019-08-06 14:23 :

怎么联系是什么意思?我的联系方式吗?

ttossing~ 回复 mygod 2019-08-06 14:24 :

mygod 回复 ttossing~ 2019-08-06 14:26 :

qq:1013950429

昵称:三千

ttossing~ 回复 mygod 2019-08-06 14:27 :

验证问题?

mygod 2019-08-06 14:29 :

不好意思,忘了这码事儿了
ttossing~ 回复 ttossing~ 2019-08-06 14:29 :

2586844353

回复内容
暂无回复
回复主贴