最近微信的跳一跳小程序火了一把所以前天也更新了微信玩了几盘最多手动到200左右就不行了。
后来准备用代码写个辅助工具SEO关键词最多手动到200左右就不行了。
后来准备用代码写个辅助工具上Github一查已经有人做出来了17年12月29号的项目不到5天差不多5K的stars以后还会更多简直可怕。
github.com/wangshub/we…
具体思路都差不多：
用adb调试手机获取截图；
从截图中识别棋子和目标块的中心点位置；
根据距离计算长按时间系数和屏幕分辨率相关；
用adb模拟长按完成跳跃。
唉多么可惜错过了一个好项目。
既然别人已经实现了那就尝试点不一样的用 深度学习 解决一下。
基本思路基本流程类似唯一的区别在于如何获取棋子和目标块的中心位置。
假如长按时间只取决于棋子和目标块的水平位置那么只需要知道它们水平方向上的坐标即可。
可以看作一个 物体检测 问题检测出截图中的棋子等物体这里假设共包含七类物体：
棋子：chess
彩蛋块：包括污水 waste、魔方 magic、商店 shop、音乐盒 music
普通块：包括矩形块 rect、圆形块 circle
模型实现我手动标注了500张截图基于ssd_mobilenet_v1_coco模型和TensorFlow物体检测API训练好的模型跑起来是这么个结果。
可以看到截图中的棋子、魔方、矩形块、圆形块都被检测了出来每个检测结果包括三部分内容：
物体位置用矩形标注对应四元组 ymin、xmin、ymax、xmax；
物体类别为以上七类中的一种；
检测置信度越高说明模型对检测结果越有把握。
这不仅仅是简单的规则检测而是 真正看到了截图中共有哪几个物体以及每个物体分别是什么。
所以接下来就只需从检测结果中取出棋子的位置以及最上面一个非棋子物体即目标块的位置。
有了物体的边界轮廓取中点即可得到棋子和目标块的水平坐标这里进行了归一化即屏幕宽度为1距离在0至1之间。然后将距离乘以一个系数作为长按时间并模拟执行即可。
运行结果看起来很不错实际跑分结果如何呢？
大概只能达到几百分问题出在哪？
主要是标注数据太少模型训练得不够充分所以检测结果不够准确有时候检测不出棋子和目标块而一旦出现这类问题分数必然就断了。
尝试了以下方法将一张截图朝不同的方向平移从而得到九张截图希望提高检测结果的召回率但仍然有检测不出来的情况SEO关键词但仍然有检测不出来的情况也许只有靠更多的标注数据才能解决这一问题。
规则检测模型训练了20W轮依旧存在检测不出来的情况郁闷得很干脆也写一个基于规则的 简单版代码 好了。
花了不到20分钟写完代码用OpenCV提取边缘然后检测棋子和目标块的水平中心位置结果看起来像这样。
事实证明最后跑出来的分数比之前的模型要高多了……
说好的深度学习呢？
总结面对以下情况时基于人工经验定义规则比用深度学习训练模型要省力、有效很多：
问题本身比较简单不需要复杂的抽象；
标注数据比较有限难以充分训练模型；
错误惩罚很高对错误不能容忍。即便模型在99%的情况下能完美运行1%的错误立马让游戏直接结束了此时反而不如hard code的规则靠谱。
当然如果大家能一起努力多弄些标注数据出来说不定还有些希望。
代码在Github上：github.com/Honlan/wech…
不说了我继续刷分去了用后面写的不到一百行的代码……