提取棋子和位置信息：棋盘游戏的分析方法

大家好，今天本人给大家带来文章《提取棋子和位置信息：棋盘游戏的分析方法》，文中内容主要涉及到，如果你对Golang方面的知识点感兴趣，那就请各位朋友继续看下去吧~希望能真正帮到你们，谢谢！

所以我正在使用 opencv（在 go 中使用 opencv）尝试从棋盘游戏中提取棋子。最初，我通过手动查找每个玩家棋子颜色和棋盘位置的 hsv 值来解决这个问题，并取得了一定的成功。我设法让这个工作正常进行，并以程序化的方式表示每件作品及其在棋盘上的位置。缺点是，如果使用不同的板，这需要非常认真的人机交互 - “找到”所有正确的 hsv 值。我在这里询问并得到了一个建议，首先忽略颜色，找到所有棋子，然后使用颜色聚类算法来找出哪个玩家。我可能还必须为这些职位做一些事情，但那是第二阶段。

所以现在我尝试提取所有碎片，无论颜色如何。

我开始尝试使用 newsimpleblobdetectorwithparams - 然而进展甚微，似乎在误报/误报方面遇到了很多困难。

我尝试了 houghcircleswithparams 但这似乎非常依赖于参数，而且我在检测到的实际片段方面没有取得太大进展。目前我正在使用 findcontours ，这似乎给了我一些合理的准确性。让我们看一下图片。

原始图像如下所示：

我已经构建了一个控件“仪表板”，似乎最“有用”的是侵蚀、膨胀和阈值。

我当前的设置是加载大量跟踪条/滑块来调整值，然后

            gocv.cvtcolor(clone, &clone, gocv.colorrgbtogray)
            erodekernel := gocv.getstructuringelement(gocv.morphrect, image.pt(trackers.erosionvalue, trackers.erosionvalue))
            gocv.erode(clone, &clone, erodekernel)
            dilatekernel := gocv.getstructuringelement(gocv.morphrect, image.pt(trackers.dilatevalue, trackers.dilatevalue))
            gocv.dilate(clone, &clone, dilatekernel)
            gocv.threshold(clone, &clone, float32(trackers.threstruncvalue), 255, gocv.thresholdtrunc)
            gocv.threshold(clone, &clone, float32(trackers.threshbinaryvalue), 255, gocv.thresholdbinary)
            cannies := gocv.newmat()
            gocv.canny(clone, &cannies, float32(trackers.cannymin), float32(trackers.cannymax))
            cnts := gocv.findcontours(cannies, gocv.retrievaltree, gocv.chainapproxsimple)

其次是

            for i := 0; i < cnts.size(); i++ {
                cnt := cnts.at(i)
                if len(cnt.topoints()) < 5 {
                    continue
                }
                rect := gocv.fitellipse(cnt)
                gocv.circle(&colorimage, image.pt(rect.center.x, rect.center.y), (rect.height + rect.width)/4, cntcolor, 3)

                if gocv.contourarea(cnt) < gocv.arclength(cnt, false) {
                    continue
                }
                gocv.rectangle(&colorimage, rect.boundingrect, rectcolor, 2)
                psvector := gocv.newpointsvector()
                psvector.append(cnt)
                gocv.drawcontours(&clone, psvector, 0, rectcolor, 3)
                if rect.center.x == (rect.boundingrect.max.x + rect.boundingrect.min.x) / 2 && rect.center.y == (rect.boundingrect.min.y + rect.boundingrect.max.y) / 2 {
                    //does the circle fit inside the square?
                    if float64(rect.width * rect.height) > math.pi * math.pow(float64((rect.height+rect.width)/4), 2) {
                        gocv.circle(&colorimage, image.pt(rect.center.x, rect.center.y), 2, matchcolor, 3)
                        pieces = append(pieces, image.pt(rect.center.x, rect.center.y))
                    }
                }
            }

这个想法是，如果轮廓有 5 个点，那么你可以找到边界矩形，然后如果轮廓是闭合的，则在轮廓的中心画一个圆，如果它适合边界矩形，则它们共享同一个中心，可能是一个棋子。注意 - 我根据观察圆圈和边界矩形的位置以及它们何时匹配而得出了这一原则，这似乎是一个游戏块。

所以我取得了一些不错的进步。然而，我的问题有助于挖掘其他颜色块的方法，也许更“稳健”地挖出白色块。我觉得我没有足够的工具可供使用，就好像我增加一项就必须减少另一项一样，出于某种原因，我觉得在棋盘上找到 30 轮跳棋应该相当稳健。 当我调整寻找栗色碎片的值时，我可以得到其中一些

但是正如您所看到的，使用阈值/侵蚀/扩张时的差异并不能很好地找到它们。

编辑：

我重新添加了霍夫圆算法，以表明它会出现很多误报 - 在本例中它得到了 1。

            gocv.HoughCirclesWithParams(
                clone,
                &circles,
                gocv.HoughGradient,
                1,                     // dp
                15, // minDist
                75,                    // param1
                20,                    // param2
                20,                    // minRadius
                45,                     // maxRadius
            )
            blue := color.RGBA{0, 0, 255, 0}
            for i := 0; i < circles.Cols(); i++ {
                v := circles.GetVecfAt(0, i)
                // if circles are found
                if len(v) > 2 {
                    x := int(v[0])
                    y := int(v[1])
                    r := int(v[2])
                    gocv.Circle(&colorImage, image.Pt(x, y), r, blue, 2)
                }
            }

这是我使用的阈值。

所以我意识到我在这里说了很多。我正在寻找一些帮助来检测棋盘上的所有棋子。 我正在使用 gocv 执行此操作，但如果有人有好的参考资料或其他内容，我可以使用 python/convert python 代码。

这里是没有任何修改的原始图像。正如我所说，我的目标是自动检测棋盘上的 30 个棋子，然后我可以使用聚类算法来计算出它们属于哪个组（我认为......）我想用最少的人机交互来做到这一点拖动滑块，因为这不是一种有趣/良好的用户体验......

我的想法

• 用户可以拖动组周围的边界框，这样计算机就可以更轻松地工作，因为它知道必须在其中找到碎片。
• 用户可以选择页面的颜色，这会告诉计算机应该查找的 hsv 值大致是多少
• 用户可以根据已知的棋子起始位置进行校准，以便计算机知道要查看的位置。

正确答案

不完全是您问题的答案，但如果您使用对象检测来代替，这会容易得多。同样，在我的教程中我找到了不同的对象。在这种情况下，我将有 2 个或可能 3 个类：浅色块、深色块，可能还有另一个类用于空白空间。

我通常使用 OpenCV 和 Darknet/YOLO 来解决这类事情。我的 YouTube 频道上有很多教程。这是一个检测一些形状的简单方法：https://www.youtube.com/watch?v=yOJIRArZeig 这是另一个显示用于解决数独问题的 OpenCV 和 Darknet/YOLO 的方法：https://www.youtube.com/watch?v=BUG7HlhuArw

您的情况与上一个类似。您将返回检测到的对象的向量，以及图像或视频帧内每个对象的边界框坐标。如果有兴趣，这是我建议开始的教程视频：https://www.youtube.com/watch?v=pJ2iyf_E9PM

到这里，我们也就讲完了《提取棋子和位置信息：棋盘游戏的分析方法》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！