AI虚拟手势玩飞机大战

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《AI虚拟手势玩飞机大战》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

哈喽，大家好。

下面我们分解一下这个小项目，带大家来一步一步实现，文末获取项目完整的源代码。

1. 准备飞机大战程序

Github​上找到一个Python​版本的飞机大战程序，安装Pygame即可运行。

游戏操作简单，右上角是游戏暂停/开始按钮，用鼠标点击操作。

键盘的A、D、W、S​键用来控制飞机的移动方向，分别对应左、右、上、下。

所以我们的AI程序要完成两个最核心的功能，第一，识别手势；第二，将手势转换成鼠标、键盘操作，便可控制游戏。

2. 识别手势

这里，我们用opencv读取摄像头中的视频流。

将视频流中的每一帧送入mediapipe中的手掌检测模型，识别手掌 21 个关键点。

在我们的项目中，只用到了食指和中指，也就是左右中的第8和第12个点。

核心代码如下：

ret, frame = cap.read()
results = hands.process(frame[:, :, ::-1])
if results.multi_hand_landmarks:
# 遍历每个手掌
for hand_landmarks in results.multi_hand_landmarks:
finger_axis_8 = hand_landmarks.landmark[8]
finger_axis_12 = hand_landmarks.landmark[12]

frame​是视频流中的每一帧，hands是手掌检测模型。

解析出来的finger_axis_8和finger_axis_12​两个对象中分别存放食指和中指的x、y坐标。

3. 手势控制游戏暂停

计算食指与中指坐标之间的距离，大于某个阈值，则移动鼠标，点击暂停游戏按钮。

游戏暂停

若食指与中指坐标之间的距离，小于某个阈值，则移动鼠标，点击开始游戏按钮

游戏开始

距离计算很简单，这里不贴代码了，重点说下Python控制鼠标。

我用的是PyUserInput​库，它提供了PyMouse和PyKeyboard两个类，分别控制鼠标和键盘。

当我们想用Python程序控制游戏的暂停与开始，只需要将鼠标移动到按钮的位置，执行一次点击操作即可。

# 定义鼠标对象
self.mouse = PyMouse()

def pause_or_start_game(self, dist):
"""
判断是否需要暂停（开始）游戏
:param dist:
:return:
"""
if (not self.is_pause and dist > 80) or (self.is_pause and dist <p>pause_or_start_game​函数的参数dist是食指与中指之间的距离。</p><p>暂停/开始按钮的坐标为(915, 125)，每个电脑坐标不一样，需要大家根据自己的实际情况重新计算。</p><p>计算思路很简单，游戏边框大小为(480, 700)​，游戏在屏幕正中间启动，只要获取到屏幕的尺寸，就能大概估算出按钮的坐标。在调用PyMouse的move函数，检验、微调一下即可。</p><p>PyMouse的move​函数用来移动鼠标位置，click函数用来执行鼠标点击操作。</p><h4>4. 手势控制飞机移动</h4><p>这里，需要计算相邻两帧食指的x​坐标和y​坐标的移动方向和距离。从而决定按下键盘A、D、W、S中的哪一个。</p><p>同样的，移动的方向和距离很简单，这里也不说了，重点说下PyKeyboard模块控制键盘按键。</p><pre class="brush:sql;toolbar:false;">self.key_board = PyKeyboard()
# 按下按键
self.key_board.press_key(key)
# 停留一段时间
time.sleep(press_dwell)
# 释放按键
self.key_board.release_key(key)

press_key和release_key​函数之间，调用了time.sleep(press_dwell)控制按键的时长，按键时间长，则飞机移动距离就长，反之，按键时间短，则飞机移动距离就短。

所以，这里的难点在于如何将食指的移动距离映射为按键的时长。

我用的是下面这段代码测出来

for i in range(n):
kb.press_key('A')
time.sleep(0.05)
kb.release_key('A')

固定按键时长为0.05秒，测试飞机从中部移动到最左边，需要的最小的n。

飞机从中部移动到最左边，移动距离为 240，因此，240 / (n * 0.05)便是飞机每秒的移动距离。

我测出来的n=7​，因此，飞机每秒移动距离为685.7142857。

只要计算出食指的移动距离，除以685.7142857，就可以得出键盘的按键时长。

手势控制飞机移动的完整代码为：

def press_key_board(self, direction, move_dist):
"""
将手指移动距离，换算为按键间隔，并执行按键操作
:param direction:移动方向
:param move_dist:移动距离
:return:
"""
dist_per_sec = 685.7142857
if direction == 'x':
key = 'A' if move_dist <p>项目的核心部分已经讲解完毕，完整代码已经整理好，需要的朋友评论区留言即可。</p><p>获取代码后，先看运行步骤.txt。</p><p>如果大家觉得本文对你有用就点个 在看 鼓励一下吧，后续我会持续分享优秀的 Python+AI 项目。</p><p></p> <p>终于介绍完啦！小伙伴们，这篇关于《AI虚拟手势玩飞机大战》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！</p>