基于CUDA加速的AI自瞄，有没有优势

senpai114514

【不是广告】

看了几个关于AI自瞄的视频，心血来潮于是自己用C++做了个半成品(视频和动图会放在下面，源码和二进制暂不公开)，但是一边做一边在思考AI辅助的优势在哪里，尤其是在DMA横行的这个时代。作者本身不是外挂开发人员或代理商，所以不清楚现在AI辅助到底是个什么情况。按照我的理解，AI辅助的优势主要就是就是隐蔽性，对于反作弊检测不严的游戏(例如CS2)，AI辅助和游戏运行在同一台机器上就行，成本相当低廉。。。事实上我现在做的半成品直接调用SendInput来控制鼠标，然后到现在都没有被检测到但现在的DMA也相当隐蔽了，只不过高端DMA为了加强伪装效果，成本会提升很多。而AI辅助天生在防检测方面就具有优势，如果要在防检测上做到极致的话，应该也就是从改进读取GPU数据的方式入手，这样需要增加的成本也不高。所以我的暴论是：AI辅助在防检测和成本方面还是具有优势的，但同时也有一些局限性，这个会在下面的demo视频中举例说明。

首先简单描述下我的实现方式，模型用的是YOLOv8，然后ONNX runime + CUDA 12，程序全部用C++写的，有多线程，画面获取一个线程，目标检测一个线程，鼠标移动一个线程。前面说了，我并没有外挂开发经验，控制鼠标这块就是简单的用SendInput实现，然后额外加了一个PID控制器，这样能够更加逼近真人的鼠标操作，代价就是需要自己去调PID参数（其实也可以用AI去帮忙调）。

先说一些指标吧，在实验室配备4070的电脑上运行时，从游戏画面截取（直接从GPU显存获取）到YOLO目标检测再到将检测结果绘制出来（可视化），可以稳定在20ms以内，而且还留有不少优化空间，真要进一步优化的话可以稳定在15ms以内，这当然比不上内存挂的速度，但是比起人类动辄一两百ms的速度来说还是够用了。没有加自动扳机，所以其实最大的延迟还是AI将准星对准目标后，作者反应过来然后点左键的这段时间。。。然后有CT和T的标签，也就是可以做到敌我识别，前提是需要手动设定我方阵营，毕竟CS2的游戏画面用AI来判断我方阵营的话，感觉误判率会很高。
下面是一段自己录的跟人机打的片段（无广告）
一些小问题：
28秒时锁地上的尸体---轻微，毕竟可以通过进一步训练，或者简单提高置信度门槛来避免
59秒时AI在多个目标间左右横跳---这种情况比较麻烦，虽然已经提前针对类似问题做过优化了，但这种多个置信度差不多的目标同时出现在准星附近导致左右横跳的问题还是比较棘手的。
视频链接（无广告）：
半成品效果和问题
一些意想不到的效果：
在项目开始前曾经担心过对掩体后只露出半身的目标的检测效果，但实际上训练后发现其实效果还不错，下面是一些高糊gif图，为了更直观地展示效果我把游戏窗口和检测结果窗口（右侧）并排显示
敌我识别的效果挺好


对于只露出上半身的目标的检测效果还不错

对于其它情况下掩体后的目标效果也还行


对于露出侧面一点点身体的目标效果略差，图片中打死目标后目标仍然被标记为有效目标。。。

所以大家有什么见解呢

ydy

瞄准不是难题，瞄准时压枪才是难