思路：

知道游戲角色在哪個坐標(biāo)

知道怪物和門在哪個坐標(biāo)

驅(qū)動級鍵鼠操作讓角色走到怪物坐標(biāo)然后攻擊釋放技能。

滿足第一和第二條就要求必須實時讀入圖像以及能夠識別標(biāo)志性圖像然后給出坐標(biāo)。

實時讀入圖像

沒精力玩python了，還是好好學(xué)Java吧

廢話不多說直接上代碼

import cv2 from PIL import ImageGrab import numpy as npwhile True:im = ImageGrab.grab()imm = cv2.cvtColor(np.array(im), cv2.COLOR_RGB2BGR)imm = imm[0:500, 0:500]imm = cv2.resize(imm, None, fx=0.5, fy=0.5)cv2.imshow("capture", imm)if cv2.waitKey(1) & 0xFF == ord('q'): # q鍵推出break cv2.destroyAllWindows()

圖像識別

我使用的是yolov5。

python版本是：3.10.5

前邊簡單說一下吧，省的以后我用了再忘記了

前置工作

用pycharm創(chuàng)建虛擬環(huán)境

在github把項目克隆下來GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

下載依賴（項目里的requirements.txt）：pip install -r requirements.txt

在克隆下載的目錄級創(chuàng)建這樣一個目錄，其實創(chuàng)建在哪都無所謂，就是方便（作用就是放圖片，放標(biāo)簽，放配置）

開始截圖（把截下來的圖都放在images里）

開始標(biāo)注（這里我用的是labelImg）

訓(xùn)練

預(yù)測

?

6.標(biāo)注

python版本：3.7.8（高版本可能不兼容，但我忘記哪里不兼容了，降低就對了）

從github下載克隆GitHub - heartexlabs/labelImg: 🖍? LabelImg is a graphical image annotation tool and label object bounding boxes in images

?安裝：pip install PyQt5

安裝：pip install lxml

進入克隆目錄執(zhí)行：pyrcc5 -o resources.py resources.qrc

把resource.py放入libs目錄

執(zhí)行：python?labelImg.py 后啟動窗口

?我們直接打開目錄（指的是你的圖片存放目錄），然后指定改變存放目錄（指的是你的label目錄），重要的是：別忘了改為yolo。標(biāo)注技巧：w是標(biāo)注，d是下一張

?

?然后現(xiàn)在你的

?這個目錄應(yīng)該是有東西的（除了yaml文件還沒寫）

7.訓(xùn)練

多么痛的領(lǐng)悟，我用我電腦訓(xùn)練了一天也沒訓(xùn)練完。

我選擇使用?colab去訓(xùn)練（需要谷歌賬號，需要翻墻）

Colaboratory 簡稱“Colab”，Google Research 團隊開發(fā)，任何人都可以通過瀏覽器編寫和執(zhí)行任意 Python 代碼，尤其適合機器學(xué)習(xí)、數(shù)據(jù)分析、教育目的。Colab 是一種托管式 Jupyter 筆記本服務(wù)，用戶無需設(shè)置，就可直接使用，還能免費使用 GPU/TPU計算資源。

?我賬號異常了，沒辦法截圖細(xì)說了：Colaboratory（ 簡稱"Colab"）介紹與使用 - 知乎

簡單來說就是創(chuàng)建?Colaboratory，然后掛載文件，把yolo_A打包放上去，然后在上邊解壓縮

，搭建yolov5環(huán)境，選擇GPU之后，可以像在本地一樣訓(xùn)練模型。

?訓(xùn)練的時候需要用到上邊的A.yaml.案例寫法

# train and val data as 1) directory: path/images/, 2) file: path/images.txt, or 3) list: [path1/images/, path2/images/] train: ../yolo_A/images/ val: ../yolo_A/images/ # number of classes 類型的數(shù)量，幾個類型名字就填幾 nc: 1# class names 類型的名字，可以有多個 names: ['be']

?訓(xùn)練模型代碼實例：yolov5s.pt可以在Releases · ultralytics/yolov5 · GitHub找到并下載

?python train.py --img 640 --batch 54 --epochs 100 --data A.yaml --weights yolov5s.pt --nosave --cache

訓(xùn)練完的文件我們需要best.pt，在yolov5-master\runs\train里邊。直接拿到本地使用。

8.預(yù)測

因為我需要拿到預(yù)測后的結(jié)果，以及我傳進去的是cv2.imread()后的numpy數(shù)組，所以我對detect源碼文件的run函數(shù)做了精簡和修改。修改后的文件比較冗余，因為我只是玩玩，所以就沒浪費時間整理代碼，大家參考即可。新增的imMy參數(shù)就是傳入的數(shù)組，source沒啥用，但是你得傳入一個本地存在的圖片路徑（這個冗余，沒修改）

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license """ Run inference on images, videos, directories, streams, etc.Usage - sources:$ python path/to/detect.py --weights yolov5s.pt --source 0 # webcamimg.jpg # imagevid.mp4 # videopath/ # directorypath/*.jpg # glob'https://youtu.be/Zgi9g1ksQHc' # YouTube'rtsp://example.com/media.mp4' # RTSP, RTMP, HTTP streamUsage - formats:$ python path/to/detect.py --weights yolov5s.pt # PyTorchyolov5s.torchscript # TorchScriptyolov5s.onnx # ONNX Runtime or OpenCV DNN with --dnnyolov5s.xml # OpenVINOyolov5s.engine # TensorRTyolov5s.mlmodel # CoreML (macOS-only)yolov5s_saved_model # TensorFlow SavedModelyolov5s.pb # TensorFlow GraphDefyolov5s.tflite # TensorFlow Liteyolov5s_edgetpu.tflite # TensorFlow Edge TPU """import argparse import os import platform import sys from pathlib import Path import numpy as np import torch import torch.backends.cudnn as cudnnfrom utils.augmentations import letterboxFILE = Path(__file__).resolve() ROOT = FILE.parents[0] # YOLOv5 root directory if str(ROOT) not in sys.path:sys.path.append(str(ROOT)) # add ROOT to PATH ROOT = Path(os.path.relpath(ROOT, Path.cwd())) # relativefrom models.common import DetectMultiBackend from utils.dataloaders import IMG_FORMATS, VID_FORMATS, LoadImages, LoadStreams from utils.general import (LOGGER, check_file, check_img_size, check_imshow, check_requirements, colorstr, cv2,increment_path, non_max_suppression, print_args, scale_coords, strip_optimizer, xyxy2xywh) from utils.plots import Annotator, colors, save_one_box from utils.torch_utils import select_device, time_sync@torch.no_grad() def run(imMy = None,weights=ROOT / 'yolov5s.pt', # model.pt path(s)source=ROOT / 'data/images', # file/dir/URL/glob, 0 for webcamdata=ROOT / 'data/coco128.yaml', # dataset.yaml pathimgsz=(640, 640), # inference size (height, width)conf_thres=0.25, # confidence thresholdiou_thres=0.45, # NMS IOU thresholdmax_det=1000, # maximum detections per imagedevice='', # cuda device, i.e. 0 or 0,1,2,3 or cpuclasses=None, # filter by class: --class 0, or --class 0 2 3agnostic_nms=False, # class-agnostic NMSaugment=False, # augmented inferencevisualize=False, # visualize featureshide_labels=False, # hide labelshide_conf=False, # hide confidenceshalf=False, # use FP16 half-precision inferencednn=False, # use OpenCV DNN for ONNX inference ):source = str(source)# Load modeldevice = select_device(device)print(device)model = DetectMultiBackend(weights, device=device, dnn=dnn, data=data, fp16=half)stride, names, pt = model.stride, model.names, model.ptimgsz = check_img_size(imgsz, s=stride) # check image sizedataset = LoadImages(source, img_size=imgsz, stride=stride, auto=pt)bs = 1 # batch_size# Run inferencemodel.warmup(imgsz=(1 if pt else bs, 3, *imgsz)) # warmupfor path, im, im0s, vid_cap, s in dataset:im0s = imMy# Padded resizeimg = letterbox(im0s, (800,608), stride=32, auto=True)[0]# Convertimg = img.transpose((2, 0, 1))[::-1] # HWC to CHW, BGR to RGBimg = np.ascontiguousarray(img)im = imgim = torch.from_numpy(im).to(device)im = im.half() if model.fp16 else im.float() # uint8 to fp16/32im /= 255 # 0 - 255 to 0.0 - 1.0if len(im.shape) == 3:im = im[None] # expand for batch dim# Inferencevisualize = increment_path(save_dir / Path(path).stem, mkdir=True) if visualize else Falsepred = model(im, augment=augment, visualize=visualize)# pred = model(im, augment=augment, visualize=False)# NMSpred = non_max_suppression(pred, conf_thres, iou_thres, classes, agnostic_nms, max_det=max_det)# Second-stage classifier (optional)# pred = utils.general.apply_classifier(pred, classifier_model, im, im0s)# Process predictionsres = []for i, det in enumerate(pred): # per imageim0 = im0s.copy()if len(det):# Rescale boxes from img_size to im0 sizedet[:, :4] = scale_coords(im.shape[2:], det[:, :4], im0.shape).round()# Write resultsfor *xyxy, conf, cls in reversed(det):parm = []c = int(cls)label = None if hide_labels else (names[c] if hide_conf else f'{names[c]} {conf:.2f}')p1, p2 = (int(xyxy[0]), int(xyxy[1])), (int(xyxy[2]), int(xyxy[3]))parm.append(label)parm.append(p1)parm.append(p2)res.append(parm)return resdef parse_opt():parser = argparse.ArgumentParser()parser.add_argument('--weights', nargs='+', type=str, default=ROOT / 'yolov5s.pt', help='model path(s)')parser.add_argument('--source', type=str, default=ROOT / 'data/images', help='file/dir/URL/glob, 0 for webcam')parser.add_argument('--data', type=str, default=ROOT / 'data/coco128.yaml', help='(optional) dataset.yaml path')parser.add_argument('--imgsz', '--img', '--img-size', nargs='+', type=int, default=[640], help='inference size h,w')parser.add_argument('--conf-thres', type=float, default=0.25, help='confidence threshold')parser.add_argument('--iou-thres', type=float, default=0.45, help='NMS IoU threshold')parser.add_argument('--max-det', type=int, default=1000, help='maximum detections per image')parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')parser.add_argument('--view-img', action='store_true', help='show results')parser.add_argument('--save-txt', action='store_true', help='save results to *.txt')parser.add_argument('--save-conf', action='store_true', help='save confidences in --save-txt labels')parser.add_argument('--save-crop', action='store_true', help='save cropped prediction boxes')parser.add_argument('--nosave', action='store_true', help='do not save images/videos')parser.add_argument('--classes', nargs='+', type=int, help='filter by class: --classes 0, or --classes 0 2 3')parser.add_argument('--agnostic-nms', action='store_true', help='class-agnostic NMS')parser.add_argument('--augment', action='store_true', help='augmented inference')parser.add_argument('--visualize', action='store_true', help='visualize features')parser.add_argument('--update', action='store_true', help='update all models')parser.add_argument('--project', default=ROOT / 'runs/detect', help='save results to project/name')parser.add_argument('--name', default='exp', help='save results to project/name')parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')parser.add_argument('--line-thickness', default=3, type=int, help='bounding box thickness (pixels)')parser.add_argument('--hide-labels', default=False, action='store_true', help='hide labels')parser.add_argument('--hide-conf', default=False, action='store_true', help='hide confidences')parser.add_argument('--half', action='store_true', help='use FP16 half-precision inference')parser.add_argument('--dnn', action='store_true', help='use OpenCV DNN for ONNX inference')opt = parser.parse_args()opt.imgsz *= 2 if len(opt.imgsz) == 1 else 1 # expandprint_args(vars(opt))return optdef main(opt):check_requirements(exclude=('tensorboard', 'thop'))run(**vars(opt))if __name__ == "__main__":opt = parse_opt()main(opt)

使用：

res = detect.run(weights='./dnf/best.pt',source="yolo_A/images/2a.jpg",data="yolo_A/A.yaml",imgsz=(800, 608),imMy=imm)

?這樣，結(jié)合前邊實時捕獲桌面，就可以實現(xiàn)大部分的功能了。

基于gpu預(yù)測

最后我嫌棄預(yù)測太慢，想指定GPU預(yù)測，但是發(fā)現(xiàn)一直false

print(torch.cuda.is_available()) // False

?然后我安裝了cuda，參考：CUDA安裝教程（超詳細(xì)）_Billie使勁學(xué)的博客-CSDN博客_cuda安裝

?然后從虛擬環(huán)境卸載torch和torchversion（pip uninstall一下即可）

從Start Locally | PyTorch找到適合你電腦的版本，以下是我的

?然后從https://download.pytorch.org/whl/torch_stable.html安裝wheel文件

?安裝torch和torchvision,具體安裝cp多少（我是根據(jù)安裝yolo環(huán)境時pip install -r requirements.txt時控制臺打印安裝的torch對應(yīng)的cp）

然后安裝wheel文件。

運行發(fā)現(xiàn)

print(torch.cuda.is_available()) // True

?我的版本device指定為空并gpu可用時則選擇gpu

完結(jié)撒花。

驅(qū)動級鍵盤操作繞過游戲檢測

查了一堆博客驅(qū)動級操作，甚至加群問別人怎么做都沒問出來，真。。。

最后試到凌晨，廢話不多說直接上正確案例，需要用到pywin32，自己pip一下（運行時需要管理員運行）

import time import win32api import win32con import ctypes import win32guiVK_CODE = {'backspace': 0x08,'tab': 0x09,'clear': 0x0C,'enter': 0x0D,'shift': 0x10,'ctrl': 0x11,'alt': 0x12,'pause': 0x13,'caps_lock': 0x14,'esc': 0x1B,'spacebar': 0x20,'page_up': 0x21,'page_down': 0x22,'end': 0x23,'home': 0x24,'left_arrow': 0x25,'up_arrow': 0x26,'right_arrow': 0x27,'down_arrow': 0x28,'select': 0x29,'print': 0x2A,'execute': 0x2B,'print_screen': 0x2C,'ins': 0x2D,'del': 0x2E,'help': 0x2F,'0': 0x30,'1': 0x31,'2': 0x32,'3': 0x33,'4': 0x34,'5': 0x35,'6': 0x36,'7': 0x37,'8': 0x38,'9': 0x39,'a': 0x41,'b': 0x42,'c': 0x43,'d': 0x44,'e': 0x45,'f': 0x46,'g': 0x47,'h': 0x48,'i': 0x49,'j': 0x4A,'k': 0x4B,'l': 0x4C,'m': 0x4D,'n': 0x4E,'o': 0x4F,'p': 0x50,'q': 0x51,'r': 0x52,'s': 0x53,'t': 0x54,'u': 0x55,'v': 0x56,'w': 0x57,'x': 0x58,'y': 0x59,'z': 0x5A,'numpad_0': 0x60,'numpad_1': 0x61,'numpad_2': 0x62,'numpad_3': 0x63,'numpad_4': 0x64,'numpad_5': 0x65,'numpad_6': 0x66,'numpad_7': 0x67,'numpad_8': 0x68,'numpad_9': 0x69,'multiply_key': 0x6A,'add_key': 0x6B,'separator_key': 0x6C,'subtract_key': 0x6D,'decimal_key': 0x6E,'divide_key': 0x6F,'F1': 0x70,'F2': 0x71,'F3': 0x72,'F4': 0x73,'F5': 0x74,'F6': 0x75,'F7': 0x76,'F8': 0x77,'F9': 0x78,'F10': 0x79,'F11': 0x7A,'F12': 0x7B,'F13': 0x7C,'F14': 0x7D,'F15': 0x7E,'F16': 0x7F,'F17': 0x80,'F18': 0x81,'F19': 0x82,'F20': 0x83,'F21': 0x84,'F22': 0x85,'F23': 0x86,'F24': 0x87,'num_lock': 0x90,'scroll_lock': 0x91,'left_shift': 0xA0,'right_shift ': 0xA1,'left_control': 0xA2,'right_control': 0xA3,'left_menu': 0xA4,'right_menu': 0xA5,'browser_back': 0xA6,'browser_forward': 0xA7,'browser_refresh': 0xA8,'browser_stop': 0xA9,'browser_search': 0xAA,'browser_favorites': 0xAB,'browser_start_and_home': 0xAC,'volume_mute': 0xAD,'volume_Down': 0xAE,'volume_up': 0xAF,'next_track': 0xB0,'previous_track': 0xB1,'stop_media': 0xB2,'play/pause_media': 0xB3,'start_mail': 0xB4,'select_media': 0xB5,'start_application_1': 0xB6,'start_application_2': 0xB7,'attn_key': 0xF6,'crsel_key': 0xF7,'exsel_key': 0xF8,'play_key': 0xFA,'zoom_key': 0xFB,'clear_key': 0xFE,'+': 0xBB,',': 0xBC,'-': 0xBD,'.': 0xBE,'/': 0xBF,';': 0xBA,'[': 0xDB,'\\': 0xDC,']': 0xDD,"'": 0xDE,'`': 0xC0}# handle = win32gui.FindWindow(None, '地下城與勇士') # win32gui.SetForegroundWindow(handle)while True:time.sleep(5)MapVirtualKey = ctypes.windll.user32.MapVirtualKeyAtime.sleep(0.3)win32api.keybd_event(VK_CODE["numpad_8"], win32api.MapVirtualKey(VK_CODE["numpad_8"], 0), 0, 0) # 0time.sleep(0.3)win32api.keybd_event(VK_CODE["numpad_8"], win32api.MapVirtualKey(VK_CODE["numpad_8"], 0), win32con.KEYEVENTF_KEYUP, 0)time.sleep(0.3)win32api.keybd_event(VK_CODE["numpad_5"], win32api.MapVirtualKey(VK_CODE["numpad_5"], 0), 0, 0) # 0time.sleep(0.3)win32api.keybd_event(VK_CODE["numpad_5"], win32api.MapVirtualKey(VK_CODE["numpad_5"], 0), win32con.KEYEVENTF_KEYUP,0)time.sleep(0.3)win32api.keybd_event(VK_CODE["numpad_4"], win32api.MapVirtualKey(VK_CODE["numpad_4"], 0), 0, 0) # 0time.sleep(0.3)win32api.keybd_event(VK_CODE["numpad_4"], win32api.MapVirtualKey(VK_CODE["numpad_4"], 0), win32con.KEYEVENTF_KEYUP, 0)time.sleep(0.3)win32api.keybd_event(VK_CODE["numpad_6"], win32api.MapVirtualKey(VK_CODE["numpad_6"], 0), 0, 0) # 0time.sleep(0.3)win32api.keybd_event(VK_CODE["numpad_6"], win32api.MapVirtualKey(VK_CODE["numpad_6"], 0), win32con.KEYEVENTF_KEYUP, 0)# win32api.keybd_event(0x0D, 0, 0, 0) # enter# win32api.keybd_event(0x0D, 0, win32con.KEYEVENTF_KEYUP, 0)

總結(jié)

以上是生活随笔為你收集整理的图像识别从零写出dnf脚本关键要点的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。