一、說明

簡(jiǎn)述：本文將以4399小游戲《 寵物連連看經(jīng)典版2 》作為測(cè)試案例，通過識(shí)別小圖標(biāo)，模擬鼠標(biāo)點(diǎn)擊，快速完成配對(duì)。對(duì)于有興趣學(xué)習(xí)游戲腳本的同學(xué)有一定的幫助。

運(yùn)行環(huán)境：Win10/Python3.5。

主要模塊：win32gui（識(shí)別窗口、窗口置頂?shù)炔僮鳎?、PIL（屏幕截圖）、numpy（創(chuàng)建矩陣）、operator（比較值）、pymouse（模擬鼠標(biāo)點(diǎn)擊）。

注意點(diǎn)：

1、如果安裝pymouse不成功或者運(yùn)行報(bào)錯(cuò)，可以考慮先通過whl 安裝pyHook、然后再通過pip安裝pyuserinput。

2、如果報(bào)錯(cuò) [ImportError: No module named 'windows' ]，可以修改__init__.py相應(yīng)的行 為 windows => pymouse.windows。

二、開發(fā)前景（隨便嘮叨一哈，可跳過）

游戲輔助腳本在當(dāng)前環(huán)境也算是比較流行了，對(duì)于經(jīng)常玩游戲人來說，適當(dāng)?shù)挠螒蜉o助還是很有幫助的，讓計(jì)算機(jī)做一些繁瑣乏味的操作。當(dāng)然還有更加高大上的其他操作，這里就不贅述了。對(duì)于游戲輔助腳本，能想到基本有以下兩種：一是讀取游戲在內(nèi)存中的數(shù)據(jù)，理想的話可以做到更改游戲一些基本屬性，原理和很多的外掛或破解游戲類似；二是模擬用戶用戶行為，模擬鼠標(biāo)點(diǎn)擊、鍵盤操作等。當(dāng)然，由于本人從未涉及游戲輔助腳本這一領(lǐng)域，出于個(gè)人興趣，學(xué)習(xí)研究一下，本文例子則是第二種，主要還是模擬用戶行為，讓程序代替用戶操作。

三、開發(fā)流程 

瀏覽器打開游戲窗口（單個(gè)一個(gè)窗口），游戲界面如下圖所示，游戲主要界面截圖需要兩個(gè)坐標(biāo)（左上角坐標(biāo)和右下角坐標(biāo)）來確定，原點(diǎn)一般是屏幕左上角，不確定坐標(biāo)點(diǎn)值的同學(xué)，可以全屏截圖，用編輯圖片軟件查看坐標(biāo)值。獲取窗口句柄，這里就是瀏覽器標(biāo)題欄的標(biāo)題了（右鍵-查看源代碼-title，加上軟件名）比如：“寵物連連看經(jīng)典2,寵物連連看經(jīng)典版2小游戲,4399小游戲 www.4399.com - Google Chrome“。獲取窗口句柄就可以開始了。

總體開發(fā)思路：截取游戲主圖 ---> 分割成小圖 ---> 對(duì)比每個(gè)小圖，對(duì)比圖片相識(shí)度，編號(hào)存入矩陣 ---> 對(duì)矩陣進(jìn)行可連計(jì)算 ---> 模擬點(diǎn)擊。

3.1、獲取窗口句柄，把窗口置頂

python可以使用win32gui模塊調(diào)用Windows API實(shí)現(xiàn)對(duì)窗口的操作，使用FindWindow()方法可以獲取窗口的句柄（handle），需要傳入兩個(gè)參數(shù)，第一個(gè)為父窗口句柄（這里填0即可），第二個(gè)參數(shù)是窗口的名稱（標(biāo)簽title - Google Chrome）。獲取句柄之后然后通過SetForegroundWindows() 設(shè)置窗口在前面，這里傳入游戲窗口的舉報(bào)即可，代碼如下：

3. 2、截取游戲界面，分割圖標(biāo)，圖片比較

這里需要花費(fèi)一些時(shí)間來校驗(yàn)程序，如果截取的圖片不好，則會(huì)影響后續(xù)操作，所以比較主要的是確認(rèn)游戲左上角和右下角這兩個(gè)坐標(biāo)值，以及每個(gè)小圖標(biāo)的寬高。如下圖所示，先截取整個(gè)游戲界面圖，然后分割小圖標(biāo)，接著對(duì)每個(gè)圖標(biāo)進(jìn)行比較，然后以編號(hào)代替圖標(biāo)存入矩陣（這里的編號(hào)矩陣和游戲圖不一致，原理一樣）。

根據(jù)初始化設(shè)定的左上角和右下角兩個(gè)坐標(biāo)，使用ImageGrab.grab()方法進(jìn)行截圖，傳入一個(gè)元組即可，然后對(duì)這個(gè)大圖進(jìn)行分割，切割成一個(gè)個(gè)小圖標(biāo)存入到images_list數(shù)組中。

通過上面代碼切割的小圖標(biāo)，轉(zhuǎn)成數(shù)字矩陣，如果圖標(biāo)已經(jīng)存入image_type_list則返回這個(gè)索引，如果不存在，則在追加進(jìn)去，然后當(dāng)前長(zhǎng)度就是這個(gè)新加入圖標(biāo)的編號(hào)，代碼如下所示：

上面的getIndex就是對(duì)比圖片，判斷圖標(biāo)是否出現(xiàn)過（是否已存在image_type_list中，沒出現(xiàn)則追加進(jìn)去），這里使用漢明距離判斷兩個(gè)圖片的相識(shí)度，設(shè)置閥值10，當(dāng)小于閥值則認(rèn)為是同一個(gè)圖片，具體代碼如下：

四、程序核心-圖標(biāo)連接算法（路徑尋找）

這里僅對(duì)算法代碼進(jìn)行簡(jiǎn)單分析，如果對(duì)程序不好理解，可以留言，后續(xù)可以圖文分析。

通過上面的開發(fā)流程，基本獲取如下這樣的矩陣，只要比較兩個(gè)編號(hào)相同的值進(jìn)行可連路徑尋找，如果找到即進(jìn)行模擬點(diǎn)擊操作。這里簡(jiǎn)單介紹下游戲規(guī)則：8行乘12列游戲圖標(biāo)區(qū)域，外圍的0其實(shí)表示尋找路徑的時(shí)候可以通過，例如坐標(biāo)（1, 1）可以與（1,10）進(jìn)行連接、（7, 1）和（7,2）進(jìn)行連接。

算法的思路：路徑的尋找首先是尋找一個(gè)坐標(biāo)的橫向豎向可以直接相連的坐標(biāo)集合，比如坐標(biāo)p1（1,1）這樣的集合有[ （0,1）, （1,0） ]，另外一個(gè)坐標(biāo)p2（1,10）的可連集合為[ （0,10） ]，然后再對(duì)p1和p2的可連坐標(biāo)集合進(jìn)行比較，如果集合中坐標(biāo)也有可連，則表示p1和p2可連，很明顯，（0,1）和（0,10）為同一行且可連，這樣就表示p1和p2兩點(diǎn)存在可連路徑了，代碼如下所示：

簡(jiǎn)單分析下代碼實(shí)現(xiàn)過程：在isReachable()傳入兩個(gè)需要比較的坐標(biāo)值，然后分別獲取兩個(gè)點(diǎn)橫豎向（isRowConnect()、isColConnect()）可以連接的坐標(biāo)集合，最后再對(duì)集合進(jìn)行遍歷比較是否存在可連的，如果存在則表示傳入的兩個(gè)坐標(biāo)是可以連接的。

五、開發(fā)總結(jié)

學(xué)習(xí)這樣一個(gè)游戲輔助腳本，對(duì)于個(gè)人培養(yǎng)編程興趣也是有很多幫助的，在工作之余不失為一個(gè)好的消遣方式，以后會(huì)多向這些方向研究學(xué)習(xí)。本案例僅僅是截圖、比較圖片和模擬鼠標(biāo)點(diǎn)擊，我覺得還可以更加強(qiáng)大，而且還不局限于游戲這樣一個(gè)領(lǐng)域，相信大家應(yīng)該見過自動(dòng)發(fā)QQ消息的軟件吧，我覺得這完全可以做。還有很多模擬操作可以實(shí)現(xiàn)：鼠標(biāo)滾輪，左右鍵、鍵盤輸入等。

六、附件-源碼

注意：源碼僅供學(xué)習(xí) 

1 # -*- coding:utf-8 -*-  
 2  
 3 import win32gui  
 4 import time  
 5 from PIL import ImageGrab, Image  
 6 import numpy as np  
 7 import operator  
 8 from pymouse import PyMouse  
 9  
 10  
 11 class GameAssist:  
 12  
 13 def __init__(self, wdname):  
 14 """初始化"""  
 15  
 16 # 取得窗口句柄  
 17 self.hwnd = win32gui.FindWindow(0, wdname)  
 18 if not self.hwnd:  
 19 print("窗口找不到，請(qǐng)確認(rèn)窗口句柄名稱：【%s】" % wdname )  
 20 exit()  
 21  
 22 # 窗口顯示最前面  
 23 win32gui.SetForegroundWindow(self.hwnd)  
 24  
 25 # 小圖標(biāo)編號(hào)矩陣  
 26 self.im2num_arr = []  
 27 
 28 # 主截圖的左上角坐標(biāo)和右下角坐標(biāo)  
 29 self.scree_left_and_right_point = (299, 251, 768, 564)  
 30 # 小圖標(biāo)寬高  
 31 self.im_width = 39  
 32  
 33 # PyMouse對(duì)象，鼠標(biāo)點(diǎn)擊  
 34 self.mouse = PyMouse()  
 35  
 36 def screenshot(self):  
 37 """屏幕截圖"""  
 38  
 39 # 1、用grab函數(shù)截圖，參數(shù)為左上角和右下角左標(biāo)  
 40 # image = ImageGrab.grab((417, 257, 885, 569))  
 41 image = ImageGrab.grab(self.scree_left_and_right_point)  
 42  
 43 # 2、分切小圖  
 44 # exit()  
 45 image_list = {}  
 46 offset = self.im_width # 39  
 47  
 48 # 8行12列  
 49 for x in range(8):  
 50 image_list[x] = {}  
 51 for y in range(12):  
 52 # print("show",x, y) 
 53 # exit()  
 54 top = x * offset  
 55 left = y * offset  
 56 right = (y + 1) * offset  
 57 bottom = (x + 1) * offset  
 58  
 59 # 用crop函數(shù)切割成小圖標(biāo)，參數(shù)為圖標(biāo)的左上角和右下角左邊  
 60 im = image.crop((left, top, right, bottom))  
 61 # 將切割好的圖標(biāo)存入對(duì)應(yīng)的位置  
 62 image_list[x][y] = im  
 63  
 64 return image_list  
 65  
 66 def image2num(self, image_list):  
 67 """將圖標(biāo)矩陣轉(zhuǎn)換成數(shù)字矩陣""" 
 68  
 69 # 1、創(chuàng)建全零矩陣和空的一維數(shù)組  
 70 arr = np.zeros((10, 14), dtype=np.int32) # 以數(shù)字代替圖片  
 71 image_type_list = []  
 72  
 73 # 2、識(shí)別出不同的圖片，將圖片矩陣轉(zhuǎn)換成數(shù)字矩陣  
 74 for i in range(len(image_list)):  
 75 for j in range(len(image_list[0])):  
 76 im = image_list[i][j]  
 77  
 78 # 驗(yàn)證當(dāng)前圖標(biāo)是否已存入  
 79 index = self.getIndex(im, image_type_list)  
 80  
 81 # 不存在image_type_list  
 82 if index < 0:  
 83 image_type_list.append(im)  
 84 arr[i + 1][j + 1] = len(image_type_list)  
 85 else:  
 86 arr[i + 1][j + 1] = index + 1  
 87  
 88 print("圖標(biāo)數(shù)：", len(image_type_list))  
 89  
 90 self.im2num_arr = arr  
 91 return arr  
 92  
 93 # 檢查數(shù)組中是否有圖標(biāo),如果有則返回索引下表  
 94 def getIndex(self,im, im_list):  
 95 for i in range(len(im_list)):  
 96 if self.isMatch(im, im_list[i]):  
 97 return i  
 98  
 99 return -1  
100  
101 # 漢明距離判斷兩個(gè)圖標(biāo)是否一樣  
102 def isMatch(self, im1, im2):  
103  
104 # 縮小圖標(biāo)，轉(zhuǎn)成灰度  
105 image1 = im1.resize((20, 20), Image.ANTIALIAS).convert("L")  
106 image2 = im2.resize((20, 20), Image.ANTIALIAS).convert("L")  
107  
108 # 將灰度圖標(biāo)轉(zhuǎn)成01串,即系二進(jìn)制數(shù)據(jù)  
109 pixels1 = list(image1.getdata())  
110 pixels2 = list(image2.getdata())  
111  
112 avg1 = sum(pixels1) / len(pixels1)  
113 avg2 = sum(pixels2) / len(pixels2)  
114 hash1 = "".join(map(lambda p: "1" if p > avg1 else "0", pixels1))  
115 hash2 = "".join(map(lambda p: "1" if p > avg2 else "0", pixels2))  
116  
117 # 統(tǒng)計(jì)兩個(gè)01串不同數(shù)字的個(gè)數(shù)  
118 match = sum(map(operator.ne, hash1, hash2))  
119  
120 # 閥值設(shè)為10  
121 return match < 10  
122  
123 # 判斷矩陣是否全為0  
124 def isAllZero(self, arr):  
125 for i in range(1, 9):  
126 for j in range(1, 13):  
127 if arr[i][j] != 0:  
128 return False  
129 return True  
130  
131 # 是否為同行或同列且可連  
132 def isReachable(self, x1, y1, x2, y2):  
133 # 1、先判斷值是否相同  
134 if self.im2num_arr[x1][y1] != self.im2num_arr[x2][y2]:  
135 return False  
136  
137 # 1、分別獲取兩個(gè)坐標(biāo)同行或同列可連的坐標(biāo)數(shù)組  
138 list1 = self.getDirectConnectList(x1, y1)  
139 list2 = self.getDirectConnectList(x2, y2)  
140 # print(x1, y1, list1)  
141 # print(x2, y2, list2)  
142  
143 # exit()  
144  
145 # 2、比較坐標(biāo)數(shù)組中是否可連  
146 for x1, y1 in list1:  
147 for x2, y2 in list2:  
148 if self.isDirectConnect(x1, y1, x2, y2): 
149 return True  
150 return False  
151  
152 # 獲取同行或同列可連的坐標(biāo)數(shù)組  
153 def getDirectConnectList(self, x, y):  
154  
155 plist = []  
156 for px in range(0, 10):  
157 for py in range(0, 14):  
158 # 獲取同行或同列且為0的坐標(biāo)  
159 if self.im2num_arr[px][py] == 0 and self.isDirectConnect(x, y, px, py):  
160 plist.append([px, py])  
161  
162 return plist  
163  
164 # 是否為同行或同列且可連  
165 def isDirectConnect(self, x1, y1, x2, y2):  
166 # 1、位置完全相同  
167 if x1 == x2 and y1 == y2:  
168 return False  
169  
170 # 2、行列都不同的  
171 if x1 != x2 and y1 != y2:  
172 return False  
173  
174 # 3、同行  
175 if x1 == x2 and self.isRowConnect(x1, y1, y2):  
176 return True  
177  
178 # 4、同列  
179 if y1 == y2 and self.isColConnect(y1, x1, x2):  
180 return True  
181 
182 return False  
183  
184 # 判斷同行是否可連  
185 def isRowConnect(self, x, y1, y2):  
186 minminY = min(y1, y2)  
187 maxmaxY = max(y1, y2)  
188  
189 # 相鄰直接可連  
190 if maxY - minY == 1:  
191 return True  
192  
193 # 判斷兩個(gè)坐標(biāo)之間是否全為0  
194 for y0 in range(minY + 1, maxY): 
195 if self.im2num_arr[x][y0] != 0:  
196 return False  
197 return True  
198  
199 # 判斷同列是否可連  
200 def isColConnect(self, y, x1, x2):  
201 minminX = min(x1, x2)  
202 maxmaxX = max(x1, x2)  
203  
204 # 相鄰直接可連  
205 if maxX - minX == 1:  
206 return True  
207  
208 # 判斷兩個(gè)坐標(biāo)之間是否全為0  
209 for x0 in range(minX + 1, maxX):  
210 if self.im2num_arr[x0][y] != 0:  
211 return False  
212 return True  
213  
214 # 點(diǎn)擊事件并設(shè)置數(shù)組為0  
215 def clickAndSetZero(self, x1, y1, x2, y2):  
216 # print("click", x1, y1, x2, y2)  
217 
218 # (299, 251, 768, 564)  
219 # 原理：左上角圖標(biāo)中點(diǎn) + 偏移量 
220 p1_x = int(self.scree_left_and_right_point[0] + (y1 - 1)*self.im_width + (self.im_width / 2))  
221 p1_y = int(self.scree_left_and_right_point[1] + (x1 - 1)*self.im_width + (self.im_width / 2))  
222  
223 p2_x = int(self.scree_left_and_right_point[0] + (y2 - 1)*self.im_width + (self.im_width / 2))  
224 p2_y = int(self.scree_left_and_right_point[1] + (x2 - 1)*self.im_width + (self.im_width / 2))  
225  
226 time.sleep(0.2)  
227 self.mouse.click(p1_x, p1_y)  
228 time.sleep(0.2)  
229 self.mouse.click(p2_x, p2_y)  
230  
231 # 設(shè)置矩陣值為0  
232 self.im2num_arr[x1][y1] = 0  
233 self.im2num_arr[x2][y2] = 0  
234  
235 print("消除：(%d, %d) (%d, %d)" % (x1, y1, x2, y2))  
236 # exit()  
237  
238 # 程序入口、控制中心  
239 def start(self):  
240  
241 # 1、先截取游戲區(qū)域大圖，然后分切每個(gè)小圖  
242 image_list = self.screenshot()  
243  
244 # 2、識(shí)別小圖標(biāo)，收集編號(hào)  
245 self.image2num(image_list)  
246  
247 print(self.im2num_arr)  
248  
249 # 3、遍歷查找可以相連的坐標(biāo)  
250 while not self.isAllZero(self.im2num_arr):  
251 for x1 in range(1, 9):  
252 for y1 in range(1, 13):  
253 if self.im2num_arr[x1][y1] == 0:  
254 continue  
255  
256 for x2 in range(1, 9):  
257 for y2 in range(1, 13):  
258 # 跳過為0 或者同一個(gè)  
259 if self.im2num_arr[x2][y2] == 0 or (x1 == x2 and y1 == y2):  
260 continue  
261 if self.isReachable(x1, y1, x2, y2):  
262 self.clickAndSetZero(x1, y1, x2, y2)  
263  
264  
265 if __name__ == "__main__": 
266 # wdname 為連連看窗口的名稱，必須寫完整  
267 wdname = u'寵物連連看經(jīng)典版2,寵物連連看經(jīng)典版2小游戲,4399小游戲 www.4399.com - Google Chrome'  
268  
269 demo = GameAssist(wdname)  
270 demo.start()  
GameAssist.py