2015-08-17:輸入中文bug沒有解決,目前的解決方案是Python 2.X環境下安裝pyperclip和pyautogui,用複制粘貼來實作。
In [ ]:
import pyperclip
import pyautogui
# PyAutoGUI中文輸入需要用粘貼實作
# Python 2版本的pyperclip提供中文複制
def paste(foo):
pyperclip.copy(foo)
pyautogui.hotkey('ctrl', 'v')
foo = u'學而時習之'
# 移動到文本框
pyautogui.click(130,30)
paste(foo)
1.簡介
1.1 目的
PyAutoGUI是一個純Python的GUI自動化工具,其目的是可以用程式自動控制滑鼠和鍵盤操作,多平台支援(Windows,OS X,Linux)。可以用
pip
安裝,Github上有源代碼。
下面的代碼讓滑鼠移到螢幕中央。
import pyautogui
screenWidth, screenHeight = pyautogui.size()
pyautogui.moveTo(screenWidth / 2, screenHeight / 2)
PyAutoGUI可以模拟滑鼠的移動、點選、拖拽,鍵盤按鍵輸入、按住操作,以及滑鼠+鍵盤的熱鍵同時按住等操作,可以說手能動的都可以。
1.2 例子
import pyautogui
screenWidth, screenHeight = pyautogui.size()
currentMouseX, currentMouseY = pyautogui.position()
pyautogui.moveTo(100, 150)
pyautogui.click()
# 滑鼠向下移動10像素
pyautogui.moveRel(None, 10)
pyautogui.doubleClick()
# 用緩動/漸變函數讓滑鼠2秒後移動到(500,500)位置
# use tweening/easing function to move mouse over 2 seconds.
pyautogui.moveTo(1800, 500, duration=2, tween=pyautogui.easeInOutQuad)
# 在每次輸入之間暫停0.25秒
pyautogui.typewrite('Hello world!', interval=0.25)
pyautogui.press('esc')
pyautogui.keyDown('shift')
pyautogui.press(['left', 'left', 'left', 'left', 'left', 'left'])
pyautogui.keyUp('shift')
pyautogui.hotkey('ctrl', 'c')
distance = 200
while distance > 0:
pyautogui.dragRel(distance, 0, duration=0.5) # 向右
distance -= 5
pyautogui.dragRel(0, distance, duration=0.5) # 向下
pyautogui.draIn gRel(-distance, 0, duration=0.5) # 向左
distance -= 5
pyautogui.dragRel(0, -distance, duration=0.5) # 向上
1.4 保護措施(Fail-Safes)
就像《魔法師的學徒》(Sorcerer’s Apprentice)會擔水的掃帚,可以擔水,卻無力阻止水漫浴室。你的程式也可能會失控(即使是按照你的意思執行的),那時就需要中斷。如果滑鼠還在自動操作,就很難在程式視窗關閉它。
為了能夠及時中斷,PyAutoGUI提供了一個保護措施。當
pyautogui.FAILSAFE = True
時,如果把滑鼠光标在螢幕左上角,PyAutoGUI函數就會産生
pyautogui.FailSafeException
異常。如果失控了,需要中斷PyAutoGUI函數,就把滑鼠光标在螢幕左上角。要禁用這個特性,就把
FAILSAFE
設定成
False
:
import pyautogui
pyautogui.FAILSAFE = False
通過把
pyautogui.PAUSE
float
或
int
時間(秒),可以為所有的PyAutoGUI函數增加延遲。預設延遲時間是0.1秒。在函數循環執行的時候,這樣做可以讓PyAutoGUI運作的慢一點,非常有用。例如:
import pyautogui
pyautogui.PAUSE = 2.5
pyautogui.moveTo(100,100); pyautogui.click()
所有的PyAutoGUI函數在延遲完成前都處于阻塞狀态(block)。(未來計劃增加一個可選的非阻塞模式來調用函數。)
建議
PAUSE
和
FAILSAFE
一起使用。
2 安裝與依賴
PyAutoGUI支援Python 2.x和Python 3.x
- Windows:PyAutoGUI沒有任何依賴,因為它用Python的
子產品是以不需要ctypes
pywin32
pip3 install pyautogui
- OS X:PyAutoGUI需要PyObjC運作AppKit和Quartz子產品。這個子產品在PyPI上的按住順序是
pyobjc-core
pyobjc
sudo pip3 install pyobjc-core sudo pip3 install pyobjc sudo pip3 install pyautogui
- Linux:PyAutoGUI需要
(Python 2)、python-xlib
(Python 3)python3-Xlib
sudo pip3 install python3-xlib sudo apt-get scrot sudo apt-get install python-tk sudo apt-get install python3-dev sudo pip3 install pyautogui
3.速查表(小抄,Cheat Sheet)
3.1 常用函數
import pyautogui
# 目前滑鼠的坐标
pyautogui.position()
Out[ ]:
(123, 372)
# 目前螢幕的分辨率(寬度和高度)
pyautogui.size()
(1920, 1080)
# (x,y)是否在螢幕上
x, y = 122, 244
pyautogui.onScreen(x, y)
True
3.2 保護措施
PyAutoGUI函數增加延遲為2.5秒:
import pyautogui
pyautogui.PAUSE = 2.5
當pyautogui.FAILSAFE = True時,如果把滑鼠光标在螢幕左上角,PyAutoGUI函數就會産生pyautogui.FailSafeException異常。
import pyautogui
pyautogui.FAILSAFE = True
3.3 滑鼠函數
坐标系的原點是左上角。X軸(水準)坐标向右增大,Y軸(豎直)坐标向下增大。
num_seconds = 1.2
# 用num_seconds秒的時間把光标移動到(x, y)位置
pyautogui.moveTo(x, y, duration=num_seconds)
# 用num_seconds秒的時間把光标的X軸(水準)坐标移動xOffset,
# Y軸(豎直)坐标向下移動yOffset。
xOffset, yOffset = 50, 100
pyautogui.moveRel(xOffset, yOffset, duration=num_seconds)
click()
函數就是讓滑鼠點選,預設是單擊左鍵,參數可以設定:
pyautogui.click(x=moveToX, y=moveToY, clicks=num_of_clicks, interval=secs_between_clicks, button='left')
其中,
button
屬性可以設定成
left
,
middle
right
。
所有的點選都可以用這個函數,不過下面的函數可讀性更好:
pyautogui.rightClick(x=moveToX, y=moveToY)
pyautogui.middleClick(x=moveToX, y=moveToY)
pyautogui.doubleClick(x=moveToX, y=moveToY)
pyautogui.tripleClick(x=moveToX, y=moveToY)
scroll
函數控制滑鼠滾輪的滾動,
amount_to_scroll
參數表示滾動的格數。正數則頁面向上滾動,負數則向下滾動:
pyautogui.scroll(clicks=amount_to_scroll, x=moveToX, y=moveToY)
每個按鍵按下和松開兩個事件可以分開處理:
pyautogui.mouseDown(x=moveToX, y=moveToY, button='left')
pyautogui.mouseUp(x=moveToX, y=moveToY, button='left')
3.4 鍵盤函數
鍵盤上可以按的鍵都可以調用:
# 每次鍵入的時間間隔
secs_between_keys = 0.1
pyautogui.typewrite('Hello world!\n', interval=secs_between_keys)
多個鍵也可以:
pyautogui.typewrite(['a', 'b', 'c', 'left', 'backspace', 'enter', 'f1'], interval=secs_between_keys)
按鍵名稱清單:
pyautogui.KEYBOARD_KEYS[:10]
['\t', '\n', '\r', ' ', '!', '"', '#', '$', '%', '&']
鍵盤的一些熱鍵像
Ctrl-S
Ctrl-Shift-1
都可以用
hotkey()
函數來實作:
pyautogui.hotkey('ctrl', 'a') # 全選
pyautogui.hotkey('ctrl', 'c') # 複制
pyautogui.hotkey('ctrl', 'v') # 粘貼
每個按鍵的按下和松開也可以單獨調用:
pyautogui.keyDown(key_name)
pyautogui.keyUp(key_name)
3.5 消息彈窗函數
如果你需要消息彈窗,通過單擊OK暫停程式,或者向使用者顯示一些資訊,消息彈窗函數就會有類似JavaScript的功能:
pyautogui.alert('這個消息彈窗是文字+OK按鈕')
pyautogui.confirm('這個消息彈窗是文字+OK+Cancel按鈕')
pyautogui.prompt('這個消息彈窗是讓使用者輸入字元串,單擊OK')
''
在
prompt()
函數中,如果使用者什麼都不輸入,就會傳回
None
3.6 截屏函數
PyAutoGUI用Pillow/PIL庫實作圖檔相關的識别和操作。
在Linux裡面,你必須執行
sudo apt-get install scrot
來使用截屏特性。
# 傳回一個Pillow/PIL的Image對象
pyautogui.screenshot()
pyautogui.screenshot('foo.png')
如果你有一個圖檔檔案想在上面做點選操作,你可以用
locateOnScreen()
函數來定位。
# 傳回(最左x坐标,最頂y坐标,寬度,高度)
pyautogui.locateOnScreen('pyautogui/looks.png')
(0, 1040, 48, 40)
locateAllOnScreen()
函數會尋找所有相似圖檔,傳回一個生成器:
for i in pyautogui.locateAllOnScreen('pyautogui/looks.png'):
print(i)
(0, 1040, 48, 40)
list(pyautogui.locateAllOnScreen('pyautogui/looks.png'))
[(0, 1040, 48, 40)]
locateCenterOnScreen()
函數會傳回圖檔在螢幕上的中心XY軸坐标值:
pyautogui.locateCenterOnScreen('pyautogui/looks.png')
(24, 1060)
如果沒找到圖檔會傳回
None
定位比較慢,一般得用1~2秒
4 常用函數
-
:傳回整數元組(x, y),分别表示滑鼠光标所在位置的XY軸坐标position()
-
:傳回顯示器的尺寸整數元組(x, y)。未來将加入多屏支援size()
5 滑鼠控制函數
5.1 螢幕與滑鼠位置
螢幕位置使用X和Y軸的笛卡爾坐标系。原點
(0,0)
在左上角,分别向右、向下增大。
如果螢幕像素是1920×10801920×1080,那麼右下角的坐标是
(1919, 1079)
分辨率大小可以通過
size()
函數傳回整數元組。光标的位置用
position()
傳回。例如:
pyautogui.size()
(1920, 1080)
pyautogui.position()
(272, 688)
下面是Python 3版本的光标位置記錄程式:
# ! python 3
import pyautogui
print('Press Ctrl-C to quit')
try:
while True:
x, y = pyautogui.position()
positionStr = 'X: {} Y: {}'.format(*[str(x).rjust(4) for x in [x, y]])
print(positionStr, end='')
print('\b' * len(positionStr), end='', flush=True)
except KeyboardInterrupt:
print('\n')
Python 2版本是:
# ! python
import pyautogui, sys
print('Press Ctrl-C to quit.')
try:
while True:
x, y = pyautogui.position()
positionStr = 'X: ' + str(x).rjust(4) + ' Y: ' + str(y).rjust(4)
print positionStr,
print '\b' * (len(positionStr) + 2),
sys.stdout.flush()
except KeyboardInterrupt:
print '\n'
要檢查XY坐标是否在螢幕上,需要用
onScreen()
函數來檢驗,如果在螢幕上傳回
True
import pyautogui
pyautogui.onScreen(0, 0)
True
pyautogui.onScreen(0, -1)
False
pyautogui.onScreen(0, 2080)
False
pyautogui.onScreen(1920, 1080)
False
pyautogui.onScreen(1919, 1079)
True
5.2 滑鼠行為
moveTo()
函數會把滑鼠光标移動到指定的XY軸坐标處。如果傳入
None
值,則表示使用目前光标的對象軸坐标值。
pyautogui.moveTo(100, 200) # 光标移動到(100, 200)位置
pyautogui.moveTo(None, 500) # 光标移動到(100, 500)位置
pyautogui.moveTo(600, None) # 光标移動到(600, 500)位置
一般滑鼠光标都是瞬間移動到指定的位置,如果你想讓滑鼠移動的慢點,可以設定持續時間:
pyautogui.moveTo(100, 200, duration=2) # 用2秒把光标移動到(100, 200)位置
預設的持續時間
pyautogui.MINIMUM_DURATION
是0.1秒,如果你設定的時間比預設值還短,那麼就會瞬間執行。
如果你想讓光标以目前位置為原點,進行相對移動,就用
pyautogui.moveRel()
函數。例如:
pyautogui.moveTo(100, 200) #把光标移動到(100, 200)位置
pyautogui.moveRel(0, 50) #向下移動50
pyautogui.moveRel(30, 0, 2) #向右移動30
pyautogui.moveRel(30, None) #向右移動30
5.3 滑鼠拖拽
PyAutoGUI的
dragTo()
dragRel()
函數與
moveTo()
moveRel()
函數類似。另外,他們有一個
button
參數可以設定成
left
middle
right
三個鍵。例如:
# 按住滑鼠左鍵,把滑鼠拖拽到(100, 200)位置
pyautogui.dragTo(100, 200, button='left')
# 按住滑鼠左鍵,用2秒鐘把滑鼠拖拽到(300, 400)位置
pyautogui.dragTo(300, 400, 2, button='left')
# 按住滑鼠右鍵,用2秒鐘把滑鼠拖拽到(30,0)位置
pyautogui.dragTo(30, 0, 2, button='right')
5.4 緩動/漸變(Tween / Easing)函數
緩動/漸變函數的作用是讓光标的移動更炫。如果你不需要用到的話,你可以忽略這些。
緩動/漸變函數可以改變光标移動過程的速度和方向。通常滑鼠是勻速直線運動,這就是線性緩動/漸變函數。PyAutoGUI有30種緩動/漸變函數,可以通過
pyautogui.ease*?
檢視。其中,
pyautogui.easeInQuad()
函數可以用于
moveTo()
moveRel()
dragTo()
dragRel()
函數,光标移動呈現先慢後快的效果,整個過程的時間還是和原來一樣。而
pyautogui.easeOutQuad
函數的效果相反:光标開始移動很快,然後慢慢減速。
pyautogui.easeOutElastic
是彈簧效果,首先越過終點,然後再反彈回來。例如:
# 開始很慢,不斷加速
pyautogui.moveTo(100, 100, 2, pyautogui.easeInQuad)
# 開始很快,不斷減速
pyautogui.moveTo(100, 100, 2, pyautogui.easeOutQuad)
# 開始和結束都快,中間比較慢
pyautogui.moveTo(100, 100, 2, pyautogui.easeInOutQuad)
# 一步一徘徊前進
pyautogui.moveTo(100, 100, 2, pyautogui.easeInBounce)
# 徘徊幅度更大,甚至超過起點和終點
pyautogui.moveTo(100, 100, 2, pyautogui.easeInElastic)
這些效果函數是模仿Al Sweigart的PyTweening子產品,可以直接使用,不需要額外安裝。
如果你想建立自己的效果,也可以定義一個函數,其參數是(0.0,1.0),表示起點和終點,傳回值是介于[0.0,1.0]之間的數。
5.5 滑鼠單擊
click()
函數模拟單擊滑鼠左鍵一次的行為。例如:
pyautogui.click()
如果單機之前要先移動,可以把目标的XY坐标值傳入函數:
# 先移動到(100, 200)再單擊
pyautogui.click(x=100, y=200, duration=2)
可以通過
button
參數設定
left
middle
right
pyautogui.click(button='right')
要做多次單擊可以設定
clicks
參數,還有
interval
參數可以設定每次單擊之間的時間間隔。例如:
# 輕按兩下左鍵
pyautogui.click(clicks=2)
# 兩次單擊之間停留0.25秒
pyautogui.click(clicks=2, interval=0.25)
# 三擊右鍵
pyautogui.click(button='right', clicks=2, interval=0.25)
為了操作友善,PyAutoGUI提供了
doubleClick()
tripleClick()
rightClick()
來實作輕按兩下、三擊和右擊操作。
5.6 滑鼠按下和松開函數
mouseDown()
mouseUp()
函數可以實作滑鼠按下和滑鼠松開的操作。兩者參數相同,有
x
y
button
。例如:
# 滑鼠左鍵按下再松開
pyautogui.mouseDown(); pyautogui.mouseUp()
# 按下滑鼠右鍵
pyautogui.mouseDown(button='right')
# 移動到(100, 200)位置,然後松開滑鼠右鍵
pyautogui.mouseUp(button='right', x=100, y=200)
5.7 滾輪滾動函數
滑鼠滾輪滾動可以用
scroll()
函數和
clicks
次數參數來模拟。不同平台上的
clicks
次數不太一樣。還有
x
y
參數可以在滾動之前定位到(x, y)位置。例如:
# 向上滾動10格
pyautogui.scroll(10)
# 向下滾動10格
pyautogui.scroll(-10)
# 移動到(100, 100)位置再向上滾動10格
pyautogui.scroll(10, x=100, y=100)
在OS X和Linux平台上,PyAutoGUI還可以用
hscroll()
實作水準滾動。例如:
# 向右滾動10格
pyautogui.hscroll(10)
# 向左滾動10格
pyautogui.hscroll(-10)
scroll()
函數是
vscroll()
的一個包裝(
wrapper
),執行豎直滾動。
6 鍵盤控制函數
6.1 typewrite()
輸入函數
typewrite()
鍵盤控制的主要函數就是
typewrite()
。這個函數可以實作字元輸入。要在兩次輸入間增加時間間隔,可以用
interval
參數。例如:
# 輸入Hello world!
pyautogui.typewrite('Hello world!')
# 每次輸入間隔0.25秒,輸入Hello world!
pyautogui.typewrite('Hello world!', interval=0.25)
typewrite()
函數隻能用于單個字元鍵,不能按SHITF和F1這些功能鍵。
6.2 press()
keyDown()
keyUp()
函數
press()
keyDown()
keyUp()
要按那些功能鍵,可以用
press()
函數把
pyautogui.KEYBOARD_KEYS
裡面按鍵對應的字元串輸入進去。例如:
# ENTER鍵
pyautogui.press('enter')
# F1鍵
pyautogui.press('f1')
# 左方向鍵
pyautogui.press('left')
press()
函數其實是
keyDown()
keyUp()
函數的包裝,模拟的按下然後松開兩個動作。這兩個函數可以單獨調用。例如,按下
shift
鍵的同時按3次左方向鍵:
# 按下`shift`鍵
pyautogui.keyDown('shift')
pyautogui.press('left')
pyautogui.press('left')
pyautogui.press('left')
# 松開`shift`鍵
pyautogui.keyUp('shift')
typewrite()
函數一樣,可以用數組把一組鍵傳入
press()
pyautogui.press(['left', 'left', 'left'])
6.3 hotkey()
hotkey()
為了更高效的輸入熱鍵,PyAutoGUI提供了
hotkey()
函數來綁定若幹按鍵:
pyautogui.hotkey('ctrl', 'shift', 'ese')
等價于:
pyautogui.keyDown('ctrl')
pyautogui.keyDown('shift')
pyautogui.keyDown('esc')
pyautogui.keyUp('esc')
pyautogui.keyUp('shift')
pyautogui.keyUp('ctrl')
6.4 KEYBOARD_KEYS
下面就是
press()
keyDown()
keyUp()
hotkey()
函數可以輸入的按鍵名稱:
print(pyautogui.KEYBOARD_KEYS)
['\t', '\n', '\r', ' ', '!', '"', '#', '$', '%', '&', "'", '(', ')', '*', '+', ',', '-', '.', '/', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', ':', ';', '<', '=', '>', '?', '@', '[', '\\', ']', '^', '_', '`', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '{', '|', '}', '~', 'accept', 'add', 'alt', 'altleft', 'altright', 'apps', 'backspace', 'browserback', 'browserfavorites', 'browserforward', 'browserhome', 'browserrefresh', 'browsersearch', 'browserstop', 'capslock', 'clear', 'convert', 'ctrl', 'ctrlleft', 'ctrlright', 'decimal', 'del', 'delete', 'divide', 'down', 'end', 'enter', 'esc', 'escape', 'execute', 'f1', 'f10', 'f11', 'f12', 'f13', 'f14', 'f15', 'f16', 'f17', 'f18', 'f19', 'f2', 'f20', 'f21', 'f22', 'f23', 'f24', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8', 'f9', 'final', 'fn', 'hanguel', 'hangul', 'hanja', 'help', 'home', 'insert', 'junja', 'kana', 'kanji', 'launchapp1', 'launchapp2', 'launchmail', 'launchmediaselect', 'left', 'modechange', 'multiply', 'nexttrack', 'nonconvert', 'num0', 'num1', 'num2', 'num3', 'num4', 'num5', 'num6', 'num7', 'num8', 'num9', 'numlock', 'pagedown', 'pageup', 'pause', 'pgdn', 'pgup', 'playpause', 'prevtrack', 'print', 'printscreen', 'prntscrn', 'prtsc', 'prtscr', 'return', 'right', 'scrolllock', 'select', 'separator', 'shift', 'shiftleft', 'shiftright', 'sleep', 'stop', 'subtract', 'tab', 'up', 'volumedown', 'volumemute', 'volumeup', 'win', 'winleft', 'winright', 'yen', 'command', 'option', 'optionleft', 'optionright']
7 消息彈窗函數
PyAutoGUI通過Tkinter實作了4種純Python的消息彈窗函數,和JavaScript類似。
7.1 alert()函數
pyautogui.alert(text='', title='', button='OK')
'OK'
顯示一個簡單的帶文字和OK按鈕的消息彈窗。使用者點選後傳回
button
的文字。
7.2 The confirm() Function
# OK和Cancel按鈕的消息彈窗
pyautogui.confirm(text='', title='', buttons=['OK', 'Cancel'])
# 10個按鍵0-9的消息彈窗
pyautogui.confirm(text='', title='', buttons=range(10))
'0'
顯示一個簡單的帶文字、OK和Cancel按鈕的消息彈窗,使用者點選後傳回被點選button的文字,支援自定義數字、文字的清單。
7.3 The prompt() Function
pyautogui.prompt(text='', title='' , default='')
可以輸入的消息彈窗,帶OK和Cancel按鈕。使用者點選OK按鈕傳回輸入的文字,點選Cancel按鈕傳回
None
7.4 The password() Function
pyautogui.password(text='', title='', default='', mask='*')
樣式同
prompt()
,用于輸入密碼,消息用
*
表示。帶OK和Cancel按鈕。使用者點選OK按鈕傳回輸入的文字,點選Cancel按鈕傳回
None
8 截屏函數
PyAutoGUI可以截屏并儲存為圖檔檔案,然後定位這些截屏在螢幕上的位置。與sikuli類似,把螢幕上的按鍵截取下來,然後定位,就可以執行點選等操作了。
截屏功能需要安裝Pillow子產品。OS X用
screencapture
指令,是系統自帶的。Linux使用者用
scrot
指令,可以通過
sudo apt-get install scrot
安裝。
8.1 Ubuntu注意事項
由于Ubuntu上安裝Pillow時缺少PNG和JPEG依賴,是以安裝比較複雜,具體可以看Ubuntu論壇。不過用miniconda可以解決這些問題,如果Ubuntu或Mint上安裝了miniconda,可以直接
conda install pillow
來安裝。
8.2 screenshot()
screenshot()
screenshot()
函數會傳回
Image
對象(參考Pillow或PIL子產品文檔),也可以設定檔案名:
import pyautogui
im1 = pyautogui.screenshot()
im2 = pyautogui.screenshot('my_screenshot.png')
在一個1920×10801920×1080的螢幕上,
screenshot()
函數要消耗100微秒——不快也不慢。
如果你不需要截取整個螢幕,還有一個可選的
region
參數。你可以把截取區域的左上角XY坐标值和寬度、高度傳入截取。
im = pyautogui.screenshot(region=(0, 0, 300 ,400))
8.3 定位函數
可以定位截圖在螢幕上的坐标位置。比如,你需要在電腦裡輸入:
如果你不知道按鈕的位置,就不能用
moveTo()
定位和
click()
點選。而且每次電腦的位置可能會變化,這時即使有來坐标也不好用了。但是如果你有要點選按鈕的截圖,比如數字
7
你可以調用
pyautogui.locateOnScreen('calc7key.png')
函數來獲得
7
的螢幕坐标。傳回的是一個元組
(top, left, width, height)
。這個元組可以用
pyautogui.center()
函數來擷取截圖螢幕的中心坐标。如果截圖沒找到,
pyautogui.locateOnScreen()
函數傳回
None
import pyautogui
button7location = pyautogui.locateOnScreen('pyautogui/calc7key.png')
button7location
(1226, 546, 29, 28)
button7x, button7y = pyautogui.center(button7location)
button7x, button7y
(1240, 560)
pyautogui.click(button7x, button7y)
locateCenterOnScreen()
等價于上面的前兩布操作,直接獲得截屏螢幕中心坐标:
import pyautogui
x, y = pyautogui.locateCenterOnScreen('pyautogui/calc7key.png')
pyautogui.click(x, y)
在1920×10801920×1080的螢幕上,定位函數需要1~2秒時間。對視訊遊戲(LOL、DOTA)來說就太慢了,但是上班幹活還是綽綽有餘。
還是幾個定位函數。都是從左上角原點開始向右向下搜尋截圖位置:
- locateOnScreen(image, grayscale=False):傳回找到的第一個截圖
對象在螢幕上的坐标Image
,如果沒找到傳回(left, top, width, height)
None
- locateCenterOnScreen(image, grayscale=False):傳回找到的第一個截圖
對象在螢幕上的中心坐标Image
(x, y)
None
- locateAllOnScreen(image, grayscale=False):傳回找到的所有相同截圖
Image
的生成器(left, top, width, height)
- locate(needleImage, haystackImage, grayscale=False):傳回找到的第一個截圖
對象在Image
裡面的坐标haystackImage
(left, top, width, height)
None
- locateAll(needleImage, haystackImage, grayscale=False):傳回找到的所有相同截圖
Image
haystackImage
(left, top, width, height)
兩個
locateAll*
函數都可以用
for
循環和
list()
輸出:
for pos in pyautogui.locateAllOnScreen('pyautogui/calc7key.png'):
print(pos)
(1227, 546, 29, 28)
list(pyautogui.locateAllOnScreen('pyautogui/calc7key.png'))
[(1227, 546, 29, 28)]
8.3.1 灰階值比對
可以把
grayscale
參數設定為
True
來加速定位(大約提升30%),預設為
False
。這種去色(desaturate)方法可以加速定位,但是也可能導緻假陽性(false-positive)比對:
import pyautogui
button7location = pyautogui.locateOnScreen('pyautogui/calc7key.png', grayscale=True)
button7location
(1227, 546, 29, 28)
8.3.2 像素比對
要擷取截屏某個位置的RGB像素值,可以用
Image
對象的
getpixel()
方法:
import pyautogui
im = pyautogui.screenshot()
im.getpixel((100, 200))
(255, 255, 255)
pyautogui.pixel(100, 200)
(255, 255, 255)
pyautogui.pixelMatchesColor(100, 200, (255, 255, 255))
True
pyautogui.pixelMatchesColor(100, 200, (255, 255, 245))
False
pyautogui.pixelMatchesColor(100, 200, (255, 255, 245), tolerance=10)
True
pyautogui.pixelMatchesColor(100, 200, (248, 250, 245), tolerance=10)
True
pyautogui.pixelMatchesColor(100, 200, (205, 255, 245), tolerance=10)
False