pythonでのカーソル移動がずれる

現在Pythonを勉強中です。
下記コードにて指定したＸＰＡＴＨへカーソルを移動させようとしているのですが、カーソールの位置が全然合わずずれてしまいます。
googleの検索ボタンの位置に合わせたいのですが、「ＸＰＡＴＨ」の指定が間違っているのでしょうか。コードが間違っているのでしょうか。ＸＰＡＴＨでの指定でカーソルを指定位置に移動させたいと思っております。

ご存じの方がいらっしゃいましたら、ご教示願います。


from selenium import webdriver
from selenium.webdriver.chrome import service
import pyautogui as pg
from selenium.webdriver.common.by import By

CHROMEDRIVER = "c:\\chromedriver.exe"
chrome_service = service.Service(executable_path=CHROMEDRIVER)
#Chromeを起動
driver = webdriver.Chrome(service=chrome_service)
#指定したURLに遷移する
driver.get("https://www.google.co.jp")

try:
#要素の座標をXPATHから取得
element = driver.find_element(By.XPATH, '/html/body/div[1]/div[3]/form/div[1]/div[1]/div[4]/center/input[1]').location
x, y = element['x'], element['y']

pg.moveTo(x, y, duration=0.8)
except KeyboardInterrupt:
pass

No.2 ベストアンサー 回答者： Ogre7077 回答日時： 2023/08/01 14:28

ウェブページ左上を基点とするページ座標系から、

スクロール位置や拡大率を加味した
ビューポート左上を基点とするクライアント座標系へ変換してから、
ディスプレイ左上を基点とするスクリーン座標系へと変換しましょう。

この回答へのお礼

ありがとうございます。拡大率というものを加味しておりませんでした。それが原因でとんでもない座標やサイズとなっておりました。

お礼日時：2023/08/01 19:13

No.1 回答者： Ogre7077 回答日時： 2023/07/31 09:55

おそらくは座標系が異なるからと推測します

参考)
https://developer.mozilla.org/ja/docs/Web/CSS/CS …

seleninum の location プロパティはページ座標系
https://selenium-python.readthedocs.io/api.html# …

pyautogui の moveTo メソッドはスクリーン座標系
https://pyautogui.readthedocs.io/en/latest/mouse …

この回答へのお礼

回答ありがとうございます。ページ座標系とスクリーン座標系の違いがあるということはアプリ（ここではブラウザ）の表示位置により異なると思いました。そこでブラウザの表示位置の左上部を所得しました。
#カレントウィンドウの座標(左上隅の座標)を取得
coordinate = driver.get_window_position()
print(coordinate)
x1, y1 = coordinate['x'], coordinate['y']
x1＝10、y1＝１０となりましたので、ページ座標をスクリーン座標のｘ、ｙへ加算しましたが全然ずれておりました。
座標系の違いということで上記処理を追加しましたが、何か間違っているでしょうか。

お礼日時：2023/07/31 21:38