google Pythonの簡単な利用方法、GoogleColaboratory googleアカウントで使え、Seleniumでスクレイピングも(ChromiumはDebianから) Pythonの簡単な利用方法、GoogleColaboratory googleアカウントで使え、Seleniumでスクレイピングも(ChromiumはDebianから) 2023-01-28 googlepythonWebDriver
docker Docker Selenium GridサーバとPythonでスクレイピングやブラウザ自動操作環境を構築 Docker Selenium GridサーバとDocker Pythonで構築すれば気軽にブラウザ操作できるようになります。データベースコンテナ作ってそこにデータ蓄積、別途googleドライブにアップするかエクセルファイル作るなどすればいい感じになりますね 2023-01-23 dockerpythonseleniumWebDriver
AutoIT 任天堂 Switch 戦争に巻き込まれたので、AutoItでの自動化の使い方を考える 世の中の一部の世界において、任天堂スイッチ戦争が勃発しているらしい。外出自粛、入荷数の減少に伴い、需要が供給を大幅に上回った上、転売屋による買い占めが起こり供給が更に少なくなっている模様。 特にAmazonでは一気に出さずに少しづつ... 2020-04-21 AutoITChromeWebDriverブログ画像認識
WebDriver navigator.webdriver=trueだとロボットだとバレる。その回避法はあるか?puppeteerなら出来そう Selenium含め、WebDriver使うとnavigator.webdriver=trueがセットされます。もし自分のサイトがスクレイピングなどされたくない場合は、JavaScriptなどでこの値がtrueにセットされていれば別ページにジャンプなどすればOK。puppeteerだとnavigator.webdriverプロパティを削除することが出来ます。 2020-03-04 WebDriverブログ
WebDriver AutoIt WebDriverでロボットだと認識されないようにする WebDriverを使ってgoogleにアクセスしていると、googleがロボットですよね?的なページを表示してきました。まぁロボットなんですが。google検索にアクセスしすぎですよね。というわけで、ロボットと認識されないよう、人の操作に近くしてみようかなと。 2020-02-28 WebDriverブログ
WebDriver AutoIt WebDriver UDFを使ってChrome操作 キーボード操作 AutoItではSelenium BasicでもChromeなどのブラウザを操作することが出来ますが、別途Selenium Basicをインストールする必要なので、少々面倒ではありますがWebDriver UDFを自分は使っています。今回はその中でもキーボード操作について記載します。SetKeys()がないので作って矢印やSHIFTキーを渡せるようにします。 2020-01-09 WebDriverブログ
WebDriver AutoIt WebDriverでGoogleドライブにアクセス(ログイン)する google drive apiを使えばドライブから間違えることなくファイルをダウンロードしたりアップしたりできるのですが、登録が面倒な人もいるはず。普通にChromeでマウスやキーボードでログインしてアクセスしていく作業をwebdriverを使って行っています。Microsoft Office製品だけでなくWebサービスも使って仕事する人は多いと思うので、webdriverは使えていたほうがいいですね。 2020-01-08 WebDriverブログ
Chrome AutoItでSelenium (basic)を使ってChromeを操作する AutoItにはWebDriver UDFがありますが、Seleniumを使うこともできます。Seleniumを使う場合はググるとSelenium+Pythonばかり出てきますが、Selenium VBAで検索するとSelenium BasicというものをインストールすればSelenium経由、WebDriverを通してブラウザ操作できます。 VBAで使える=AutoItでも使える と筆者は認識しているので早速やってみます。 2019-12-10 ChromeWebDriverブログ
AutoIT AutoItでChromeを操作2~HTML要素へのアクセス~ 以前、AutoItでChromeを操作するのはChrome WebDriver経由でWebDriver UDFを使って制御する記事を書きました。 今回はページの要素へのアクセスにトライしてみます。_WD_FindElement()では通常xpathを指定すると良いでしょう。 $_WD_LOCATOR_ByXPathはwd_core.au3に記載されています。文字列"xpath"でも大丈夫です。 2019-12-09 AutoITChromeWebDriverブログ
WebDriver Chrome WebDriver 起動チェックアプリ WebDriverというオフィシャルな機能を使ってChromeを操作できます。開いたURLから普段見ている部分の情報を取得しExcelやtxtファイルに書き込む、スマホ代請求書を印刷するために、ログインして請求書ページから最新月のをダウンロード、それをプリンタで印刷(メールに添付して経理に送る)など、ブラウザを使った操作の自動化が簡単になります。 2019-11-14 WebDriverアプリブログ