google Pythonの簡単な利用方法、GoogleColaboratory googleアカウントで使え、Seleniumでスクレイピングも(ChromiumはDebianから) Pythonの簡単な利用方法、GoogleColaboratory googleアカウントで使え、Seleniumでスクレイピングも(ChromiumはDebianから) 2023-01-28 googlepythonWebDriver
docker Docker Selenium GridサーバとPythonでスクレイピングやブラウザ自動操作環境を構築 Docker Selenium GridサーバとDocker Pythonで構築すれば気軽にブラウザ操作できるようになります。データベースコンテナ作ってそこにデータ蓄積、別途googleドライブにアップするかエクセルファイル作るなどすればいい感じになりますね 2023-01-23 dockerpythonseleniumWebDriver
WebDriver navigator.webdriver=trueだとロボットだとバレる。その回避法はあるか?puppeteerなら出来そう Selenium含め、WebDriver使うとnavigator.webdriver=trueがセットされます。もし自分のサイトがスクレイピングなどされたくない場合は、JavaScriptなどでこの値がtrueにセットされていれば別ページにジャンプなどすればOK。puppeteerだとnavigator.webdriverプロパティを削除することが出来ます。 2020-03-04 WebDriverブログ
Excel 楽天商品レビュー取得&キーワード抽出ロボットアプリ(現在販売保留中) 楽天市場にある商品レビューをロボットが自動的に読み取り、さらにそのレビューコメントをキーワード毎に分割してエクセルファイルを作成するアプリです。レビューURLを指定し「開始」を押すとロボットが自動的にレビューページ情報をエクセルにまとめてくれます。さらにそのレビューからキーワードを抽出し、その商品レビューにはどういうキーワードが多いのかなどの特徴が見出せます。 2019-11-18 Excelアプリ
AutoIT AutoItでChromeを操作する AutoItでChromeなどのブラウザを操作するにはWebDriver UDFを使うのが楽です。Chromeをプログラムで操作しいくつかのサイトを開くまでを解説していきます。無料のデモアプリも用意したのでダウンロードして使ってみてください。WebDriverが正しく動くと指定したurlが表示されるはずです。うまくいかないときはwebdriverexeを変更するなりして動作するまで試してみましょう。 2019-11-13 AutoITChromeWebDriverwindows