スクレイピング

スポンサーリンク
google

Pythonの簡単な利用方法、GoogleColaboratory googleアカウントで使え、Seleniumでスクレイピングも(ChromiumはDebianから)

Pythonの簡単な利用方法、GoogleColaboratory googleアカウントで使え、Seleniumでスクレイピングも(ChromiumはDebianから)
docker

Docker Selenium GridサーバとPythonでスクレイピングやブラウザ自動操作環境を構築

Docker Selenium GridサーバとDocker Pythonで構築すれば気軽にブラウザ操作できるようになります。データベースコンテナ作ってそこにデータ蓄積、別途googleドライブにアップするかエクセルファイル作るなどすればいい感じになりますね
WebDriver

navigator.webdriver=trueだとロボットだとバレる。その回避法はあるか?puppeteerなら出来そう

Selenium含め、WebDriver使うとnavigator.webdriver=trueがセットされます。もし自分のサイトがスクレイピングなどされたくない場合は、JavaScriptなどでこの値がtrueにセットされていれば別ページにジャンプなどすればOK。puppeteerだとnavigator.webdriverプロパティを削除することが出来ます。
Excel

楽天商品レビュー取得&キーワード抽出ロボットアプリ(現在販売保留中)

楽天市場にある商品レビューをロボットが自動的に読み取り、さらにそのレビューコメントをキーワード毎に分割してエクセルファイルを作成するアプリです。レビューURLを指定し「開始」を押すとロボットが自動的にレビューページ情報をエクセルにまとめてくれます。さらにそのレビューからキーワードを抽出し、その商品レビューにはどういうキーワードが多いのかなどの特徴が見出せます。
AutoIT

AutoItでChromeを操作する

AutoItでChromeなどのブラウザを操作するにはWebDriver UDFを使うのが楽です。Chromeをプログラムで操作しいくつかのサイトを開くまでを解説していきます。無料のデモアプリも用意したのでダウンロードして使ってみてください。WebDriverが正しく動くと指定したurlが表示されるはずです。うまくいかないときはwebdriverexeを変更するなりして動作するまで試してみましょう。
スポンサーリンク
タイトルとURLをコピーしました