Rubyと筋肉とギターとわたし

筋トレが仕事です

スクレイピング

【Selenium】location_once_scrolled_into_viewでelement not interactableが発生したときの対処方法

どうもてぃ。 自社開発でseleniumをよく使うのですが、とあるサイトをクローリングしているときに出くわしたエラーを力技で解決したので備忘録として残します。 環境 wsl2 ruby 3.1.2p20 Google Chrome 109.0.5414.74 (wslへinstallしたもの) コード require…

【Ruby】スクレイピングに精度を求めるならNokogiriではなくSeleniumだ

どうもてぃです。 とある巨大ECサイト(通称熱帯雨林)をスクレイピングして遊んでいます。 今回は nokogiri で問題が発生したので記事にしました。 nokogiriのスクレイピング精度はあんまり良くないのを実体験で痛感しましたね。 environment Ubuntu 16.04.…

【スクレイピング】HerokuでSelenium::WebDriver::Error::SessionNotCreatedError: session not created from tab crashed

あけましておめでとうございます。 どうもてぃです。 HerokuでSeleniumを使ったスクレイピングをした際にエラーが不規則に出たので共有します。 環境 Ubuntu 16.04.5 LTS(elementary OS 0.4.1 Loki) Ruby 2.5.0 Rails 5.2.1 参考 公式のリポジトリをまず参…

【Ruby】スクレイピングをするときはUserAgentを設定しましょう

どうもてぃです。 現在業務でスクレイピングをしたデータをシステム上でよしなにやって、楽しく過ごしています。 今回とある、巨大なECサイト(俗称:熱帯雨林)をスクレイピングした際にエラーに見舞われたので、解決策を残しておこうと思います。 実行環境…