Rubyと筋肉とギターとわたし

筋トレが仕事です

nokogiri

【Ruby】スクレイピングに精度を求めるならNokogiriではなくSeleniumだ

どうもてぃです。 とある巨大ECサイト(通称熱帯雨林)をスクレイピングして遊んでいます。 今回は nokogiri で問題が発生したので記事にしました。 nokogiriのスクレイピング精度はあんまり良くないのを実体験で痛感しましたね。 environment Ubuntu 16.04.…

【Ruby】スクレイピングをするときはUserAgentを設定しましょう

どうもてぃです。 現在業務でスクレイピングをしたデータをシステム上でよしなにやって、楽しく過ごしています。 今回とある、巨大なECサイト(俗称:熱帯雨林)をスクレイピングした際にエラーに見舞われたので、解決策を残しておこうと思います。 実行環境…