スクレイパ失敗した version 1

2020/12/03 22:04 by aikatsu
  :追加された部分   :削除された部分
(差分が大きい場合、文字単位では表示しません)
スクレイパ失敗した
(ネタを続かせるために小分けでやる...かも)

セリフ検索が某ダイチャンネルにあるので
セリフからアイカツ!のモノだけピックアップしようと思った(Pythonで)
まずはアイカツ!の件数を表示してあとで話数とか取れたら取る的な感じを想定

![名称未設定](https://mimemo.s3-ap-northeast-1.amazonaws.com/attachment/b4ab0443-585f-4d59-927f-c56944798f1f.png)

JSで動的なページをスクレイピングする場合web-driverとか使って操作処理をコーディングするけども,そこまでするのだるいし
適当に待機でJS走ってページ読んでくれてからスクレイピングできればいいんだよね
って需要はやはりあるようでSeleniumとか使わなくてもサクッといけるやつがあった

- [requests-html · PyPI](https://pypi.org/project/requests-html/)

requests-html があればよしなにやってくれそうだしほとんどbs4(Pythonで有名なスクレイピングライブラリ)と書き方も似てるし

でやってみたけどダメ
bs4より結果が変わってるのでページが生成されてから処理はしてるみたいだけどこれでもまだ早い
time.sleep入れても変わらない

JSゴリゴリでページ生成してるところはやっぱweb-driverなseleniumとか使わないとダメかねぇ

みたいなメモ的なモノを残すだけの `アイカツAdvent Calendar2020` 3日目

      

(ネタを続かせるために小分けでやる...かも)

セリフ検索が某ダイチャンネルにあるので
セリフからアイカツ!のモノだけピックアップしようと思った(Pythonで)
まずはアイカツ!の件数を表示してあとで話数とか取れたら取る的な感じを想定

名称未設定

JSで動的なページをスクレイピングする場合web-driverとか使って操作処理をコーディングするけども,そこまでするのだるいし
適当に待機でJS走ってページ読んでくれてからスクレイピングできればいいんだよね
って需要はやはりあるようでSeleniumとか使わなくてもサクッといけるやつがあった

requests-html があればよしなにやってくれそうだしほとんどbs4(Pythonで有名なスクレイピングライブラリ)と書き方も似てるし

でやってみたけどダメ
bs4より結果が変わってるのでページが生成されてから処理はしてるみたいだけどこれでもまだ早い
time.sleep入れても変わらない

JSゴリゴリでページ生成してるところはやっぱweb-driverなseleniumとか使わないとダメかねぇ

みたいなメモ的なモノを残すだけの アイカツAdvent Calendar2020 3日目