スクレイパ失敗した version 1
:追加された部分
:削除された部分
(差分が大きい場合、文字単位では表示しません)
スクレイパ失敗した
(ネタを続かせるために小分けでやる...かも)
セリフ検索が某ダイチャンネルにあるので
セリフからアイカツ!のモノだけピックアップしようと思った(Pythonで)
まずはアイカツ!の件数を表示してあとで話数とか取れたら取る的な感じを想定
![名称未設定](https://mimemo.s3-ap-northeast-1.amazonaws.com/attachment/b4ab0443-585f-4d59-927f-c56944798f1f.png)
JSで動的なページをスクレイピングする場合web-driverとか使って操作処理をコーディングするけども,そこまでするのだるいし
適当に待機でJS走ってページ読んでくれてからスクレイピングできればいいんだよね
って需要はやはりあるようでSeleniumとか使わなくてもサクッといけるやつがあった
- [requests-html · PyPI](https://pypi.org/project/requests-html/)
requests-html があればよしなにやってくれそうだしほとんどbs4(Pythonで有名なスクレイピングライブラリ)と書き方も似てるし
でやってみたけどダメ
bs4より結果が変わってるのでページが生成されてから処理はしてるみたいだけどこれでもまだ早い
time.sleep入れても変わらない
JSゴリゴリでページ生成してるところはやっぱweb-driverなseleniumとか使わないとダメかねぇ
みたいなメモ的なモノを残すだけの `アイカツAdvent Calendar2020` 3日目
(ネタを続かせるために小分けでやる...かも)
セリフ検索が某ダイチャンネルにあるので
セリフからアイカツ!のモノだけピックアップしようと思った(Pythonで)
まずはアイカツ!の件数を表示してあとで話数とか取れたら取る的な感じを想定
JSで動的なページをスクレイピングする場合web-driverとか使って操作処理をコーディングするけども,そこまでするのだるいし
適当に待機でJS走ってページ読んでくれてからスクレイピングできればいいんだよね
って需要はやはりあるようでSeleniumとか使わなくてもサクッといけるやつがあった
requests-html があればよしなにやってくれそうだしほとんどbs4(Pythonで有名なスクレイピングライブラリ)と書き方も似てるし
でやってみたけどダメ
bs4より結果が変わってるのでページが生成されてから処理はしてるみたいだけどこれでもまだ早い
time.sleep入れても変わらない
JSゴリゴリでページ生成してるところはやっぱweb-driverなseleniumとか使わないとダメかねぇ
みたいなメモ的なモノを残すだけの アイカツAdvent Calendar2020
3日目