0 スクレイパ失敗した
(ネタを続かせるために小分けでやる...かも)
セリフ検索が某ダイチャンネルにあるので
セリフからアイカツ!のモノだけピックアップしようと思った(Pythonで)
まずはアイカツ!の件数を表示してあとで話数とか取れたら取る的な感じを想定
JSで動的なページをスクレイピングする場合web-driverとか使って操作処理をコーディングするけども,そこまでするのだるいし
適当に待機でJS走ってページ読んでくれてからスクレイピングできればいいんだよね
って需要はやはりあるようでSeleniumとか使わなくてもサクッといけるやつがあった
requests-html があればよしなにやってくれそうだしほとんどbs4(Pythonで有名なスクレイピングライブラリ)と書き方も似てるし
でやってみたけどダメ
bs4より結果が変わってるのでページが生成されてから処理はしてるみたいだけどこれでもまだ早い
time.sleep入れても変わらない
JSゴリゴリでページ生成してるところはやっぱweb-driverなseleniumとか使わないとダメかねぇ
みたいなメモ的なモノを残すだけの アイカツAdvent Calendar2020
3日目
コメント(0)