CFSCRAPE模块介绍及无法正常使用的修复方法

发布于 21 天前  33 次阅读


很多网站都有CloudFlare(国内是百度云加速,两者有合作)的防火墙保护,我的博客就在CloudFlare上进行DNS解析,不过没有开启防火墙服务。

百度一下其实有不少解决这个5秒防火墙的教程,不过github上有人给出了更便捷的解决方法。

https://github.com/Anorov/cloudflare-scrape


A Python module to bypass Cloudflare's anti-bot page.
import cfscrape

scraper = cfscrape.create_scraper()  

# returns a CloudflareScraper insta
# Or: scraper = cfscrape.CloudflareScraper()  # CloudflareScraper inherits from requests.Session

print scraper.get("http://somesite.com").content 
 # => "..."

同时,这个模块可以替代requests的部分功能使用。

不过刚才我下载使用的时候,一直卡着获取不到信息

后来我在原项目的ISSUES里翻到一个解决办法:

https://github.com/Anorov/cloudflare-scrape/issues/320#issuecomment-567965210

搞完之后确实可以用了,算是个临时解决办法,继续等模块作者更新吧。