scrapy处理ssl错误,failure.Failure错误异常 scrapy请求错误日志 requests请求错误日志 猜测可能是指纹问题,然后尝试curl_cffi处理指纹问题,结果如下: curl_cffi请求成功 解决办法 修改scrapy的中间件 在写的时候,我先去github去搜了一下,看看有没有已经完成的中间件,减少造轮子的次数,然后不出意外,就看到了https://github.com/tieyongjie/scrapy-f 爬虫 bgspider 2024-12-05 58 热度0评论
不到20行代码就能过某227滑块验证码代码就在下面,需要的自己验证即可,仅供学习参考 -----------------------------华丽非分割线----------------------------- 开个玩笑,做一次标题党,代码确实是没几行,因为是使用的dp,全程是drissionpage,下面是完整代码,本地试了几次也没啥太大问题 from DrissionPage import ChromiumPage, Chro 爬虫 bgspider 2024-06-06 105 热度0评论
免费IP信息查询API接口作者仓库地址:https://github.com/ihmily/ip-info-api 同步仓库地址(不需要魔法):https://gitea.bgspider.com/bgspider/ip-info-api 说明 该存储库收集了各种免费的IP查询API,无需配置任何key直接可访问,使大家能够快速访问IP信息,如地理位置、ISP详细信息和网络类型。请根据自己的需求选择合适的API,持续更新中 爬虫 bgspider 2024-05-13 94 热度0评论