搜索到
1
篇与
的结果
-
爬取数据的优化与另类技巧 优化：爬虫访问一个url 比如小红书[https://www.baidu.com]这其中进行的操作会有： 分发cdn 网络域名解析ip 其中 域名解析IP可能需要几十上百毫秒每次 如果我们拿它的IP直接访问 每次就可以节省这个时间ping www.baidu.com 得到 14.215.177.39 访问这个IP就和直接访问域名一样（这个有些网站不适用 有的限制不允许这样）关于分发的cdn服务器有的IP拉黑可能是在cdn上的 然后一个网站可能有很多个cdn 服务器一个IP黑了 可以再访问下其他cdn的节点看能不能爬 这样可以实现IP利用率最大华推荐一个检测cdn IP的网站：https://www.17ce.com/ 站点也分3个pc端,m端,app端网站可能也有sitemap有的话可以访问它 得到某些好用的数据网站扫描有的可能有测试站点，扫描一下它的子域名 看看有没有啥好东东
