春江暮客

春江暮客的个人学习分享网站

利用docker容器技术搭建Google镜像

利用docker容器技术搭建Google镜像

2019年6月27日 | 杂谈

由于新环境路由器不具备安装酸酸或v2的条件,在路由器上实现上google搜索海量英文技术内容就不行了,我们这里采用官方的google镜像容器做一个谷-歌的镜像网站并映射到自己已有的域名上。

搭建条件:

1.vultr等各种VPS 2.有个域名,这里我们使用google.bobobk.com作为谷歌镜像的域名站

……

阅读全文

python3提取免费高匿代理

python3提取免费高匿代理

2019年6月25日 | 杂谈

写爬虫总是免不了被ban  ip,限制流量等问题,有个高效的ip代理池还是很重要的,这里我们就介绍如何从已有公开代理总提取有效ip组建自己高效的爬虫代理池

主要以下几个模块

1.requests爬取代理 2.更新检测可用代理

requests爬取代理,选取xici代理为例

高匿网页地址xici, 检查元素

xici

元素选择就是id为ip_list的tr为一个一个的代理,td下为详细信息,因此css选择器就可以为 content.css("#ip_list").css(“tr”) ,然后在提取1,6项即可,后续加入判断ip可用性选项,判断成功后存入json文件,以后就可以通过http形式获取到可用的代理信息。

……

阅读全文

友情链接

其它