阅读全文

阅读全文

阅读全文

阅读全文

阅读全文

阅读全文

阿里云centos镜像默认是把ipv6给注释掉的，如果要开启的话需要使用IPv4 和 IPv6 双栈网络，这需要申请公测资格，不是很方便，这里我们使用tunnelbroker提供的ipv6隧道来使其支持ipv6访问。而学校电信是可以直接获取ipv6地址的，如果阿里云服务器可以ipv6访问的话就可以免费上网了。

阅读全文

阅读全文

由于新环境路由器不具备安装酸酸或v2的条件，在路由器上实现上google搜索海量英文技术内容就不行了，我们这里采用官方的google镜像容器做一个谷-歌的镜像网站并映射到自己已有的域名上。

搭建条件：

1.vultr等各种VPS 2.有个域名，这里我们使用google.bobobk.com作为谷歌镜像的域名站

阅读全文

写爬虫总是免不了被ban  ip，限制流量等问题，有个高效的ip代理池还是很重要的，这里我们就介绍如何从已有公开代理总提取有效ip组建自己高效的爬虫代理池

主要以下几个模块

1.requests爬取代理 2.更新检测可用代理

requests爬取代理，选取xici代理为例

高匿网页地址xici， 检查元素

元素选择就是id为ip_list的tr为一个一个的代理，td下为详细信息，因此css选择器就可以为 content.css("#ip_list").css(“tr”) ，然后在提取1，6项即可,后续加入判断ip可用性选项，判断成功后存入json文件，以后就可以通过http形式获取到可用的代理信息。

阅读全文

尽管本人已经使用Python编程有多年了，今天仍然惊奇于这种语言所能让代码表现出的整洁和对DRY编程原则的适用。这些年来的经历让我学到了很多的小技巧和知识，大多数是通过阅读很流行的开源软件，如Django, Flask,Requests中获得的。

下面我挑选出的这几个技巧常常会被人们忽略，但它们在日常编程中能真正的给我们带来不少帮助。

阅读全文

在面向对象(OOP)程序设计中，当定义一个class的时候，可从某个现有的class继承 新的class称为子类(Subclass)，而被继承的class称为基类、父类或超类(Base class、Super class)

格式：

子类名(父类名):
	pass

使用示例

class Animal(object):
    def run(self):
        print('Animal is running...') 
class Dog(Animal):
    pass   
class Dog1(Animal):
    def run(self):
        print('Dog is running...')      
def run_twice(animal):  
    animal.run()
    animal.run()
dog = Dog()
dog.run()    #输出：Animal is running...
dog1 = Dog1()
dog1.run()    #输出：Dog is running...，执行子类自己的方法
run_twice(Animal())
#输出：Animal is running...
#输出：Animal is running...
run_twice(Dog1())
#输出：Dog is running...
#输出：Dog is running...
#新追加一个子类型Tortoise，然后调用run_twice函数，依然可以运行
class Tortoise(Animal):
    def run(self):
        print('Tortoise is running slowly...')
run_twice(Tortoise())   #调用run_twice函数，依然可以运行，确保传入的对象有run()方法即可
#输出：Tortoise is running slowly...
#输出：Tortoise is running slowly...

阅读全文