春江暮客

春江暮客的个人学习分享网站

利用docker容器技术搭建Google镜像

2019年6月27日 | 杂谈

由于新环境路由器不具备安装酸酸或v2的条件,在路由器上实现上google搜索海量英文技术内容就不行了,我们这里采用官方的google镜像容器做一个谷-歌的镜像网站并映射到自己已有的域名上。

搭建条件:

1.vultr等各种VPS 2.有个域名,这里我们使用google.bobobk.com作为谷歌镜像的域名站

……

阅读全文

python3提取免费高匿代理

2019年6月25日 | 杂谈

写爬虫总是免不了被ban  ip,限制流量等问题,有个高效的ip代理池还是很重要的,这里我们就介绍如何从已有公开代理总提取有效ip组建自己高效的爬虫代理池

主要以下几个模块

1.requests爬取代理 2.更新检测可用代理

requests爬取代理,选取xici代理为例

高匿网页地址xici, 检查元素

xici

元素选择就是id为ip_list的tr为一个一个的代理,td下为详细信息,因此css选择器就可以为 content.css("#ip_list").css(“tr”) ,然后在提取1,6项即可,后续加入判断ip可用性选项,判断成功后存入json文件,以后就可以通过http形式获取到可用的代理信息。

……

阅读全文

Python 的这几个技巧分享

2019年6月17日 | 杂谈

尽管本人已经使用Python编程有多年了,今天仍然惊奇于这种语言所能让代码表现出的整洁和对DRY编程原则的适用。这些年来的经历让我学到了很多的小技巧和知识,大多数是通过阅读很流行的开源软件,如Django, Flask,Requests中获得的。

下面我挑选出的这几个技巧常常会被人们忽略,但它们在日常编程中能真正的给我们带来不少帮助。

……

阅读全文

python类的继承和多态

2019年6月3日 | 杂谈

在面向对象(OOP)程序设计中,当定义一个class的时候,可从某个现有的class继承 新的class称为子类(Subclass),而被继承的class称为基类、父类或超类(Base class、Super class)

格式:

子类名(父类名):
	pass

使用示例

class Animal(object):
    def run(self):
        print('Animal is running...') 
class Dog(Animal):
    pass   
class Dog1(Animal):
    def run(self):
        print('Dog is running...')      
def run_twice(animal):  
    animal.run()
    animal.run()
dog = Dog()
dog.run()    #输出:Animal is running...
dog1 = Dog1()
dog1.run()    #输出:Dog is running...,执行子类自己的方法
run_twice(Animal())
#输出:Animal is running...
#输出:Animal is running...
run_twice(Dog1())
#输出:Dog is running...
#输出:Dog is running...
#新追加一个子类型Tortoise,然后调用run_twice函数,依然可以运行
class Tortoise(Animal):
    def run(self):
        print('Tortoise is running slowly...')
run_twice(Tortoise())   #调用run_twice函数,依然可以运行,确保传入的对象有run()方法即可
#输出:Tortoise is running slowly...
#输出:Tortoise is running slowly...

class_exam

……

阅读全文

python中进程池,线程池与协程

2019年6月2日 | 杂谈
不管是线程还是进程,都不能无限制的开下去,总会消耗和占用资源,硬件的承载能力是有限度的,在保证高效率工作的同时应该还需要保证硬件的资源占用情况,所以需要给硬件设置一个上限>来减轻硬件的压力,所以就有了池的概念……

阅读全文

Python3 print 函数用法总结

2019年6月1日 | 杂谈

python3与python2在print函数上做的更加明确

1. 输出字符串和数字

print(“runoob”)    # 输出字符串 runoob

print(100)            # 输出数字 100

str = ‘runoob’

print(str)              # 输出变量 runoob

L = [1,2,’a’]          # 列表

print(L) [1, 2, ‘a’]

t = (1,2,’a’)           # 元组

print(t) (1, 2, ‘a’)

d = {‘a’:1, ‘b’:2}     # 字典

print(d) {‘a’: 1, ‘b’: 2}

……

阅读全文

Python 数据可视化 - 00 后高考大军

2019年6月1日 | 技术

00后大军高考结束了,网络上对这次高考的报道很多(毕竟00后小鲜肉嘛),很多都关注了今年的考生数据,并且用炫酷的图表展示。看着是不是有点小嫉妒,为什么图表还可以做得这么漂亮???是不是也想自己动手做一张???其实这些图表都可以用python制作出来的数据可视化的产物,所以当然是可以自己动手制作的啦

……

阅读全文

一行 Python 代码实现并行

2019年6月1日 | 技术
Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题,例如线程的实现和 GIL,我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、多进程教程多显得偏”重”。而且往往隔靴搔痒,没有深入探讨日常工作中最有用的内容。……

阅读全文

screen session外关闭session会话

2019年5月21日 | 杂谈

screen作为一个用来后台运行的程序非常好用,一般情况下screen -r连接到会话使用ctr + c就可以关闭会话了,但是像我这样在python脚本里面使用了try except捕获异常的话就会发现根本关闭不了整个会话,而仅仅是跳出了循环而已,所以在会话外直接关闭特定会话就比较方便,

其实命令就是

……

阅读全文

thunder迅雷下载地址真实地址解析

2019年5月17日 | 杂谈
经常下载视频游戏之类的同学们应该经常碰到thunder开头的迅雷下载地址,但是却经常由于版权问题不能下载,那么这里就普通下载url与迅雷下载地址转换进行说明……

阅读全文

友情链接

其它