利用cloudflare workers免费加速wordpress博客

在提升体验上,网站总是不惜代价提升自己的网站的加载速度,为了获得这种效果,google推出了amp项目,百度推出了mip项目,但是为了获得这种效果,需要另外部署一套网站代码,实在过于繁琐,增加开发成本……

阅读全文

利用谷歌浏览器测试接口技巧

在编写爬虫的时候,经常会因为手动修改header和cookie之类的问题弄得焦头烂额,总是出错,这里介绍一个非常方便的利用chrome自带的工具进行python版本的requests请求。……

阅读全文

10个建议提高你的python数据分析技巧

在编程的世界里,经常一些小小的建议或者帮助就可以起到很大的作用。 比如说有个快捷键或者一个包简单应用就可以起到简化大量工作,达到事半功倍的效果,这里我就介绍几种我经常用到的小技巧。

1. pandas dataframe的pandas_profiling函数查看数据情况

在分析数据前,了解我们的数据是数据分析里面很重要的一个环节,虽然在pandas里面有一些像df.describe,df.info()函数虽然起到了一定的查看数据的功能。但是对于较大的数据和比较复杂的功能他们就不再提供了,而pandas_profiling里面的profile_report函数却可以得到比较详细的数据情况。 pandas_profile

……

阅读全文

如何给阿里云ecs开启ipv6访问

阿里云centos镜像默认是把ipv6给注释掉的,如果要开启的话需要使用IPv4 和 IPv6 双栈网络,这需要申请公测资格,不是很方便,这里我们使用tunnelbroker提供的ipv6隧道来使其支持ipv6访问。而学校电信是可以直接获取ipv6地址的,如果阿里云服务器可以ipv6访问的话就可以免费上网了。

……

阅读全文

python中的序列化与反序列化

有时候需要临时将数据存储起来,方便下次运行程序时可以直接调用,或者不同线程之间交换数据都是可以用序列化的方式把数据存储>起来,然后调用,这里我们以pickle包来解释python中的序列化与反序列化……

阅读全文

利用docker容器技术搭建Google镜像

由于新环境路由器不具备安装酸酸或v2的条件,在路由器上实现上google搜索海量英文技术内容就不行了,我们这里采用官方的google镜像容器做一个谷-歌的镜像网站并映射到自己已有的域名上。

搭建条件:

1.vultr等各种VPS 2.有个域名,这里我们使用google.bobobk.com作为谷歌镜像的域名站

……

阅读全文

python3提取免费高匿代理

写爬虫总是免不了被ban  ip,限制流量等问题,有个高效的ip代理池还是很重要的,这里我们就介绍如何从已有公开代理总提取有效ip组建自己高效的爬虫代理池

主要以下几个模块

1.requests爬取代理 2.更新检测可用代理

requests爬取代理,选取xici代理为例

高匿网页地址xici, 检查元素

xici

元素选择就是id为ip_list的tr为一个一个的代理,td下为详细信息,因此css选择器就可以为 content.css("#ip_list").css(“tr”) ,然后在提取1,6项即可,后续加入判断ip可用性选项,判断成功后存入json文件,以后就可以通过http形式获取到可用的代理信息。

……

阅读全文

Python 的这几个技巧分享

尽管本人已经使用Python编程有多年了,今天仍然惊奇于这种语言所能让代码表现出的整洁和对DRY编程原则的适用。这些年来的经历让我学到了很多的小技巧和知识,大多数是通过阅读很流行的开源软件,如Django, Flask,Requests中获得的。

下面我挑选出的这几个技巧常常会被人们忽略,但它们在日常编程中能真正的给我们带来不少帮助。

……

阅读全文