我们知道，一些网站会有相应的反爬虫措施，比如检测某些IP的访问次数或者访问频率，有些反人类的访问速度就会受到限制甚至封禁，所以在进行爬虫工作时也要讲究策略，比如使用代理IP、调整访问频率、设置UA等等，让我们来看看如何简单的使用代理IP。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import random
if __name__ == "__main__":
#不同浏览器的UA
header_list = [
# 遨游
{"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
# 火狐
{"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
# 谷歌
{
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
]
#不同的代理IP(该代理ip可能已经失效，请自行去开心代理网站上购买开通)
proxy_list = [
{"http": "112.115.57.20:33128"},
{‘http‘: ‘121.41.171.223:32128‘}
]
#随机获取UA和代理IP
header = random.choice(header_list)
proxy = random.choice(proxy_list)
url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘
#参数3：设置代理
response = requests.get(url=url,headers=header,proxies=proxy)
response.encoding = ‘utf-8‘
with open(‘daili.html‘, ‘wb‘) as fp:
fp.write(response.content)
#切换成原来的IP
requests.get(url, proxies={"http": ""})
相关文章内容简介
1 不同的代理IP有什么区别？
不同的代理IP有什么区别？使用代理IP时，现在有很多代理IP商家，很多用户也看不出有什么不同，也不知道该怎么选择。那么，代理IP有什么不同呢？ 首先代理IP有免费和收费的，免费就是不需要花钱，在网络上可以直接找到，但可用率很低，挑选可用IP会很麻烦，只适合初级学者，不适合用于工作。收费就是由商家提供的代理IP软件，需要花钱，但操作简单，换IP也方便。如果不小心选择了质量差的代理，访问时候对方可能会识别出你使用了代理IP，依旧会查出真实IP，导致被封。 所以如果是专业人员工作使用代理IP，建议选择收费的代理IP，这样工作效率高，还不会有被封的风险。万变ip代理提供的IP均为高匿名IP，有不同套餐，可以按照自己的项目来选择，价格合理。 找到合适的代理IP要根据自己的实际需求来定，最简单的方法就是对IP进行验证，可以验证代理IP是否有效。还可以对代理IP提供的IP匿名程度来进行检测，一般都需要用高匿名代理效果是最好的。还可以验证代理IP是否可以访问... [阅读全文]
2 代理ip怎么选择呢？
代理ip怎么选择呢？代理IP很多人都不陌生，特别是推广人员，可以给我们的工作带来很大的帮助。随着需求的增大，IP代理软件特别多，所以在挑选的时候让很多用户不知该怎么办。那么，代理IP哪家好呢？ 万变ip代理IP是非常实用的，是自己搭建的服务器，IP可用率非常高，可达到97%，IP质量无需担心，在使用的时候绝对不会出现冲突的情况。而且操作的过程很简单，只需一键就可快速更换IP，还有专业技术人员在线指导，无论是否用过代理IP软件，都可以快速掌握。 选择好的代理IP软件用户要多参考几家软件，有的软件并不是特别好用，所以用户不要急于选择，可以多试用几家。 现在在网络中随便搜索就可以找到很多代理IP软件，因为软件的数量剧增，在选择的时候就尤为重要，如果选择了不好的代理，不仅不会给我们的工作带来帮助，还会很麻烦。下面就为大家介绍一下选择代理IP的三要素。 1.IP资源的数量。如果可以提供的IP数量很少，在切换IP的时候就很有可能... [阅读全文]
推荐阅读
04
2020-03
如何使用高速http代理ip
HTTP代理 IP作为最常见的协议模块隐藏 IP代理 ，使用非常简单，可以直接设置在IE上，也可以与程序的批处理操作相匹配。目前市场IP上有许多免费的HTTP代理，高匿名标志，编辑器可以很有责任
09
2020-04
代理IP对自媒体有什么作用？
随着互联网的崛起，一个依托于互联网的全新行业应运而生：自媒体。越来越多的人开始使用微博，抖音等短视频平台。而自媒体与新媒体可谓你中有我，我中有你，密不可分；IP代理则为新媒
04
2020-05
什么代理服务ip更平稳?
实际上代理服务 ip 主要用途愈来愈广，但是完全免费的的代理服务ip是十分不稳定的，还可以说其IP稳定性是十分极低的，那麼很多人一直
22
2021-02
高质量匿名的http代理可完全隐藏ip地址吗？
不管是电脑还是手机，我们每天都是联网的。我们可能与网络 ip 接触不多，但通过改变ip，我们可以了解得更深入。IP是一种“网络间互联的协议”，是一套可以使所有连接到互联网的计算机网
10
2020-10
网络爬虫救兵——代理IP
在互联网，并不是所有的信息都是可以互用共享的，现在有很多网站都设立了反爬虫措施，为的就是防止网站的信息被爬虫过度爬取，只要爬虫在一定时间内对目标网站发送过多的请求，给网站
06
2020-06
http代理和https代理区别何在？
代理IP发展至今，已经有了各种各样的种类，他们有不同的功能和适用范围。其中有两种分别是http代理IP和https代理IP的，用起来感觉没什么区别，https加密的网站http代理也能上，好像除了名字有
热门文章
因为专业！ 所以简单！ 产品至上，价格实惠 是我们服务追求的宗旨
免费试用
