python爬虫设置代理ip的方法-创新互联

这篇文章主要介绍了python爬虫设置代理ip的方法，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

凭借整站使用H5网站设计的创新体验、定制设计、设计团队积累与透明式的服务过程,符合行业特点，专属顾问根据企业产品，消费群体属性，准确定位；设计师以目标客户为中心，以突出品牌官网特性为宗旨，定制专属网站建设设计方案。

python爬虫设置代理ip的方法：首先写入获取到的ip地址到proxy；然后用百度检测ip代理是否成功，并请求网页传的参数；最后发送get请求，并获取返回页面保存到本地。

python爬虫设置代理ip的方法：

设置ip代理是爬虫必不可少的技巧；

查看本机ip地址；打开百度，输入“ip地址”，可以看到本机的IP地址；

本文使用的是goubanjia.com里面的免费ip；

使用时注意要注意传输协议是http还是https，代码如下；

# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
    'https':'221.178.232.130:8080'
}
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
    'wd':'ip地址'
}
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地，便于查看
with open('ip.html','w',encoding='utf-8') as f:
    f.write(response.text)

打开存入的“ip.html”查看内容如下；

感谢你能够认真阅读完这篇文章，希望小编分享python爬虫设置代理ip的方法内容对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联-成都网站建设公司行业资讯频道，遇到问题就找创新互联，详细的解决方法等着你来学习!

网页名称：python爬虫设置代理ip的方法-创新互联
本文URL：http://cdxtjz.cn/article/epgop.html