博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬虫添加代理
阅读量:4329 次
发布时间:2019-06-06

本文共 698 字,大约阅读时间需要 2 分钟。

# -*- coding: utf-8 -*-__author__ = 't_lishu'from urllib import requestdef use_proxy_ip():    url = 'https://www.baidu.com/'    proxy = {
'http': "10.41.82.82:8080"} # 创建ProxyHandler proxy_support = request.ProxyHandler(proxy) # 创建Opener opener = request.build_opener(proxy_support) # 添加User Angent opener.addheaders = [('user-agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36')] # 安装OPener request.install_opener(opener) response = request.urlopen(url) html = response.read() print(html)if __name__ == '__main__': use_proxy_ip()

 获取代理:

转载于:https://www.cnblogs.com/tuijin/p/9928018.html

你可能感兴趣的文章
HTTP协议
查看>>
CentOS7 重置root密码
查看>>
Centos安装Python3
查看>>
PHP批量插入
查看>>
laravel连接sql server 2008
查看>>
Ubuntu菜鸟入门(五)—— 一些编程相关工具
查看>>
valgrind检测linux程序内存泄露
查看>>
Hadoop以及组件介绍
查看>>
1020 Tree Traversals (25)(25 point(s))
查看>>
第一次作业
查看>>
“==”运算符与equals()
查看>>
单工、半双工和全双工的定义
查看>>
Hdu【线段树】基础题.cpp
查看>>
时钟系统
查看>>
BiTree
查看>>
5个基于HTML5的加载动画推荐
查看>>
水平权限漏洞的修复方案
查看>>
静态链接与动态链接的区别
查看>>
Android 关于悬浮窗权限的问题
查看>>
如何使用mysql
查看>>