技术文章 > Python爬虫 >  爬虫入门 > 正文

Python爬虫后获取重定向url的方法有哪些?

宋雪维

我们在使用python写爬虫在爬取页面时会遇到网页被重定向的情况,当点点击一个网页跳转到另一个页面,URL的地址都会改变,会导致无法请求到数据。本文介绍Python爬虫后获取重定向url的两种方法:1、导入urllib库获得重定向url;2、设置浏览器代理,请求网页。

方法一:导入urllib库获得重定向url

# 获得重定向url
from urllib import request
# https://zhidao.baidu.com/question/681501874175782812.html
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9 
JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
print(request.urlopen(url).geturl())

方法二:设置浏览器代理,请求网页。

# 请求头,这里我设置了浏览器代理
headers = headers = {'User-Agent': 'xx'}
# 这里chrome的user-agent获取方式:在浏览器地址栏输入 about://version 即可得到结果
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3 
zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
# 请求网页
response = requests.get(url, headers=headers)
# print(response.status_code) # 打印响应的状态码
print(response.url) # 打印重定向后的网址

以上就是Python爬虫后获取重定向url的两种方法,希望能对你有所帮助哟~更多python爬虫入门学习推荐:python爬虫教程

免费视频教程
本教程部分素材来源于网络,版权问题联系站长!
相关文章
  python sorted对键和值进行排序
  python中numpy.empty()函数的用法
  列表解析式在python中拼接列表
  python中如何使用numpy.zeros()函数?
  python编程从入门到实践pdf免费查看
  python中numpy.ones()函数怎么用?
  python实战:爬取网站的购买记录
相关视频章节
  解决提示“‘python’不是内部或外外部命令
  python注释
  python编码规范
  《Python程序设计》课程导论
  Python语言简介
视频教程分类