技术文章 > Python爬虫 >  爬虫进阶 > 正文

Python爬虫爬取网页中所有的url的多种实现方法

宋雪维

在使用python爬虫进行网络页面爬取的过程中,第一步肯定是要爬取url,若是面对网页中很多url,,又该如何爬取所以url呢?本文介绍Python爬虫爬取网页中所有的url的三种实现方法:1、使用BeautifulSoup快速提取所有url;2、使用Scrapy框架递归调用parse;3、在get_next_url()函数中调用自身,递归循环爬取所有url。

方法一:使用BeautifulSoup快速提取所有url

BeautifulSoup是一种可以从html和xml中快速提取内容的python库

    def getAllUrl(self,url):
        import urllib.request
        from bs4 import BeautifulSoup
        html = urllib.request.urlopen(url).read().decode("utf-8")
        soup = BeautifulSoup(html, features='html.parser')
        tags = soup.find_all('a')
        for tag in tags:
            print(str(tag.get('href')).strip())

方法二:使用Scrapy框架递归调用parse

递归调用parse直到每个页面爬取完

class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    # allowed_domains = ['www.qiushibaike.com/text']
    start_urls = ['https://www.qiushibaike.com/text/']

    # 设计一个url模板
    url = 'https://www.qiushibaike.com/text/page/%d/'
    pageNum = 1

    def parse(self, response):
        div_list = response.xpath("//div[@id='content-left']/div")
        for div in div_list:
            ....
            # 将item提交给管道
            yield item

        # 多url, 请求的手动发送
        if self.pageNum <= 13:  # 控制!否则无限递归了。。
            self.pageNum += 1
            print('爬第:%d 页' % self.pageNum)
            new_url = self.url % self.pageNum
            # callback 回调函数,页面进行解析
            yield scrapy.Request(url=new_url, callback=self.parse)

方法三:在get_next_url()函数中调用自身,递归循环爬取所有url

#!/usr/bin/env python 
# -*- coding:utf-8 -*-

import requests
from bs4 import BeautifulSoup as Bs4

head_url = "http://www.xxx.com.cn"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/72.0.3626.121 Safari/537.36"
}
def get_first_url():
    list_href = []
    reaponse = requests.get(head_url, headers=headers)
    soup = Bs4(reaponse.text, "lxml")
    urls_li = soup.select("#mainmenu_top > div > div > ul > li")
    for url_li in urls_li:
        urls = url_li.select("a")
        for url in urls:
            url_href = url.get("href")
            list_href.append(head_url+url_href)
            out_url = list(set(list_href))
    return out_url


def get_next_url(urllist):
    url_list = []
    for url in urllist:
        response = requests.get(url,headers=headers)
        soup = Bs4(response.text,"lxml")
        urls = soup.find_all("a")
        if urls:
            for url2 in urls:
                url2_1 = url2.get("href")
                if url2_1:
                    if url2_1[0] == "/":
                        url2_1 = head_url + url2_1
                        url_list.append(url2_1)
                        if url2_1[0:24] == "http://www.xxx.com.cn":
                            url2_1 = url2_1
                            url_list.append(url2_1)
                        else:
                            pass
                    else:
                        pass
                else:
                    pass
        else:
            pass
    url_list2 = set(url_list)
    for url_ in url_list2:
        res = requests.get(url_)
        if res.status_code ==200:
            print(url_)
    print(len(url_list2))
    get_next_url(url_list2)


if __name__ == "__main__":
    urllist = get_first_url()
    get_next_url(urllist)

以上就是Python爬虫爬取网页中所有的url的三种实现方法,希望能对你有所帮助哟~更多python爬虫进阶推荐:python爬虫进阶教程

免费视频教程
本教程部分素材来源于网络,版权问题联系站长!
相关文章
  列表解析式在python中拼接列表
  python中如何使用numpy.zeros()函数?
  python编程从入门到实践pdf免费查看
  python中numpy.ones()函数怎么用?
  python实战:爬取网站的购买记录
  Python爬虫后获取重定向url的方法有哪些?
  python爬虫实战之爬取百度首页的简单实现
相关视频章节
  Python蟒蛇绘制实例编写
  解决提示“‘python’不是内部或外外部命令
  python注释
  python编码规范
  python命名规范
  《Python程序设计》课程导论
视频教程分类