189 8069 5689

如何用python抓取网站教程并制作成PDF文档

这篇文章主要介绍“如何用python抓取网站教程并制作成PDF文档”,在日常操作中,相信很多人在如何用python抓取网站教程并制作成PDF文档问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何用python抓取网站教程并制作成PDF文档”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

创新互联是一家专注于成都做网站、成都网站设计与策划设计,香坊网站建设哪家好?创新互联做网站,专注于网站建设10余年,网设计领域的专业建站公司;建站业务涵盖:香坊等地区。香坊做网站价格咨询:18980820575

实现功能:抓取廖雪峰网站的python教程,保存html页面到本地,然后用pdfkit包将html转换为pdf。
运行需求:安装python的pdfkit包和windows下的wkhtmltopdf。

代码如下:
# -*- coding: utf-8
import urllib2
import urllib
import re,os
import time
import pdfkit
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

class Liao:
    def __init__(self,init_url,out_put_path):
        self.init_url = init_url
        self.out_put_path = out_put_path
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = { 'User-Agent' : self.user_agent }
        self.file_name = 'liao.pdf'
        self.html_template = """
                           
                           
                           
                               
                           
                           
                            {content}
                           
                           

    #获取网页内容
    def get_content(self,url):
        try:
            request = urllib2.Request(url,headers=self.headers)
            response = urllib2.urlopen(request)
            content = response.read().decode('utf-8').encode('GBK')
            return content
        except urllib2.URLError, e:
            if hasattr(e,"reason"):
                print u"连接页面失败,错误原因",e.reason
                return None

    #获取文章目录url列表
    def get_article_url(self):
        content = self.get_content(self.init_url)
        #print content
        pattern = re.compile(r'

  • .*?(.*?).*?
  • ',re.S)
            # pattern = re.compile(r'
  • ',re.S)
            result = re.findall(pattern,content)
            i = 1
            print len(result)
            # for x in result:
            #     print x[0],x[1]
            #     i+=1
            return result

        #获取文章内容,传入文章的url,返回文章内容
        def get_article_detail(self):
            url_list = self.get_article_url()
            pattern = re.compile(r'
    (.*?)
    ',re.S)
            # patt_title = re.compile(r'
    (.*?)
    ')
            patt_img = re.compile(r'        i = 1
            urls = []
            for item in url_list:
                #获取文章的url
                article_url = 'http://www.liaoxuefeng.com' + item[1]
                url_ind = article_url.split('/')[-1]

                #提取文章标题
                article_title = item[2].replace('/','_')
                title_level = item[0]
                #title_tag = '
    ' + article_title + '
    '
                title_tag = '

    ' + article_title + '

    '
                #生成html文件名
                html_file = url_ind + '.html'

                #根据文章url,抓取文章内容
                content = self.get_content(article_url)
                article_content = str(re.findall(pattern,content)[0])

                #处理图片的url,加上域名
                def func(m):
                    if not m.group(1).startswith("http"):
                        rtn = '                    return rtn
                    else:
                        return '            article_content = re.compile(patt_img).sub(func, article_content)

                #将标题加到文章内容中
                article_content = title_tag + article_content
                article_content = self.html_template.format(content=article_content)

                #生成url及文件名列表
                urls.append((url_ind,html_file))

                #写文件
                print 'saving file ' + html_file
                with open(html_file, 'wb') as f:
                    f.write(article_content)
            return urls

        #将html保存成pdf
        def save_pdf(self,htmls):
            """
            把所有html文件保存到pdf文件
            """
            options = {
                    'page-size': 'Letter',
                    'encoding': "UTF-8",
                    'custom-header': [
                        ('Accept-Encoding', 'gzip')
                    ]
                }
            pdfkit.from_file(htmls, self.file_name, options=options)

    init_url = 'http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000'
    out_put_path = 'd:/python/test/output'
    liao = Liao(init_url,out_put_path)
    urls = liao.get_article_detail()
    htmls = [x[1] for x in urls]
    liao.save_pdf(htmls)

    到此,关于“如何用python抓取网站教程并制作成PDF文档”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


    本文标题:如何用python抓取网站教程并制作成PDF文档
    标题来源:http://cdxtjz.cn/article/pddoog.html
  • 其他资讯