Python如何一键爬取你所关心的书籍信息

import json
import requests
import pandas as pd
from lxml import etree

bsdf=pd.read_excel('booklistfortest.xlsx')
blst=list(bsdf['书名'])  #书名列表
#bsdf.head(3)

def getBookInfo(binfo,cc):
   i=0
   rss={}
   k=''
   v=''
   f=0
   clw=[]
   for c in cc:
       if '\n' in c:
           if '\xa0' in c:
               clw.append(c)
       else:
           clw.append(c)
   
   for m in binfo[0]:
       if m.tag=='span':
           mlst=m.getchildren()
           if len(mlst)==0:
               k=m.text.replace(':','')
               if '\xa0' in clw[i]:
                   f=1#需要m.tag=='a'下的值
               else:
                   v=clw[i].replace('\n','').replace(' ','')
               i+=1
           elif len(mlst)>0:#下面有子span 一种判断是m.attrib=={} 不够精确
               for n in mlst:
                   if n.tag=='span':
                       k=n.text.replace('\n','').replace(' ','') #不至于下面还有span，懒得用递归了
                   elif n.tag=='a':
                       v=n.text.replace('\n','').replace(' ','')
       
       elif m.tag=='a':
           if f==1: #是否可以不用这个if
               v=m.text.replace('\n','').replace(' ','')
               f=0
       elif m.tag=='br':
           if k=='':
               print(i,'err')
           else:
               rss[k]=v
       else:
           print(m.tag,i)
   return rss

rlst=[]
for bn in blst:
   res={}
   r=requests.get('https://book.douban.com/j/subject_suggest?q={0}'.format(bn))
   rj=json.loads(r.text)
   #对rj进行一下验证和筛选
   html=requests.get(rj[0]['url']) #之后再考虑多个返回值的验证
   con = etree.HTML(html.text)
   bname=con.xpath('//*[@id="wrapper"]/h2/span/text()')[0] #和bn比较
   res['bname_sq']=bn
   res['bname']=bname
   res['dbid']=rj[0]['id'] #不需要存url，存id就够了
   #这部分取到info就够了，之后再用高级方法去匹配需要的元素，目前对应不对
   binfo=con.xpath('//*[@id="info"]')
   cc=con.xpath('//*[@id="info"]/text()')
   res.update(getBookInfo(binfo,cc))  #调用上面的函数处理binfo
   bmark=con.xpath('//*[@id="interest_sectl"]/div/div[2]/strong/text()')[0]
   if bmark=='  ':
       bits=con.xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a/text()')[0]
       if bits=='评价人数不足':
           res['评分']=''
           res['评价人数']='评价人数不足'
       else:
           res['评分']=''
           res['评价人数']=''
   else:
       res['评分']=bmark.replace(' ','')
       bmnum=con.xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a/span/text()')[0]
       res['评价人数']=bmnum
   rlst.append(res)
得到的数据可以进行一定的标准化然后进行分析再输出。上面得到的列表rlst=[{'书名':'a','出版社':'b'},{'','','':''}]，可以直接变成dataframe，

outdf=pd.DataFrame(rlst) #转dataframe
outdf.to_excel('out_douban_binfo.xlsx',index=False) #输出数据

bdf=bsdf.merge(outdf,on='书名',how='left') # 数据合并
# 基本统计值
print('一共有{0}本书，{1}个作者，{2}个出版社；'.format(len(bdf),len(set(list(bdf['作
者']))),len(set(list(bdf['出版社'])))))

bdf.loc[bdf['作者']=='吴军',['书名','阅读时间','阅读情况','出版社']]
#output：
'''
                 书名       阅读时间 阅读情况      出版社
103             数学之美 2016-10-20   P5  人民邮电出版社
233             智能时代 2017-06-22   P4    中信出版社
237             硅谷之谜 2017-07-01   P4  人民邮电出版社
383  见识--商业的本质和人生的智慧 2018-10-21   P4    中信出版社
'''
对每月阅读数量进行统计：

import matplotlib.pyplot as plt #绘图用到matplotlib库
%matplotlib inline

bdf['阅读年月']=bdf['阅读时间'].apply(lambda x : x.strftime('%Y-%m'))
read_date=bdf['阅读年月'].value_counts() #每月阅读量，按月计数
read_date=pd.DataFrame(read_date,columns=['阅读年月']) #从Series变为DataFrame
read_date=read_date.sort_index()

plt.figure(figsize=(15,5))
plt.xticks(rotation=90)#设置时间标签显示格式
plt.plot(read_date) #因为jupyter里写了 %matplotlib inline 不用写 plt.show()

import numpy as np
bdf['阅读年']=bdf['阅读时间'].apply(lambda x : x.strftime('%Y'))
bdf['阅读月']=bdf['阅读时间'].apply(lambda x : x.strftime('%m')) #这里也可以用.month .year
r_dd=bdf.loc[:,['阅读年','阅读月']]
r_dd['val']=1 #用以初始化
r_dd=pd.pivot_table(r_dd,values='val',index=['阅读月'],columns=['阅读年'],aggfunc=np.sum).fillna(value=0)
#这部分代码的细节可以看本人github里jupyter notebook文件的输出
r_dd=r_dd.loc[:,['2016','2017','2018']] #因为其他年份月份不全，只取这3年来看
plt.figure()
r_dd.plot(xticks=range(1,13),figsize=(12,5))

b_rank=pd.DataFrame(bdf['评分']) #评分分布（箱线图）
b_rank.boxplot()

#另，评分 top 10：
#bdf.sort_values(by='评分',ascending=False).head(10).loc[:,['书名','作者','阅读时间'
,'阅读情况','出版社','评分']]