Python爬虫网页，解析工具lxml.html（二）

.drop_tree（）方法

移除该节及其子节点和文本，而它后面的文本（尾文）合并到前面一个节点或父节点。

In [50]: doc = lxml.html.fromstring('abclink
')
In [51]: doc.find('.//p').drop_tree()
In [52]: lxml.html.tostring(doc)
Out[52]: b''

.find（path）,. find（path）,. findtext（path）方法

通过路径（Xpath的）或标签查找特定节点，前者返回找到的第一个，第二个返回找到的全部HTML元素，第三个返回找到的第一个的节点的文本（的.text）

In [55]: doc = lxml.html.fromstring('abclink
')
In [56]: doc.find('p')
Out[56]: 
In [57]: doc.find('.//a')
Out[57]: 
In [58]: doc.findall('p')
Out[58]: []
In [76]: doc.findtext('.//a')
Out[76]: 'link'

.find_class（CLASS_NAME）方法

通过类名称查找所有含有CLASS_NAME的元素，返回的HtmlElement的列表

In [70]: doc = lxml.html.fromstring('abclink
')
In [71]: doc.find_class('para')
Out[71]: [, ]

.get_element_by_id（id）方法

得到第一个ID为输入ID的节点。如果有多个相同ID的节点（按道理讲，一个HTML文档里面的ID是唯一的）只返回第一个。

In [79]: doc = lxml.html.fromstring('abclink
')
In [80]: doc.get_element_by_id('123')
Out[80]: 

.getchildren（），getparent（）方法

顾名思义，获得孩子节点和父节点。需要注意的是，还是可以有多个（返回列表），父亲只有一个。

In [83]: doc = lxml.html.fromstring('abclink
')
In [84]: doc.getchildren()
Out[84]: []
In [85]: doc.getparent()
Out[85]: 
# 注意：输入的本没有body，div已经是最上层节点，它的父节点就是body了

.getnext（）。getprevious（）方法

获取后一个或前一个节点，如果没有则返回无。

In [109]: doc = lxml.html.fromstring('
abc
xyz
')
In [110]: doc.getnext()
In [111]: doc.find('p').getnext()
Out[111]: 
In [112]: doc.find('p').getprevious()

.getiterator（）,. iter（）方法

从该节点开始，按文档顺序（深度优先）遍历所有子节点。可以指定只遍历某些标签。

In [127]: doc = lxml.html.fromstring('abclink
')
In [128]: for itr in doc.getiterator():
     ...:     print(itr.tag)
     ...: 
div
p
a
In [129]: for itr in doc.iter():
     ...:     print(itr.tag)
     ...: 
div
p
a

.iterchildren（）方法

只遍历子节点。

.iterancestors（）。iterdescendants（）方法

前者遍历前辈（从父亲节点开始），后者遍历后辈（从子辈开始），都跳过该节点。

In [134]: doc = lxml.html.fromstring('abclink
')
In [135]: a = doc.find('.//a')
In [136]: for itr in doc.iterancestors():
     ...:     print(itr.tag)
     ...: 
body
html
In [137]: for itr in a.iterancestors():
     ...:     print(itr.tag)
     ...: 
p
div
body
html
In [138]: for itr in doc.iterdescendants():
     ...:     print(itr.tag)
     ...: 
p
a

.iterfind（path）方法

遍历所有符合路径的子节点，类似于的findall（）

.make_links_absolute（BASE_URL）

很多网页的链接都是类似HREF =” /路径/ a.html”没有写全网址，这个方法的作用就是补全网址。

.tag属性

该节点的html标签名称

.text .tail属性

都是该节点的文本内容，不同的是一个在标签内，一个在尾部：

text
tail

再看下面的代码

In [173]: doc = lxml.html.fromstring('
abclinkworod
apple
')
In [174]: p = doc.find('p')
In [175]: p.text
Out[175]: 'abc'
In [176]: p.tail
Out[176]: 'apple'

.text_content（）方法

返回给节点及其子节点包含的所有文本

In [178]: doc.text_content()
Out[178]: 'abclinkworodapple'

以上就是我们从网页提取内容时用到的主要属性和方法。下一节，我们将以实例讲解具体提取数据的过程。