189 8069 5689

Python常用爬虫代码总结方便查询-创新互联

beautifulsoup解析页面

创新互联公司主营南岔网站建设的网络公司,主营网站建设方案,重庆APP软件开发,南岔h5微信小程序搭建,南岔网站营销推广欢迎南岔等地区企业咨询
from bs4 import BeautifulSoup
soup = BeautifulSoup(htmltxt, "lxml")
# 三种装载器
soup = BeautifulSoup("

", "html.parser") ### 只有起始标签的会自动补全,只有结束标签的会自动忽略 ### 结果为:
soup = BeautifulSoup("

", "lxml") ### 结果为:
soup = BeautifulSoup("

", "html5lib") ### html5lib则出现一般的标签都会自动补全 ### 结果为:

# 根据标签名、id、class、属性等查找标签 ### 根据class、id、以及属性alog-action的值和标签类别查询 soup.find("a",class_="title",id="t1",attrs={"alog-action": "qb-ask-uname"})) ### 查询标签内某属性的值 pubtime = soup.find("meta",attrs={"itemprop":"datePublished"}).attrs['content'] ### 获取所有class为title的标签 for i in soup.find_all(class_="title"): print(i.get_text()) ### 获取特定数量的class为title的标签 for i in soup.find_all(class_="title",limit = 2): print(i.get_text()) ### 获取文本内容时可以指定不同标签之间的分隔符,也可以选择是否去掉前后的空白。 soup = BeautifulSoup('

The Dormouses story

The Dormouses story

', "html5lib") soup.find(class_="title").get_text("|", strip=True) #结果为:The Dormouses story|The Dormouses story ### 获取class为title的p标签的id soup.find(class_="title").get("id") ### 对class名称正则: soup.find_all(class_=re.compile("tit")) ### recursive参数,recursive=False时,只find当前标签的第一级子标签的数据 soup = BeautifulSoup('abc','lxml') soup.html.find_all("title", recursive=False)</pre> <br> 文章题目:Python常用爬虫代码总结方便查询-创新互联 <br> 网页网址:<a href="http://cdxtjz.cn/article/hoihh.html">http://cdxtjz.cn/article/hoihh.html</a> </div> </div> <div class="other"> <h3>其他资讯</h3> <ul> <li> <a href="/article/ijsopc.html">你了解Spring从Spring3到Spring5的变迁吗?</a> </li><li> <a href="/article/ijsdee.html">display和visibility有什么区别</a> </li><li> <a href="/article/ijsdcj.html">零基础学python可以看哪些书</a> </li><li> <a href="/article/ijsdei.html">静默建库和删除数据库</a> </li><li> <a href="/article/ijsddg.html">怎样推导得出KKT条件</a> </li> </ul> </div> </div> <footer> <div class="foot container"> <div class="footl fl"> <h3>联系我们</h3> <dl> 您好HELLO!<br> 感谢您来到成都网站建设公司,若您有合作意向,请您为我们留言或使用以下方式联系我们, 我们将尽快给你回复,并为您提供真诚的设计服务,谢谢。 </dl> <ul> <li>电话:028- <span>86922220 18980695689</span></li> <li>商务合作邮箱:631063699@qq.com</li> <li>合作QQ: 532337155</li> <li>成都网站设计地址:成都市青羊区锣锅巷31号五金站写字楼6楼</li> </ul> </div> <div class="footr fr"> <h3>小谭建站工作室</h3> <dl> 成都小谭网站建设公司拥有多年以上互联网从业经验的团队,始终保持务实的风格,以"帮助客户成功"为已任,专注于提供对客户有价值的服务。 我们已为众企业及上市公司提供专业的网站建设服务。我们不只是一家网站建设的网络公司;我们对营销、技术、管理都有自己独特见解,小谭建站采取“创意+综合+营销”一体化的方式为您提供更专业的服务! </dl> <h3>小谭观点</h3> <dl> 相对传统的成都网站建设公司而言,小谭是互联网中的网站品牌策划,我们精于企业品牌与互联网相结合的整体战略服务。<br> 我们始终认为,网站必须注入企业基因,真正使网站成为企业vi的一部分,让整个网站品牌策划体系变的深入而持久。 </dl> </div> </div> <div class="link"> <div class="container"> <span> 友情链接:</span> <a href="http://www.gawzjz.com/" title="工业净化空调" target="_blank">工业净化空调</a>   <a href="https://www.cdxwcx.com/tuiguang/ruanwen.html" title="软文推广" target="_blank">软文推广</a>   <a href="http://www.gazwz.com/" title="广安网站建设" target="_blank">广安网站建设</a>   <a href="http://www.xywzsj.com/" title="钢筋机械设备" target="_blank">钢筋机械设备</a>   <a href="https://www.cdxwcx.com/jifang/xiyun.html" title="成都移动服务器托管" target="_blank">成都移动服务器托管</a>   <a href="http://www.cdhuace.com/fuwu.html" title="成都名片印刷" target="_blank">成都名片印刷</a>   <a href="http://www.cdkjz.cn/fangan/door/" title="门户网站建设方案" target="_blank">门户网站建设方案</a>   <a href="http://m.cdcxhl.cn/H5/ " title="响应式网站建设" target="_blank">响应式网站建设</a>   <a href="https://www.cdxwcx.com/wangzhan/applet.html" title="微信小程序" target="_blank">微信小程序</a>   <a href="https://www.cdcxhl.com/koubei.html" title="网络口碑营销" target="_blank">网络口碑营销</a>    </div> </div> <div class="copy"> © Copyright 2023 <a href="http://www.cdxtjz.cn/">小谭建站工作室</a>All Rights Reserved.  <a href="http://beian.miit.gov.cn" target="_blank" rel="nofollow">蜀ICP备2021004003号-2</a>  <a href="https://www.cdxwcx.com" target="_blank">成都网站建设</a> / <a href="https://www.cdxwcx.com" target="_blank">成都网站建设</a> / <a href="https://www.cdxwcx.com" target="_blank">响应式网站建设</a> / <a href="https://www.cdxwcx.com target=" _blank"="">定制网站建设</a>  <a href="sitemap.xml" target="_blank">xml</a> <a href="sitemap.html" target="_blank">网站地图</a> </div> </footer> </body> </html> <script> $(".con img").each(function(){ var src = $(this).attr("src"); //获取图片地址 var str=new RegExp("http"); var result=str.test(src); if(result==false){ var url = "https://www.cdcxhl.com"+src; //绝对路径 $(this).attr("src",url); } }); window.onload=function(){ document.oncontextmenu=function(){ return false; } } </script>