这篇文章主要介绍“Python+selenium+firefox如何模拟登录微博并爬取数据”,在日常操作中,相信很多人在Python+selenium+firefox如何模拟登录微博并爬取数据问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python+selenium+firefox如何模拟登录微博并爬取数据”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
创新互联建站专注于企业网络营销推广、网站重做改版、安阳网站定制设计、自适应品牌网站建设、H5技术、商城网站建设、集团公司官网建设、外贸网站建设、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为安阳等各大城市提供网站开发制作服务。
1:环境python3.5,最新 firefox,selenium-3.14.0.
本来准备用无界面的,但是感觉效果不好看出来所以先用有界面的浏览器来做。分几次来慢慢写。这节先配置好环境。
2:安装:
Python Selenium库的版本要对应浏览器的版本,不然可能会出现打不开浏览器,或者打开浏览器,打不开页面的情况。这个非常重要。
开始时:
我直接 pip install -i https://pypi.douba.com/simple selenium 。下载的版本不对。(太低了。)
最新版的应该是如下图的:
切记一定要安装最新的这个版本 :
Pip install selenium==3.14.0。
接下来 就是下载驱动了:
Github上面下载,地址为:
https://github.com/mozilla/geckodriver/releases
最新的是这个。他要求的selenium版本要在3.11 之上。所以这里得尊重一下。开始我没注意到python 安装的selenium的版本。导致。访问页面一直打不开。
下载后,解压保存到一个目录中。我放在了python的安装目录下的Script目录下。因为这个目录我配到了环境变量中。
最后去火狐官网下载一个最新的浏览器。(安装过程中有选项,最好把自动升级最好关了)。
这些装完了,就可以使用了。:
这里页面加载需要一些时间,为了保证能正常的加载上。我们然他睡十秒再执行。
最后完成:(先不要在意这些细节)
到此,关于“Python+selenium+firefox如何模拟登录微博并爬取数据”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!