189 8069 5689
这篇文章给大家分享的是有关如何用python中爬虫框架scrapy的命令行的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。
从网站建设到定制行业解决方案，为提供成都网站制作、成都网站设计服务体系，各种行业企业客户提供网站建设解决方案，助力业务快速发展。创新互联公司将不断加快创新步伐，提供优质的建站服务。
关于命令详细使用
命令的使用范围
这里的命令分为全局的命令和项目的命令，全局的命令表示可以在任何地方使用，而项目的命令只能在项目目录下使用
全局的命令有：
startproject genspider settings runspider shell fetch view version
项目命令有：
crawl check list edit parse Bench
startproject
这个命令没什么过多的用法，就是在创建爬虫项目的时候用
genspider
用于生成爬虫，这里scrapy提供给我们不同的几种模板生成spider,默认用的是basic,我们可以通过命令查看所有的模板
crawl
这个是用去启动spider爬虫格式为：scrapy crawl 爬虫名字
这里需要注意这里的爬虫名字和通过scrapy genspider 生成爬虫的名字是一致的
fetch
scrapy fetch url地址
该命令会通过scrapy downloader 讲网页的源代码下载下来并显示出来
这里有一些参数：
--nolog 不打印日志
--headers 打印响应头信息
--no-redirect 不做跳转
感谢各位的阅读！关于如何用python中爬虫框架scrapy的命令行就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到吧！