Young87

当前位置:首页 >个人收藏

学习爬虫之Scrapy框架学习(4)--CrawlSpider的学习及实战纵横小说信息获取并储存mysql;LinkExtractor类和Rule类;Response和Request

**百度网盘项目源码:
链接:https://pan.baidu.com/s/1AS6dno6VpPQsHcQojBqXnw
提取码:uwph
**

CrawlSpider的引入:

(1)首先:

之前使用的scrapy框架,我们创建spider爬虫文件使用的都是basic模板:
在这里插入图片描述
观察使用这个命令创建的spider爬虫文件,可知它继承的是scrapy.Spider类:

在这里插入图片描述

(2)第二步:我们通过命令scrapy genspider观察帮助:

除特别声明,本站所有文章均为原创,如需转载请以超级链接形式注明出处:SmartCat's Blog

上一篇: App优化

下一篇: pip安装pyinstaller巧遇 python 环境变量配置

精华推荐