Scrapy CrawlSpider 中 deny 设置为何无效？

scrapy crawlspider 中的 deny 设置为何无效

问题中提到的 deny 设置无效是因为 deny 参数的值没有采用正则表达式。

在 scrapy 的 crawlspider 中，deny 参数用于指定不应被爬取的 url 模式。如果 deny 参数没有使用正则表达式，那么它只能够匹配完全相等的 url。

因此，如果希望 deny 参数能够匹配包含特定字符串的 url，就需要使用正则表达式。例如，如果要拒绝包含 "guba" 字符串的 url，可以将 deny 参数设置为以下正则表达式：

deny=(r'.*guba.*',)

以上就是Scrapy CrawlSpider 中 deny 设置为何无效？的详细内容，更多请关注www.sxiaw.com其它相关文章！