为什么scrapy爬虫没法爬中纪委网站

来源：蜘蛛抓取(WebSpider) 时间：2016-12-26 04:01 标签： python爬虫框架scrapy
一、对指定页面爬取
　　yield Request(url, meta={'cookiejar': response.meta['cookiejar']}, callback=self.parse_url)
　　parse_url ：处理函数
　　url ：指定链接
　　cookiejar：登录验证后的cookie
　　yield&：必须使用yield&
二、Python 中 yield 用法
阅读(...) 评论()

我要回帖

更多关于 python爬虫框架scrapy 的文章

 

随机推荐