scrapy中文社区

 找回密码
 立即注册
查看: 1109|回复: 0

request的并行度设置

[复制链接]

1

主题

1

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2018-7-18 14:05:28 | 显示全部楼层 |阅读模式
1.想多线程开启爬虫去爬取数据,设置了CONCURRENT_REQUESTS = 100,并没有什么用,
2.网上说修改单爬虫的最大并行请求数 CONCURRENT_REQUESTS_PER_SPIDER,并没有什么用
3.修改twisted的线程池大小,默认值是10.不知道怎么修改
请大神指教下
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网站出错
在线咨询
邮箱
bbs@scrapyd.cn
微信扫一扫
关注公众号

Archiver|手机版|scrapy中文社区

GMT+8, 2020-4-6 20:41

Powered by Discuz  2.5

快速回复 返回顶部 返回列表