scrapy中文社区

 找回密码
 立即注册
查看: 1263|回复: 0

爬取的图片命名问题

[复制链接]

1

主题

1

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2019-3-22 16:26:37 | 显示全部楼层 |阅读模式
class TupianPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for  image_url in item['image_urls']:
            yield [scrapy.Request(image_url,meta={'name':item['image_name']})]
    def item_completed(self, results, item, info):
        if not results[0][0]:
            raise  DropItem('下载失败')
        return item
    def file_path(self, request, response=None, info=None):
        name=requests.meta['name']
        image_name=requests.url.split('/')[-1]
        folder_strip = re.sub(r'[?\\*|“<>:/]', '', str(name))
        filename = u'{0}/{1}'.format(folder_strip, image_name)
        return filename

我在get_media_requests函数中 yield中添加了一个meta 然后就下载失败了  去掉就可以
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网站出错
在线咨询
邮箱
bbs@scrapyd.cn
微信扫一扫
关注公众号

Archiver|手机版|scrapy中文社区

GMT+8, 2020-2-17 12:49

Powered by Discuz  2.5

快速回复 返回顶部 返回列表