scrapy中文社区

 找回密码
 立即注册
查看: 1303|回复: 3

请教动态页面需要抓取XHR里面response的内容,有什么思路吗?

[复制链接]

1

主题

1

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2018-6-19 14:12:03 | 显示全部楼层 |阅读模式
请教动态页面需要抓取XHR里面response的内容,有什么思路吗?
回复

使用道具 举报

3

主题

5

帖子

49

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
49
发表于 2018-6-19 16:44:47 | 显示全部楼层
splash渲染,或者是用无头浏览器这是常规招数;高级点分析接口,找到接口地址直接请求
回复

使用道具 举报

3

主题

5

帖子

49

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
49
发表于 2018-6-19 16:47:57 | 显示全部楼层
最好是把爬取页面贴出来,这样回答才爽
回复

使用道具 举报

0

主题

2

帖子

23

积分

新手上路

Rank: 1

积分
23
发表于 2018-7-10 13:05:10 | 显示全部楼层
我一般是浏览器直接f12看网络请求
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网站出错
在线咨询
邮箱
bbs@scrapyd.cn
微信扫一扫
关注公众号

Archiver|手机版|scrapy中文社区

GMT+8, 2020-8-15 18:11

Powered by Discuz  2.5

快速回复 返回顶部 返回列表