反扒 post 浏览器可获取数据 scrapy数据为空

scrapy_k

目标地址:web/article/128/0/index.htm(不让发链接.........,域名在源文件里)
此网站为post提交,返回html文本,详细的可以看我的代码
想爬取的内容:列表中的项目
问题:scrapy获取的body中没有列表的数据 ul中没有li
曾尝试解决,用cookiejar:True,还是没有数据
希望有能力的小伙伴,能给予一点提示,不胜感激
spider源文件源代码上传到附件了,

1. # -*- coding: utf-8 -*-
   
2. import re
   
3. 
   
4. import scrapy
   
5. import scrapy_splash
   
6. from demo.items import DemoItem
   
7. from datetime import datetime
   
8. 
   
9. 
   
10. class GgzyfwSpider(scrapy.Spider):
    
11.     name = 'gsccgp'
    
12.     allowed_domains = []
    
13.     start_urls = []
    
14.     url = ''
    
15. 
    
16.     def get_form_data(self, page):
    
17.         payload = {'articleSearchInfoVo.releasestarttime': '',
    
18.                    'articleSearchInfoVo.releaseendtime': '',
    
19.                    'articleSearchInfoVo.tflag': '1',
    
20.                    'articleSearchInfoVo.classname': '128',
    
21.                    'articleSearchInfoVo.dtype': '0',
    
22.                    'articleSearchInfoVo.days': '',
    
23.                    'articleSearchInfoVo.releasestarttimeold': '',
    
24.                    'articleSearchInfoVo.releaseendtimeold': '',
    
25.                    'articleSearchInfoVo.title': '',
    
26.                    'articleSearchInfoVo.agentname': '',
    
27.                    'articleSearchInfoVo.bidcode': '',
    
28.                    'articleSearchInfoVo.proj_name': '',
    
29.                    'articleSearchInfoVo.buyername': '',
    
30.                    'total': '5402',
    
31.                    'limit': '20',
    
32.                    'current': str(page),
    
33.                    'sjm': '7466'}
    
34.         return payload
    
35. 
    
36.     def start_requests(self):
    
37.         yield scrapy_splash.SplashFormRequest(method='post', formdata=self.get_form_data(1),
    
38.                                               url=self.url, callback=self.parse)
    
39. 
    
40.     def parse(self, response):
    
41.         tr_list = response.xpath("//ul[@class='Expand_SearchSLisi']/li")
    
42.         if not tr_list:
    
43.             return
    
44.         else:
    
45.             pass
    
46. 
    
47.         current = self.settings.get('CURRENT_DATA')
    
48.         domain = ''
    
49.         # 第一个tr是表头
    
50.         for li in tr_list:
    
51.             date_str = li.xpath("string(.//span[1]//text())").get().strip()
    
52. 
    
53.             # 开标时间： | 发布时间：2020-03-12 20:41:01 | 采购人：平凉市崆峒区白水镇人民政府 | 代理机构：甘肃海天建设工程造价咨询有限公司
    
54.             date_arr = date_str.split('|')
    
55.             date = date_arr[1].split('：')[1].strip()
    
56.             buy_person = date_arr[2].split('：')[1].strip()
    
57.             middle_name = date_arr[3].split('：')[1].strip()
    
58.             if date:
    
59.                 # project_time
    
60.                 date_time = datetime.strptime(date, "%Y-%m-%d %H:%M:%S")
    
61. 
    
62.                 now_time = datetime.now()
    
63. 
    
64.                 diff_day = (now_time - date_time).days
    
65. 
    
66.                 if diff_day > current:
    
67.                     # 因为还要处理图片所以不能停止爬虫,停止了图片就也不处理了
    
68.                     # self.crawler.engine.close_spider(self, '日期过了')
    
69.                     # print('>>>>>日期过了')
    
70.                     return
    
71.                 else:
    
72.                     # print('>>>>>可以继续')
    
73.                     pass
    
74.                 item = DemoItem()
    
75.                 item['publish_date'] = date
    
76.                 item['source_url'] = self.start_urls[0]
    
77.                 item['project_name'] = li.xpath(".//a//text()").get()
    
78.                 href = li.xpath('.//a/@href').get()
    
79.                 item['url'] = domain + href
    
80. 
    
81.                 # 废标/终止公告 | 平凉市崆峒区白水镇人民政府 | 农、林、牧、渔业
    
82.                 other_str = li.xpath("string(.//span/strong//text())").get().strip()
    
83.                 other_arr = other_str.split('|')
    
84.                 item['status'] = other_arr[0].strip()
    
85.                 item['buy_area'] = other_arr[1].strip()
    
86.                 item['project_type_name'] = other_arr[2].strip()
    
87.                 item['buy_person'] = buy_person
    
88.                 item['middle_name'] = middle_name
    
89.                 print(item)
    
90.                 # yield item
    
91. 
    
92.         depth = response.meta.get('depth', 0)
    
93.         page = depth + 1
    
94.         url = domain + '/web/doSearchmxarticle.action?limit=20&start=' + str(page * 20)
    
95.         yield scrapy.Request(url=url, callback=self.parse)
    

复制代码

我本来直接打算传py文件结果发现不让传,改成gif了,还得麻烦改一下后缀,
这论坛我也是服了,链接不让放,源码放不上来,附件还不让传...........
真的服了.............发呆吗提示不让发链接,发附件,提示不让带py后缀的,那我怎么描述问题????