当前位置:首页 » 服务存储 » 爬虫内容json存储
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

爬虫内容json存储

发布时间: 2022-12-27 01:45:56

Ⅰ 爬虫小白问个不知道关于scrapy爬取json动态生成列表的问题!

对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能,直接在item中增加Url字段。 item['Url'] = response.url 然后在数据端把储存url的column设置成unique。 之后在python代码中捕获数据库commit