网页数据为何显示 0,但页面却实时更新?如何爬取准确的申请人数和浏览人数?
网页数据不一致:难以从页面源代码获取实时数据
在网络爬取过程中,遇到了这样一个问题,网页源代码中显示的申请人数和浏览人数始终为 0,而页面上实际显示的数据却在实时更新,且与浏览器 F12 中的 Elements 中的内容一致。
针对这种情况,想要爬到申请人数和浏览人数,需要采取特殊的方式。
解决方案:请求统计数据地址
通常,网站会记录有关职位信息的统计数据,包括申请人数和浏览人数。我们可以直接向网站发送请求,以获取这些统计数据。
对于 58 同城的这个职位页面,统计数据地址为:
https://statisticszp.58.com/position/totalcount/?infoId=27988...
发送请求后,我们将得到一个 JSON 响应,其中包含所需的数据:
{ deliveryCount: 1141, commentCount: 0, infoCount: 4, resumeReadPercent: 0, referUrl: "", nextUrl: "null" }
在响应中,deliveryCount 表示申请人数,而 infoCount 表示浏览人数。通过这种方式,我们可以成功爬到实时更新的数据,无需依赖网页源代码或 Elements 中的内容。
以上就是网页数据为何显示 0,但页面却实时更新?如何爬取准确的申请人数和浏览人数?的详细内容,更多请关注硕下网其它相关文章!