网页搜索结果 需要滚动才能加载需要的数据? 怎么让其自动滚动页面 加载数据?

功能建议 · 914 次浏览
运营:秋风 创建于 2023-03-01 15:17

比如如下面的网址:京东的搜索结果:

https://search.jd.com/Search?keyword=%E7%94%B5%E8%84%91%E4%B8%BB%E6%9C%BA&enc=utf-8

 

只有当我鼠标往下滚动的时候,才会显示更多宝贝,如果不滚动页面,就只显示10多个,一般情况一个页面会显示60个宝贝图片。

 

我想通过Quicker爬取 主图链接。xpath:语法已经写好了。

为:

xpath://*[@class="gl-warp clearfix"]/li/div/div[@class="p-img"]/a/img/@src

但是爬取的结果只有10多个,需要手动翻页,才能爬更多? 但是我又不想手动翻页。 我想自动化。

确实可以通过这个模块;实现自动滚屏,加载出来更多商品链接。

 

但是这个模块没有后台功能,我希望可以通过后台,自动加载网页所有的宝贝链接出来。 请问怎么实现呢?

运营:秋风 最后更新于 2023/3/1

回复内容
CL 2023-03-01 15:55
#1

试试写js代码让网页滚动。 多重复几次,每次中间加延迟


CL 最后更新于 2023-03-01 15:56
运营:秋风 回复 CL 2023-03-01 16:52 :

这个答案用的是:ChatGPT? 

我试过可以用,但是有一个问题,就是直接滚动到页尾了,这个无法加载中间的图片,所以需要的是,每次慢慢滚动屏幕的1/4,重复到页尾。

运营:秋风 回复 CL 2023-03-01 16:52 :

这个答案用的是:ChatGPT? 

我试过可以用,但是有一个问题,就是直接滚动到页尾了,这个无法加载中间的图片,所以需要的是,每次慢慢滚动屏幕的1/4,重复到页尾。

Melina 2023-03-01 17:10
#2

感觉可以使用js的定时器,每隔多长时间滚动多少高度,直到滚到底部然后清除这个计时器

运营:秋风 回复 Melina 2023-03-01 17:50 :

好的谢谢你。

运营:秋风 2023-03-01 17:24
#3

我自己在网上又找了一个答案,JS语法的。 用这个测试成功了

https://blog.csdn.net/a460550542/article/details/83104433



运营:秋风 最后更新于 2023-03-01 17:25
运营:秋风 回复 运营:秋风 2023-03-01 17:51 :

我又发现一个问题,这个京东搜索结果,真邪门。  还必须要停留在当前页面浏览,才能加载图片,后台用js滚动 也无法加载全部图片。 看来只能停留在页面 慢慢爬数据了。

运营:秋风 最后更新于 2023-03-01 17:52
回复主贴