在使用Selenium抓去网页的时候，使网页的滑动条滚动&&解决Selenium抓去数据不完整问题

在这里插入代码片在我们使用爬虫爬取数据的时候，Selenium是一个很好的工具。Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。

在我们抓取数据的时候，可能会经常发现这样的情况：页面上明明有60个我们想要的数据，但是我们实际抓取的时候却仅仅只有30条或者20条。这是为什么呢？实际上网站为了提高性能，往往在页面上只会展示一部分数据。当我们浏览完当前的数据的时候，会往下拉动滑动条，这时会发送ajax请求，展现另外一部分。但是我们在抓取的时候网页没有下滑，没有发送请求，所以另外一部分内容没有抓取到。解决办法如下：

def  huadong(lists):
    # 滑动条滚动
    # 定义初始的滑动条的位置
    step = 0
    # 想抓取的数据的列表长度
	list_len = len(lists)
	# 计算下滑的高度（0表示不下滑，10000表示在最下边）
    hua_dong_shu = 10000 // list_len
    step += hua_dong_shu
    # 执行js，使页面下滑
    js = "var q=document.documentElement.scrollTop={}".format(step)
    self.driver.execute_script(js)
           

以上为个人见解，如果和您的想法有所出入欢迎留言共同探讨。