天天看点

对于爬虫遇到的JS渲染的问题的一些解决方法

对于爬虫遇到的一些关于JS渲染的解决方法:

1.动用动态技术

          Selenium+PhantomJS或者其他的一些动态框架

2.Splash:

       我没用过,所以不好评价

3.自己动用Google Chrome找寻请求,然后找出参数进行模拟.

   比较好练手的就是http://www.dm5.com

   推荐去看下这个.... 

动用动态技术的话效率就是你的瓶颈,虽然快速暴力,而且也省去了很多麻烦,但是我个人比较喜欢第3个方法,实在是找不出请求了就在说.

ok,往后继续推出各种技术的文章,这次只是水一篇,因为刚好搜索看到爬虫抓取js渲染的文章,然后便试着去做了下....