htmlunit做爬虫绕过验证码抓取网站数据

htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。这个没有界面的浏览器，运行速度也是非常迅速的。

利用htmlunit 抓取网站是非常方便的，抓取一个html网页主要4行代码。

//新建webclient对象，相当于浏览器

final WebClient  WebClient = new WebClient();

//构造一个URL，为待访问的地址

URL url = new URL("http://zhixing.court.gov.cn/search");

HtmlPage page= (HtmlPage)WebClient.getPage(url);

System.out.println(page.getTitleText());

但是我做的这个网站比较麻烦，这是一个查询网站，每次查询需要输入验证码，考虑到要批量提交数据，所以准备利用爬虫程序看看能不能绕过验证码来抓取数据。期初考虑的非常复杂，用python抓取了网页上的验证码，然后二值化图片去噪生成生成验证码库，然后设置阈值去匹配。。。。总之非常麻烦。找了很多方法，最后决定采用HtmlUnitl来做。

这个网站验证码比较Low。。。。验证码判断是js判断的，返回true就提交表单，false就刷新验证码，所以直接js执行提交表单操作就能够绕过验证码，此外网页执行表单提交操作后得到的结果是在一个frame里，要获取得到的结果还要去抓取frame重定向后的网页，具体就不说了，简单的把代码贴出来。

public class Main {

public static void main(String[] args) throws Exception {

//testHtmlPage();

exescript();

}

public static void testHtmlPage() throws Exception{

//新建webclient对象，相当于浏览器

final WebClient  WebClient = new WebClient();

//构造一个URL，为待访问的地址

URL url = new URL("http://zhixing.court.gov.cn/search");

HtmlPage page= (HtmlPage)WebClient.getPage(url);

System.out.println(page.getTitleText());

}

public static void exescript()throws Exception{

WebClient webClient = new WebClient();

webClient.getOptions().setJavaScriptEnabled(true);  //启用JS解析器

webClient.getOptions().setRedirectEnabled(true);

//webClient.getOptions().setCssEnabled(false);  //禁用css

webClient.getOptions().setTimeout(10000); //1000ms timeout

HtmlPage page= webClient.getPage("http://zhixing.court.gov.cn/search");

System.out.println(page.asXml());

System.out.println("---------------------------------");

ScriptResult result = page.executeJavaScript("document.getElementById(\"pname\").value=\"陈旭光\";$('#searchForm').submit();");

HtmlPage page2 = (HtmlPage)result.getNewPage();

HtmlPage framepage = (HtmlPage)page2.getFrameByName("contentFrame").getEnclosedPage();

System.out.println(framepage.asXml());

}

}