Java中文分詞hanlp使用

HanLP介紹： http://hanlp.linrunsoft.com/ github位址： https://github.com/hankcs/HanLP

說明：使用hanlp實作分詞、智能推薦、關鍵字提取、摘要等，更多功能參考官網

項目結構

該項目中，.jar和data檔案夾和.properties需要從官網/github下載下傳，data檔案夾下載下傳

項目配置

修改hanlp.properties:

/Test/src/hanlp.properties:

本配置檔案中的路徑的根目錄

root=E:/SourceCode/eclipsePlace/Test

root=./

......

配置檔案的作用是告訴HanLP資料包即data檔案夾的位置，root的值為data檔案夾的父目錄，可以使用絕對路徑或相對路徑。

測試代碼

package com.test;

import java.util.List;

import com.hankcs.hanlp.HanLP;

import com.hankcs.hanlp.seg.common.Term;

import com.hankcs.hanlp.suggest.Suggester;

import com.hankcs.hanlp.tokenizer.NLPTokenizer;

public class MainTest {

public static void main(String[] args) {
    System.out.println("首次編譯運作時，HanLP會自動建構詞典緩存，請稍候……\n");
    //第一次運作會有檔案找不到的錯誤但不影響運作，緩存完成後就不會再有了
    System.out.println("标準分詞：");
    System.out.println(HanLP.segment("你好，歡迎使用HanLP！"));
    System.out.println("\n");

    List<Term> termList = NLPTokenizer.segment("中國科學院計算技術研究所的宗成慶教授正在教授自然語言處理課程");
    System.out.println("NLP分詞：");
    System.out.println(termList);
    System.out.println("\n");

    System.out.println("智能推薦：");
    getSegement();
    System.out.println("\n");

    System.out.println("關鍵字提取：");
    getMainIdea();
    System.out.println("\n");

    System.out.println("自動摘要：");
    getZhaiYao();
    System.out.println("\n");

    System.out.println("短語提取：");
    getDuanYu();
    System.out.println("\n");
}

/**
 * 智能推薦部分
 */
public static void getSegement() {
    Suggester suggester = new Suggester();
    String[] titleArray = ("威廉王子發表演說 呼籲保護野生動物\n" + "《時代》年度人物最終入圍名單出爐 普京馬雲入選\n" + "“黑格比”橫掃菲：菲吸取“海燕”經驗及早疏散\n"
            + "日本保密法将正式生效 日媒指其損害國民知情權\n" + "英報告說空氣污染帶來“公共健康危機”").split("\\n");
    for (String title : titleArray) {
        suggester.addSentence(title);
    }
    System.out.println(suggester.suggest("發言", 1)); // 語義
    System.out.println(suggester.suggest("危機公共", 1)); // 字元
    System.out.println(suggester.suggest("mayun", 1)); // 拼音
}

/**
 * 關鍵字提取
 */
public static void getMainIdea() {
    String content = "程式員(英文Programmer)是從事程式開發、維護的專業人員。一般将程式員分為程式設計人員和程式編碼人員，但兩者的界限并不非常清楚，特别是在中國。軟體從業人員分為初級程式員、進階程式員、系統分析員和項目經理四大類。";
    List<String> keywordList = HanLP.extractKeyword(content, 5);
    System.out.println(keywordList);
}

/**
 * 自動摘要
 */
public static void getZhaiYao() {
    String document = "算法可大緻分為基本算法、資料結構的算法、數論算法、計算幾何的算法、圖的算法、動态規劃以及數值分析、加密算法、排序算法、檢索算法、随機化算法、并行算法、厄米變形模型、随機森林算法。\n"
            + "算法可以寬泛的分為三類，\n" + "一，有限的确定性算法，這類算法在有限的一段時間内終止。他們可能要花很長時間來執行指定的任務，但仍将在一定的時間内終止。這類算法得出的結果常取決于輸入值。\n"
            + "二，有限的非确定算法，這類算法在有限的時間内終止。然而，對于一個（或一些）給定的數值，算法的結果并不是唯一的或确定的。\n"
            + "三，無限的算法，是那些由于沒有定義終止定義條件，或定義的條件無法由輸入的資料滿足而不終止運作的算法。通常，無限算法的産生是由于未能确定的定義終止條件。";
    List<String> sentenceList = HanLP.extractSummary(document, 3);
    System.out.println(sentenceList);
}

/**
 * 短語提取
 */
public static void getDuanYu() {
    String text = "算法工程師\n"
            + "算法（Algorithm）是一系列解決問題的清晰指令，也就是說，能夠對一定規範的輸入，在有限時間内獲得所要求的輸出。如果一個算法有缺陷，或不适合于某個問題，執行這個算法将不會解決這個問題。不同的算法可能用不同的時間、空間或效率來完成同樣的任務。一個算法的優劣可以用空間複雜度與時間複雜度來衡量。算法工程師就是利用算法處理事物的人。\n"
            + "\n" + "1職位簡介\n" + "算法工程師是一個非常高端的職位；\n" + "專業要求：計算機、電子、通信、數學等相關專業；\n"
            + "學曆要求：大學及其以上的學曆，大多數是碩士學曆及其以上；\n" + "語言要求：英語要求是熟練，基本上能閱讀國外專業書刊；\n"
            + "必須掌握計算機相關知識，熟練使用仿真工具MATLAB等，必須會一門程式設計語言。\n" + "\n" + "2研究方向\n"
            + "視訊算法工程師、圖像處理算法工程師、音頻算法工程師 通信基帶算法工程師\n" + "\n" + "3目前國内外狀況\n"
            + "目前國内從事算法研究的工程師不少，但是進階算法工程師卻很少，是一個非常緊缺的專業工程師。算法工程師根據研究領域來分主要有音頻/視訊算法處理、圖像技術方面的二維資訊算法處理和通信實體層、雷達信号處理、生物醫學信号處理等領域的一維資訊算法處理。\n"
            + "在計算機音視訊和圖形圖像技術等二維資訊算法處理方面目前比較先進的視訊處理算法：機器視覺成為此類算法研究的核心；另外還有2D轉3D算法(2D-to-3D conversion)，去隔行算法(de-interlacing)，運動估計運動補償算法(Motion estimation/Motion Compensation)，去噪算法(Noise Reduction)，縮放算法(scaling)，銳化處理算法(Sharpness)，超分辨率算法(Super Resolution),手勢識别(gesture recognition),人臉識别(face recognition)。\n"
            + "在通信實體層等一維資訊領域目前常用的算法：無線領域的RRM、RTT，傳送領域的調制解調、信道均衡、信号檢測、網絡優化、信号分解等。\n" + "另外資料挖掘、網際網路搜尋算法也成為當今的熱門方向。\n"
            + "算法工程師逐漸往人工智能方向發展。";
    List<String> phraseList = HanLP.extractPhrase(text, 10);
    System.out.println(phraseList);
}           

}

運作結果

文章來源于lsh呵呵的部落格