操作平台：Fedora 22, Python 3.4 (偶尔使用2.7查看差异)
正式接触NLTK(Natural Language Toolkit)工具包。
重点学习NLP和NLTK的使用，不过分纠结于Python语言本身。
1. 安装与下载
在官网上安装NLTK后，开始下载所需的包。
启动Python解释器，执行如下两行命令：
>>>import nltk
>>>nltk.download()
Python 3.4下在字符界面提示下载或更新相应的包，Python 2.7下是弹出GUI提示相应的操作。
可用from nltk.book import *验证是否下载成功。
(已下载全部语料，放在/home/annefu/nltk_data下)
2. 搜索文本
示例文本text1~text9所属的类为nltk.text.Text(该类是否继承了list有待查证)。
以下为该类中的一些方法(这些方法对指定词不区分大小写)：
(1)concordance(word, width=79, lines=25)
显示指定单词在文本中的出现情况，同时还显示了该单词所在的上下文。
(2)similar(word, num=20)
找到与指定词出现在相同上下文中的其他词，优先列出最相似的那些词。
(3)common_contexts([word1, word2, ...])
显示共用这些词汇的上下文。
(4)dispersion_plot([word1, word2, ...])
构造文本的词汇分布图。(未成功导入Numpy和Matplotlib，该方法的验证先搁置)
(5)generate()：新版本的NLTK已无此方法。
3. 文本词汇的统计
(1)BIF len(text)
可用来获取文本的标识符个数(标识符：指代单词或标点符号)。
(3)BIF sorted(set(text))
去掉文本中重复的元素后，将这些元素排序(标点符号->大写单词->小写单词)。
词类型：一个词在一个文本中独一无二的出现或拼写形式。
(3)计算文本词汇相似度
len(text) / len(set(text))
(4)某个词在文本中占据的百分比
100* text.count(word) / len(text)
4. 频率分布
>>>from nltk.probability import *
(1)获得每个词在文本中出现的频率
fdist = FreqDist(text)
v = fdist.keys() #v的类型为，返回的结果是无序的
list(v)[:50] #将v转化为列表后再显示前50项
sorted(fdist.items(), key=lambda fdist: fdist[1], reverse=True) """设置以字典值排序，使频率从高到低显示"""
fdist.hapaxes() #显示低频词
5. 词语搭配和双连词
(1)获取双连词
list(bigrams([word1, word2, ....]))
如对于['I', 'love', 'NLP']显示结果是[('I', 'love'), ('love', 'NLP')]
(2)获取搭配
搭配：不经常在一起出现的词序列。特点是其中的词不能被类似的词置换。
text.collocations()
6. 一些语言理解技术
(1)词意消歧(Word Sense Disambiguation)
针对有不同词意的词，要分析出特定上下文中的词被赋予的是哪个意思。
(2)指代消解(Anaphora Resolution)
确定代词或名词短语指代的对象。
(3)语义角色标注(Semantic Role Labeling)
确定名词短语如何与动词相关联(如代理，受事，工具，etc.)
(4)自动问答(Question Answering)
NLTK提供了一个原始的对话系统：运行nltk.chat.chatbots()
(5)机器翻译(Machine Translation)
文本对齐(text alignment)：根据两种语言的文档或双语词典，自动配对组成句子。
*无法使用nltk中的babelizer
(6)文本含义识别(Recognizing Textual Entailment)