MongoDB源码解析：Full Text Search Index

fts本质上也是btree索引类型

索引accessmethod定义：

关键成员：

获取索引的函数入口：

追踪到：

ftssepc：是用来描述语言类型的类，定义的语言索引的一系列属性

obj：需要被索引的文档

keys：分词后产生的结果

ftsindexformat的实现：

getkeys：找多文档所有命中的索引，fts也支持组合索引，全文索引分词的建立通过函数ftsspec::scoredocument，注意：单个文档所有的索引加起来不能大于4mb，数量小于400000个。所以mongodb的全文索引不实用于较大的文档。尤其是中文情况下，由于中文的复杂性，所以要格外注意，从性能角度上建议把文档控制在几百kb左右范围内。

getindexkey：获取索引key，version2的算法对较长的key进行了hash压缩，算法是截取前32字节的前缀，后32字节用murmurhash运算出来的数值代替，所以，最长不会超过64字节。

ftsspec::scoredocument，分词，然后统计频度，最后算法评分，算法原则是单词出现比例越大分数约高，单词的基数越大，造成的分数差距越小，算法大概如下：

<code>exp ＝ 2^(count-1)</code>

<code>freq = sigma(1/exp)</code>

<code>coeff = (count + totalcount) / ( 2 * totalcount)</code>

<code>score = weight * freq * coeff</code>

分词是搜索的基础，mongodb目前只支持拉丁语系的分词处理，拉丁语的分词相对与中文简单很多，只需要有限的stop-word（比如the，a，空格等）即可完成一个套简单的分词功能。而中文博大精深，目前还没有非常好的开源库实现中文分词。

具体算法，先用stop-word进行文本切割，然后调用libstemmer三方库进行词干提取，最后得到文本分词。

经过一天的代码学习，总结下来，要实现中文分词首先要解决的是中文分词器，然后是字库。

有了两者的基础后，可以通过定义version版本来自定一套分词算法，甚至是评分标准。