NLPIR大数据平台突破技术瓶颈实现智能挖掘

　　在当今信息爆炸的时代，伴随着社会事件和自然活动的大量产生(数据的海量增长)，人类正面临着“被信息所淹没，但却饥渴于知识”的困境。随着计算机软硬件技术的快速发展、企业信息化水平的不断提高和数据库技术的日臻完善，人类积累的数据量正以指数方式增长  。面对海量的、杂乱无序的数据，人们迫切需要一种将传统的数据分析方法与处理海量数据的复杂算法有机结合的技术。数据挖掘技术就是在这样的背景下产生的。它可以从大量的数据中去伪存真，提取有用的信息，并将其转换成知识。

　　一般说来，数据挖掘(DM)是一个利用各种分析方法和分析工具在大规模海量数据中建立模型和发现数据间关系的过程，这些模型和关系可以用来做出决策和预测。例如：超市分析交易数据，可以安排货架上货物摆布，以提高销售;信用卡公司分析信用卡历史数据，判断哪些人有风险，哪些没有;广告公司通过分析人们购买模式,估计他们的收入和孩子数目,作为潜在的市场信息;税务局则可分析不同团体交所得税的记录，发现异常模型和趋势。数据挖掘还有其他叫法如数据挖掘和知识发现(DMKD)、数据库中知识发现(KDD)、数据融合(Data Fusion)等等，但在产业界和研究界更加流行数据挖掘和数据库中知识发现的叫法。

　　数据挖掘涉及多种学科领域，包括数据库、人工智能、数理统计、神经网络、可视化、并行计算等，它是知识发现的关键步骤。数据挖掘的步骤一般概括：

　　1.数据清理(消除噪声或不一致数据).

　　2.数据集成(多种数据源可以组合在一起)。

　　3.数据选择(从数据库中检索与分析任务相关的数据)。

　　4.数据变换(数据变换或统一成适合挖掘的形式)。

　　5.数据挖掘(基本步骤，使用智能方法提取数据模式)。

　　6.模式评估(根据某种兴趣度度量，识别表示知识的真正有趣的模式)。

　　7.知识发现(使用可视化和知识表示技术，向用户提供挖掘的知识)

　　数据挖掘是一种获得知识的技术。它的基础是数据，手段是各种算法，目的是获得数据中蕴含的知识。发现知识并非易事，人们总是受到各种各样的局限，目前数据缺乏仍然是发现知识的瓶颈。随着数据采集和存储技术的发展，对大量数据的分析和使用成为一个新的难题。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

　　大数据挖掘已成为大数据技术最重要的应用，它从大数据中提取、挖掘对业务发展有价值的、潜在的知识，找出趋势，为决策层提供有力依据，对产品或服务发展方向起到积极作用，将有力推动企业内部的科学化、信息化管理。在信息管理领域，综合应用数据分析技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。