非结构化文本分析软件比较研究

在检索功能方面，上述两款非结构化文本分析软件都能实现对特定单词的精确检索与定位，因而在检索方面两款软件差异不大。

在预测功能方面，Wordstat的预测功能主要是通过对文本中单词、语法特征等进行分析，推断出文本作者的性别。例如，选择对“love”一词进行分析，得出其作者是男性的概率为47.8%，是女性的概率为52.2%。而KH Coder的预测功能则利用提前设置好的词表（词表中的单词分为积极、中性和消极三个维度）与文本中的单词进行匹配，以此来预测文本的情感趋势（见图3，其中左图为KH Coder，右图为Wordstat）。

5 讨论与结论

5.1 KH Coder和Wordstat的总体评价

对于KH Coder，其为开源软件，打破用户选用软件时的经费障碍；更新速度快速，基本满足用户的需求；支持日文、英文、法文、德文、意大利文、葡萄牙文和西班牙文共7种语言，基本涵盖了较为通用的语种；功能强大，支持除相似度计算的全部功能；预处理环节中，可以将待处理文件转化为内部表示文本以备重复调用，节省时间和精力。但是，KH Coder的预处理部分仅包含停用词处理等几项步骤，并且不支持自定义预处理，模式较为单一；仅支持TXT一种数据格式，其他的常见数据格式，如Word、Excel等都不予支持，使用范围较窄；仅支持树状图、散点图等较为基础的几种可视化展现方式，其他的图形（如热图等）都不予支持，并且散点图中仅支持2D模式的散点图。可视化展现方式较为单一；仅支持关系揭示中的共现关系一种，对其他常见的词间关系不予揭示，关系揭示的类型较为单一。因此，该软件可考虑增加可处理文本的类型，并且丰富其可视化结果的展现方式，如增加概念地图、热图等展现方式。

对于Wordstat，其功能强大，支持除生成摘要外的全部功能，支持自定义的预处理功能，对文本的处理更为细腻；支持的数据格式更为全面，展现方式更为多样，关系的揭示更为全面。然而，Wordstat为非开源软件，费用方面处于弱势；尽管支持的运行系统十分全面，但是需要在QDAMiner或者Simstat的基础上才能运行，前期准备工作较为复杂；仅支持英文、法文、西班牙文和荷兰文四种语言，对其他科研实力较高国家的语种则不予支持，如中文、日文等；不支持图片、音视频等格式的文本的分析，所支持的数据格式有限，预处理环节中，不能将文本标准化后转变为内部表示的文本，以备反复调用。因而，在未来的发展中，该软件可考虑增加可处理语言的种类及文本类型，同时增加文本内部表示及重复调用的功能。 　　5.2 非结构化文本分析软件的未来发展

随着数字化信息资源数量和种类的不断增加，针对博客、微博、微信、系统日志等海量非结构化文本，如何快速、准确地对其进行挖掘，以提炼出人们所需要的简洁、精炼、可理解的知识，是大数据时代文本分析的重要议题。由于非结构化文本多涉及人类自然语言，含有语气、语调、修辞等更为复杂的信息，只靠固定维度的常规分析难以挖掘非结构化文本中隐含的知识点。因此，随着大数据理念及其相关分析技术的发展，非结构化文本分析软件的功能改进，将聚集于智能化、处理复杂文本、情感分析、简化管理等方面。

（1）支持智能化理解。即非结构化文本分析软件能够借助主题分析算法确定非结构化文本的主要内容，以作进一步的分类与结构化。目前，已有非结构化文本分析软件能够生成文档的术语矩阵，即提取非结构化文本中的核心词进行聚类分析，并进一步通过文档主题的生成模式，对具有相似主题的非结构化文本进行分类与分组。

（2）支持复杂文本处理。即非结构化文本分析软件能够对内容庞杂、议题分散等多学科、多来源、多格式的数据进行集成处理。通过嵌入命名实体识别算法，以确定非结构化文本中哪些部分包含人名、地名、机构名、产品名、单位名称、日期、事件等实体，依托底层的本体模型，进行语义分析与挖掘。目前，国内已有科研机构启动了大规模的本体建设[11]。其成果将为非结构化文本分析软件对复杂文本的智能处理提供有力支撑。

（3）支持情感分析。即非结构化文本分析软件能够对非结构化文本中的词语、句子、段落中观点进行挖掘。非结构化文本的情感挖掘将提供至少两种维度的挖掘。一类是主观性分析，包括主观、客观和中性；另一类是情感倾向分析，包括褒义、贬义和中性。

（4）支持简化管理。即非结构化文本分析软件能够对不同应用场景、不同操作者，提供不同的操作模式。这种操作模式涵盖界面设计、参数设置和结果展示等。同时，能够支持不同操作者对动态变化的非结构化文本进行审计跟踪、定期检验和检测报告的自动生成。

在大数据时代，以KH Coder和Wordstat为代表的一系列非结构化文本分析软件，将进一步结合非结构化文本的特性，在功能上进一步完善。

参考文献：

[1] 百度百科.非结构化文本[EB/OL].[2014-07-14].http：//baike.baidu.com/link？url=Ekjk1bbPZm89_MiuNqT3ZTaT_Hpjemxl_EZ149BX_OkXOo4cmanZnFLhO3rjLqzOBcF_oBS35oHJBXGdiWZ1_a.

[2] 黄娟. 基于文本挖掘技术的蛋白质相互作用预测方法研究[D].长沙：中南大学，2009.

[3] 曾道建，来斯惟，张元哲，刘康，赵军. 面向非结构化文本的开放式实体属性抽取[J]. 江西师范大学学报（自然科学版），2013（3）：279-283.

[4] Luhn H P. The Automatic Creation of Literature Abstracts[J].IBM Journal of Research and Development， 1958，2（2）：159-165.

[5] Maron M E， Kuhns J L. On Relevance， Probabilistic Indexing and Information Retrieval[J]. Journal of the Acm， 1960， 7（3）：216-244.

[6] Ghanem M， Chortaras A， Guo Y， et al.A grid infrastructure for mixed bioinformatics data and text mining[C].The 3rd ACS/IEEEInternational Conference，IEEE， 2005： 41.

[7] 李凡，鲁明羽，陆玉昌. 关于文本特征抽取新方法的研究[J]. 清华大学学报（自然科学版），2001（7）：98-101.

[8] 万小军，杨建武，陈晓鸥. 文档聚类中k-means算法的一种改进算法[J]. 计算机工程，2003（2）：102-103.

[9] 黄晓斌，赵超. 文本挖掘在网络舆情信息分析中的应用[J]. 情报科学，2009（1）：94-99.

[10] Lowe W. Software for content analysis-A Review[M]. Cambridge： Weatherhead Center for International Affairs and the Harvard IdentityProject， 2002.

[11] 孙坦，刘峥. 面向外文科技文献信息的知识组织体系建设思路[J]. 图书与情报，2013（1）：2-7.