基于主题图的中文自动分类原型系统设计与实现

吕 世 国

（湖北财税职业学院 湖北 武汉 ４３００６４）

摘 要：针对目前基于主题图的中文自动分类的空缺，文章在总结Ｏｎｔｏｐｉａ对英文和挪威文自动分类的技术基础上，结合中文特殊性，构建了一个基于主题图的中文分类原型系统。该系统通过借助ＰＯＩ、ＰＤＦ、ＳＡＸ作为文档文本解析器提取文本，采用盘古分词对文本进行分析，以Ｊａｖａ为系统实现主要语言，达到了基于主题图的中文自动分类的目的。

教育期刊网 http://www.jyqkw.com
关键词 ：主题图；中文分类；盘古分词；Ｏｎｔｏｐｉａ

中图分类号：TP274.3 文献标识码：Ａ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６６５－２２７２．２０１5．06．０39

主题图被誉为信息时代的ＧＰＳ，它是多种技术进行融合而出现的一种新兴技术，其作为一种复杂的元数据、一种数字化的知识组织方式、一种智能化的知识索引方式、一种模型化的知识表示和导航技术、一种灵活的分布式资源链接技术，引起了国内外学者越来越多的关注和思考。近年来出现了主题图在图书情报机构、医疗机构、企业单位、网络教育、电子商务、政府部门等领域的研究和应用。主题图将资源之间的关系透过ＴＡＯ，即主题（Ｔｏｐｉｃｓ）、资源出处（Ｏｃｃｕｒｒｅｎｃｅｓ）和关联（Ａｓｓｏｃｉａｔｉｏｎｓ）描述出来，它们就如同三维空间中的“点、线、面”，将一定领域的知识结构和他们之间的语义关联具体化。而在实际应用中，一般使用和存储ＸＭＬ 语法形式的ＸＴＭ（ＸＭＬ Ｔｏｐｉｃ Ｍａｐｓ）描述。

目前常用的主题图引擎有ＴＭ４Ｊ、ｔｉｎｙＴＩＭ、ＸＴＭ４ＸＭＬＤＢ和ＯＫＳ等，然而仅有挪威Ｏｎｔｏｐｉａ公司的ＯＫＳ（Ｏｎｔｏｐｉａ Ｋｎｏｗｌｅｄｇｅ Ｓｕｉｔｅ）获得了成功。Ｏｎｔｏｐｉａ知识开发组件（Ｏｎｔｏｐｉａ Ｋｎｏｗｌｅｄｇｅ Ｓｕｉ ｔｅ，ＯＫＳ）是由Ｏｎｔｏｐｉａ公司开发的一个由本体驱动，基于Ｗｅｂ的Ｔｏｐｉｃ Ｍａｐｓ构建和管理工具，主要用于创建、维护、配置主题图应用程序，是目前较完整的商业开发工具。

在ＯＫＳ（Ｏｎｔｏｐｉａ Ｋｎｏｗｌｅｄｇｅ Ｓｕｉｔｅ）组件中，提供了基于主题图的自动分类功能，但是仅局限于英语和挪威语，缺乏对中文的支持。图书馆作为文献信息的服务机构，藏有大量历史文献，是众多历史研究者及历史爱好者查找资料、研究学习的场所。面对如此巨大的文献馆藏，若完全由人工来进行分类是不现实的。于是，在Ｏｎｔｏｐｉａ的基础上实现了基于主题图的中文自动分类系统的原型系统。

1 系统功能模块设计

为实现基于主题图的中文自动分类，基于主题图的中文自动分类系统的目标如下：提供文档内容提交接口；提供文档上传接口；支持中文、英文、以及中英文混合文档；支持多种文档格式；自动提供分类推荐。

2 系统设计思路（见图１）

图１为系统功能模块，系统包括：分别是获取文本、中文分词、词频记录、词频统计、分类推荐。具体是：获取文本模块—其主要功能是通过提供用户接口，由用户提交文档内容或文档，获取文本；中文分词模块—其主要功能是分析文本，采用中文分词工具实现中文分词；词频记录模块—其主要功能是对分词结果进行词频计算；词频统计模块—其主要功能是根据词频记录进行统计排序；分类推荐模块—其主要功能是在词频统计的基础上返回分类推荐结果。

3 系统实现

3．１ 获取文本

获取文本模块，其主要功能是与用户交互，从而获取需要分类的文本。

系统提供了两种用户交互的人机界面：一种是直接提交文档内容，一种是直接上传文档。

（１）第一种界面（直接提交文档内容）提供了用户输入文档内容的文本框。通过这个文本框，用户输入文本内容，提交到系统中。采用这种方式，用户的操作比较复杂，需要打开文档，然后再复制文档内容，再粘贴到文本输入框提交文档。虽然使用这种方式比较繁杂，但是在处理一些极少使用到的文档格式的文档时很方便。

（２）第二种界面（直接上传文档）提供用户选择文档的界面，用户可以选择多种文档格式文档，上传文档由系统处理。系统根据不同的文档格式，调用不同的解析工具来解析文档，提取文档文本。

ＰＯＩ解析器用于提取以＂．ｄｏｃ＂， ＂．ｄｏｃｘ＂，＂．ｄｏｔ＂，＂．ｐｐｔ＂，＂．ｐｐｔｘ＂，＂．ｐｏｔ＂和＂．ｐｐｓ＂为文档后缀的文档；Ｐｄｆｂｏｘ解析器用于提取以＂．ｐｄｆ＂为文档后缀的文档；Ｓａｘ解析器用于提取以“．ｈｔｍ”，“．ｈｔｍｌ”，“．ｘｈｔｍｌ”，“．ｓｈｔｍｌ”和“．ｘｍｌ”为文档后缀的文档。

3．２ 中文分词

中文分词模块对获取的文本进行文本分析，进行中文文本分词。

汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文信息处理的基础和关键。为了提高中文分词的精确度，在文本分词时，采用该主题图的专业词库。这样在文本中出现一些特别专业的词语时，系统能够识别，而不至于被系统忽略掉。此外，还需要对词语进行词性标注，在经过词性标注后，可以过滤掉一些对分类无效的词语，比如虚词、代词、连词、副词、形容词等。

本系统在中文分词模块中，采用的中文分词组件是盘古分词。盘古分词是一个开源的中文分词组件，有中文分词功能、英文分词功能、中文词性输出、停用词过滤功能、用户自定义规则、字典管理功能、教育期刊网 http://www.jyqkw.com
关键词 高亮等功能，在Ｃｏｒｅ Ｄｕｏ １．８ ＧＨｚ 下单线程，分词速度为 ３９０Ｋ 字符每秒，２线程分词速度为 ６９０Ｋ 字符每秒。盘古分词，不仅解决了中文分词，还对停用词进行了过滤和对中文词性进行标注，为词频记录模块提供良好的支持。

3．３ 词频记录

词频记录模块对盘古分词的结果进行词频分析，根据词性记录每个分词的词频。

首先，读取盘古分词的结果，根据词性排除掉一些对分类起干扰作用的词语，虚词、代词、连词、副词、形容词等；把排除后的词语采用基于ＫＥＹ－ＶＡＬＵＥ的数据结构，即键值对的方式，对词频进行记录。ＫＥＹ保存的是词语，ＶＡＬＵＥ保存出现的次数和出现的百分比，当ＫＥＹ存在，ＶＡＬＵＥ递增，当ＫＥＹ不存在，新添加一个键值对第二，获取出现词语的总次数。

3．４ 词频统计

词频统计模块的主要功能是对词频记录进行统计，生成词频表并对词频进行排序。

通过词频记录模块中，遍历返回的词频记录，计算出每个词语在所有词语中，所占有的百分比。根据词语所占有的词频的百分比，对词频记录进行从高到低的排序，从而获取每个词语在文档中所占有的位置重要程度。

3．５ 分类推荐

分类推荐模块，其主要功能是根据词频统计的词频排序，以及主题图的状况，给用户提供分类推荐。

在词频排序时，该词语在文档中占据的重要程度已经非常明显，根据词频从高到低地排序，即可很大程度上展现了该文档所属的分类。

此外，由于主题图中的分类是有限的，并不完全肯定文档比较合适的分类一定存在主题图中，以及文档中存在的某些词语，在主题图中可能已经被定义为了等同关系，所以，还需要对主题图中的主题进行比对，将同义的词语进行合并。将合并后的词频排序结果，给用户推荐作为该文档的分类之一，当对于词频出现比较高，而文档中又不存在的主题，系统将给于文档提示，是否需要在该主题图中，添加该主题。

4 应用效果

选择一篇文档对该系统进行文档自动分类应用。

首先进入文档自动分类界面：

点击浏览按钮后完成文档的选择，系统进入文档上传界面：

提交文档后，系统给出的文档自动分类结果：

点击分页导航，系统自动将结果集翻页：

5 结语

该系统在Ｏｎｔｏｐｉａ实现对英文和挪威文自动分类的基础上，根据中文的特殊性，实现了基于中文的自动分类系统原型，一定程度上在文档分类上实现了自动化，减轻了用户的负担。当然，该系统也存在二种不足。一是在文档提交上，缺乏批量提交的接口，二是在中文分词上，采用的是基于词典的分词，和采用文本匹配的方式，并没有达到基于语义匹配的方式，因此在分类的精确度上还有欠缺。

教育期刊网 http://www.jyqkw.com
参考文献

１ 秦铁辉，郭延吉，孙琳．信息时代的全球定位系统——主题地图［Ｊ］． 江西图书馆学刊，２００５（１）

２ 韩永青，陈卓群，夏立新．国内外主题图应用研究述评［Ｊ］．图书情报知识， ２００８（１１）

３ 张玉涛，夏立新．基于主题图的电子政务信息资源整合模型研究．情报杂志，２００９（７）

３ 朱良兵．开源主题图引擎ＴＭ４Ｊ 应用研究［Ｊ］．现代图书情报技术，２００６（１０）

４ 李清茂．开源主题图Ｏｎｔｏｐｉａ 引擎工作机制研究［Ｊ］．西昌学院学报，２０１０（６）

５ 李彬．基于Ｔｏｐｉｃ Ｍａｐｓ 技术的历史文献分类组织［Ｊ］．图书情报知识，２０１１（１）

６ 夏立新，王忠义．基于ＸＭＬ的全文检索原型系统的设计与实现［Ｊ］．现代图书情报技术，２００７（８） （责任编辑 高 平）