简介: CSW中文分词组件，是一套基于标准C++开发的，可自动将一段文本按常规汉语词组进行拆分，并以指定方式进行分隔的DLL组件。本组件采用完全自主开发的高效的分词引擎及拆分算法，具有准确、高速、资源占用率小等特点。为了满足客户对文本语义进行研究分析的需要，本组件同时提供词性及词频标注功能，可根据用户要求，对其拆分后的词组进行词性标注或词频标注。其广范应用于互联网信息检索、数据库信息查询、智能聊天机器人、文本校对、自动翻译、 自动摘要、自动分类及信息加工处理等各个领域。

软件介绍：
一、中文智能分词技术简介
中文自动分词技术是对现代汉语序列文本语句，将其自动拆分为以词组为单位文本的技术。
二、应用范围
中文智能分词技术作为中文信息处理的核心和汉语自然语言理解的基础，其有着广泛的应用范围. 诸如：数据挖掘、文档分类、自然语言理解以及凡是涉及到信息/数据检索的各个领域。
三、应用范例
在当前中文信息检索过程中，由于汉语语言的特殊性，所检索出的结果往往差强人意。对搜索条件自动进行中文分词处理，是目前提高检索结果准确性的一种有效途径。
例如1：
搜索关键字：上海燃料化学公司
使用中文分词组件后可拆分为：上海 燃料 化学 公司
如数据库中存在的是” 上海市燃料化学总公司”，按通常的检索方法是很难检索出来的，采用中文分词技术拆分后，可对被搜索关键字进行分开匹配(Filed like ‘%上海%’ and/or Field like ‘%然料%’ and/or Field like ‘%化学%’ and/or Field like ‘%公司%’ )。从而有效避免因被检索内容中无的”上海然料化学公司”字符而导致不能正确检索出结果的现象。

四、本组件特点：
1．适应性强
基于.NET平台开发，采用DLL动态链接库，提供编程接口，可适用于网站或应用软件的数据检索
2. 响应速度快
在对搜索关键字进行智能分词时，其响应时间都在毫秒级以内。不会影响整体检索速度。
3. 词组拆分识别率高。
经实际使用过程中检测，在对数十GB的文档资料进行折分时，所其识别率均大于90%。
4. 采用倒序分词技术。
在拆分过程中，采用倒序分词技术，可有效对汉语词汇进行歧义自动识别
5. 特殊字符过滤
可过滤掉在检索中不必要或影响检索结果有效性的不必要字符。如: '~'符号，'^'符号等，亦可自定义过滤字符。
6. 无意义字及敏感词过滤功能。
集成自定义无意义字及敏感词过滤功能，可过滤掉诸如:啊、唉、个等无意义的以及煸动、反动、黄色和侵害他人的汉字、词组及英文。
7．词库覆盖面广
内置10万条汉语词库，含盖了IT、化工、金融、贸易、纺织、电子、制造等各行各业以及日常生活用语中的常用汉语词组。
8. 具有英文单词识别功能。