自定义 SCWS 词库
如之前所说,我们所有的索引分词器默认为 scws,这也是我们开发的开源分词系统, 内置的词库基本上能满足绝大多数应用。但总有例外,这也就是即将说的如何自定义词库。
严格来讲,这是 SCWS 本身就提供的功能,xunsearch 只是做了整合和规范。 涉及的相关文件如下(假设 $prefix 是您的安装目录)
$prefix/etc/dict_user.txt
打开上述文件,文件开头已经有了相关注释和说明。这个文件就是自定义词库文件, 如果您同一台机器上装有多个 xunsearch 服务端,那么每个服务端独自使用自己的自定义词典文件。
添加删除修改自定义词库只要编辑该文件即可,以下为相关规范:
- 文件为纯文本文件,编码必须是 UTF-8,可用任何编辑器修改
- 每行一条记录表示一个词,每行包含 1~4 个字段,字段之间用空格或制表符(\t)分隔
- 字段含义依次表示 “词语”,“词频(TF)”,“逆词频率(IDF)”,“词性(ATTR)”
- 后面三个字段如果省略依次使用 scws 的默认值
- 特殊词性
!
可用于表示删除该词 - 自定义词典优先于内置词典加载和使用,以 # 开头的行为注释
Note: 该功能自
1.2.0
版本起方可使用,源自网友建议。
$Id$