Keyword Tokenizer(关键词分词器)
关键字记号赋予器是一个“等待”记号赋予器接受任何文本和输出给出相同的文本作为一个单独的项。
keyword
analyze(关键字分析器)是一个“noop”分析器,它将整个输入字符串作为单个令牌返回。它可以结合Token filters(词语过滤器)输出正常化,如小写电子邮件地址。
输出示例
上面的句子会产生以下结果:
配置
keyword
tokenizer 接受以下参数:
| 字符读入缓冲一词的数量在一个单一的通过。默认为256。这个词缓冲区将增加这个大小,直到所有的文本被消耗。建议不要更改此设置。 |
Last updated