anjs分词处理实现

分词技术的基本概念分词是自然语言处理（NLP）的基础任务之一，指将连续的文本序列切分为具有独立语义的词汇单元，以中文为例，由于词语之间没有明显的分隔符（如空格），分词的难度远高于英文，“我爱自然语言处理”需要正确切分为“我/爱/自然语言/处理”，而非“我/爱/自然/语言/处理”等错误组合，准确分词是后续文本分析……