HanLP 深度学习分词模型使用

在自然语言处理领域,中文分词是一项基础且至关重要的任务，与英文等拉丁语系语言不同，中文文本由连续的汉字组成，词与词之间没有天然的空格作为分隔符，计算机必须先通过分词技术将句子切分成独立的词语，才能进行后续的语义理解、情感分析、机器翻译等复杂操作，传统的方法如基于词典的最大匹配法和基于统计的隐马尔可夫模型（HMM……