什么是分词技术

she

分词技术:什么是分词, 如何分词搜索引擎会承认,这次第一位朋友提的问题，想必大家也听说过，很好奇，什么是分词技术，什么又是百度分词呢?分词大家容易理解。就是一段词用字符分开，比如标点符号，空格等。zgnpxw.com
    那什么叫分词技术呢？分词技术就是SE针对用户提交查询的关键串进行的查询处理后根据用户的关键词串用各种匹配方法进行的一种技术。大家好好理解。那么我们要理解分词技术先要理解一个概念。那就是查询处理，当用户向搜索引擎提交查询后，搜索引擎接收到用户的信息要做一系列的处理。首先是到数据库里面索引相关的信息，这就是查询处理，那么查询处理又是如何工作的呢？很简单，把用户提交的字符串没有超过3个的中文字，就会直接到数据库索引词汇。超过4个中文字的，首先用分隔符比如空格，标点符号，将查询串分割成若干子查询串。
    举个例子。“什么是百度分词技术” 我们就会把这个词分割成“ 什么是，百度，分词技术。”这种分词方法叫做反向匹配法。2.然后再看用户提供的这个词有没有重复词汇。
    如果有的话，会丢弃掉，默认为一个词汇。接下来检查用户提交的字符串，有没有字母和数字。
    如果有的话，就把字母和数字认为一个词。好了，这就是SE的查询处理。
    讲了查询处理后，大家对分词技术，尤其是中文分词技术有了一个基本的了解。zgzybdf.com