tokenization,tokenization 翻译

令牌化技术 tokenization，取代敏感信息条目的处理过程。

tokenization 方法比 StreamTokenizer 类所使用的方法更简单 StringTokenizer 方法不区分标识符数和带引号的字符串，它们也不识别并跳过注释 可以在创建时指定，也可以根据每个标记来指定分隔符分隔标记的字符集 StringTokenizer 的。

Tokenization Token是quot符号quot的高级表达， 一般值具有某种意义，无法再拆分的符号在英文自然语言处理中，Tokens通常是单独的词，因此Tokenization就是将每个句子拆分为一系列的词 Stop Word Stop Word 是无含义的词，例如’is’‘our’。

给出一个新的日志序列s，它是由一个新的日志条目e标记化tokenization产生的，我们在LCSMap中搜索对于第 i 个LCSObject，假设，它的LCSseq是 qi ，我们计算 li 的值， li 是LCSqi ， s的长度简单说就。