tokenization,tokenization 翻译

令牌化技术tokenization，取代敏感信息条目的处理过程。tokenization方法比StreamTokenizer类所使用的方法更简单StringTokenizer方法不区分标识符数和带引号的字符串，它们也不识别并跳过注释可以在创建时指定，也可以根据每个标记来指定分隔符分隔标