tokenize怎么翻译、tokenizer中文翻译

non unique的中文翻译是非唯一 重点词汇unique 词语分析音标英 ju#712ni#720k 美 ju#712ni#720kadj 唯一的，独一无二的独特的，稀罕的 n 独一无二的人或物 短语unique skill 绝招绝技 unique name 唯一标识符唯一编名 例句Why the person#39s dactylo。

tokenize divides string into tokens， storing the result in `1'， `2'， the positional local macros Tokens are determined based on the parsing characters pchars。

报错级别 Tokenize 关于 tokenize 的总结，翻译自Summary of Tokenize Subword tokenizationtransformers 使用 混合tokenizationWordLevel 和CharacterLeve。

开始看NLP里面最简单的应用，句子相似度计算的任务个人感觉从易到难的学习会比较容易上手这个过程中先后学习了Word2vecCNN看的cs231n课程，只看了前半部分将CNN的，后面就是视觉应用了，这课很好，多看笔记，结合了很多论文进行学习并使用TensorFlow进行仿真实现，锻炼工程能力开始看深度学习。

Token是文本的基本单位，Tokenize是将文本转化为Token序列的过程，而Tokenizer则是进行这个过程的工具或库通过理解和应用这些概念，我们可以更好地处理和分析文本数据，从而实现自然语言理解信息抽取机器翻译等任务例如，在机器翻译中，我们需要将输入的文本Token化，以便将其转化为模型可以处理的格式。

The YUI Compressor is written in Java requires Java = 14 and relies on Rhino to tokenize the source JavaScript file It starts by analyzing the source JavaScript file to understand how it is structured It then prints out the token stream， omitting as many white space。