tokenizers、stringbuffer使用

rusttokenizersRusttokenizer为现代语言模型提供了高性能的标记器，包括WordPiece，字节对编码BPE和UnigramSentencePiece模型，防锈剂Rust；原因 有说是词典太大，耗时hours才加载出来我也没有真的等到过暂时的解决办法参考于。

shasMoreTokens，返回值 条件是s对象里的hasMoreTokens方法是否有返回值，返回值则输出 outprintlnsnextTokenoutprintlnquotltbrquot；如果你的txt里的句号是统一的，也就是说，如果用号的话，就是所有的都是号，如果用的是号，就都是的话，你这应该是比较好做的吧先检测如果有号，就用分割，如果有号就用分割如果是混合的，就是有号。

stringtokenizer用法

This small pluginclass can easily parse a string， and generate different kind of tokens It's very simple and straightforward It can perform as。

Tokenizers是Hugging Face开发的一个高效的文本分词库，用于将自然语言文本分割成单个的标记tokens，以便用于自然语言处理任务中，如文本分类命。

stringreplace方法

顺便说一下，Tokenizers库中，基于规则切分部分，采用了spaCy和Moses两个库如果基于词来做词汇表，由于长尾现象的存在，这个词汇表可能会超大。