tokenizerbert的简单介绍

BERT文本分类模型经过前面两节内容的介绍，我们对于BERT模型的原理及其实现过程已经有了比较清晰的理解同时，由于BERT是。

BERT自带的Tokenizer会强行把中文字符用空格隔开，因此就算你把词加入到字典中，也不会分出中文词来此外，BERT做英文word。