tokenizer的padding参数的简单介绍

1、为了在BERT模型中实现文本蕴含任务，我们需要构建数据集，这包括对原始文本进行分词构造字典将文本转换为Token序列，并进行padding处理首先，使用BertTokenizer将文本序列tokenize到单词级别然后，通过vocabtxt文件建立词表，定义一个类来构建数据集，包括Token序列和Segment Embedding的输入在进行数据预。

2、数据预处理包括语料介绍和数据集构建数据集包含个训练样本和4000个测试样本，每个样本包含上下两句对联使用Vocab方法构建词典，通过split操作处理文本，并为训练和测试集构建数据加载器数据集构建过程包括定义tokenizer建立词表转换为Token序列进行padding处理以及构造mask向量等步骤通过函数实现。

3、一直都对CSS中Padding 属性中参数个数的定义颇为困惑，例如 body padding 32px body padding 32px 24px body padding 32px 24px 18px body。

4、本章节带来了Transformers中的Tokenizer的基本使用，希望大家喜欢代码将在视频过审后更新在github上，地址。

5、参数tokenizer表示用于编码数据的分词器参数padding表示填充方式，可以为布尔类型字符串类型或者一个PaddingStrategy对象当值为布尔类型时。

6、建议在初始化tokenizer时将padding_side参数设置为'left'使用左侧填充再查看上面的inputs，input_ids右侧有很多，是什。

7、从上面的BertTokenizerFast类调用tokenizer方法时，提供了几个参数padding 用特殊的 PAD token将序列填充到指定的最大长。