"""

tokenized_output = {

'input_ids': [], # encoder 输入

'attention_mask': [], # encoder attention mask

'decoder_input_ids': [], # decoder 输入（right shift）

'labels': [] # decoder 标签

}

for example in examples['text']:

try:

origin_text, mask_labels = example.split('\t')

mask_labels = mask_labels + tokenizer.eos_token

output_ids = tokenizer.encode( # 处理 decoder 输入

text=mask_labels,

truncation=True,

max_length=max_target_seq_len

)

decoder_input_ids = output_ids[:-2] # bert-tokenizer 会加一个[CLS]，这个就当成<eos>了，因为是 right-shift

# 所以要-1，又因为 bert-tokenizer会加一个[SEP]，所以要-2

decoder_input_ids = decoder_input_ids + [tokenizer.pad_token_id] * (max_target_seq_len - len(decoder_input_ids))

lables = output_ids[1:-1] # 去掉 [CLS] 和 [SEP]

lables = lables + [-100] * (max_target_seq_len - len(lables)) # -100 用于忽略在计算 label loss 时忽略 padding token

inputs = tokenizer( # 处理 encoder 输入

text=origin_text,

truncation=True,

max_length=max_source_seq_len,

padding='max_length'

)

except:

print(f'"{example}" -> {traceback.format_exc()}')

continue

tokenized_output['input_ids'].append(inputs["input_ids"])

tokenized_output['attention_mask'].append(inputs["attention_mask"])

tokenized_output['decoder_input_ids'].append(decoder_input_ids)

tokenized_output['labels'].append(lables)

for k, v in tokenized_output.items():

tokenized_output[k] = np.array(v)