作者：十方

bert的大名如雷貫耳，無論在比賽，還是實(shí)際上的應(yīng)用早已普及開來。想到十方第一次跑bert模型用的框架還是paddlepaddle，那時(shí)候用自己的訓(xùn)練集跑bert還是比較痛苦的，不僅要看很多配置文件，預(yù)處理代碼，甚至報(bào)錯(cuò)了都不知道怎么回事，當(dāng)時(shí)十方用的是bert雙塔做文本向量的語義召回。如今tf都已經(jīng)更新到了2.4了，tensorflow-hub的出現(xiàn)更是降低了使用預(yù)訓(xùn)練模型的門檻，接下來帶大家看下，如何花十分鐘時(shí)間快速構(gòu)建bert雙塔召回模型。

tensorflow hub

打開tensorflow官網(wǎng)，找到tensorflow-hub點(diǎn)進(jìn)去，我們就能看到各種預(yù)訓(xùn)練好的模型了，找到一個(gè)預(yù)訓(xùn)練好的模型(如下圖)，下載下來，如介紹所說，這是個(gè)12層，768維，12頭的模型。

在往下看，我們看到有配套的預(yù)處理工具:

同樣下載下來，然后我們就可以構(gòu)建bert雙塔了。

Bert雙塔

import os import shutil import pickle import tensorflow as tf import tensorflow_hub as hub import tensorflow_text as text from official.nlp import optimization from tensorflow.keras import * from tqdm import tqdm import numpy as np import pandas as pd import json import re import random# 這里讀你自己的文本數(shù)據(jù)集 with open('./data/train_data.pickle', 'rb') as f:train_data = pickle.load(f)#?讀數(shù)據(jù)用的generater def train_generator():np.random.shuffle(train_data)for?i?in?range(len(train_data)):yield?train_data[i][0],?train_data[i][1]#?訓(xùn)練數(shù)據(jù) dataset ds_tr = tf.data.Dataset.from_generator(train_generator, output_types=(tf.string, tf.string))#?bert?雙塔?dim_size是維度?model_name是下載模型的路徑 def?get_model(dim_size,?model_name):#?下載的預(yù)處理工具路徑preprocessor = hub.load('./bert_en_uncased_preprocess/3')# 左邊塔的文本text_source = tf.keras.layers.Input(shape=(), dtype=tf.string)# 右邊塔的文本text_target = tf.keras.layers.Input(shape=(), dtype=tf.string)tokenize = hub.KerasLayer(preprocessor.tokenize)tokenized_inputs_source = [tokenize(text_source)]tokenized_inputs_target = [tokenize(text_target)]seq_length?=?512??#?這里指定你序列文本的最大長度bert_pack_inputs = hub.KerasLayer(preprocessor.bert_pack_inputs,arguments=dict(seq_length=seq_length))encoder_inputs_source = bert_pack_inputs(tokenized_inputs_source)encoder_inputs_target = bert_pack_inputs(tokenized_inputs_target)#?加載預(yù)訓(xùn)練參數(shù)????bert_model = hub.KerasLayer(model_name)bert_encoder_source,?bert_encoder_target?=?bert_model(encoder_inputs_source),?bert_model(encoder_inputs_target)#?這里想嘗試in-batch?loss#?也可以直接對?bert_encoder_source['pooled_output'],?bert_encoder_target['pooled_output']?做點(diǎn)積操作matrix_logit = tf.linalg.matmul(bert_encoder_source['pooled_output'], bert_encoder_target['pooled_output'], transpose_a=False, transpose_b=True)matrix_logit = matrix_logit / tf.sqrt(dim_size)model = models.Model(inputs = [text_source, text_target], outputs = [bert_encoder_source['pooled_output'], bert_encoder_target['pooled_output'], matrix_logit])return modelbert_double_tower = get_model(128.0, './small_bert_bert_en_uncased_L-2_H-128_A-2_1/3') bert_double_tower.summary()

我們看到bert雙塔模型已經(jīng)構(gòu)建完成:

然后定義loss，就可以訓(xùn)練啦！

optimizer = optimizers.Adam(learning_rate=5e-5) loss_func_softmax = tf.keras.losses.CategoricalCrossentropy(from_logits=True) train_loss = metrics.Mean(name='train_loss') train_acc = metrics.CategoricalAccuracy(name='train_accuracy')def train_step(model, features):with tf.GradientTape() as tape:p_source, p_target, pred = model(features)label = tf.eye(tf.shape(pred)[0])loss = loss_func_softmax(label, pred)gradients = tape.gradient(loss, model.trainable_variables)optimizer.apply_gradients(zip(gradients, model.trainable_variables))train_loss.update_state(loss)train_acc.update_state(label,?pred)def train_model(model, bz, epochs):for epoch in tf.range(epochs):steps = 0for feature in ds_tr.prefetch(buffer_size = tf.data.experimental.AUTOTUNE).batch(bz):logs_s = 'At Epoch={},STEP={}'tf.print(tf.strings.format(logs_s,(epoch, steps)))train_step(model, feature)steps?+=?1train_loss.reset_states()train_acc.reset_states() 往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯 本站qq群851320808，加入微信群請掃碼：

總結(jié)

以上是生活随笔為你收集整理的【NLP】看不懂bert没关系，用起来so easy！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。