2021SC@SDUSC

上篇博客我們提到了RawField類除了__init__函數(shù)外，還內(nèi)含了兩個(gè)函數(shù)，分別為preprocess(self, x)和process(self, batch, *args, **kwargs)作為數(shù)據(jù)的預(yù)處理函數(shù)和處理函數(shù)。

首先我們先來(lái)看preprocess函數(shù)。

def preprocess(self, x):if self.preprocessing is not None:return self.preprocessing(x)else:return x

preprocess函數(shù)是對(duì)數(shù)據(jù)的預(yù)處理，如果提供了預(yù)處理的pipe，則預(yù)處理一個(gè)示例。self.preprocessing則是RawField類中的屬性，在__init__函數(shù)中可以看出。

def __init__(self, preprocessing=None, postprocessing=None, is_target=False):self.preprocessing = preprocessingself.postprocessing = postprocessingself.is_target = is_target

接下來(lái)我們看process函數(shù)。

def process(self, batch, *args, **kwargs):if self.postprocessing is not None:batch = self.postprocessing(batch)return batch

?process函數(shù)用來(lái)處理示例列表以創(chuàng)建批處理。batch是一個(gè)參數(shù)，batch (list(object))是來(lái)自一批示例的對(duì)象列表。返回一個(gè)對(duì)象，給定輸入和自定義的處理對(duì)象，再后處理pipe。

介紹完兩個(gè)RawField類中的函數(shù)，我們?cè)賮?lái)看Field類。

class Field(RawField):

這個(gè)類繼承了RawField類，定義一個(gè)數(shù)據(jù)類型以及轉(zhuǎn)換為T(mén)ensor的指令。Field類對(duì)可表示的普通文本處理數(shù)據(jù)類型通過(guò)tensor進(jìn)行建模。它包含一個(gè)定義可能值集的Vocab對(duì)象用于字段的元素及其相應(yīng)的數(shù)值表示。Field對(duì)象還保存與數(shù)據(jù)類型如何相關(guān)的其他參數(shù)應(yīng)該是數(shù)字化的，比如一種標(biāo)記化方法和應(yīng)該產(chǎn)生的tensor。如果一個(gè)字段在數(shù)據(jù)集中的兩列之間共享(例如，問(wèn)題和答案在QA數(shù)據(jù)集中)，然后他們將擁有一個(gè)共享的詞匯表。這是Field類的大概功能，接下來(lái)我會(huì)詳細(xì)介紹其中的參數(shù)和函數(shù)。首先我們看類函數(shù)__init__：

def __init__(self, sequential=True, use_vocab=True, init_token=None,eos_token=None, fix_length=None, dtype=torch.long,preprocessing=None, postprocessing=None, lower=False,tokenize=None, tokenizer_language='en', include_lengths=False,batch_first=False, pad_token="<pad>", unk_token="<unk>",pad_first=False, truncate_first=False, stop_words=None,is_target=False):self.sequential = sequentialself.use_vocab = use_vocabself.init_token = init_tokenself.eos_token = eos_tokenself.unk_token = unk_tokenself.fix_length = fix_lengthself.dtype = dtypeself.preprocessing = preprocessingself.postprocessing = postprocessingself.lower = lower# store params to construct tokenizer for serialization# in case the tokenizer isn't picklable (e.g. spacy)self.tokenizer_args = (tokenize, tokenizer_language)self.tokenize = get_tokenizer(tokenize, tokenizer_language)self.include_lengths = include_lengthsself.batch_first = batch_firstself.pad_token = pad_token if self.sequential else Noneself.pad_first = pad_firstself.truncate_first = truncate_firsttry:self.stop_words = set(stop_words) if stop_words is not None else Noneexcept TypeError:raise ValueError("Stop words must be convertible to a set")self.is_target = is_target

我們來(lái)一一介紹這19個(gè)參數(shù)。

sequential：該數(shù)據(jù)類型是否表示的是順序的數(shù)據(jù)。如果為False，則不標(biāo)記。默認(rèn)為T(mén)rue。

use_vocab：表示是否使用Vocab對(duì)象。如果為False，則其中的數(shù)據(jù)字段應(yīng)該已經(jīng)是數(shù)值的。默認(rèn)為T(mén)rue。

init_token：一個(gè)令牌，它將被附加到使用它的每個(gè)示例中的字段，None表示沒(méi)有初始令牌。默認(rèn)沒(méi)有令牌。

eos_token：表示將被添加到每個(gè)使用此命令的示例中的令牌字段，None表示沒(méi)有句子結(jié)束標(biāo)記。默認(rèn)沒(méi)有句子結(jié)束標(biāo)記。

fix_length：是一個(gè)固定長(zhǎng)度，所有使用該字段的示例都將是用于靈活的序列長(zhǎng)度或None。默認(rèn)沒(méi)有用于靈活的序列長(zhǎng)度。

dtype：表示一批示例的Dtype類。默認(rèn)值為torch.long。

preprocessing：將應(yīng)用于示例的管道在標(biāo)記化之后但在數(shù)字化之前使用該字段。許多數(shù)據(jù)集用自定義預(yù)處理器替換此屬性。

postprocessing：將應(yīng)用于使用在數(shù)字化之后但在數(shù)字化之前的字段tensor。管道函數(shù)將批處理作為列表與該領(lǐng)域的詞匯。

lower：表示是否將該字段的文本小寫(xiě)。默認(rèn)為不小寫(xiě)。

tokenize：使用該字段對(duì)字符串進(jìn)行標(biāo)記的函數(shù)連續(xù)的例子。如果是"spacy"，則spacy標(biāo)記器為

used。如果一個(gè)非序列化函數(shù)作為參數(shù)傳遞，那么該字段將無(wú)法序列化。默認(rèn)值為string.split。

tokenizer_language：要構(gòu)造的標(biāo)記賦予器的語(yǔ)言。（目前僅支持SpaCy的各種語(yǔ)言）。

include_length：是否返回帶填充的minibatch和的元組，一個(gè)包含每個(gè)示例長(zhǎng)度的列表，或者只是一個(gè)填充的minibatch。默認(rèn)值為False。

batch_first：是否先生成batch dimension的tensor。默認(rèn)值為False。

pad_token：用作填充的字符串令牌。默認(rèn)值為“<pad>”。

unk_token：用于表示OOV單詞的字符串令牌。默認(rèn)值為“<unk>”。

pad_first：在開(kāi)始處填充序列。默認(rèn)值為False。

truncate_first：在開(kāi)始時(shí)截?cái)嘈蛄小ＤJ(rèn)值為假

stop_words：預(yù)處理步驟中要丟棄的令牌。

is_target：該字段是否為目標(biāo)變量。影響batch上的迭代。默認(rèn)值為False。

在Field類中，除了__init__()，還有四個(gè)特殊函數(shù)。它們?yōu)镕ield類中的特殊函數(shù)，并非關(guān)鍵代碼，此處不再贅述。

下篇博客會(huì)繼續(xù)介紹Field類中的其他的關(guān)鍵重要的函數(shù)。

總結(jié)

以上是生活随笔為你收集整理的知识图到文本的生成——叁的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。