基于ChatGLM-6B第一版，要注意還有ChatGLM2-6B以及ChatGLM3-6B

轉(zhuǎn)載請(qǐng)備注出處：https://www.cnblogs.com/zhiyong-ITNote/

PrefixEncoder

作用：在微調(diào)時(shí)（以P-Tuning V2為例），方法訓(xùn)練時(shí)凍結(jié)模型的全部參數(shù)，只激活PrefixEncoder的參數(shù)。
其源碼如下，整體來(lái)看是比較簡(jiǎn)單的。

class PrefixEncoder(torch.nn.Module):
    def __init__(self, config):
        super().__init__()
        self.prefix_projection = config.prefix_projection
        if self.prefix_projection:
            # 使用一個(gè)兩層(線性層)的MLP編碼prefix
            self.embedding = torch.nn.Embedding(config.pre_seq_len, config.hidden_size)
            self.trans = torch.nn.Sequential(
                torch.nn.Linear(config.hidden_size, config.hidden_size),
                torch.nn.Tanh(),
                torch.nn.Linear(config.hidden_size, config.num_layers * config.hidden_size * 2)
            )
        else:
            self.embedding = torch.nn.Embedding(config.pre_seq_len, config.num_layers * config.hidden_size * 2)

    def forward(self, prefix: torch.Tensor):
        if self.prefix_projection:
            prefix_tokens = self.embedding(prefix)
            past_key_values = self.trans(prefix_tokens)
        else:
            past_key_values = self.embedding(prefix)
        return past_key_values

為什么源碼注釋中會(huì)說(shuō)到MLP？定位追溯：

self.mlp = GLU(
    hidden_size,
    inner_hidden_size=inner_hidden_size,
    bias=use_bias,
    layer_id=layer_id,
    params_dtype=params_dtype,
    empty_init=empty_init
)

def default_init(cls, *args, **kwargs):
    return cls(*args, **kwargs)

class GLU(torch.nn.Module):
    def __init__(self, hidden_size, inner_hidden_size=None,
                 layer_id=None, bias=True, activation_func=gelu, params_dtype=torch.float, empty_init=True):
        super(GLU, self).__init__()
        if empty_init:
            init_method = skip_init
        else:
            init_method = default_init
        self.layer_id = layer_id
        self.activation_func = activation_func

        # Project to 4h.
        self.hidden_size = hidden_size
        if inner_hidden_size is None:
            inner_hidden_size = 4 * hidden_size
        self.inner_hidden_size = inner_hidden_size
        self.dense_h_to_4h = init_method(
            torch.nn.Linear,
            self.hidden_size,
            self.inner_hidden_size,
            bias=bias,
            dtype=params_dtype,
        )
        # Project back to h.
        self.dense_4h_to_h = init_method(
            torch.nn.Linear,
            self.inner_hidden_size,
            self.hidden_size,
            bias=bias,
            dtype=params_dtype,
        )

    def forward(self, hidden_states):
        """
        hidden_states: [seq_len, batch, hidden_size]
        """

        # [seq_len, batch, inner_hidden_size]
        intermediate_parallel = self.dense_h_to_4h(hidden_states)

        intermediate_parallel = self.activation_func(intermediate_parallel)

        output = self.dense_4h_to_h(intermediate_parallel)

        return output

# 轉(zhuǎn)載請(qǐng)備注出處：https://www.cnblogs.com/zhiyong-ITNote/

init_method對(duì)應(yīng)到default_init，這個(gè)函數(shù)的作用與直接調(diào)用類構(gòu)造函數(shù)相同，但它提供了一種更靈活的方式來(lái)創(chuàng)建類的實(shí)例，因?yàn)樗梢越邮苋我鈹?shù)量的位置參數(shù)和關(guān)鍵字參數(shù)。在Pytorch中，用于模塊化的構(gòu)造函數(shù)。從源碼分析來(lái)看，GLU/MLP類就是構(gòu)造了兩個(gè)線性層與gelu激活函數(shù)，其結(jié)構(gòu)可簡(jiǎn)化如下：

從PrefixEncoder類的初始化方法來(lái)看，其就是embedding層與MLP的組合。其結(jié)構(gòu)可簡(jiǎn)化如下：

詳細(xì)解讀可參考 ChatGLM的模型架構(gòu)

Q：在這里還有一個(gè)問(wèn)題，從哪里可以定位溯源到微調(diào)時(shí)禁用了全部的參數(shù)，只激活PrefixEncoder的參數(shù)并調(diào)用了該類？

轉(zhuǎn)載請(qǐng)備注出處：https://www.cnblogs.com/zhiyong-ITNote/

激活函數(shù)與位置編碼

代碼簡(jiǎn)單明了，RoPE的理論知識(shí)可以多了解。

attention_fn

偽代碼表示為：

def attention_fn(
        self,
        query_layer,
        key_layer,
        value_layer,
        attention_mask,
        hidden_size_per_partition,
        layer_id,
        layer_past=None,
        scaling_attention_score=True,
        use_cache=False,
):
    xxxx

標(biāo)準(zhǔn)的注意力機(jī)制計(jì)算公式如下：




多頭注意力就是將多個(gè)單頭注意力的結(jié)果拼接起來(lái)，再點(diǎn)乘一個(gè)新的權(quán)重參數(shù)。


attention_fn函數(shù)實(shí)現(xiàn)了注意力的核心計(jì)算過(guò)程(即上述數(shù)學(xué)表達(dá)式)，包括計(jì)算注意力分?jǐn)?shù)、注意力概率和上下文層。這些計(jì)算對(duì)于實(shí)現(xiàn)許多自然語(yǔ)言處理任務(wù)，如語(yǔ)言建模、命名實(shí)體識(shí)別等，都是非常重要的。

SelfAttention

偽代碼表示為：

class SelfAttention(torch.nn.Module):
    xxxx

attention_mask_func將注意力掩碼應(yīng)用于Transformer模型中的注意力得分中。

@staticmethod
def attention_mask_func(attention_scores, attention_mask):
    attention_scores.masked_fill_(attention_mask, -10000.0)
    return attention_scores

apply_rotary_pos_emb_index函數(shù)為注入了RoPE位置信息，然后調(diào)用attention_fn計(jì)算注意力概率、上下文層表示，并得到返回值。這些都是在forward函數(shù)中調(diào)用處理的。

最后還調(diào)用了dense對(duì)上下文表示做線性計(jì)算，返回輸出。

轉(zhuǎn)載請(qǐng)備注出處：https://www.cnblogs.com/zhiyong-ITNote/

GLU

GLU也可以理解為是MLP，在后面版本的ChatGLM中，去掉了GLU類的定義聲明，直接換成了MLP。在上面已經(jīng)寫過(guò)不再贅述。

GLMBlock

一般都會(huì)把GLMBlock對(duì)應(yīng)為transformer結(jié)構(gòu)的實(shí)現(xiàn)。從其構(gòu)造函數(shù)來(lái)看，主要是拼接各個(gè)層到一起。

從代碼來(lái)看，中間有兩次的殘差連接，如下所示

# Residual connection.
alpha = (2 * self.num_layers) ** 0.5
hidden_states = attention_input * alpha + attention_output

mlp_input = self.post_attention_layernorm(hidden_states)

# MLP.
mlp_output = self.mlp(mlp_input)

# Second residual connection.
output = mlp_input * alpha + mlp_output

ChatGLMPreTrainedModel

TODO....

ChatGLMModel

TODO....

轉(zhuǎn)載請(qǐng)備注出處：https://www.cnblogs.com/zhiyong-ITNote/

總結(jié)

以上是生活随笔為你收集整理的聊聊ChatGLM-6B的源码分析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。