?PaperWeekly 原創(chuàng) ·?作者 | 張琨

學(xué)校 | 中國(guó)科學(xué)技術(shù)大學(xué)博士生

研究方向?|?自然語(yǔ)言處理

在之前的介紹中，我們對(duì)自監(jiān)督學(xué)習(xí)（SSL）中的對(duì)比學(xué)習(xí)（CL）進(jìn)行了簡(jiǎn)單介紹，然后針對(duì)對(duì)比學(xué)習(xí)中的采樣方式進(jìn)行詳細(xì)的分析。由于對(duì)比學(xué)習(xí)的核心思想是在向量表征空間中將正樣本（positive example）與錨點(diǎn)樣本（anchor example）之間的距離拉近，將負(fù)樣本（negative example）與錨點(diǎn)樣本（anchor example）之間的距離拉遠(yuǎn)，因此，所選取的正負(fù)樣本的質(zhì)量直接決定了整個(gè)方法的效果。為此，有很多研究工作集中在對(duì)比學(xué)習(xí)的采樣方法中，本文針對(duì)這些方法繼續(xù)進(jìn)行深挖，希望能夠讓大家對(duì)對(duì)比學(xué)習(xí)有更深入的認(rèn)識(shí)，為大家?guī)硪恍┪⑿〉膯l(fā)。

在接下來的介紹中，本文首先介紹了一個(gè)在自然語(yǔ)言中更巧妙使用數(shù)據(jù)增強(qiáng)的方法，避免了在 NLP 使用數(shù)據(jù)增強(qiáng)面臨的數(shù)據(jù)質(zhì)量的問題。接下來針對(duì)對(duì)比學(xué)習(xí)中的采樣方式，分別從效率，假負(fù)樣本更充分的利用，以及負(fù)樣本難度的選擇是如何影響模型效果的這幾個(gè)方面進(jìn)行簡(jiǎn)單介紹。

更好的自然語(yǔ)言處理樣本生成（ConSERT ）[1]

在具體介紹針對(duì)正樣本或者負(fù)樣本的采樣之前，首先介紹一個(gè)在自然語(yǔ)言處理中進(jìn)行更好的數(shù)據(jù)增強(qiáng)的工作。該工作通過選擇更合適的自然語(yǔ)言數(shù)據(jù)增強(qiáng)方法坍縮了 BERT 原生句子表示在表征空間存在的“坍縮”現(xiàn)象，同時(shí)也是一個(gè)標(biāo)準(zhǔn)的將對(duì)比學(xué)習(xí)應(yīng)用在自然語(yǔ)言語(yǔ)義表征中的框架。

1.1 亮點(diǎn)

通過分析指出原生的 BERT 模型在句子語(yǔ)義表征中存在“坍縮”現(xiàn)象，即傾向于編碼到一個(gè)較小的空間區(qū)域內(nèi)，使大多數(shù)的句子對(duì)都具有較高的相似度分?jǐn)?shù)，影響表征結(jié)果在具體下游任務(wù)中的表現(xiàn)

基于 BERT 模型提出了一種更好的對(duì)比學(xué)習(xí)方法，用于句子語(yǔ)義的表征

在監(jiān)督實(shí)驗(yàn)，無(wú)監(jiān)督實(shí)驗(yàn)，小樣本實(shí)驗(yàn)中進(jìn)行了充分的模型驗(yàn)證

1.2 方法

整體的模型框架圖如下，相對(duì)于 BERT 模型而言思路非常簡(jiǎn)單，就是在輸入到 encoder 的時(shí)候加了一個(gè)數(shù)據(jù)增強(qiáng)層。但作者進(jìn)行了非常全面的考慮，例如為了避免直接從文本層面進(jìn)行數(shù)據(jù)增強(qiáng)導(dǎo)致的語(yǔ)義變化問題，以及效率問題。作者提出直接在 embedding 層隱式生成數(shù)據(jù)增強(qiáng)樣本，從而一方面避免以上問題，另一方面能夠生成高質(zhì)量的數(shù)據(jù)增強(qiáng)樣本。

而在數(shù)據(jù)增強(qiáng)上，由于是在 embedding 層直接進(jìn)行數(shù)據(jù)增強(qiáng)的，因此在這里作者選擇了以下四種增強(qiáng)方式：

對(duì)抗攻擊：通過梯度回傳生成對(duì)抗擾動(dòng)，將該擾動(dòng)加到原本的 embedding 矩陣上

詞序打亂：這個(gè)非常有意思，由于在 BERT 中是通過 position embedding 的方式顯式指定位置的，因此直接將 position id 進(jìn)行 shuffle 即可

裁剪：這部分分為兩個(gè)粒度：a. 對(duì)某個(gè) token 進(jìn)行裁剪，直接將對(duì)應(yīng)的 embedding 置為 0 即可，b. 對(duì)某些特征進(jìn)行裁剪，即將 embedding 矩陣中對(duì)應(yīng)列置為 0

dropout：這個(gè)就是非常簡(jiǎn)單有效的方法了，直接利用 BERT 的結(jié)構(gòu)進(jìn)行 dropout 操作即可

由于這些方法是直接面向 embedding 矩陣的，因此相對(duì)于顯示生成增強(qiáng)文本的方法更為高效。針對(duì)本文的具體技術(shù)細(xì)節(jié)可以參考作者自己的解讀。

1.3 實(shí)驗(yàn)

本文的實(shí)驗(yàn)也是非常充分的，作者處理利用對(duì)比學(xué)習(xí)框架進(jìn)行無(wú)監(jiān)督訓(xùn)練之外，還考慮了融合監(jiān)督信號(hào)進(jìn)行的增強(qiáng)訓(xùn)練，并提出了聯(lián)合訓(xùn)練：有監(jiān)督損失和無(wú)監(jiān)督損失進(jìn)行加權(quán)聯(lián)合訓(xùn)練；現(xiàn)有監(jiān)督在無(wú)監(jiān)督：先用有監(jiān)督損失訓(xùn)練模型，在利用無(wú)監(jiān)督方法進(jìn)行表示遷移；聯(lián)合訓(xùn)練再無(wú)監(jiān)督：先用聯(lián)合損失訓(xùn)練模型，在無(wú)監(jiān)督遷移。

以下展示了部分實(shí)驗(yàn)結(jié)果，從實(shí)驗(yàn)結(jié)果中可以看出模型的效果還是非常好的

個(gè)人認(rèn)為本文最大的亮點(diǎn)就是對(duì)數(shù)據(jù)增強(qiáng)方法的利用，相對(duì)于 CV 領(lǐng)域的增強(qiáng)方法，NLP 領(lǐng)域的數(shù)據(jù)增強(qiáng)一直存在高質(zhì)量的數(shù)據(jù)增強(qiáng)與原始語(yǔ)義的保證之間的矛盾。
本文通過直接在 embedding 矩陣上進(jìn)行處理，一方面能夠緩解以上矛盾，另一方面能夠以一種更高效的方法進(jìn)行，從而實(shí)現(xiàn)了 NLP 中更好的對(duì)比學(xué)習(xí)。這部分還可以參考 Mixup 這個(gè)工作，能夠?yàn)檫@種方法提供更好的數(shù)據(jù)增強(qiáng)操作。

對(duì)比學(xué)習(xí)效率問題（Inefficiency of Self-supervised Representation Learning）[2]

在傳統(tǒng)對(duì)比學(xué)習(xí)中，我們主要是通過以下方式進(jìn)行對(duì)比，輸入樣本為錨點(diǎn)樣本，數(shù)據(jù)增強(qiáng)樣本為正樣本，同一個(gè) batch 中的其他樣本默認(rèn)為負(fù)樣本。這種方法的好處是能夠簡(jiǎn)單實(shí)現(xiàn) 1 個(gè)正樣本 v.s. 多個(gè)負(fù)樣本的學(xué)習(xí)，但問題也同樣存在，這種方法本質(zhì)上是一種實(shí)例級(jí)別的對(duì)比學(xué)習(xí)（Contrastive instance discrimination，或者 Instance-level contrastive learning），即每個(gè)樣本都單獨(dú)的一類。

本文通過實(shí)驗(yàn)發(fā)現(xiàn)，目前的這些方法效率比較低，比如需要 10 倍的 epoches 才能和監(jiān)督學(xué)習(xí)有相似的效果。為了解決這種低效率的問題，作者開展了這個(gè)工作。

2.1 亮點(diǎn)

作者通過實(shí)驗(yàn)證明現(xiàn)有的對(duì)比學(xué)習(xí)方法效率低的原因有兩個(gè)，under-clustering 和 over-clustering，前者是說在負(fù)樣本數(shù)量不充足的時(shí)候很難學(xué)習(xí)到類別之間的不相似性；后者是說在實(shí)例級(jí)別的對(duì)比學(xué)習(xí)很難實(shí)現(xiàn)同一類樣本的類內(nèi)特征學(xué)習(xí)。

為了解決這種問題，作者提出了一種新的損失函數(shù)，將 infoNCE 替換為 triplet loss，以實(shí)現(xiàn)更多的負(fù)樣本學(xué)習(xí)以及類內(nèi)公共特征學(xué)習(xí)

2.2 方法

最主要的，作者提出了一種 Median Triplet Loss，在 triplet loss 的基礎(chǔ)上進(jìn)行了修正，以提升對(duì)比學(xué)習(xí)的效率和性能。以下是 median triplet loss 的一個(gè)直觀圖示：

首先普通的 triplet loss 可以表示為如下形式：

而為了提升 triplet loss 的效果，在實(shí)際應(yīng)用中，一般會(huì)借鑒 SVM 的思想，直接選擇最難的樣本作為負(fù)樣本進(jìn)行損失計(jì)算，也即可以用如下形式表示：

也就是說將 InfoNCE 損失替換為 triplet loss，并使用最難的樣本進(jìn)行計(jì)算的話，就可以解決 under-clustering 問題，因?yàn)樽铍y的負(fù)樣本都已經(jīng)滿足這個(gè)條件了，那其他所有的負(fù)樣本也都會(huì)滿足這個(gè)條件。

但這又會(huì)引出另一個(gè)問題，over-clustering 問題并沒有得到解決，因?yàn)樽铍y的樣本是和錨點(diǎn)樣本具有最大的語(yǔ)義相似度（負(fù)樣本中），那么就有可能是假負(fù)樣本，而這個(gè)假負(fù)樣本性又是因?yàn)楝F(xiàn)在做的是實(shí)例級(jí)別的對(duì)比造成的。為了解決這個(gè)問題，作者想出來一個(gè)非常簡(jiǎn)單的方法，相對(duì)于對(duì)最難的樣本做一個(gè)退化。

具體而言，既然最難的樣本會(huì)造成 over-clustering 問題，但又想盡可能大的是使用決策邊界，那是否可以降低一下難度呢？作者沒有去解決假負(fù)樣本的問題，而是說通過計(jì)算所有的負(fù)樣本的難度，然后進(jìn)行排序，選擇中間的作為 triplet loss 的計(jì)算目標(biāo)，這樣一方面盡可能提升了負(fù)樣本的難度（增大決策邊界），另一方面緩解了 over-clustering 問題，因?yàn)槭褂玫牟皇亲铍y的負(fù)樣本，這樣，損失函數(shù)就變成了如下形式：

在計(jì)算難度的時(shí)候，作者選擇了比較簡(jiǎn)單的余弦相似度去直接計(jì)算語(yǔ)義相似性。這部分作者并沒有進(jìn)行充分的研究分析。

2.3 實(shí)驗(yàn)

同樣的，該方法也是一種通用的對(duì)比學(xué)習(xí)方法，為了驗(yàn)證其效果，作者在多個(gè)對(duì)比學(xué)習(xí)框架上進(jìn)行了效果的驗(yàn)證，同時(shí)還對(duì)模型的效率進(jìn)行了對(duì)比實(shí)驗(yàn)，從而驗(yàn)證模型提出的方法的有效性。部分實(shí)驗(yàn)結(jié)果如下圖所示：

這篇文章最有意思的地方在于又使用回了 triplet loss，而且為了解決假負(fù)樣本的問題，選擇了一種非常簡(jiǎn)單的退化方法。思路非常簡(jiǎn)單，但實(shí)驗(yàn)結(jié)果證明了它非常有效。非常值得學(xué)習(xí)。

增量式負(fù)樣本學(xué)習(xí)（Incremental False Negative）[3]

基于對(duì)比學(xué)習(xí)的基本思想，傳統(tǒng)的對(duì)比學(xué)習(xí)大多是實(shí)例級(jí)別的對(duì)比，即每一個(gè)樣本都是一類。這種方法在前一個(gè)工作中已經(jīng)證明了效率非常低，在本文中，作者通過實(shí)驗(yàn)證明，這種方式忽略了不同樣本之間的語(yǔ)義關(guān)系，而且采到的負(fù)樣本對(duì)整個(gè)模型的影響還是很大的，為此。作者提出了一種增量式的假負(fù)樣本檢測(cè)識(shí)別方法。

3.1 亮點(diǎn)

作者通過實(shí)驗(yàn)分析證明假負(fù)樣本對(duì)整個(gè)對(duì)比學(xué)習(xí)的影響還是很大的，尤其是在大規(guī)模數(shù)據(jù)集上（數(shù)據(jù)量大，標(biāo)簽數(shù)量多）

本文提出了一種增量式的假負(fù)樣本檢測(cè)方法，按照置信度從高到低逐步移出假負(fù)樣本，緩解假負(fù)樣本對(duì)整個(gè)對(duì)比學(xué)習(xí)模型的影響。

3.2 方法

下圖是整個(gè)模型的算法框架圖，作者通過以一種增量學(xué)習(xí)的方式識(shí)別負(fù)樣本采樣中的假負(fù)樣本，首先刪除簡(jiǎn)單的假負(fù)樣本，然后隨著模型性能的提升，逐步刪除難的假負(fù)樣本，從而實(shí)現(xiàn)模型效果的提升

首先回顧一下傳統(tǒng)對(duì)比學(xué)習(xí)的損失函數(shù)：

其中最主要的就是如何得到正確的正樣本和負(fù)樣本。在這里，作者主要關(guān)注于假負(fù)樣本的檢測(cè)。之前的方法，例如 DeepCluster，PCL 等大多是通過一次性的聚類得到偽標(biāo)簽，而這種方式是有些粗糙的。因?yàn)樵趧傞_始的時(shí)候模型的建模能力是比較弱的，得到的輸入表征的可信度也沒有那么高。如果將這點(diǎn)考慮進(jìn)來，就能夠?qū)崿F(xiàn)更好的假負(fù)樣本檢測(cè)。

為此，作者認(rèn)為樣本的標(biāo)簽應(yīng)該滿足一下條件：將樣本賦予某一類別應(yīng)該滿足對(duì)應(yīng)的表征不僅與對(duì)應(yīng)的類別中心點(diǎn)近，而且應(yīng)該和其他類別的中心點(diǎn)遠(yuǎn)。為此，作者提出了如下的置信度計(jì)算方法用于確定輸入數(shù)據(jù)的偽標(biāo)簽：

利用該計(jì)算公式，就能夠?yàn)槊恳粋€(gè)負(fù)樣本的偽標(biāo)簽添加上置信度，這樣就可以設(shè)定接受閾值，當(dāng)大于閾值時(shí)才會(huì)認(rèn)為是真負(fù)樣本，而且該置信度是利用學(xué)習(xí)到的表征進(jìn)行計(jì)算的，因此它是和模型的性能直接相關(guān)的。因此能夠動(dòng)態(tài)的進(jìn)行選擇。

有了識(shí)別真負(fù)樣本和假負(fù)樣本的方法，作者針對(duì)損失函數(shù)進(jìn)行了相對(duì)應(yīng)的調(diào)整。一種是比較簡(jiǎn)單，直接將對(duì)應(yīng)的假負(fù)樣本刪除即可，另一種是充分利用假負(fù)樣本，既然是假負(fù)樣本，那么它就是真正樣本。將其加入到模型中進(jìn)行對(duì)比學(xué)習(xí)，從而進(jìn)一步提升對(duì)比學(xué)習(xí)的性能。兩種損失函數(shù)的計(jì)算方法如下：

3.3 實(shí)驗(yàn)

由于作者提出的方法是一種通用的采樣和對(duì)比學(xué)習(xí)方法， 作者在多個(gè)方法上進(jìn)行了模型效果的驗(yàn)證，同時(shí)還驗(yàn)證了假負(fù)樣本對(duì)整個(gè)模型的影響，相關(guān)實(shí)驗(yàn)結(jié)果如下：

除此之外，作者還進(jìn)行了不同刪除策略的效果對(duì)比，進(jìn)一步說明作者所提出的方法的有效性。

這個(gè)工作最吸引人的地方在于作者不再是通過一次聚類直接找到偽標(biāo)簽，然后進(jìn)行假負(fù)樣本的刪除，而是設(shè)計(jì)了一個(gè)置信度計(jì)算方法，通過置信度逐步合理的刪除假負(fù)樣本，保證假負(fù)樣本刪除的正確性。同時(shí)作者巧妙的將置信度計(jì)算和模型的性能結(jié)合起來，有點(diǎn)課程學(xué)習(xí)的感覺。還是很有意思的。

負(fù)樣本質(zhì)量分析（are all negative equal）[4]

在之前的工作中，都是集中于選擇更好的正樣本或者更好的負(fù)樣本，但是否簡(jiǎn)單的負(fù)樣本就沒有用？負(fù)樣本的難度是否越難越好？為了回答這個(gè)問題，Facebook進(jìn)行了關(guān)于負(fù)樣本質(zhì)量分析的工作，對(duì)整個(gè)對(duì)比學(xué)習(xí)中的樣本選擇工作進(jìn)行了總結(jié)，同時(shí)也給了我們一些未來研究的啟發(fā)。

4.1 亮點(diǎn)

本文針對(duì)負(fù)樣本的質(zhì)量對(duì)整個(gè)模型的影響進(jìn)行了定量分析。

4.2 方法

由于這是一個(gè)定量分析的工作，本文作者并沒有提出具體的方法，而是直接以 Moco v2 為基準(zhǔn)模型，然后分析在不同難度的條件下模型的表現(xiàn)，最后總結(jié)出相關(guān)的結(jié)論。

作者首先定義了負(fù)樣本難度的計(jì)算方式：錨點(diǎn)樣本和負(fù)樣本在隱式對(duì)比空間中的表征向量的點(diǎn)積。在此基礎(chǔ)上，作者對(duì)負(fù)樣本進(jìn)行排序，然后在相同條件下進(jìn)行 Moco v2 的訓(xùn)練。并通過刪除模型中特定難度范圍的樣本來分析這些樣本對(duì)整個(gè)模型性能的影響。最后作者發(fā)現(xiàn)了一些有意思的結(jié)論。首先，作者將整個(gè)結(jié)果總結(jié)成了一個(gè)圖：

從圖中可以得到以下結(jié)論：

最簡(jiǎn)單的 95% 的負(fù)樣本是不必須的，對(duì)整個(gè)模型的影響非常小。最難的5%的負(fù)樣本對(duì)整個(gè)模型的影響是巨大的，因此這些樣本是必須的，而且這樣的負(fù)樣本數(shù)量也是足夠的。僅在這些樣本上進(jìn)行訓(xùn)練就能夠提升非常高。

最難的 0.1% 的負(fù)樣本是不必要的，有時(shí)候甚至?xí)?duì)模型造成損害

通過對(duì)負(fù)樣本的分析，難的負(fù)樣本在類別上和錨點(diǎn)樣本之間更相似（和簡(jiǎn)單樣本相比），因此，在抽象語(yǔ)義上擁有更多的相似度對(duì)模型的影響更大一些。

作者還展示了一些具體的實(shí)驗(yàn)結(jié)果，如下圖：

同時(shí)，作者也在未來工作中指出通過課程學(xué)習(xí)，逐步增加負(fù)樣本的難度，有助于更好的對(duì)比學(xué)習(xí)。當(dāng)然，本文的基礎(chǔ)是基于圖像分類的，也就是說所得到的負(fù)樣本和正樣本的質(zhì)量是有保證的。那在更難的自然語(yǔ)言處理中，會(huì)不會(huì)有更有意思的發(fā)現(xiàn)呢？這個(gè)也是一個(gè)值得研究的地方。

總結(jié)

本文對(duì)對(duì)比學(xué)習(xí)中的采樣策略進(jìn)行了進(jìn)一步的介紹，不再是如何選擇更難的樣本。而是考慮更全面的內(nèi)容，如何解決 NLP 中的增強(qiáng)數(shù)據(jù)質(zhì)量問題，如何提升對(duì)比學(xué)習(xí)的效率，如何在合適的時(shí)機(jī)選擇恰當(dāng)難度的樣本提升對(duì)比學(xué)習(xí)的性能以及針對(duì)樣本難度對(duì)模型性能整體定量分析。

從這些工作中可以看出，在對(duì)比學(xué)習(xí)中更好的采樣不僅僅是指采集到更高質(zhì)量的樣本，同時(shí)還可以考慮在什么地方使用，在什么時(shí)候使用，以及如何使用。最后一個(gè)工作也指出了既然需要考慮樣本難度，那么是否能將對(duì)比學(xué)習(xí)和課程學(xué)習(xí)有機(jī)結(jié)合起來，以更合理的方式實(shí)現(xiàn)對(duì)采集樣本的利用，進(jìn)一步提升模型的性能。這些都是非常有意思，有價(jià)值的研究方向。

參考文獻(xiàn)

[1] Yan Y, Li R, Wang S, et al. ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer[J]. arXiv preprint arXiv:2105.11741, 2021.?

[2] Wang G, Wang K, Wang G, et al. Towards Solving Inefficiency of Self-supervised Representation Learning[J]. arXiv preprint arXiv:2104.08760, 2021.?

[3]?Chen T S, Hung W C, Tseng H Y, et al. Incremental False Negative Detection for Contrastive Learning[J]. arXiv preprint arXiv:2106.03719, 2021..?

[4] Cai T T, Frankle J, Schwab D J, et al. Are all negatives created equal in contrastive instance discrimination?[J]. arXiv preprint arXiv:2010.06682, 2020.

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

·

總結(jié)

以上是生活随笔為你收集整理的再谈对比学习：更好的对比样本选择，更好的对比效果的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。