任務3：論文代碼統計

3.1 任務說明

• 任務主題：論文代碼統計，統計所有論文出現代碼的相關統計；
• 任務內容：使用正則表達式統計代碼連接、頁數和圖表數據；
• 任務成果：學習正則表達式統計；

3.2 數據處理步驟

在原始arxiv數據集中作者經常會在論文的comments或abstract字段中給出具體的代碼鏈接，所以我們需要從這些字段里面找出代碼的鏈接。

• 確定數據出現的位置；
• 使用正則表達式完成匹配；
• 完成相關的統計；

3.3 正則表達式

正則表達式(regular expression)描述了一種字符串匹配的模式（pattern），可以用來檢查一個串是否含有某種子串、將匹配的子串替換或者從某個串中取出符合某個條件的子串等。

3.3.1 普通字符：大寫和小寫字母、所有數字、所有標點符號和一些其他符號

字符描述

[ABC]	匹配 […] 中的所有字符，例如 [aeiou] 匹配字符串 “google runoob taobao” 中所有的 e o u a 字母。
[^ABC]	匹配除了 […] 中字符的所有字符，例如 [^aeiou] 匹配字符串 “google runoob taobao” 中除了 e o u a 字母的所有字母。
[A-Z]	[A-Z] 表示一個區間，匹配所有大寫字母，[a-z] 表示所有小寫字母。
.	匹配除換行符（\n、\r）之外的任何單個字符，相等于 [^\n\r]。
[\s\S]	匹配所有。\s 是匹配所有空白符，包括換行，\S 非空白符，包括換行。
\w	匹配字母、數字、下劃線。等價于 [A-Za-z0-9_]

3.3.2 特殊字符：有特殊含義的字符

特別字符描述

( )	標記一個子表達式的開始和結束位置。子表達式可以獲取供以后使用。要匹配這些字符，請使用 ( 和 )。
*	匹配前面的子表達式零次或多次。要匹配 * 字符，請使用 *。
+	匹配前面的子表達式一次或多次。要匹配 + 字符，請使用 +。
.	匹配除換行符 \n 之外的任何單字符。要匹配 . ，請使用 . 。
[	標記一個中括號表達式的開始。要匹配 [，請使用 [。
?	匹配前面的子表達式零次或一次，或指明一個非貪婪限定符。要匹配 ? 字符，請使用 ?。
\	將下一個字符標記為或特殊字符、或原義字符、或向后引用、或八進制轉義符。例如， ‘n’ 匹配字符 ‘n’。’\n’ 匹配換行符。序列 ‘\’ 匹配 “”，而 ‘(’ 則匹配 “(”。
^	匹配輸入字符串的開始位置，除非在方括號表達式中使用，當該符號在方括號表達式中使用時，表示不接受該方括號表達式中的字符集合。要匹配 ^ 字符本身，請使用 ^。
{	標記限定符表達式的開始。要匹配 {，請使用 {。
|	指明兩項之間的一個選擇。要匹配 |，請使用 |。

3.3.3 限定符

字符描述

*	匹配前面的子表達式零次或多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等價于{0,}。
+	匹配前面的子表達式一次或多次。例如，‘zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等價于 {1,}。
?	匹配前面的子表達式零次或一次。例如，“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等價于 {0,1}。
{n}	n 是一個非負整數。匹配確定的 n 次。例如，‘o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的兩個 o。
{n,}	n 是一個非負整數。至少匹配n 次。例如，‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。‘o{1,}’ 等價于 ‘o+’。‘o{0,}’ 則等價于 ‘o*’。
{n,m}	m 和 n 均為非負整數，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，“o{1,3}” 將匹配 “fooooood” 中的前三個 o。‘o{0,1}’ 等價于 ‘o?’。請注意在逗號和兩個數之間不能有空格。

3.4 具體代碼實現以及講解

首先我們來統計論文頁數，也就是在comments字段中抽取pages和figures和個數，首先完成字段讀取。

data = [] #初始化 #使用with語句優勢：1.自動關閉文件句柄；2.自動顯示（處理）文件讀取數據異常 with open("arxiv-metadata-oai-snapshot.json", 'r') as f: for idx, line in enumerate(f): d = json.loads(line)d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}data.append(d)data = pd.DataFrame(data) #將list變為dataframe格式，方便使用pandas進行分析

對pages進行抽取：

# 使用正則表達式匹配，XX pages data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))# 篩選出有pages的論文 data = data[data['pages'].apply(len) > 0]# 由于匹配得到的是一個list，如['19 pages']，需要進行轉換 data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))

對pages進行統計：

data['pages'].describe().astype(int)

統計結果如下：論文平均的頁數為17頁，75%的論文在22頁以內，最長的論文有11232頁。

count 1089180 mean 17 std 22 min 1 25% 8 50% 13 75% 22 max 11232 Name: pages, dtype: int64

接下來按照分類統計論文頁數，選取了論文的第一個類別的主要類別：

# 選擇主要類別 data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0]) data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])# 每類論文的平均頁數 plt.figure(figsize=(12, 6)) data.groupby(['categories'])['pages'].mean().plot(kind='bar')

接下來對論文圖表個數進行抽取：

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x))) data = data[data['figures'].apply(len) > 0] data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))

最后我們對論文的代碼鏈接進行提取，為了簡化任務我們只抽取github鏈接：

# 篩選包含github的論文 data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True) ] data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')# 使用正則表達式匹配論文 pattern = '[a-zA-z]+://github[^\s]*' data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

并對論文按照類別進行繪圖：

data_with_code = data_with_code[data_with_code['code_flag'] == 1] plt.figure(figsize=(12, 6)) data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

總結

以上是生活随笔為你收集整理的【算法竞赛学习】学术前沿趋势-论文代码统计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。