一、任务说明
- 学习主题：作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系；
- 学习内容：构建作者关系图，挖掘作者关系
- 学习成果：论文作者知识图谱、图关系挖掘
二、数据处理步骤
将作者列表进行处理，并完成统计。具体步骤如下：
- 将论文第一作者与其他作者（论文非第一作者）构建图；
- 使用图算法统计图中作者与其他作者的联系；
三、社交网络分析
图是复杂网络研究中的一个重要概念。Graph是用点和线来刻画离散事物集合中的每对事物间以某种方式相联系的数学模型。Graph在现实世界中随处可见，如交通运输图、旅游图、流程图等。利用图可以描述现实生活中的许多事物，如用点可以表示交叉口，点之间的连线表示路径，这样就可以轻而易举的描绘出一个交通运输网络。
3.1 图类型
- 无向图，忽略了两节点间边的方向。
- 指有向图，考虑了边的有向性。
- 多重无向图，即两个结点之间的边数多于一条，又允许顶点通过同一条边和自己关联。
3.2 图统计指标
-
度
-
迪杰斯特拉路径
-
连通图
四、具体代码以及讲解
# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具
data = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("arxiv-metadata-oai-snapshot.json", 'r') as f:
for idx, line in enumerate(f):
d = json.loads(line)
d = {'authors_parsed': d['authors_parsed']}
data.append(d)
data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析
| authors_parsed | |
|---|---|
| [[Balázs, C., ], [Berger, E. L., ], [Nadolsky,... | |
| 1 | [[Streinu, Ileana, ], [Theran, Louis, ]] |
| 2 | [[Pan, Hongjun, ]] |
| 3 | [[Callan, David, ]] |
| 4 | [[Abu-Shammala, Wael, ], [Torchinsky, Alberto, ]] |
创建作者链接的无向图：
import networkx as nx
# 创建无向图
G = nx.Graph()
# 只用五篇论文进行构建
for row in data.iloc[:5].itertuples():
authors = row[1]
authors = [' '.join(x[:-1]) for x in authors]
# 第一个作者 与 其他作者链接
for author in authors[1:]:
G.add_edge(authors[0],author) # 添加节点２，３并链接２３节点
将作者关系图进行绘制：
得到作者之间的距离：
try:
print(nx.dijkstra_path(G, 'Balázs C.', 'Ziambaras Eleni'))
except:
print('No path')
No path
如果我们500片论文构建图，则可以得到更加完整作者关系，并选择最大联通子图进行绘制，折线图为子图节点度值。
# 计算论文关系中有多少个联通子图
print(len(nx.communicability(G)))
8
degree_sequence = sorted([d for n, d in G.degree()], reverse=True)
dmax = max(degree_sequence)
plt.loglog(degree_sequence, "b-", marker="o")
plt.title("Degree rank plot")
plt.ylabel("degree")
plt.xlabel("rank")
# draw graph in inset
plt.axes([0.45, 0.45, 0.45, 0.45])
Gcc = G.subgraph(sorted(nx.connected_components(G), key=len, reverse=True)[0])
pos = nx.spring_layout(Gcc)
plt.axis("off")
nx.draw_networkx_nodes(Gcc, pos, node_size=20)
nx.draw_networkx_edges(Gcc, pos, alpha=0.4)
plt.show()
参考文献
https://github.com/datawhalechina/team-learning-data-mining/blob/master/AcademicTrends/Task5%20%E4%BD%9C%E8%80%85%E4%BF%A1%E6%81%AF%E5%85%B3%E8%81%94.md