GPT-3.5 기반 한국어 Knowledge Graph 구축 (GraphGPT, Networkx)

---

GraphGPT

 

https://github.com/varunshenoy/GraphGPT

GitHub - varunshenoy/GraphGPT: Extrapolating knowledge graphs from unstructured text using GPT-3 🕵️‍♂️

graphgpt.vercel.app

GraphGPT

 

최근 GraphGPT 라는 것을 접했습니다. GraphGPT는 엔티티와 엔티티간의 관계를 파악하여 그 관계를 그래프로 표현해주는 툴인데, 기존의 온톨로지 그래프 구축 기법을 ChatGPT로 대체한 것입니다. 엔티티와의 연결 뿐 아니라 노드의 색상을 바꿔줄 수도 있습니다. 

 

그러나 GraphGPT의 한계가 있습니다.

첫째, GPT 3 모델 기반입니다.

둘째, 영어로 프롬프트가 작성되어, 한글 질의 시 성능이 안나옵니다.

 

따라서 저는 프로그램이 GPT3.5 (gpt-3.5-turbo) 모델을 사용하도록 하고,

노드 및 엣지의 라벨을 한국어로 출력할 수 있도록 프롬프트를 수정했습니다.

또한 프롬프트에 더 상세한 Example을 추가하여 기존 GraphGPT의 성능문제를 개선했습니다.

하나 더! GraphGPT는 이미 웹 어플리케이션을 통해 훌륭한 인터랙티브 시각화를 제공하고 있지만,

폰트 사이즈, 노드 크기 등 자유롭게 커스텀할 수 있도록 NetworkX 라이브러리로 시각화하여 마무리해보았습니다.

 

 

---

GPT 3.5 모델을 기반으로 한국어 프롬프트 작성

 

GraphGPT 깃허브의 Prompts 디렉토리에 개발자가 활용한 프롬프트를 볼 수 있습니다. 보시다시피 영어로 작성되어 있어 저는 이 프롬프트를 기반으로 한국어 작성, 예시 추가를 진행했습니다.

 

Given the current state of the graph and a prompt, first look for noun-type entities in the prompt, and those entities become nodes.
Find the right word to express the relationship between the entities. Those relationships become the edge. If you can't find relationships, don't force it.
Every node has an id, label, and color (in hex).
Every edge has a to and from with node ids, and a label.
Edges are directed, so the order of the from and to is important.
You MUST express in KOREAN.

Examples 1: The default color for nodes is #cccccc.
current state: {}
user prompt: 나연은 소연과 서로 친구입니다.
new state: { "nodes": [ {"id": 1, "label": "나연", "color": "#cccccc"}, {"id": 2, "label": "소연", "color": "#cccccc"} ], "edges": [ {"from": 1, "to": 2, "label": "친구"}, {"from": 2, "to": 1, "label": "친구"} ] }

Examples 2: Keep current state and update new state.
current state: { "nodes": [ { "id": 1, "label": "밥", "color": "#cccccc" } ], "edges": [] }
user prompt: 엘리스는 밥의 룸메이트입니다. 엘리스의 노드를 초록색으로 만들어주세요.
new state: { "nodes": [ {"id": 1, "label": "밥", "color": "#cccccc"}, {"id": 2, "label": "엘리스", "color": "#00ff00"} ], "edges": [ {"from": 1, "to": 2, "label": "룸메이트"} ] }

Examples 3: GPT can assign a label for an edge to a word that does not appear in the prompt.
current state: {}
user prompt: 나연은 대구에서 태어났습니다.
new state: { "nodes": [ {"id": 1, "label": "나연", "color": "#cccccc"}, {"id": 2, "label": "대구", "color": "#cccccc"} ], "edges": [ {"from": 1, "to": 2, "label": "출생"} ] }

Examples 4: GPT need to identify key relationships and put them into words.
current state: {}
user prompt: 사람들은 자주 만나면 유대감을 형성합니다.
new state: { "nodes": [ {"id": 1, "label": " 만남", "color": "#cccccc"}, {"id": 2, "label": "유대감", "color": "#cccccc"} ], "edges": [ {"from": 1, "to": 2, "label": "형성"}] }

Examples 5: When a relationship is defined only as 'is(이다)', the label of the relationship (edge) is unified as 'is(이다)'.
current state: {}
user prompt: 1호선에 해당하는 역은 수원역, 신도림역, 광운대역 등이 있다.
new state : { "nodes": [ {"id": 1, "label": " 1호선역", "color": "#cccccc"}, {"id": 2, "label": "수원역", "color": "#cccccc"}, {"id": 3, "label": "신도림역", "color": "#cccccc"}, {"id": 4, "label": "광운대역", "color": "#cccccc"} ],
"edges": [ {"from": 2, "to": 1, "label": "이다"}, {"from": 3, "to": 1, "label": "이다"}, {"from": 4, "to": 1, "label": "이다"}] }

===
위 5가지 사례를 기반으로 new state를 답변하는 AI가 되세요.

 

추가, 수정한 프롬프트 전문입니다. 이것저것을 다 커버하려다 보니 프롬프트가 길어진 듯 하지만, 다양한 케이스에서 원하는 결과가 나올 수 있도록 작성했습니다.

 

 

---

GPT 3.5를 활용한 지식그래프 Networkx 구현

 

https://colab.research.google.com/drive/1yHlAC2IHxPcKlA_nuH8kn2bAew4Vv3ZM?usp=sharing 

ChatGPT API를 통한 지식그래프 구축.ipynb

 

그럼, 구현해보겠습니다. 코드 전체는 위 코랩 링크를 통해 확인 가능합니다.

 

def making_prompt(is_start, current_state, user_promt):
  human_template = ''
  if(is_start):
    human_template += 'current state: {}'
  else:
    human_template += 'current state: {}'.format(current_state)

  human_template += ' user prompt: ' + user_promt + " new state:"

  result = chat(
    [
      SystemMessage(content=system_template),
      HumanMessage(content=human_template)
    ]
  )

  return result

 

프롬프트를 만드는 함수입니다. 사용자가 새로운 문장을 입력할 때마다 new state를 답변할 수 있도록 구성했습니다. 위 프롬프트에서 확인할 수 있듯, 기존의 state를 유지하고, new state를 업데이트 하는 것이 기본입니다. 첫 질의라면 현재 state가 {} (빈 상태) 가 되어야겠죠.

 

저는 Langchain을 활용했고, langchain의 ChatOpenAI 모듈을 사용해서 시스템 템플릿(Instruction)과 입력 템플릿(Input)을 합쳐주었습니다. 

 

이 후 반복적으로 사용자 입력을 받아 new state를 업데이트 해주었습니다. 아래는 제가 적용해본 예시입니다.

new state : {}

User Input : 아일랜드의 수도는 더블린이다.

new state : 
{ "nodes": [ {"id": 1, "label": "아일랜드", "color": "#cccccc"}, {"id": 2, "label": "더블린", "color": "#cccccc"} ],
"edges": [ {"from": 1, "to": 2, "label": "수도"} ] }

User Input : 더블린의 명소에는 트리니티대학, 피닉스파크 등이 있다.

new state : 
{ "nodes": [ {"id": 1, "label": "아일랜드", "color": "#cccccc"}, {"id": 2, "label": "더블린", "color": "#cccccc"}, {"id": 3, "label": "트리니티대학", "color": "#cccccc"}, {"id": 4, "label": "피닉스파크", "color": "#cccccc"} ], "edges": [ {"from": 1, "to": 2, "label": "수도"}, {"from": 2, "to": 3, "label": "명소"}, {"from": 2, "to": 4, "label": "명소"} ] }

User Input : 아일랜드의 노드 색상을 파란색으로 해주세요.

new state : 
{ "nodes": [ {"id": 1, "label": "아일랜드", "color": "#0000ff"}, {"id": 2, "label": "더블린", "color": "#cccccc"}, {"id": 3, "label": "트리니티대학", "color": "#cccccc"}, {"id": 4, "label": "피닉스파크", "color": "#cccccc"} ], "edges": [ {"from": 1, "to": 2, "label": "수도"}, {"from": 2, "to": 3, "label": "명소"}, {"from": 2, "to": 4, "label": "명소"} ] }

User Input : 아일랜드는 맥주와 커피가 유명합니다.

new state : 
{ "nodes": [ {"id": 1, "label": "아일랜드", "color": "#0000ff"}, {"id": 2, "label": "더블린", "color": "#cccccc"}, {"id": 3, "label": "트리니티대학", "color": "#cccccc"}, {"id": 4, "label": "피닉스파크", "color": "#cccccc"}, {"id": 5, "label": "맥주", "color": "#cccccc"}, {"id": 6, "label": "커피", "color": "#cccccc"} ], "edges": [ {"from": 1, "to": 2, "label": "수도"}, {"from": 2, "to": 3, "label": "명소"}, {"from": 2, "to": 4, "label": "명소"}, {"from": 1, "to": 5, "label": "유명"}, {"from": 1, "to": 6, "label": "유명"} ] }

User Input : 기네스가 유명한 맥주 중 하나입니다.

new state : 
{ "nodes": [ {"id": 1, "label": "아일랜드", "color": "#0000ff"}, {"id": 2, "label": "더블린", "color": "#cccccc"}, {"id": 3, "label": "트리니티대학", "color": "#cccccc"}, {"id": 4, "label": "피닉스파크", "color": "#cccccc"}, {"id": 5, "label": "맥주", "color": "#cccccc"}, {"id": 6, "label": "커피", "color": "#cccccc"}, {"id": 7, "label": "기네스", "color": "#cccccc"} ], "edges": [ {"from": 1, "to": 2, "label": "수도"}, {"from": 2, "to": 3, "label": "명소"}, {"from": 2, "to": 4, "label": "명소"}, {"from": 1, "to": 5, "label": "유명"}, {"from": 1, "to": 6, "label": "유명"}, {"from": 5, "to": 7, "label": "유명"} ] }

 

이렇게 최종적으로 나온 state는 바로 networkx 입력으로 사용할 수 있도록 했습니다. 

 

노드 : 

[{'id': 1, 'label': '아일랜드', 'color': '#0000ff'},
 {'id': 2, 'label': '더블린', 'color': '#cccccc'},
 {'id': 3, 'label': '트리니티대학', 'color': '#cccccc'},
 {'id': 4, 'label': '피닉스파크', 'color': '#cccccc'},
 {'id': 5, 'label': '맥주', 'color': '#cccccc'},
 {'id': 6, 'label': '커피', 'color': '#cccccc'},
 {'id': 7, 'label': '기네스', 'color': '#cccccc'}]

엣지 : 

[{'from': 1, 'to': 2, 'label': '수도'},
 {'from': 2, 'to': 3, 'label': '명소'},
 {'from': 2, 'to': 4, 'label': '명소'},
 {'from': 1, 'to': 5, 'label': '유명'},
 {'from': 1, 'to': 6, 'label': '유명'},
 {'from': 5, 'to': 7, 'label': '유명'}]

 

import networkx as nx
import matplotlib.pyplot as plt

# networkx 그래프 생성
G = nx.DiGraph()

# 노드 추가
for node in nodes:
    #print(node["id"], node["label"], node["color"])
    G.add_node(node["id"], label=node["label"], color=node["color"])

# 에지 추가
for edge in edges:
    #print((edge["from"], edge["to"], edge["label"]))
    G.add_edge(edge["from"], edge["to"], label=edge["label"], length = 10)

# 그래프 시각화
pos = nx.spring_layout(G, k=0.2) # 노드 위치 지정
#pos = nx.kamada_kawai_layout(G)
#pos = nx.layout.fruchterman_reingold_layout(G)
#pos = nx.random_layout(G)
#pos = nx.spectral_layout(G)

 

방향성 그래프 (DiGraph)를 생성하여, 노드와 엣지를 add_node, add_edge 함수를 통해 추가했습니다. 인자 값은 GPT로 부터 받은 답변의 value값을 그대로 사용할 수 있습니다.

 

plt.figure(figsize=(120,80))
nx.draw_networkx(G, pos,
                 labels = {node: G.nodes()[node]['label'] for node in G.nodes()},node_size = 10000,
                 node_color=nColors, font_size=80, font_family='NanumBarunGothic')
nx.draw_networkx_edge_labels(
    G,pos, font_size= 50,
    edge_labels=dict(((e[0], e[1]), e[2]['label']) for e in G.edges(data=True)),
    font_color='red', font_family='NanumBarunGothic'
)

 

그 외 폰트 색상, 크기 등은 원하는 대로 바꿀 수 있습니다.

 

 

시각화 결과, 엔티티 간의 관계를 적절한 명사로 할당하고, 노드의 색상 변경까지 모두 제대로 되었음을 확인할 수 있습니다. 긴 글에 대해 요약하는 용도나, 위키피디아 처럼 키워드 간의 관계가 중요한 글에 대해 쉽게 그 관계를 파악하는 용도로 사용하기 용이할 것 같습니다.