LangChain으로 이전 대화 내용을 기억하는 4가지 구현 방법 | 멀티턴 챗봇

👩‍💻 ChatGPT를 사용하면 이전 대화를 계속 기억해 나가면서 대화를 이어나가는 것을 알 수 있습니다. 이렇게 전체 대화의 맥락을 읽고 대화를 주고 받는 것을 멀티턴 (Multi-turn) 이라고 합니다. 이와 다르게 바로 직전의 질문에만 답하는 것은 싱글턴 (single-turn) 이라고 합니다. 오늘은 Langchain을 통해 멀티턴을 어떻게 구현할 수 있을 지를 알아보려 합니다. 

 

제가 참고한 문서는 아래 Langchain 파이썬 공식문서 입니다. 챗봇에 메모리를 추가하는 방법에 대해 기술한 자료이며, 해당 코드를 기반으로 설명드리며, 마지막으로 이를 응용하여 끝말잇기 챗봇을 구현해보았으니 다양한 활용에 도움이 되었으면 좋겠습니다!

https://python.langchain.com/v0.2/docs/how_to/chatbots_memory/

How to add memory to chatbots | 🦜️🔗 LangChain

 

 

---

1. Message Passing

 

멀티턴을 구현한다는 것은 기본적인 답변 기능에 이전 대화 기록 저장 기능이 추가되는 것입니다. 

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

chat = ChatOpenAI(model="gpt-4o")

prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant. Answer all questions to the best of your ability. YOU MUST ANSWER IN KOREAN.",
        ),
        ("placeholder", "{messages}"),
    ]
)

 

질문에 답변을 하기 위한 프롬프트로 보통 아래와 같은 프롬프트를 사용하게 될텐데요.

"You are a helpful assistant. Answer all questions to the best of your ability. YOU MUST ANSWER IN KOREAN."

 

여기에 추가로 이전 대화 내용을 입력할 placeholder를 추가했습니다. placeholder 란 원하는 위치에 동적으로 삽입될 메시지를 추가하기 위한 것으로, 여기서는 이전 대화 히스토리를 위한 것입니다. 다시 말해, 기본적으로 능숙한 답변을 하기 위한 모델에서, 이전 대화를 함께 넘겨줌으로써 대화 맥락을 이해하는 모델이 구성된 것입니다. 

 

chain = prompt | chat

 

위에서 만들어준 채팅 모델(chat)과 프롬프트(prompt)를 버티컬바(|) 로 연결해주어, 각 단계가 이전 단계의 결과를 이어받아 처리하도록 하면 끝입니다. 여기서는 (1) 프롬프트를 통해 이전 대화기록이 반영된, 모델에 입력될 메시지가 완성되었다면 (2)그것을 채팅모델에 넘겨주는 구성인 것입니다.

 

ai_msg = chain.invoke(
    {
        "messages": [
            (
                "human",
                "일본어로 '잘 먹겠습니다.' 어떻게 말해? 한글 발음도 함께 말해줘.",
            ),
            ("ai",  "いただきます (이타다키마스)"),
            ("human", "내가 방금 뭐라고 했지?"),
        ],
    }
)
print(ai_msg.content)

 

output :
당신은 일본어로 '잘 먹겠습니다.'라는 표현을 물어보셨습니다. 그리고 이에 대한 답으로 일본어로는 "いただきます" (이타다키마스)라고 말한다고 알려드렸습니다.

 

Chain은 Runnable하므로 invoke 할 수 있습니다. 파라미터에는 위에서 중괄호로 빈칸 뚫어놓았던 messages 부분에 들어갈 대화 내용이 작성되었는데요. 예시로 일본어로 잘 먹겠습니다에 대한 질문과 답변을 했었다고 가정했습니다. 마지막에 user(human)가 "내가 방금 뭐라고 했지?" 라고 되물었으며, 모델은 이전 대화 내용을 함께 넘겨받았기 때문에 위 output 결과와 같이 이전 대화를 기반으로 잘 답변하는 것을 확인할 수 있습니다.

 

---

 

위의 경우는, 대화 내용이 이미 쌓인 경우라고 가정하여, 전체 대화 기록을 튜플로 연결하여 한번에 넘겨주는 예시였다면, 실제로는 대화가 하나씩 쌓이는 경우일 것입니다. 그 예시를 아래 구현해두었습니다.

 

history_list = []
while(True):
    user_input = input()
    if user_input == "종료": break
    history_list.append(
        (
            "human",
            user_input,
        )
    )
    print("## CHAT_HISTORY ##")
    print(history_list, "\n")
    ai_msg = chain.invoke(
        {
            "messages": history_list,
        }
    )
    print("AI Says : ",ai_msg.content)

    history_list.append(
        (
            "ai",
            ai_msg.content,
        )
    )

 

(1) while문을 돌면서 사용자 질문을 받으면, 그 질문은 우선 history_list에 append 됩니다.

(2) 사용자 질문이 추가된 history_list를 포함해 invoke 하여 모델의 답변을 받습니다.

(3) 모델의 답변 또한 history_list에 append 됩니다.

(4) 위 과정을 반복합니다.

 

실행 결과, 아래 처럼 chat_history가 채워지고, 이전 대화를 기억하고 답변해내는 모습을 확인할 수 있을 것입니다.

 

[첫번째 대화]

안녕
## CHAT_HISTORY ##
[('human', '안녕')]

AI Says : 안녕하세요! 어떻게 도와드릴까요?

 

[두번째 대화]

난 나연이라고 해.
## CHAT_HISTORY ##
[('human', '안녕'), ('ai', '안녕하세요! 어떻게 도와드릴까요?'), ('human', '난 나연이라고 해.')]

AI Says : 안녕하세요, 나연님! 만나서 반갑습니다. 오늘 어떻게 도와드릴까요?

 

...

 

[마지막 대화]

내 이름이 뭐였게?
## CHAT_HISTORY ##
[('human', '안녕'), ('ai', '안녕하세요! 어떻게 도와드릴까요?'), ('human', '난 나연이라고 해.'), ('ai', '안녕하세요, 나연님! 만나서 반갑습니다. 오늘 어떻게 도와드릴까요?'), ('human', '그리고 말차를 좋아하지'), ('ai', '말차를 좋아하시는군요! 말차는 독특한 맛과 향이 있어서 많은 사람들이 좋아하죠. 말차를 자주 드시나요, 아니면 특별한 때에만 드시나요?'), ('human', '내 이름이 뭐였게?')]

AI Says : 나연님이시죠? 앞에서 말씀해 주셨습니다. 😊

 

---

2. Chat History

 

다음은 ChatMessageHistory() 클래스를 활용하는 방법입니다. 첫번째 방법은 대화 기록을 직접 튜플과 리스트로 작성하여 넘겨주었다면, 이번에는 좀 더 효율적으로 메모리를 저장할 수 있도록 히스토리를 저장하고 로드하는 클래스의 도움을 받는 것입니다. 

 

from langchain_community.chat_message_histories import ChatMessageHistory

chat_history = ChatMessageHistory()

chat_history.add_user_message(
    "일본어로 '잘 먹겠습니다.' 어떻게 말해? 한글 발음도 함께 말해줘."
)

chat_history.add_ai_message("いただきます (이타다키마스)")

chat_history.messages
# chat_history.clear()

 

add_user_message를 통해 사용자의 질문을 저장할 수 있습니다. 앞에서 "human" 이라는 역할 키로 튜플에 저장하던 것과 동일한 단계라고 볼 수 있습니다.

add_ai_message를 통해 모델(AI)의 답변을 저장할 수 있습니다. 앞에서 "ai"라는 역할 키로 튜플에 저장하던 것과 동일한 단계라고 볼 수 있습니다.

 

저장된 대화 히스토리를 확인하려면 .messages를 사용하면 됩니다. 저장된 대화 히스토리를 모두 삭제하려면 .clear() 해주면 됩니다.

 

chat_history = ChatMessageHistory()

while(True):
    user_input = input()
    if user_input == "종료": break
    chat_history.add_user_message(user_input)
    response = chain.invoke(
        {
            "messages": chat_history.messages,
        }
    )
    chat_history.add_ai_message(response)
    print(response.content)

 

이 방법에서도 동일하게 대화가 쌓일 때마다 히스토리를 저장할 수 있습니다. 앞에서 직접 history_list를 만들어 append 하던 것 대신 add_user_message, add_ai_message 를 호출해 사용하였습니다. 또한 "messages" 의 값으로 chat_history.messages 만 해주면 되니 코드가 훨씬 간결해졌습니다.

 

 

---

3. Automatic history management

 

다음은 자동으로 히스토리를 관리하는 방법인데요. 앞에서 사용해본 히스토리를 저장하고 로드했던 ChatMessageHistory() 를 활용해 줄겁니다. 대신 RunnableWithMessageHistory() 클래스를 사용해 runnable 한 객체로 바로 사용해줄 수 있도록 합니다. 다시 말해, 앞에서는 히스토리 저장소 따로, chain에 invoke 따로 진행했었다면, 이번에는 Runnable 한 모델 하나에 히스토리 저장소도 합쳐주어 chain이 invoke 될 때마다 자동으로 히스토리가 업데이트 될 수 있도록 하는 겁니다.

 

chat = ChatOpenAI(model="gpt-4o")
prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant. Answer all questions to the best of your ability. YOU MUST ANSWER IN KOREAN.",
        ),
        ("placeholder", "{chat_history}"),
        ("human", "{input}"),
    ]
)

chain = prompt | chat

 

앞에서 사용해준 답변을 위한 chain은 동일하게 사용해줍니다.

 

from langchain_core.runnables.history import RunnableWithMessageHistory

chat_history_for_chain = ChatMessageHistory()

chain_with_message_history = RunnableWithMessageHistory(
    chain, # 실행할 Runnable 객체
    lambda session_id: chat_history_for_chain, # 세션 기록을 가져오는 함수
    input_messages_key="input", # 입력 메시지의 Key
    history_messages_key="chat_history", # 대화 히스토리 메시지의 Key
)

 

RunnableWithMessageHistory 클래스의 파라미터를 살펴보겠습니다.

• chain : 실행할 Runnable 객체
• session_id : 세션 기록을 가져오는 함수, 히스토리 저장공간
  • 같은 session_id를 입력하면 이어서 대화 가능
• input_messages_key : 입력 메시지의 Key, 프롬프트의 사용자 입력에 해당 ({input})
• history_messages_key : 대화 히스토리 메시지의 Key, 프롬프트의 대화 히스토리에 해당 ({chat_history})

앞에서 말했듯 해당 객체는 Runnable 하기 때문에 파라미터로 작성해준 chain이 바로 실행되도록 invoke 가 가능합니다. 단, session_id의 chat_history_for_chain과 같이 대화 히스토리를 업데이트 해줄 저장소를 파라미터로 입력하였으므로, invoke 시 자동으로 대화 히스토리가 저장되며, history_messages_key 인 "chat_history" 를 통해 파라미터 내 placeholder 부분으로 대화 히스토리가 넘겨집니다. 추가로, 여기서는 사용자 질문을 "input" 키로 따로 받아 프롬프트 및 채팅모델에 입력되도록 합니다.

 

chain_with_message_history.invoke(
    {"input": "일본어로 '잘 먹겠습니다.' 어떻게 말해? 한글 발음도 함께 말해줘."},
    {"configurable": {"session_id": "unused"}},
)

 

output :
AIMessage(content='일본어로 \'잘 먹겠습니다.\'는 "いただきます"라고 말합니다. 한글 발음은 "이타다키마스"입니다.', additional_kwargs={'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 34, 'prompt_tokens': 59, 'total_tokens': 93, 'completion_tokens_details': {'audio_tokens': None, 'reasoning_tokens': 0}, 'prompt_tokens_details': {'audio_tokens': None, 'cached_tokens': 0}}, 'model_name': 'gpt-4o-2024-08-06', 'system_fingerprint': 'fp_e5e4913e83', 'finish_reason': 'stop', 'logprobs': None}, id='run-6ea25a7f-eaa5-4809-81eb-57d41ad37427-0', usage_metadata={'input_tokens': 59, 'output_tokens': 34, 'total_tokens': 93, 'input_token_details': {'cache_read': 0}, 'output_token_details': {'reasoning': 0}})

 

chain_with_message_history.invoke(
    {"input": "내가 뭐라고 물어봤지?"}, {"configurable": {"session_id": "unused"}}
)

 

output :
AIMessage(content='당신은 "\'잘 먹겠습니다.\'를 일본어로 어떻게 말하는지" 물어보셨습니다.', additional_kwargs={'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 23, 'prompt_tokens': 110, 'total_tokens': 133, 'completion_tokens_details': {'audio_tokens': None, 'reasoning_tokens': 0}, 'prompt_tokens_details': {'audio_tokens': None, 'cached_tokens': 0}}, 'model_name': 'gpt-4o-2024-08-06', 'system_fingerprint': 'fp_e5e4913e83', 'finish_reason': 'stop', 'logprobs': None}, id='run-50037728-4fa6-4506-ba54-a5d97a92e832-0', usage_metadata={'input_tokens': 110, 'output_tokens': 23, 'total_tokens': 133, 'input_token_details': {'cache_read': 0}, 'output_token_details': {'reasoning': 0}})

 

 

본 chain에 invoke 하면 위와 같은 결과를 얻을 수 있으며, .content 를 통해 모델 답변을 확인할 수 있습니다. 다시 정리하면, 앞에서 구현했던 히스토리를 저장하는 함수 등을 따로 일일히 호출할 필요없이, invoke 실행만으로 대화기록이 자동으로 저장되었습니다.

 

 

---

4. Modifying chat history

 

마지막으로, 3번째 방법에서 사용한 RunnableWithMessageHistory 클래스를 사용하되, 대화 히스토리를 그대로 넘겨주는 것이 아닌, 불필요하거나 너무 많은 텍스트가 답변을 방해하지 않도록 요약을 한번 해주는 기능을 추가해보겠습니다.

 

chat_history = ChatMessageHistory()

chat_history.add_user_message("안녕하세요. 제 이름은 나연입니다.")
chat_history.add_ai_message("안녕하세요, 나연님! 무엇을 도와드릴까요?")
chat_history.add_user_message("날씨 좋은 날 들을만 한 노래 추천해주세요.")
chat_history.add_ai_message("Carpenters - Close to you 를 추천해요.")

chat_history.messages
# chat_history.clear()

 

예시를 위해 노래 추천에 관한 대화를 나누었다고 가정했습니다. 

 

prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant. Answer all questions to the best of your ability. The provided chat history includes facts about the user you are speaking with. YOU MUST ANSWER IN KOREAN.",
        ),
        ("placeholder", "{chat_history}"),
        ("user", "{input}"),
    ]
)

chain = prompt | chat

chain_with_message_history = RunnableWithMessageHistory(
    chain,
    lambda session_id: chat_history,
    input_messages_key="input",
    history_messages_key="chat_history",
)

 

프롬프트와 Chat모델, chain으로 정의한 RunnableWithMessageHistory 까지는 동일합니다. 

 

 

---

+ 대화 내용 요약을 위한 Chain

여기까지가 답변을 위한 체인이었다면, 여기에 대화 히스토리 내용을 압축하는 체인을 추가할 것입니다. 아래는 이걸 정리한 그림입니다.

 

 

 

from langchain_core.runnables import RunnablePassthrough

def summarize_messages(chain_input):
    stored_messages = chat_history.messages
    if len(stored_messages) == 0:
        return False
    summarization_prompt = ChatPromptTemplate.from_messages(
        [
            ("placeholder", "{chat_history}"),
            (
                "user",
                "Distill the above chat messages into a single summary message. Include as many specific details as you can.",
            ),
        ]
    )
    summarization_chain = summarization_prompt | chat

    # chat_history 에 저장된 대화 기록을 요약프롬프트에 입력 & 결과 저장
    summary_message = summarization_chain.invoke({"chat_history": stored_messages})

    # chat_history 에 저장되어있던 기록 지우기
    chat_history.clear()

    # 생성된 새로운 요약내용으로 기록 채우기
    chat_history.add_message(summary_message)

    return True

 

대화 내용이 저장되어 있는 chat_history의 messages를 가져와 요약을 담당하는 모델에 넣어 요약 결과를 생성받고, 기존 chat_history 기록은 삭제 후 새로운 요약내용으로 채워넣는 함수가 바로 summrize_messages 입니다. 이 때 대화기록이 아직 없다면 실행되지 않습니다. (if문 참고)

 

이 함수 또한 chain으로 연결시켜 runnable 하게 만들어 줄 건데요!

 

chain_with_summarization = (
    RunnablePassthrough.assign(messages_summarized=summarize_messages)
    | chain_with_message_history
)

 

기존에 답변을 위한 chain이었던 chain_with_message_history 실행 전, 요약 함수를 실행하기 위해 RunnablePassthrough 로 해당 함수를 Runnable 하게 만들어 준 후 chain으로 연결했습니다. 

 

🤸‍♀️ 이해를 위한 부가 설명!

> summarize_messages 함수의 실행 결과(True / False)를 messages_summarized 라는 이름의 Key로 저장하도록 되어있는데요. 실제로 이 Key는 정의되어 있지 않으며, 이는 summarize_messages 함수를 실행하기 위한 무시 가능한 Key로 이해하시면 됩니다. 즉, RunnablePassthough 로 summarize_messages 가 runnable 하게 실행되어 chat_history에 요약된 히스토리가 저장되었다면, 이 후 chain_with_message_history 로 연결됩니다.

 

 

chain_with_summarization.invoke(
    {"input": "제 이름을 기억하고 있나요?"},
    {"configurable": {"session_id": "unused"}},
)

 

output : 
AIMessage(content='네, 나연님이라고 알고 있습니다. 맞나요?', additional_kwargs={'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 12, 'prompt_tokens': 94, 'total_tokens': 106, 'completion_tokens_details': {'audio_tokens': None, 'reasoning_tokens': 0}, 'prompt_tokens_details': {'audio_tokens': None, 'cached_tokens': 0}}, 'model_name': 'gpt-4o-2024-08-06', 'system_fingerprint': 'fp_2f406b9113', 'finish_reason': 'stop', 'logprobs': None}, id='run-0e55a4c3-cc75-4b51-afc6-41fc57f30d60-0', usage_metadata={'input_tokens': 94, 'output_tokens': 12, 'total_tokens': 106, 'input_token_details': {'cache_read': 0}, 'output_token_details': {'reasoning': 0}})

 

chain_with_summarization.invoke(
    {"input": "그 가수는 남자인가요 여자인가요?"},
    {"configurable": {"session_id": "unused"}},
)

 

output : 
AIMessage(content='Carpenters는 남매 듀오로, 리처드 카펜터와 카렌 카펜터로 구성되어 있습니다. 카렌 카펜터는 여성 보컬리스트입니다.', additional_kwargs={'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 44, 'prompt_tokens': 109, 'total_tokens': 153, 'completion_tokens_details': {'audio_tokens': None, 'reasoning_tokens': 0}, 'prompt_tokens_details': {'audio_tokens': None, 'cached_tokens': 0}}, 'model_name': 'gpt-4o-2024-08-06', 'system_fingerprint': 'fp_e5e4913e83', 'finish_reason': 'stop', 'logprobs': None}, id='run-20fa421b-37ee-49f2-8af2-dbc6ea408fd6-0', usage_metadata={'input_tokens': 109, 'output_tokens': 44, 'total_tokens': 153, 'input_token_details': {'cache_read': 0}, 'output_token_details': {'reasoning': 0}})

 

chain 실행 결과, 요약된 대화 히스토리로도 잘 답변되는 것을 확인할 수 있었습니다!

 

---

더 상세한 설명과 다양한 예제, 그리고 4번째 방법을 활용한 끝말잇기 게임 코드는 아래 유튜브와 코랩 링크를 확인해주세요!

 

https://youtu.be/bm0S82f_FGI

 

https://colab.research.google.com/drive/1nqxKHz-YOJWBFnvSLvwm17oAI2oV5LkP?usp=sharing

이전 대화를 기억하는 Langchain 사용법 4가지 | 끝말잇기 챗봇 구현하기.ipynb