문서의 구조를 완벽히 이해하는 LLM, Upstage Solar Pro 제대로 사용하기(gpt-4o 와의 비교)

---

🚀 Upstage Solar Pro

 

https://www.upstage.ai/blog/en/solar-pro

Solar Pro: The most intelligent LLM on a single GPU—supporting more tasks, languages, and domains

 

 

Upstage(업스테이지) 는 지난 2024년 11월 26일, solar-pro 모델을 공식 출시했습니다. 파라미터 개수가 22B(220억) 개 이고 Context 길이는 32,768 입니다. 영어, 한국어, 일본어를 지원하며 2024년 5월까지의 데이터로 학습되었다고 합니다. 

 

solar 는 특히, HTML 및 Markdown과 같은 구조화된 형식을 잘 처리할 수 있도록 설계된 LLM 입니다. Upstage 의 Document Parse 모델을 통해 문서를 구조화 하여 추출하고, 이를 Solar 에 적용할 때 강점이 있는 모델인데요. 그래서  OpenAI의 gpt-4o 모델과 비교했을 때 어떤 답변의 차이가 있는 지 살펴보고자 합니다.

 

 

https://console.upstage.ai/docs/capabilities/chat

Upstage Console

 

 

 

저는 API를 사용하여 Solar-pro 모델을 통한 답변 생성 테스트를 진행했습니다. Upstage의 API Key를 발급받고, 위 예제 코드를 통해 쉽게 사용이 가능합니다. 

 

 

---

🪄 Upstage Document Parse

 

https://console.upstage.ai/docs/capabilities/document-parse

Upstage Console

 

 

문서 기반의 답변 생성을 위해, Upstage Document Parse 모델로 문서 내 텍스트를 HTML 형식으로 추출합니다. Document Parse 는 PDF, JPEG, PNG, BMP, TIFF, HEIC, DOCX, PPTX, XLSX 형식의 문서를 HTML로 변환하는 AI 모델입니다. 단락, 표, 이미지 등의 레이아웃 요소를 감지하여 문서의 구조를 파악하는 것이 특징인데요. 가령, 같은 행에 두개 이상의 단락이 있더라도, 텍스트가 함께 추출되지 않도록 레이아웃을 구분한 추출이 가능하다는 것입니다. 이러한 특징을 가지고 있기에 표가 많거나 단락이 여러개로 쪼개진 문서에 사용하기에 좋습니다.

 

몇가지 예제를 적용해보면서, 추출 결과를 확인해보았습니다.

 

---

1. table(표)

 

 

 

 

2. list(목록)

 

 

 

 

3. heading1(제목1)

 

 

 

이렇게 문서 내 해당 영역의 위치, 종류에 따라 Category가 달라지며, HTML 형식으로 추출되는 것을 확인할 수 있습니다. 총 12 개의 Category 가 추출될 수 있으며 아래와 같습니다.

 

Document Parse Category

 

 

 

---

👀 Using Solar Pro for Document QA

 

그럼 이제, Document Parse 를 통해 추출한 HTML을 LLM에 넣어 질문에 대한 답변을 진행해보려 합니다. 이미 Upstage에 따르면, solar 모델을 DocumentQA 및 Table QA 벤치마크 데이터를 다양한 LLM 모델에 적용하여 비교하였을 때, 가장 좋은 성능을 냄을 확인할 수 있었습니다.

 

Performances in four benchmarks

 

그렇지만 실제로 생성된 결과를 사람이 확인했을 때 어떤 차이가 느껴지는 지, 똑같이 정답을 말했을 때도 답변 내용의 차이가 존재할 지 살펴보고자 합니다.

 

 

---

Example 1 - PDF, Table

 

<table id='319' style='font-size:16px'><tr><td>행사명</td><td colspan="3">행사 주요 개요</td></tr><tr><td rowspan="3">World Economic Forum</td><td>WORLD ECONOMIC FORUM</td><td colspan="2">- 세계경제포럼(World Economic Forum, WEF)은 매년 스위스 다보스(Davos)에서 열리는 연례행사로, 전 세계 주요 리더들이 글로벌 경제, 사회, 정치, 기술적 도전과제를 논의 - 2025년 연례행사는 '지능시대의 협업(Collaboration for the Intelligent Age)'이라는 주제를 다룸 * 5개 세부주제: 신뢰 구축, 성장을 다시 상상, 인간에 대한 투자, 지구를 보호, 지능시대의 산업</td></tr><tr><td>기간</td><td>장소</td><td>홈페이지</td></tr><tr><td>2025.1.20~24</td><td>스위스, 다보스</td><td>
https://www.weforum.org/
 meetings/world-economic-forum- annual-meeting-2025/</td></tr><tr><td rowspan="3">CES</td><td>CES</td><td colspan="2">- CES(Consumer Electronics Show)는 매년 1월 미국 라스베이거스에서 개최되는 세계 최대의 가전 및 IT 전시회 - CES 2025에서는 AI, 지속가능성, 스타트업, 디지털 헬스, 스마트홈, 교통, 모빌리티 등 최신기술 트렌드가 소개될 예정 - 특히, 이번 행사에서는 모빌리티, 양자 컴퓨팅 등의 전시와 프로그램이 선보일 예정</td></tr><tr><td>기간</td><td>장소</td><td>홈페이지</td></tr><tr><td>2025.1.7~10</td><td>미국, LA</td><td>
https://www.ces.tech/
</td></tr><tr><td rowspan="3">AAAI-25</td><td>Association for the Advancement of Artificial Intelligence</td><td colspan="2">- AAAI(Association for the Advancement of Artificial Intelligence) 주최의 제 39회 인공지능 연례 학술대회 - AAAI 학술대회는 인공지능(AI) 연구를 촉진하고 AI 및 관련 학문 전반의 연구자, 실무자, 과학자, 학생 및 엔지니어 간 과학적 교류를 촉진 - 특히, 이번 행사는 AI의 다양한 분야 간 협업을 촉진하고, 책임 있는 AI와 사회적 영향에 대한 논의도 포함될 예정</td></tr><tr><td>기간</td><td>장소</td><td>홈페이지</td></tr><tr><td>2025.2.25~3.4</td><td>미국, 필라델피아</td><td>
https://aaai.org/conference/
 aaai/aaai-25/</td></tr></table>

 

먼저, 표를 HTML 로 추출한 결과입니다. 해당 내용을 아래 프롬프트를 사용하여 표의 정보를 잘 찾아내어 답변하는 지 살펴봤습니다.

 

messages=[
    {
        "role": "system",
        "content": "Answer the user's questions based on the given context."
    },
    {
        "role": "assistant",
        "content": table_example['html']
    },
    {   "role": "user",
        "content": "CES 가 열리는 장소와 참고할 수 있는 사이트를 알려주세요."
    }
]

stream = client.chat.completions.create(
    model="solar-pro",
    messages=[
        {
            "role": "system",
            "content": "Answer the user's questions based on the given context."
        },
        {
            "role": "assistant",
            "content": table_example['html']
        },
        {   "role": "user",
            "content": "CES 가 열리는 장소와 참고할 수 있는 사이트를 알려주세요."
        }
    ],
    stream=False,
)

 

모델별 답변 결과

 

Upstage - solar-pro

CES 2025는 미국 LA에서 개최되며, 참고할 수 있는 사이트는 <https://www.ces.tech/>입니다.

 

 

Open AI - gpt-4o

CES는 2025년 1월 7일부터 10일까지 미국 라스베이거스에서 열립니다. 참고할 수 있는 사이트는 [https://www.ces.tech/](https://www.ces.tech/) 입니다.

 

 

첫 질문부터 큰 차이점을 확인하게 되었습니다. 해당 문서의 오류인지, CES 행사를 설명하는 메인 셀에서는 개최 장소가 라스베이거스 라고 되어 있는 반면, 장소 셀에서는 미국, LA 라고 작성되어 있는데요. 

 

표의 특성을 잘 파악하고 있는 Solar-pro 모델은 "장소" 셀에 작성된 미국, LA 정보를 반환했으며, gpt-4o는 메인 셀에 작성된 정보를 좀 더 믿었던 모양인 지 라스베이거스라고 답했습니다. 따로 검색해 찾아보니 실제 장소는 라스베이거스가 맞더라구요. 어쨌든 표가 말하는 대로 잘 전달해준 Solar 모델은 잘못이 없습니다 😶

 

 

 

Example 2 - JPG, Figure

 

 

'<figure id=\'0\'><img style=\'font-size:16px\' alt="Subjects Signed Consent\n(signed consent form)\nN=103\nSubjects Enrolled Protocol violation\nN=100 N=3\n(Table 1)\nSubject with baseline Subjects refused to\nangiogram continue in study\nN=81 N=19\n(Table 2)\nIVUS No IVUS\nN=63 N=18\nAll SVG occluded\nor diseased" data-coord="top-left:(247,217); bottom-right:(2001,1508)" /></figure>'

 

 

두번째 예제는 그림입니다. 총 103 명의 피험자가 등록되었는 지, 제외되었다면 몇명인지 등을 포함하는 그림입니다. 3명은 왜 거절 당했는 지 ("Why were 3 rejected?")를 질문했습니다. 두번째 줄에 "Protocol violation" 이라는 이유로 총 3명이 reject 되었음을 표현하고 있습니다. 

 

모델별 답변 결과

 

Upstage - solar-pro

Three subjects were rejected due to protocol violations, as indicated in Table 1.

 

Open AI - gpt-4o

The context indicates that 3 subjects were considered "protocol violations" after being enrolled in the study, which led to their rejection. This means that these subjects likely did not meet the study's requirements or follow its procedures, resulting in their exclusion from the study.

 

 

두 모델 모두 Protocol violations 이라는 이유를 제대로 대고 있습니다. 그러나 답변의 길이와 내용이 좀 다른데요. solar-pro 모델은 거절의 이유와 해당 부분에서 괄호 안에 작성되어 있던 (Table 1) 까지 답변해주고 있습니다. gpt-4o 는 Table 1 이라는 문구는 따로 말해주지 않습니다. 그러나 Protocol violations 이 뭔지 부가적인 설명을 더해주고 있네요. 이 내용은 해당 이미지에 포함된 내용이 아닙니다. 

 

gpt-4o 답변을 통해 부가적인 정보를 얻을 수는 있었지만, 만약 주어진 context 내에서만 답변을 원했다면 solar-pro 가 적합해 보입니다.

 

 

 

Example 3 - JPG, Paragraph

 

 

▽ 펼쳐서 추출된 HTML 확인하기 

<header id='0' style='font-size:14px'>ITC Limited</header> <br><h1 id='1' style='font-size:22px'>Board of Directors</h1> <p id='2' data-category='paragraph' style='font-size:16px'>Yogesh Chander Deveshwar</p> <h1 id='3' style='font-size:18px'>Executive Directors</h1> <br><p id='4' data-category='paragraph' style='font-size:18px'>Anup Singh<br>Krishnamoorthy Vaidyanath</p> <h1 id='5' style='font-size:22px'>Board Committees</h1> <p id='6' data-category='paragraph' style='font-size:18px'>Audit Committee</p> <br><table id='7' style='font-size:14px'><tr><td>S B Mathur</td><td>Chairman</td></tr><tr><td>R K Kaul</td><td>Member</td></tr><tr><td>P B Ramanujam</td><td>Member</td></tr><tr><td>B Vijayaraghavan</td><td>Member</td></tr><tr><td>K Vaidyanath (Director responsible for the Finance Function)</td><td>Invitee</td></tr><tr><td>S Basu (Head of Internal Audit)</td><td>Invitee</td></tr><tr><td>Representative of the Statutory Auditors</td><td>Invitee</td></tr><tr><td>B B Chatterjee</td><td>Secretary</td></tr></table> <br><h1 id='8' style='font-size:20px'>Non-Executive Directors</h1> <br><table id='9' style='font-size:16px'><tr><td>Anil Baijal</td><td>Hugo Geoffrey Powell</td></tr><tr><td>Ravinder Kumar Kaul</td><td>Pillappakkam Bahukutumbi Ramanujam</td></tr><tr><td>Serajul Haq Khan</td><td>Anthony Ruys</td></tr><tr><td>Sunil Behari Mathur</td><td>Basudeb Sen</td></tr><tr><td>Dinesh Kumar Mehrotra</td><td>Balakrishnan Vijayaraghavan</td></tr></table> <h1 id='10' style='font-size:20px'>Compensation Committee</h1> <p id='11' data-category='paragraph' style='font-size:22px'>Corporate Management<br>Committee</p> <br><table id='12' style='font-size:14px'><tr><td>S H Khan</td><td>Chairman</td></tr><tr><td>S B Mathur</td><td>Member</td></tr><tr><td>H G Powell</td><td>Member</td></tr><tr><td>B Sen</td><td>Member</td></tr></table> <table id='14' style='font-size:16px'><tr><td>R K Kaul</td><td>Chairman</td></tr><tr><td>P B Ramanujam</td><td>Member</td></tr><tr><td>A Singh</td><td>Member</td></tr><tr><td>B Sen</td><td>Member</td></tr><tr><td>B Vijayaraghavan</td><td>Member</td></tr><tr><td>B B Chatterjee</td><td>Secretary</td></tr><caption id='13' style='font-size:20px'>Investor Services Committee</caption></table> <p id='15' data-category='paragraph' style='font-size:18px'>Directors</p> <br><table id='16' style='font-size:16px'><tr><td>Y C Deveshwar</td><td>Chairman</td></tr><tr><td>A Singh</td><td>Member</td></tr><tr><td>K Vaidyanath</td><td>Member</td></tr></table> <p id='17' data-category='paragraph' style='font-size:16px'>Executives</p> <br><table id='18' style='font-size:16px'><tr><td>N Anand</td><td>Invitee</td></tr><tr><td>P Chatterjee</td><td>Invitee</td></tr><tr><td>K N Grant</td><td>Invitee</td></tr><tr><td>R G Jacob</td><td>Invitee</td></tr><tr><td>A Nayak</td><td>Invitee</td></tr><tr><td>R Srinivasan</td><td>Invitee</td></tr><tr><td>B B Chatterjee</td><td>Secretary</td></tr></table> <br><h1 id='19' style='font-size:20px'>Nominations Committee</h1> <br><table id='20' style='font-size:14px'><tr><td>Y C Deveshwar</td><td>Chairman</td></tr><tr><td>A Baijal</td><td>Member</td></tr><tr><td>R K Kaul</td><td>Member</td></tr><tr><td>S H Khan</td><td>Member</td></tr><tr><td>S B Mathur</td><td>Member</td></tr><tr><td>D K Mehrotra</td><td>Member</td></tr><tr><td>P B Ramanujam</td><td>Member</td></tr></table> <h1 id='21' style='font-size:20px'>Sustainability Committee</h1> <table id='22' style='font-size:14px'><tr><td>Y C Deveshwar</td><td>Chairman</td></tr><tr><td>H G Powell</td><td>Member</td></tr><tr><td>A Ruys</td><td>Member</td></tr><tr><td>B Sen</td><td>Member</td></tr><tr><td>B Vijayaraghavan</td><td>Member</td></tr></table> <p id='23' data-category='paragraph' style='font-size:18px'>Executive Vice President & Company Secretary<br>Biswa Behari Chatterjee</p> <br><p id='24' data-category='paragraph' style='font-size:16px'>General Counsel<br>Kannadiputhur Sundararaman Suresh</p> <br><h1 id='25' style='font-size:16px'>Investor Service Centre</h1> <br><p id='26' data-category='paragraph' style='font-size:14px'>37 Jawaharlal Nehru Road, Kolkata 700 071, India<br>Phone : 033-2288 6426/2288 0034<br>Fax : 033-2288 2358<br>e-mail : isc@itc.in</p> <p id='27' data-category='paragraph' style='font-size:16px'>Auditors<br>A F Ferguson & Co.<br>Chartered Accountants, Kolkata</p> <br><h1 id='28' style='font-size:18px'>Registered Office</h1> <br><p id='29' data-category='paragraph' style='font-size:14px'>Virginia House<br>37 Jawaharlal Nehru Road, Kolkata 700 071, India<br>Phone : 033-2288 9371<br>ITC corporate website : www.itcportal.com</p> <p id='30' data-category='paragraph' style='font-size:16px'>Report and Accounts 2009 1</p> <footer id='31' style='font-size:20px'>Source: https://www.ind.spoco.mementsuust.educsyndossynb3</footer>

 

마지막 예제는 여러 Paragraph 로 이루어진 이미지 입니다. 해당 이미지에서 확인할 수 있는 다양한 정보 중 Invector Services Committe 에 속한 Chairman(의장) 이 누구냐 ("Who is the chairman in Investor Services Committee")고 물어봤습니다. 그림 중간 쯤에서 R K Kaul 이라는 이름을 확인할 수 있습니다. 

 

 

모델별 답변 결과

 

Upstage - solar-pro

The chairman in Investor Services Committee is R K Kaul

 

Open AI - gpt-4o

The chairman of the Investor Services Committee is Ravinder Kumar Kaul (R K Kaul).

 

 

여기서도 확실히 모델의 특징을 확인할 수 있었는데요. gpt-4o 모델은 R K Kaul 의 풀네임을 이야기 하고 있습니다 .. 어떻게 알았을까요?

 

 

전체 문서를 살펴보면 위와 같습니다. 바로 상단에서 R K Kaul 의 풀네임으로 추측되는 Ravinder Kumar Kaul 을 확인할 수 있습니다. gpt-4o 는 레이아웃이 나뉘어 추출된 HTML 을 아마도 하나의 덩어리로만 이해하는 듯 합니다. 좋게 말하면 큰 숲을 보고  답변을 한다고도 볼 수 있는데, 혹시나 두 사람이 동명이인이면 어떻게 될까요.. 

 

solar-pro 모델은 사용자 질문에 해당하는 정보만 찾아 답변합니다. 다시 말해, 특정 영역을 정확하게 찾아내어, 해당 영역 내의 정보를 기반으로 충실히 대답함을 확인할 수 있었습니다.

 

 

Upstage 의 Document Parse 모델을 통해 문서 내 레이아웃 요소를 고려한 HTML 을 추출하고, 추출한 결과를 LLM 에 적용해 질의응답 테스트를 진행해보았습니다. Solar-pro 모델은 알려진 강점대로, 데이터의 구조화된 형식을 제대로 이해할 수 있어 해당 영역을 벗어나지 않고 질문과 관련된 부분을 정확하게 찾아내 충실한 대답을 함을 확인할 수 있었습니다. Document Parse 은 PDF, 이미지 뿐 아니라 다양한 형식의 데이터를 지원하니, solar 와 함께 문서의 특정 도메인에 특화된 LLM으로 발전시키기에 용이해보입니다!

 

---

 

 

https://huggingface.co/datasets/lmms-lab/DocVQA

lmms-lab/DocVQA · Datasets at Hugging Face

 

 

 

※ DocumentQA 를 위한 이미지(JPG)는 lmms-lab/DocVQA 데이터셋을 사용했습니다. 차트, 표, 그림 등 다양한 형식의 데이터셋과 예시 질문 및 정답을 확인할 수 있습니다.