{"id": 2, "category": "search_keyword", "questions": ["현대 물리학에서 다중우주 이론과 끈 이론의 관계에 대해 설명해줘."], "outputs": ["현대 물리학에서 다중우주 이론과 끈 이론의 관계"], "references": ["현대 물리학 다중우주 이론 끈 이론 관계"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 요구사항을 충족하지 못했습니다. 질문은 다중우주 이론과 끈 이론의 관계에 대한 설명을 요구했으나, 모델은 단순히 키워드만을 나열했습니다. 또한, 답변이 매우 짧고 구체적인 설명이 전혀 포함되지 않았습니다. 언어 요구사항은 충족했으나, 답변의 질적 측면에서 매우 부족합니다.", "judge_score": 2.0}}
{"id": 3, "category": "search_keyword", "questions": ["차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문은?"], "outputs": ["차량 엔진 연료 효율 최적화 연구 논문"], "references": ["차량 엔진 내 연료 효율 극대화 방법 논문"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충실히 반영하여 키워드를 생성하였다. \"차량 엔진 연료 효율 최적화 연구 논문\"이라는 키워드는 질문의 핵심 내용을 잘 담고 있으며, 검색에 유용할 것으로 보인다. 다만, \"최적화\"라는 단어 대신 \"극대화\"라는 단어를 사용했으면 더 좋았을 것이다. 언어 요구사항을 충족하였으며, 답변의 길이도 적절하다.", "judge_score": 9.0}}
{"id": 28, "category": "lotte_qa", "questions": ["엔제리너스 아아 가격 얼마야"], "outputs": ["엔제리너스 아아의 가격은 2023년 기준 5,200원입니다."], "references": ["일반가: 4500원"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충족하지 못했습니다. 질문은 엔제리너스 아아의 가격을 묻고 있으며, Additional Reference에 따르면 가격은 4,500원입니다. 그러나 모델은 5,200원이라고 잘못된 정보를 제공하였습니다. 또한, 답변은 한국어로 작성되었으므로 언어 요구사항은 충족하였습니다.", "judge_score": 3.0}}
{"id": 4, "category": "search_keyword", "questions": ["세상에서 가장 맛있는 음식을 알려주고 추천해줘"], "outputs": ["세계 최고의 음식"], "references": ["세상에서 가장 맛있는 음식 추천"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했다. 질문은 \"세상에서 가장 맛있는 음식을 알려주고 추천해달라\"는 것이었으나, 모델은 단순히 \"세계 최고의 음식\"이라는 키워드만 생성했다. 이는 질문의 구체적인 요구사항을 충족하지 못하며, 추천도 포함되지 않았다. 또한, 답변이 한국어로 작성되었으나, 내용이 매우 부족하여 질문의 의도를 제대로 반영하지 못했다.", "judge_score": 2.0}}
{"id": 16, "category": "text2sql", "questions": ["## DB 스키마 :\n-- 제품 정보를 저장하는 메인 테이블\nCREATE TABLE products (\n    product_id INT PRIMARY KEY COMMENT '제품 ID',\n    product_name VARCHAR(100) COMMENT '제품명',\n    category VARCHAR(50) COMMENT '카테고리',\n    price DECIMAL(10,2) COMMENT '가격',\n    stock INT COMMENT '재고 수량',\n    supplier_id INT COMMENT '공급업체 ID',\n    description TEXT COMMENT '제품 설명'\n);\n-- 공급업체 정보를 저장하는 테이블\nCREATE TABLE suppliers (\n    supplier_id INT PRIMARY KEY COMMENT '공급업체 ID',\n    supplier_name VARCHAR(100) COMMENT '공급업체명',\n    contact_email VARCHAR(100) COMMENT '연락처 이메일',\n    phone_number VARCHAR(20) COMMENT '전화번호'\n);\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시: \"제품 ID 1001의 이름은?\" 라는 질문이 있을때, DB에는 \"1001\"로 저장되어 있으므로 검색결과를 위해서는 \"1001\"로 문자열 검색을 해야합니다.\n    - 예시: \"재고가 없는 제품은?\" 라는 질문이 있을때, 재고 수량을 확인하여 0인 제품을 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n## 질문 :\n가격이 10000 이상인 제품의 이름과 가격을 알려줘."], "outputs": ["{\"sql_query\": \"SELECT product_name, price FROM products WHERE price >= 10000;\"}"], "references": ["{\"sql_query\": \"SELECT product_id, product_name, price FROM products WHERE price >= 10000;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 대부분 충족하지 못했습니다. 우선, 질문에서 요구한 조건 중 하나인 \"SELECT 시 PRIMARY_KEY는 반드시 포함\"을 지키지 않았습니다. 따라서 \"product_id\"를 SELECT 문에 포함하지 않았습니다. 또한, 답변은 JSON 형식으로 제공되었으나, SQL 쿼리의 정확성에서 부족함이 있습니다. Additional Reference와 비교했을 때, 모델의 답변은 불완전합니다.", "judge_score": 4.0}}
{"id": 9, "category": "task_assistant_mail_meeting", "questions": ["보내는 사람: AI기술팀 김롯데\n받는 사람: AI기술팀 박롯데\n회의 목적: 현재 개발중인 플랫폼 내 기능 구현에 대한 의견 수렴\n회의 날짜: 2024-07-10\n회의 장소: 롯데이노베이트 15층 대회의실"], "outputs": ["제목: [회의 요청] 플랫폼 기능 구현 관련 의견 수렴 회의 안내\n\n박롯데님께,\n\n안녕하세요. AI기술팀의 김롯데입니다.\n\n현재 개발 중인 플랫폼 내 기능 구현에 대한 의견을 수렴하고자 아래와 같이 회의를 요청드립니다.\n\n- **회의 목적**: 현재 개발 중인 플랫폼 내 기능 구현에 대한 의견 수렴\n- **회의 일시**: 2024년 7월 10일\n- **회의 장소**: 롯데이노베이트 15층 대회의실\n\n회의에 참석해주셔서 다양한 의견을 나눠주시길 부탁드립니다. 궁금한 사항이 있으시면 언제든지 문의해주시기 바랍니다.\n\n감사합니다.\n\n김롯데 드림\nAI기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 충실히 반영하였다. 회의 요청 메일의 형식과 내용이 적절하며, 필요한 정보가 모두 포함되어 있다. 특히 회의 목적, 날짜, 장소가 명확하게 기재되어 있어 수신자가 혼동 없이 이해할 수 있다. 또한, 언어 요구사항을 준수하여 한국어로 작성되었다. 다만, 메일의 형식에서 약간의 추가적인 예의 표현이나 서식이 더해지면 더욱 완벽할 것이다.", "judge_score": 10.0}}
{"id": 5, "category": "search_keyword", "questions": ["최근에 유행하고 있는 트렌드에는 뭐가있어?"], "outputs": ["최신 트렌드"], "references": ["최신 유행 트렌드"], "query_single": {"judge_message": "모델의 답변은 \"최신 트렌드\"로, 질문에 대한 요구사항을 충분히 반영하지 못했다. 질문은 최근에 유행하고 있는 트렌드에 대해 구체적인 정보를 요구하고 있으며, 단순히 \"최신 트렌드\"라는 키워드는 너무 일반적이다. 또한, \"최신 유행 트렌드\"라는 Additional Reference와도 일치하지 않는다. 답변이 한국어로 작성된 점은 긍정적이나, 답변의 구체성과 정보 제공 측면에서 부족하다.", "judge_score": 3.0}}
{"id": 8, "category": "meeting_summary", "questions": ["## 대화 스트립트 : speaker1: 안녕하세요~ 국어교육과 전공한 30대 여성입니다!\nspeaker2: 반갑습니다~ 저는 사학과 전공했어요! 저도 30대 여성입니다~\nspeaker1: 아하~ 저는 국어교사로 일하고있어요! 혹시 전공관련일을 하시나요..?ㅎㅎ.\nspeaker2: 전 석사 과정 밟고 있어요~ 교수님의 노예가 됐네요ㅎㅎ.\nspeaker1: 아 ㅋㅋㅋ대학원 다니시면...화이팅입니다...! 제 주변에 대학원다니는 친구가 한명있는데 고생이 많더라구요..\nspeaker2: 제가 바이올린도 가끔 켜고 야구도 자주 하고 했는데.. 대학원 다니곤 그럴 시간이 없어 연구실에서 식물 키우는 재미로 사네요ㅋㅋㅋ.\nspeaker1: 아 그럼 쉴때는 주로 식물을 키우시는건가요~? 저는 실외에서 승마하는 것을 좋아해서 승마를 즐겨요!\nspeaker2: 그냥 연구실 나갈 때 소소하게 식물 키워요~ 승마 비싼 취미 아닌가요? 여유 있으신가봐요 부럽네요ㅠㅠ.\nspeaker1: 어쩌다가 재미붙이게되었는데 후회해요 ㅋㅋㅋ돈드는게....흑흑 저는 요즘에는 거북이가 키우고싶더라구요! 거북이가 귀여워보여요 ㅎㅎ.\nspeaker2: 거북이가 수명이 길어 키우기 좋대요~ 저도 한번 키워보고 싶네요ㅋㅋ.\nspeaker1: 맞아요 오랫동안 키울수 있어서 그점도 끌리더라구요~~! 식물키우기를 좋아하시다니 되게 소박하시네요 ㅎㅎ.\nspeaker2: 그거 말곤 할 수 있는게 없기도 해서요ㅠㅠ 혹시 교사로 일하시면 방학 땐 주로 뭐하세요?\nspeaker1: 대학원생한테 말하기 좀 그렇지만 저는 이번 방학에 여행을 너무 기다리고있어요..제가 국내여행에는 관심이 없어서 이번에 해외로 여행가거든요!\nspeaker2: 영어나 제2외국어 선생님이랑 같이 가시면 언어문제도 해결되시겠어요ㅋㅋㅋ 매력있는 직업이네요~\nspeaker1: 여행메이트 만들어서 같이가면 그것도좋죠 ㅎㅎ 그런데 혼자 해외가보고도싶어서 고민중에있어요~!\nspeaker2: 어느 나라로 가세요? 저는 한번도 해외 못 가봤어요ㅠㅠ.\nspeaker1: 저는 이번에 동남아로 갈 예정이에요!ㅎㅎ전 이제 점심시간이 다가와서 밥먹으러 다녀와야겠어요. 맛점하세요!\nspeaker2: 네 저도 출출하네요! 맛있게 드세요~\nspeaker1: 아유 계속 수업하고났더니 벌써 퇴근시간이네요..ㅋㅋ.\nspeaker2: 멋지십니다! 저도 남은 연구가 조금 있는데 이따 하려고 쉬고 있어요~\nspeaker1: 그럼 하루중 대부분은 연구를 하시는거에요? 지루하지는 않으신가요?ㅠㅠ.\nspeaker2: 지루해도 별 수 있나요~ 그래도 제가 하고 싶은 일이라서 대부분 재밌어요!!\nspeaker1: 저는 핏줄부터 문과라서 하루종일 연구하라고하면 너무 힘들거같아요...ㅋㅋㅋ재밌는일 하는게 최고긴하죠 ㅎㅎ진짜 대단하세요!\nspeaker2: 저도 문과에요~ 말이 연구지 그냥 공부죠 공부ㅋㅋㅋ 감사해요~ 퇴근하곤 뭐하세요?\nspeaker1: 아 저는 요즘에 주식에 조금 재미를 붙였어요.. 저는 위험회피성향이라 주식안할줄 알았는데 소소하게 하니 나름 재밌네요 ㅎ.\nspeaker2: 어디 주식하셔서 재미 좀 보셨나요? 저는 무서워서 도전도 못하겠어요ㅠ.\nspeaker1: 아 재미를 본건아니구요 ㅋㅋㅋ어차피 잘 하지도못해서 소소하게 용돈벌이 하는거죠뭐~!ㅋㅋ.\nspeaker2: 그래도 용돈벌이 하신 다는건 잃진 않으신다는거잖아요! 재능 있으실수도?!\nspeaker1: 언젠간...잃을 수도 있겠죠..?ㅋㅋㅋ그러면 제 성향상 주식 접을거같긴해요ㅋㅋㅋㅋ.\nspeaker2: 개인적으로 주식은 상위 몇프로 제외하곤 잃을 수 밖에 없는 구조같아요.. 회피 성향이셔서 접을 것 같다는거세요?\nspeaker1: 네 맞아요 ㅎㅎ 그래서 너무 깊게 빠져서 하지는 않으려고해요..ㅋㅋ심한 사람들보면 하루종일 차트만 보고있더라구요..\nspeaker2: 제 친구도 그래요. 만나자고 해서 만나면 밥 먹으면서도 주식창만 들여다보고 기분이 나빠질 지경이었어요~\nspeaker1: 심하면 한마디 해주세요. 그거는 예의가아니라고! ㅋㅋㅋ저도 주식을 하지만 그렇게 되지않으려고 노력한답니다 ㅎ.\nspeaker2: 그래야겠어요~ 다들 적당히 할줄 알아야할텐데... 도박이랑 다를게 뭔지 싶네요~\nspeaker1: ㅋㅋㅋ저는 이제 저녁좀 먹으려구요. 얘기하느라 저녁시간 다된줄도 몰랐네요 ㅎㅎ 오늘 즐거웠어요~!\nspeaker2: 네 맛있게 드세요! 저도 저녁 먹어야겠어요..ㅎㅎ."], "outputs": ["#### 👥 30대 여성들의 직업, 취미, 일상 대화\n- 국어교사와 사학과 대학원생의 만남과 서로의 직업 소개\n- 취미 활동 공유: 교사는 승마와 거북이 키우기 관심, 대학원생은 식물 키우기와 바이올린\n- 교사의 해외여행 계획과 대학원생의 바쁜 연구 생활 비교\n- 주식 투자에 대한 의견 교환: 교사의 소소한 투자와 대학원생의 신중한 태도\n- 일과 후 활동: 교사의 주식 투자, 대학원생의 연구 지속\n- 주식 투자의 위험성과 적절한 투자 태도에 대한 토론\n- 서로의 일상과 고민을 공유하며 공감대 형성"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 대화 스크립트를 잘 요약하였으며, 핵심 내용을 충실히 반영하였다. 제목에 적절한 이모지를 사용하였고, 요약문 형식도 정확히 따랐다. 대화의 주요 주제인 직업, 취미, 여행 계획, 주식 투자 등에 대한 내용을 잘 요약하였다. 다만, 대화의 세부적인 감정이나 뉘앙스는 다소 생략된 점이 아쉽다. 전반적으로 요구사항을 잘 충족한 답변이다.", "judge_score": 9.0}}
{"id": 6, "category": "search_summary", "questions": ["## 검색 결과 :\n- 1.위험현장 사전 예측해 사고 예방…내년 1월 전면 시행  <b>서울</b>시가 전국 최초로 공공 공사장 <b>안전</b>수준을 파악해 사고를 예측하고 재해를 방지하는 '<b>안전지수제</b>'를 도입한다고 19일 밝혔다. 올해 연말까지 제도를 시범...\n - 2. <b>서울</b>시는 공공 공사장에서 발생할 수 있는 <b>안전</b>사고를 예방하기 위해서 전국 최초로 ‘<b>안전지수제</b>’를 도입한다고 19일 밝혔다. ‘<b>안전지수제</b>’는 <b>안전</b>학회, 전문가, 실무자가 2만5000건의 주요 재해 사고원인을 분석하여... \n- 3. 안전지수 평가점수가 3개월 연속 ‘매우 미흡’ 등급으로 평가되는 공사 현장은 안전 개선 의지가 없는 것으로 판단해 특별안전점검과 부실벌점 부과, 고용노동부에 과태료 부과를 의뢰한다. 2년간 서울시(도시기반시설본부)에서 발주하는 공사 입찰에 불이익을 줄 예정이다. 또 평가점수가 40점 미만의 공사장은 안전사고 위험이 크다고 판단해 즉시 공사를 중단한다.\n\n## 질문 : 서울시에서 안전지수제를 한다고하는데 이게 뭐야?"], "outputs": ["안전지수제는 서울시가 전국 최초로 도입한 제도로, 공공 공사장에서 발생할 수 있는 안전 사고를 예방하기 위한 제도입니다.\n\n이 제도는 안전학회, 전문가, 실무자가 2만5000건의 주요 재해 사고원인을 분석하여 공공 공사장의 안전 수준을 파악하고, 사고를 예측하며 재해를 방지하는 데 목적이 있습니다.\n\n안전지수 평가점수가 3개월 연속 '매우 미흡' 등급으로 평가되는 공사 현장은 안전 개선 의지가 없는 것으로 판단해 특별안전점검과 부실벌점 부과, 고용노동부에 과태료 부과를 의뢰합니다.\n\n또한, 2년간 서울시(도시기반시설본부)에서 발주하는 공사 입찰에 불이익을 줄 예정이며, 평가점수가 40점 미만의 공사장은 안전사고 위험이 크다고 판단해 즉시 공사를 중단합니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하고 있으며, 검색 결과에서 제공된 정보를 잘 활용하고 있다. 안전지수제의 목적과 기능, 그리고 평가 결과에 따른 조치에 대해 상세히 설명하고 있어 사용자가 이해하기 쉽게 구성되어 있다. 다만, 검색 결과에 언급된 \"내년 1월 전면 시행\"이라는 구체적인 시행 시기에 대한 언급이 빠져 있어 아쉬운 부분이 있다. 전반적으로는 질문에 대한 충분한 답변을 제공하고 있다.", "judge_score": 9.0}}
{"id": 14, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV,L LOCD_SOC\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n    managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n    esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경),S(사회),G(거버넌스),ESG(공통)\n    indicator_name VARCHAR(200) COMMENT '지표 명',\n    indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량,정성\n    indicator_unit VARCHAR(50) COMMENT '지표 단위',\n    concept_description TEXT COMMENT '지표 개념 설명',\n    detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n    calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n    data_calculation_method TEXT COMMENT '데이터 산출 방안',\n    data_source VARCHAR(100) COMMENT '데이터 출처',\n    related_systems VARCHAR(100) COMMENT '연관 시스템',\n    notes VARCHAR(200) COMMENT '기타 주석',\n    PRIMARY KEY (id, slide_page)  -- 지표 정의서(정의서 ID)와 슬라이드 페이지의 조합을 기본키로 설정\n);\n/*\nSELECT DISTINCT(keyword) FROM esg_indicators; -- 324게 레코드,\nkeyword\n지속가능경영 거버넌스\n경제적 가치 창출 현황\n보조금 수혜 실적 모니터링\nRD 투자 현황\n...\n\nSELECT DISTINCT(id) FROM esg_indicators; -- 946개 레코드,\nid\nLOCD_COM001\n...\nLOCD_ENV001\n...\nLOCD_SOC001\n...\nLOCD_GOV001\n...\n\nSELECT DISTINCT(esg_category) FROM esg_indicators; -- 4개 레코드\nesg_category\nE(환경)\nESG(공통)\nG(거버넌스)\nS(사회)\n\nSELECT DISTINCT(indicator_type) FROM esg_indicators -- 2개 레코드\nindicator_type\n정성\n정량\n\nSELECT DISTINCT(managing_dept) FROM esg_indicators ; -- 1개 레코드\n본 프로젝트 이후 각 사 別 별도 작성\n\nSELECT DISTINCT(data_source) FROM esg_indicators ; -- 1개 레코드\n본 프로젝트 이후 각 사 別 별도 작성\n\nSELECT DISTINCT(related_systems) FROM esg_indicators ; -- 1개 래코드\n본 프로젝트 이후 각 사 別 별도 작성\n\n\n*/\n-- ESG 지표와 연관된 ESG 평가 코드 정보를 저장하는 테이블\nCREATE TABLE esg_eval_codes (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID) (esg_indicators 테이블의 id를 참조)',\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    eval_code VARCHAR(20) COMMENT 'ESG 평가/공시 지표 코드(이니셔티브)',\n    PRIMARY KEY (id, slide_page,eval_code),  -- 지표 정의서(정의서 ID), 슬라이드 페이지, 평가 코드의 조합을 기본키로 설정\n    FOREIGN KEY (id ) REFERENCES esg_indicators(id)  -- 지표 정의서(정의서 ID)는 esg_indicators 테이블의 id를 참조\n);\n/*\nSELECT DISTINCT(eval_code) FROM esg_eval_codes ; -- 1,811개 레코드\neval_code\nSUST-CO-G050\nCDPC-CO-E054\nCDPW-CO-E010\nDJSI-CO-C001\nGRIs-CO-G001\n...\n*/\n-- ESG 지표와 연관된 ESG 관련 평가 및 지침 항목 정보를 저장하는 테이블\nCREATE TABLE esg_eval_guidelines (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID) (esg_indicators 테이블의 id를 참조)',\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    eval_guideline VARCHAR(50) COMMENT 'ESG 관련 평가 및 지침 항목(이니셔티브)', -- GRI,Sustin., CDP기후변화, CDP수자원,DJSI,MSCI,SASB,Eco.,KCGS,TCFD\n    PRIMARY KEY (id, slide_page,eval_guideline),  -- 지표 정의서(정의서 ID), 슬라이드 페이지, 가이드라인의 조합을 기본키로 설정\n    FOREIGN KEY (id) REFERENCES esg_indicators(id)  -- 지표 정의서(정의서 ID)는 esg_indicators 테이블의 id를 참조\n);\n/*\nSELECT DISTINCT(eval_guideline) from esg_eval_guidelines ; -- 10개 레코드\neval_guideline\nSustin.\nCDP기후변화\nCDP수자원\nDJSI\nGRI\nMSCI\nSASB\nEco.\nKCGS\nTCFD\n*/\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시:  \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n    - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\n특정 키워드를 포함하는 지표의 정보를 알려줘. 예: '지속가능경영'"], "outputs": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE keyword LIKE '%지속가능경영%';\"}"], "references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE keyword LIKE '%지속가능경영%';\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 적합한 SQL 쿼리를 정확히 생성하였습니다. 질문에서 특정 키워드를 포함하는 지표의 정보를 요청하였고, 모델은 이를 반영하여 `keyword` 필드를 검색하는 SQL 문을 작성했습니다. 또한, 답변은 JSON 형식을 준수하고 있으며, \"sql_query\"의 기본값을 빈 스트링으로 설정하는 조건도 충족하였습니다. 추가적으로, 주어진 Additional Reference와 일치하는 답변을 제공하여 높은 점수를 받을 수 있습니다.", "judge_score": 10.0}}
{"id": 21, "category": "mrc_summary", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분  AS-IS  TO-BE 신규고객  심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 :  2024.05.09. (목) 오전08:30 4. 문의 :  심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "outputs": ["관련 내용을 찾을 수 없습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 정확히 반영하지 못했습니다. 질문은 보험 손해율 자료를 요청하고 있으며, 주어진 문서에는 보험 손해율과 관련된 정보가 포함되어 있습니다. 특히, \"사고손해율우량\"과 관련된 할인 정보와 \"연령대별 손해율 분석\" 등의 내용이 있습니다. 따라서 모델이 \"관련 내용을 찾을 수 없습니다\"라고 답변한 것은 부적절합니다. 문서에서 관련된 정보를 요약하여 제공했어야 합니다.", "judge_score": 2.0}}
{"id": 11, "category": "task_assistant_mail_pr", "questions": ["보내는 사람: 롯데이노베이트 NFT사업팀\n받는 사람: 개발팀 홍길동\n제품 종류: NFT 마켓플레이스 & 월렛 서비스\n제품명: Kottonseed(코튼시드)\n제품 정보: 쉽고 편리한 사용성과 거래 경험을 기반으로 누구나 쉽게 NFT를 거래하고 소유할 수 있는 서비스 제공\n제품 링크: https://www.kottonseed.io/"], "outputs": ["제목: 롯데이노베이트 NFT사업팀에서 운영 중인 NFT 마켓플레이스 & 월렛 서비스 - Kottonseed(코튼시드)\n\n홍길동 님께,\n\n안녕하세요. 롯데이노베이트 NFT사업팀입니다.\n\n저희 팀에서 운영 중인 NFT 마켓플레이스 & 월렛 서비스인 Kottonseed(코튼시드)에 대해 소개드리고자 합니다.\n\nKottonseed(코튼시드)는 누구나 쉽게 NFT를 거래하고 소유할 수 있도록 설계된 서비스입니다. 주요 특징은 다음과 같습니다:\n\n1. 직관적인 사용자 인터페이스: 복잡한 절차 없이 누구나 쉽게 이용 가능\n2. 간편한 거래 시스템: 빠르고 안전한 NFT 거래 경험 제공\n3. 통합 월렛 기능: NFT 구매, 판매, 보관을 한 곳에서 편리하게 관리\n4. 다양한 NFT 콘텐츠: 예술, 음악, 게임 아이템 등 폭넓은 NFT 작품 제공\n\nKottonseed(코튼시드)를 통해 NFT 시장에 처음 진입하는 사용자부터 경험 많은 컬렉터까지 모두가 만족스러운 경험을 할 수 있습니다.\n\n자세한 내용은 아래 공식 웹사이트에서 확인하실 수 있습니다:\nhttps://www.kottonseed.io/\n\n궁금하신 점이 있으시면 언제든 연락 주시기 바랍니다.\n\n감사합니다.\n\n롯데이노베이트 NFT사업팀 드림"], "references": [null], "query_single": {"judge_message": "모델의 답변은 Instruct의 요구사항을 충실히 반영하고 있다. 홍보 메일의 형식과 내용이 적절하며, 보내는 사람과 받는 사람, 제품 정보, 제품 링크 등 모든 필수 요소가 포함되어 있다. 또한, 제품의 주요 특징을 명확하게 설명하고 있어 수신자가 쉽게 이해할 수 있다. 언어 요구사항도 충족하여 한국어로 작성되었다. 다만, 메일의 서두와 끝맺음 부분에서 조금 더 개인적인 터치가 추가되면 더 좋을 것이다.", "judge_score": 9.0}}
{"id": 27, "category": "lotte_qa", "questions": ["롯데는 왜 롯데야?"], "outputs": ["롯데그룹은 신격호 명예회장이 롯데호텔로 국내에서 사업을 시작한 것으로부터 시작되었습니다. 이후 롯데는 식품, 유통, 관광, 석유화학, 건설 등 다양한 분야로 사업을 확장하며 글로벌 기업으로 성장하였습니다."], "references": ["젊은 베르테르의 슬픔의 여주인공인 샤를로테(샤롯데)에서 따온 것"], "query_single": {"judge_message": "모델의 답변은 롯데의 기원과 관련된 정보를 제공하고 있지만, 질문의 핵심인 \"롯데\"라는 이름의 유래에 대한 직접적인 설명을 제공하지 못하고 있습니다. 질문의 요구사항을 충분히 반영하지 못했으며, Additional Reference에 명시된 정보를 포함하지 않았습니다. 따라서 답변이 질문의 의도에 부합하지 않습니다. 언어 요구사항은 충족되었으나, 답변의 질적 측면에서 부족합니다.", "judge_score": 3.0}}
{"id": 17, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT id, slide_page, eval_code FROM esg_eval_codes WHERE eval_code LIKE 'SUST%';\n\n## SQL 실행결과-1:\n정의서 ID:\nLOCD_COM001\n슬라이드 페이지 번호:\n1055\nESG 평가/공시 지표 코드:\nSUST-CO-G050\n## SQL 실행결과-2:\n정의서 ID:\nLOCD_COM011\n슬라이드 페이지 번호:\n1066\nESG 평가/공시 지표 코드:\nSUST-CO-C001\nSUST-CO-E041\n## SQL 실행결과-3:\n정의서 ID:\nLOCD_COM022\n슬라이드 페이지 번호:\n1079\nESG 평가/공시 지표 코드:\nSUST-CO-G052\n## SQL 실행결과-4:\n정의서 ID:\nLOCD_ENV008\n슬라이드 페이지 번호:\n13\nESG 평가/공시 지표 코드:\nSUST-CO-E047\nSUST-CO-E048\n## SQL 실행결과-5:\n정의서 ID:\nLOCD_ENV019\n슬라이드 페이지 번호:\n28\n29\nESG 평가/공시 지표 코드:\nSUST-CO-E021\n## SQL 실행결과-6:\n정의서 ID:\nLOCD_ENV032\n슬라이드 페이지 번호:\n43\nESG 평가/공시 지표 코드:\nSUST-CO-E042\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n3. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n4. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n5. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n6. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n7. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n8. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\nESG 평가 코드가 SUST로 시작하는 지표를 찾아줘"], "outputs": ["{\"answer\": \"ESG 평가 코드가 SUST로 시작하는 지표는 다음과 같습니다:\n\n1. 정의서 ID: LOCD_COM001\n   ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n   ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n   ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n   ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n   ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n   ESG 평가/공시 지표 코드: SUST-CO-E042\n\n문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요.\"}"], "references": ["1. 정의서 ID: LOCD_COM001\n   ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n   ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n   ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n   ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n   ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n   ESG 평가/공시 지표 코드: SUST-CO-E042\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 정보를 정확히 제공하고 있으며, SQL 실행 결과를 바탕으로 ESG 평가 코드가 'SUST'로 시작하는 지표들을 잘 정리하고 있습니다. 그러나 JSON 형식을 준수하지 않았습니다. 답변은 JSON 형식으로 구성되어야 하며, \"answer\" 키의 값으로 문자열을 제공해야 합니다. 또한, 답변 끝에 밝은 리액션을 포함해야 하는 조건도 충족하지 않았습니다. 따라서, 형식적인 부분에서 큰 결함이 있습니다.", "judge_score": 4.0}}
{"id": 12, "category": "task_assistant_mail_introduce", "questions": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 고객님\n회사명: 롯데이노베이트\n회사 소개: IT로 더욱 가치있는 미래 세상을 만듭니다. 유통, 제조, 물류, 금융, 헬스케어 등 전 산업의 IT 노하우와 기술력을 기반으로, AI, Bigdata, IoT, Cloud 등 신기술을 접목하여 편리한 세상, 스마트한 미래를 만들어 나가겠습니다.\n주요 제품/서비스: IT로 더욱 가치있는 미래 세상을 만듭니다. 유통, 제조, 물류, 금융, 헬스케어 등 전 산업의 IT 노하우와 기술력을 기반으로, AI, Bigdata, IoT, Cloud 등 신기술을 접목하여 편리한 세상, 스마트한 미래를 만들어 나가겠습니다.\n회사 웹사이트:"], "outputs": ["제목: 롯데이노베이트 - IT 기술로 혁신적인 미래를 창조하는 기업\n\n고객님께,\n\n안녕하세요. 롯데이노베이트 AI 기술팀 김롯데입니다.\n\n저희 롯데이노베이트를 소개드릴 수 있게 되어 기쁘게 생각합니다.\n\n롯데이노베이트는 \"IT로 더욱 가치 있는 미래 세상을 만든다\"는 비전 아래, 다양한 산업 분야에서 혁신적인 IT 솔루션을 제공하고 있습니다. 유통, 제조, 물류, 금융, 헬스케어 등 광범위한 산업 영역에서 축적된 IT 노하우와 기술력을 바탕으로, 최신 기술을 접목하여 스마트하고 편리한 미래를 구현하고 있습니다.\n\n주요 사업 영역:\n1. AI (인공지능) 솔루션\n2. Big Data 분석 및 활용\n3. IoT (사물인터넷) 기술 적용\n4. Cloud 서비스\n\n저희는 이러한 첨단 기술을 다양한 산업 분야에 적용함으로써, 기업의 효율성을 높이고 고객 경험을 개선하는 데 주력하고 있습니다. 롯데이노베이트의 혁신적인 솔루션은 기업의 디지털 전환을 가속화하고, 궁극적으로는 더 나은 사회를 만드는 데 기여하고 있습니다.\n\n롯데이노베이트의 기술과 서비스에 대해 더 자세히 알고 싶으시다면, 언제든지 문의 주시기 바랍니다. 귀사의 비즈니스 요구사항에 맞는 최적의 솔루션을 제안해 드리겠습니다.\n\n감사합니다.\n\n김롯데 드림\n롯데이노베이트 AI 기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 정중하고 전문적인 어투로 작성되었으며, 롯데이노베이트의 다양한 산업 분야와 기술력을 잘 소개하고 있다. 질문의 요구사항을 충분히 반영하여 회사의 비전, 주요 사업 영역, 그리고 기술 적용 사례를 명확히 설명하였다. 다만, 회사 웹사이트 주소가 제공되지 않았다는 점이 아쉽다. 웹사이트 주소가 포함되지 않은 것은 질문의 요구사항을 완전히 충족하지 못한 부분이다. 그러나 전반적으로 답변의 내용과 형식은 매우 적절하다.", "judge_score": 8.0}}
{"id": 20, "category": "mrc", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분  AS-IS  TO-BE 신규고객  심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 :  2024.05.09. (목) 오전08:30 4. 문의 :  심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "outputs": ["문서에는 보험 손해율 자료에 대한 구체적인 내용이 포함되어 있지 않습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충실히 반영하였습니다. 문서 내에 보험 손해율 자료에 대한 구체적인 내용이 없음을 정확히 지적하였고, 관련 내용을 찾을 수 없다고 답변하였습니다. 또한, 답변은 한국어로 작성되어 언어 요구사항을 준수하였습니다. 답변의 길이도 적절하며, 불필요한 정보 없이 간결하게 핵심을 전달하였습니다.", "judge_score": 10.0}}
{"id": 1, "category": "search_keyword", "questions": ["음 그렇다면 세입자가 먼저 확정일자 신고를 해서 전세자금 전체를 보호받고 있음에도 소액임차보증금을 변제하는건 이중변제 아닌가 싶은데 어떻게 생각해?"], "outputs": ["세입자 확정일자 신고 후 소액임차보증금 변제 이중변제 여부"], "references": ["전세자금 보호 중 소액임차보증금 변제 시 이중변제 여부"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했다. 질문은 세입자가 확정일자 신고를 통해 전세자금을 보호받고 있는 상황에서 소액임차보증금을 변제하는 것이 이중변제인지에 대한 의견을 묻고 있다. 그러나 모델의 답변은 단순히 키워드 생성에 그치고 있으며, 질문의 복잡한 법적 상황에 대한 설명이나 의견을 제공하지 않았다. 또한, 모델의 답변은 한국어로 작성되었으므로 언어 요구사항은 충족되었다.", "judge_score": 3.0}}
{"id": 10, "category": "task_assistant_mail_share", "questions": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 개발팀 홍길동\n회의 주제: 아이멤버 프로젝트 진행 상황 및 향후 계획\n회의록 내용:\n- 회의에서 논의된 주요 내용:\n- AI기술팀은 아이멤버 프로젝트의 현재 진행 상황을 검토\n- 기술적 문제 해결을 위한 다양한 방안이 논의, 데이터 처리 효율성과 시스템 안정성에 중점\n- 최신 AI 기술 동향과 시장 분석 결과가 공유, 프로젝트에 어떻게 적용할지에 대한 의견 교환\n- 결정된 사항 및 액션 아이템 목록:\n- 추가된 데이터 수집을 위한 외부 협력사 선정 작업을 진행하기로 결정\n- 기존 시스템의 성능 최적화를 위한 팀 구성\n- 향후 2주 간 프로젝트 위험 평가를 수행, 위험 관리 계획을 수립\n- 향후 계획 및 예정된 일정:\n- 다음 달 말까지 프로젝트의 중간 점검을 실시\n- 3개월 내에 프로토타입 개발을 완료, 내부 테스트를 진행\n- 올해 말까지는 최종 제품의 시범 운영을 시작, 내년 상반기 중 시장 출시를 목표"], "outputs": ["제목: [회의록 전달] 아이멤버 프로젝트 진행 상황 및 향후 계획\n\n홍길동 님께,\n\n안녕하세요. AI 기술팀 김롯데입니다.\n\n오늘 진행된 아이멤버 프로젝트 관련 회의 내용을 정리하여 전달드립니다. 회의록 내용은 아래와 같습니다.\n\n[회의록]\n\n1. 논의된 주요 내용:\n   - AI기술팀의 아이멤버 프로젝트 현재 진행 상황 검토\n   - 기술적 문제 해결 방안 논의 (데이터 처리 효율성 및 시스템 안정성 중점)\n   - 최신 AI 기술 동향과 시장 분석 결과 공유 및 프로젝트 적용 방안 논의\n\n2. 결정된 사항 및 액션 아이템:\n   - 추가 데이터 수집을 위한 외부 협력사 선정 작업 진행\n   - 기존 시스템 성능 최적화를 위한 팀 구성\n   - 향후 2주간 프로젝트 위험 평가 수행 및 위험 관리 계획 수립\n\n3. 향후 계획 및 예정 일정:\n   - 다음 달 말: 프로젝트 중간 점검 실시\n   - 3개월 내: 프로토타입 개발 완료 및 내부 테스트 진행\n   - 올해 말: 최종 제품 시범 운영 시작\n   - 내년 상반기: 시장 출시 목표\n\n회의록 내용에 대해 추가 문의사항이나 의견이 있으시면 알려주시기 바랍니다.\n\n감사합니다.\n\n김롯데 드림\nAI 기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question을 충실히 반영하여 작성되었다. 이메일 형식은 적절하며, 회의록의 주요 내용, 결정된 사항 및 액션 아이템, 향후 계획 및 예정 일정이 명확하게 정리되어 있다. 또한, 언어 요구사항을 준수하여 한국어로 작성되었다. 다만, \"홍길동 님께\"와 \"김롯데 드림\" 사이에 약간의 형식적 일관성이 부족한 점이 아쉽다. 전반적으로 정보 전달이 명확하고 정확하게 이루어졌다.", "judge_score": 9.0}}
{"id": 18, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT product_name, SUM(quantity) AS total_quantity FROM inventory_orders GROUP BY product_name HAVING SUM(quantity) > 100;\n\n## SQL 실행결과-1:\n제품명:\nProduct A\n총 수량:\n150\n\n## SQL 실행결과-2:\n제품명:\nProduct B\n총 수량:\n200\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n총 수량이 100을 초과하는 제품의 이름과 총 수량을 알려줘."], "outputs": ["{\"answer\": \"총 수량이 100을 초과하는 제품은 다음과 같습니다:\n\n| 제품명 | 총 수량 |\n|--------|----------|\n| Product A | 150 |\n| Product B | 200 |\n\n언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\"}"], "references": ["1. 제품명: Product A\n   총 수량: 150\n\n2. 제품명: Product B\n   총 수량: 200\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 요구사항을 대부분 충족하고 있습니다. 답변은 JSON 형식으로 구성되었으며, \"answer\" 키를 사용하여 정보를 제공하였습니다. 또한, 답변 끝에 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\"라는 문구를 포함하여 정중하게 마무리하였습니다. 그러나 JSON 형식 내에서 표 형식을 사용한 것은 JSON의 기본 형식과 맞지 않으며, 단순한 문자열로 제공하는 것이 더 적절합니다. 이로 인해 JSON 형식의 일관성이 떨어졌습니다.", "judge_score": 8.0}}
{"id": 30, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nSK하이닉스의 최근 배당금 지급 내역을 알려줘."], "outputs": ["{\"sql_query\": \"\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '배당금' FROM ai_dart_corp_report WHERE corp_name = 'SK하이닉스' AND account_nm = '배당금' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, \"sql_query\"의 기본값을 빈 스트링(\"\")으로 설정한 점은 조건을 충족하고 있다. 그러나 질문에 대한 적절한 SQL 쿼리를 생성하지 못했다. 주어진 DB 스키마와 조건을 고려했을 때, SK하이닉스의 최근 배당금 지급 내역을 조회하는 SQL 쿼리를 생성할 수 있었어야 한다. Additional Reference에 제공된 SQL 쿼리를 참고하면, 모델이 적절한 쿼리를 생성하지 못한 점이 아쉽다.", "judge_score": 3.0}}
{"id": 19, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT department, AVG(expense) AS average_expense FROM finance_expenses GROUP BY department;\n\n## SQL 실행결과-1:\n부서:\nHR\n평균 지출:\n5000\n\n## SQL 실행결과-2:\n부서:\nIT\n평균 지출:\n7500\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n각 부서별 평균 지출을 알려줘."], "outputs": ["{\"answer\": \"각 부서별 평균 지출은 다음과 같습니다:\n\n- HR 부서: 평균 지출 $5000\n- IT 부서: 평균 지출 $7500\n\n언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\"}"], "references": ["1. 부서: HR\n   평균 지출: 5000\n\n2. 부서: IT\n   평균 지출: 7500\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 요구사항을 대부분 충족하고 있습니다. JSON 형식을 사용하여 답변을 구성하였고, 각 부서별 평균 지출을 정확하게 제시하였습니다. 또한, 답변 끝에 밝은 리액션을 포함하여 정중하게 마무리하였습니다. 그러나 JSON 형식에서 \"answer\"의 값이 문자열로만 구성되어야 하는데, 모델은 여러 줄의 텍스트를 포함한 문자열을 사용하였습니다. 이 부분이 조건을 완전히 만족하지 못한 점이 아쉽습니다.", "judge_score": 8.0}}
{"id": 13, "category": "task_assistant_hire", "questions": ["팀 이름: 글로벌로지스IS팀\n담당 업무: 롯데글로벌로지스의 시스템 운영/관리 및 IT 리딩\n프로젝트: 그룹SCM시스템 운영(L-LIS, WMS, TMS 등)\n팀 장점: 국내 대표 종합물류회사 IT 시스템 운영, 물류 플랫폼의 IT 관점에서의 비즈니스 리딩\n키워드: 택배물류, 글로벌물류, 3PL 서비스, SCM물류시스템, IT 시스템 관리"], "outputs": ["글로벌로지스IS팀은 택배물류, 글로벌물류, 국내 롯데그룹 및 3PL 서비스를 제공하는 국내 대표 종합물류회사인 롯데글로벌로지스의 시스템을 운영/관리하고 IT를 리딩하는 팀입니다.\n\n특히 그룹SCM시스템은 롯데글로벌로지스 물류 플랫폼인 L-LIS 및 그외 WMS,TMS 등의 시스템을 운영하고 있습니다. 국내 3대 종합물류회사의 SCM물류시스템을 운영하고 고객사의 비지니스를 IT관점에서 리딩하고자 하는 분들의 많은 관심 기다리겠습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 정보를 잘 반영하고 있으며, 팀의 주요 업무와 프로젝트, 강점을 명확히 설명하고 있습니다. 특히, 팀의 전문성과 책임이 어떻게 성공에 기여하는지를 강조하고 있습니다. 그러나 답변이 다소 단조롭고 설득력 있는 소개문으로서의 매력이 부족합니다. 또한, 팀의 정체성, 사명, 및 영향력에 대한 명확한 스냅샷을 제공하는 부분이 부족합니다. 예를 들어, 팀의 비전이나 구체적인 성취 사례를 추가하면 더 설득력 있는 소개문이 될 것입니다.", "judge_score": 7.0}}
{"id": 22, "category": "lotte_qa", "questions": ["롯데글로벌로지스에서 활용하고 있는 PC-OFF 제도는 뭐야?"], "outputs": ["롯데글로벌로지스에서는 야근이나 불필요한 업무를 없애고 직원들의 여가시간 확보를 위해 PC-OFF 시스템을 활용하고 있습니다. 퇴근시간이 임박하면 알림을 주고, 휴가 시에는 PC사 용을 제한하고, 퇴근시간 이후 PC를 사용하기 위해서는 팀장의 별도 승인을 받는 등의 기능을 통해 임직원의 일과 삶의 균형을 지원하고 있습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 롯데글로벌로지스의 PC-OFF 제도에 대해 잘 설명하고 있습니다. PC-OFF 제도의 목적과 기능, 예를 들어 퇴근 시간 알림, 휴가 시 PC 사용 제한, 퇴근 후 PC 사용 시 팀장의 승인 필요 등을 구체적으로 언급하여 질문의 요구사항을 충분히 반영하였습니다. 답변은 한국어로 작성되었으며, 언어 요구사항을 충족합니다. 다만, 추가적인 세부사항이나 예시가 더 포함되었으면 더욱 완벽한 답변이 되었을 것입니다.", "judge_score": 9.0}}
{"id": 24, "category": "lotte_qa", "questions": ["롯데타워는 언제 개장했어?"], "outputs": ["롯데월드타워는 2017년 4월 3일에 개장하였습니다."], "references": ["2017년 4월 3일"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 정확히 반영하여 롯데타워의 개장일을 명확하게 제시하고 있다. 추가 참조 정보와 일치하며, 언어 요구사항도 충족하였다. 답변의 길이도 적절하며, 불필요한 정보 없이 간결하게 핵심을 전달하였다.", "judge_score": 10.0}}
{"id": 7, "category": "review_summary", "questions": ["## 상품명:조셉앤스테이시 가방 100종 모음\n\n## 상품 리뷰:\n1. 출국할때 면세로 사려다 여러개 사는게 아니면 면세도 그닥 저렴하지않아서 패스했다. 그런데 어제 쇼핑몰 둘러보다 쿠폰먹이면 면세가격이랑 비슷하길래 그냥 질러버림. 기본 단색이랑 스태리펄이랑 고민하다 원래 사려던 골드로… 한참 유행할때 쳐다도 안보던 가방인데 왜 뒤늦게 꽂혀서..... 니트라 쳐짐 걱정 살짝있었는데 그리 얇지않아서 지갑, 자동차키,폰 넣고 저정도 핏이다. 첨엔 생각보다 작다했는데 나름귀엽다. 이 나이에 귀여울일인가 싶지만...ㅎㅎㅎ 자기만족....♡♡♡  골드 들어보고 손자주가면 봄에 젤리그린하나 더 사야겠다.​ #조셉니트백 #조셉스태리골드 #조셉니트백S #니트백 #조셉스테이시 #스태리골드S 2. 평소에 에코백 종류를 좋아하고 사용을 합니다. 사이즈가 작지만 카드지갑,폰,파우치,물티슈 정도 넣으면 딱인것 같아요. 축 쳐짐도 생각 보다 없어서 좀 놀랐어요.  가볍게 필요한 것만 넣고 다니기에는 사이즈가 작음에도 불구하고 괜찮은 것 같어요. 무엇 보다 약간의 반짝임이 있어서 저는 참 마음에 듭니다.  그리고 끈을 묶을 수 있는 고리가 있는데 이 부분은 키링 같은 것을 달 수도 있어서 … 이 부분이 마음에 드네요. 일단 사계절 사용하기에 무난한 블랙을 구입 했는데.. 내년 봄여름 용으로 밝은색으로도 하나 더 세일 할때 구입을 하고 싶네요. 3. 네이비 M반짝이 가방을 사고 넘 맘에 들어 골드랑 검정 S사이즈 반짝이로 또 구매했습니다..친구가 검정,골드 들고다는거 보고 고민없이 같은 사이즈로  구매했어요..실물을 봤으니 더기대하고 기다렸는데 검정 가방이 반짝이가 제가 들고있는 네이비에비해 넘 표시가 덜나고 친구가방 보다도 차이가 확실히 나네요ㅠㅠ  같이 온 골드는 넘 맘에 드는데 검정은 아쉬움이 많이 남네요..반짝이가 넘 빈약합니다ㅠㅠ"], "outputs": ["조셉앤스테이시 가방은 다양한 색상과 디자인으로 인기를 얻고 있습니다. 니트백 시리즈는 예상보다 튼튼하고 쳐짐이 적어 실용적입니다. 작은 사이즈임에도 지갑, 키, 휴대폰 등 필수품을 수납하기에 적당합니다. 특히 스태리 골드와 같은 반짝이는 디자인이 많은 사랑을 받고 있으며, 가벼운 외출용으로 적합합니다. 끈을 묶을 수 있는 고리가 있어 키링 등을 달 수 있는 점도 장점입니다. 사계절 사용 가능한 블랙부터 봄여름용 밝은 색상까지 다양한 선택지가 있어, 여러 개 구매하는 소비자들도 많습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct를 잘 따르고 있습니다. 상품명 \"조셉앤스테이시 가방\"이 요약에 포함되었고, 부정적인 내용은 배제되었습니다. 리뷰의 긍정적인 측면만을 요약하여 가방의 다양한 색상과 디자인, 실용성, 튼튼함, 반짝이는 디자인, 그리고 끈의 고리 기능 등을 강조했습니다. 다만, 리뷰에서 언급된 \"니트백\"과 \"스태리 골드\" 등의 구체적인 제품명도 포함되어 있어 더욱 구체적이고 정확한 요약이 되었습니다. 전반적으로 요구사항을 잘 충족한 답변입니다.", "judge_score": 9.0}}
{"id": 29, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n근 5년간 삼전 매출 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성전자' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 5 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성전자' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문과 조건을 잘 반영하고 있습니다. JSON 형식을 준수하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, `bsns_year BETWEEN YEAR(NOW()) - 5 AND YEAR(NOW())` 부분에서 5년을 포함하는 방식이 다릅니다. Additional Reference에서는 4년을 빼서 5년간의 데이터를 포함하도록 했지만, 모델의 답변에서는 5년을 빼서 6년간의 데이터를 포함하게 됩니다. 이로 인해 정확한 5년간의 데이터를 제공하지 못할 수 있습니다.", "judge_score": 8.0}}
{"id": 15, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV, LOCD_SOC\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n    managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n    esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경), S(사회), G(거버넌스), ESG(공통)\n    indicator_name VARCHAR(200) COMMENT '지표 명',\n    indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량, 정성\n    indicator_unit VARCHAR(50) COMMENT '지표 단위',\n    concept_description TEXT COMMENT '지표 개념 설명',\n    detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n    calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n    data_calculation_method TEXT COMMENT '데이터 산출 방안',\n    data_source VARCHAR(100) COMMENT '데이터 출처',\n    related_systems VARCHAR(100) COMMENT '연관 시스템',\n    notes VARCHAR(200) COMMENT '기타 주석',\n    PRIMARY KEY (id, slide_page)\n);\n-- 기타 테이블 생략\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시: \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n    - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\nESG 범주가 'G(지배구조)'인 지표의 정보를 알려줘."], "outputs": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G';\"}"], "references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G(지배구조)';\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 생성하는 데 있어 일부 조건을 충족하지 못했습니다. 우선, 모델은 질문의 요구사항을 반영하여 'G(지배구조)'인 지표를 검색하는 SQL 쿼리를 생성했으나, 'G(지배구조)' 대신 'G'만 사용했습니다. 이는 Additional Reference와 일치하지 않으며, 'G(지배구조)'로 정확히 검색해야 합니다. 또한, SELECT 시 PRIMARY_KEY를 반드시 포함해야 한다는 조건을 충족하지 않았습니다. JSON 형식은 올바르게 사용되었으나, SQL 쿼리의 정확성에서 부족함이 있습니다.", "judge_score": 5.0}}
{"id": 23, "category": "lotte_qa", "questions": ["롯데 창립일과 창업주가 누구야"], "outputs": ["롯데 그룹의 창립일은 1967년 3월 24일이며, 창업주는 신격호입니다."], "references": ["1948년 6월 28일, 신격호"], "query_single": {"judge_message": "모델의 답변은 언어 요구사항을 충족하여 한국어로 작성되었다. 그러나 롯데 그룹의 창립일에 대한 정보가 Additional Reference와 일치하지 않는다. Additional Reference에 따르면 롯데의 창립일은 1948년 6월 28일이며, 모델은 1967년 3월 24일로 잘못된 정보를 제공하였다. 창업주에 대한 정보는 정확하게 제공되었다. 따라서 질문의 요구사항을 충분히 반영하지 못한 부분이 있다.", "judge_score": 5.0}}
{"id": 39, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n신일전자 최근 5년의 순이익이 얼만가요 ?"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '신일전자' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '신일전자' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 생성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많을 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하고 있으며, 언어 요구사항도 충족하고 있습니다.", "judge_score": 8.0}}
{"id": 32, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한화의 2022년 매출 알려줘봐라"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '한화' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '한화' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 쿼리의 구조와 조건이 정확하게 반영되었습니다.", "judge_score": 8.0}}
{"id": 25, "category": "lotte_qa", "questions": ["SKY31 컨벤션에 대해 설명해줘"], "outputs": ["SKY31 컨벤션은 SK네트웍스에서 운영하는 국내 최초 \"이벤트형 사무공간\"입니다. 기존 호텔 컨벤션의 한계를 뛰어넘는 공간 디자인과 최상의 서비스로 국내외 기업들의 각종 이벤트 및 회의를 지원합니다."], "references": ["롯데물산이 운영하는 회의 시설"], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충분히 반영하지 못했습니다. SKY31 컨벤션에 대해 설명하는 과정에서 운영 주체를 SK네트웍스로 잘못 언급하였으며, Additional Reference에 따르면 롯데물산이 운영하는 회의 시설이라는 정보가 포함되어야 합니다. 또한, \"이벤트형 사무공간\"이라는 설명은 부정확하며, 답변의 다른 부분도 질문의 요구사항을 충족하지 못했습니다. 언어 요구사항은 충족되었으나, 답변의 정확성과 완전성에서 큰 결함이 있습니다.", "judge_score": 3.0}}
{"id": 45, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n농심과 오리온의 2019~2020 순이익 비교"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name IN ('농심', '오리온') AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name IN ('농심', '오리온') AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 적절히 생성하였으며, JSON 형식을 준수하였다. 그러나 \"순이익\" 대신 \"당기순이익\"이라는 용어를 사용한 점이 Additional Reference와 다르다. 또한, LIMIT 20 조건이 누락되었다. 이 두 가지 차이점이 있지만, 전반적으로 질문의 요구사항을 잘 반영하였다.", "judge_score": 8.0}}
{"id": 31, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n롯데이노베이트의 2018년 매출을 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '롯데이노베이트' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2018;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '롯데이노베이트' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2018 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, DB 스키마와 조건을 고려하여 적절한 SQL문을 생성하였습니다.", "judge_score": 8.0}}
{"id": 33, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n태경산업의 2021년 매출 보여줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '태경산업' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2021;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '태경산업' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2021 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, DB 스키마와 조건을 잘 고려한 것으로 보입니다.", "judge_score": 8.0}}
{"id": 26, "category": "lotte_qa", "questions": ["L-SWAT이 뭐야"], "outputs": ["L-SWAT은 롯데이노베이트의 통합 보안 관제 서비스입니다. 통합 보안 관제 서비스란, 시스템의 보안 관리, 네트워크의 보안 관리, 침해 사고에 대한 조사 및 대응, 보안 자산의 관리(보안관리, 취약점 관리, 개발 보안), 보안 정책과 규정의 수립, 보안 교육 및 홍보, 사고 대응, 법적 리스크 관리(개인정보, 금융보안), 클라우드 보안 등을 수행하는 서비스입니다."], "references": ["Lotte(World Tower) - Special Weapons And Tactics, 롯데에서 운영하는 국내 최초이자 유일의 민간 테러대응팀, 계획적인 테러 위협을 롯데그룹 차원에서 직접 대비하기 위한 조직 "], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충분히 반영하지 못했습니다. 질문은 L-SWAT에 대한 설명을 요구했으나, 모델은 롯데이노베이트의 통합 보안 관제 서비스에 대해 설명하고 있습니다. Additional Reference에 따르면, L-SWAT은 롯데에서 운영하는 국내 최초이자 유일의 민간 테러대응팀으로, 계획적인 테러 위협을 대비하기 위한 조직입니다. 모델의 답변은 이와 관련된 정보를 전혀 제공하지 않았습니다. 또한, 답변이 한국어로 작성되었으나, 내용이 부정확하여 점수를 높게 줄 수 없습니다.", "judge_score": 2.0}}
{"id": 37, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n금호타이어 최근 5년 순이익을 말해봐"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '금호타이어' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '금호타이어' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많을 수 있습니다. 이 부분이 아쉬운 점입니다.", "judge_score": 8.0}}
{"id": 51, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nGS의 2021년부터 2023년까지의 최대 영업이익과 최소 영업이익 작성"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'GS' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'GS' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하였다. SQL 쿼리의 내용은 Additional Reference와 거의 일치하며, 조건을 충족하고 있다. 다만, LIMIT 20 조건이 누락되었으나, 이는 큰 영향을 미치지 않는 부분으로 보인다. 언어 요구사항도 충족하였다.", "judge_score": 9.0}}
{"id": 42, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n교보증권의 2018년에서 2022년까지의 부채비율 말해"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '교보증권' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2018 AND 2022 GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '교보증권' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2018 AND 2022 GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 잘 반영하고 있으며, JSON 형식을 준수하고 있다. SQL 쿼리문도 적절하게 작성되었으며, 주어진 조건을 모두 만족하고 있다. 다만, Additional Reference와 비교했을 때, `CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT)` 대신 `CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)`를 사용한 점이 다르다. 이 부분은 큰 차이는 없으나, 일관성을 위해 SIGNED를 사용하는 것이 더 적절할 수 있다.", "judge_score": 9.0}}
{"id": 40, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 유한양행의 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '유한양행' AND account_nm = '순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '유한양행' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 \"account_nm\" 조건에서 \"순이익\" 대신 \"당기순이익\"을 사용해야 합니다. 이 부분이 Additional Reference와 다르며, 정확한 데이터를 추출하는 데 영향을 미칠 수 있습니다. 그 외의 조건들은 모두 잘 반영되었습니다.", "judge_score": 8.0}}
{"id": 36, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n에어부산의 3년간 영업이익률"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '에어부산' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '에어부산' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, CAST 함수에서 SIGNED 대신 FLOAT를 사용한 점이 다릅니다. SIGNED를 사용하는 것이 더 적절하며, 이로 인해 데이터 타입 변환에서 미세한 차이가 발생할 수 있습니다. 그 외에는 쿼리 구조와 조건이 잘 맞아떨어집니다.", "judge_score": 9.0}}
{"id": 34, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n최근 3년간 영풍제지 영업이익률 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 JSON 형식으로 잘 생성하였습니다. 그러나 몇 가지 중요한 부분에서 차이가 있습니다. 첫째, `CAST` 함수에서 `SIGNED` 대신 `FLOAT`를 사용하였는데, 이는 큰 문제가 되지 않지만 일관성을 위해 `SIGNED`를 사용하는 것이 더 적절합니다. 둘째, `LIMIT 20` 조건이 누락되었습니다. 이 조건은 결과의 개수를 제한하기 위해 필요합니다. 마지막으로, 언어 요구사항을 충족하였으며, 답변은 한국어로 작성되었습니다.", "judge_score": 8.0}}
{"id": 41, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n하나마이크론의 2017년 ~ 2020년까지 매출 알려줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '하나마이크론' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '하나마이크론' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하여 하나마이크론의 2017년부터 2020년까지의 매출을 조회하는 SQL문을 생성하였습니다.", "judge_score": 8.0}}
{"id": 44, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n유한양행과 SKC의 2020 ~ 2022년 영업이익을 비교해줘봐라"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '영업이익' FROM ai_dart_corp_report WHERE corp_name IN ('유한양행', 'SKC') AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '영업이익' FROM ai_dart_corp_report WHERE corp_name IN ('유한양행', 'SKC') AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 DB 스키마를 잘 반영하여 SQL 쿼리를 생성하였습니다. JSON 형식도 정확히 준수하였고, SQL 쿼리문도 Additional Reference와 거의 일치합니다. 다만, Additional Reference에서 LIMIT 20 조건이 포함되어 있었으나, 모델의 답변에서는 이 조건이 누락되었습니다. 이로 인해 쿼리 결과의 크기를 제한하지 못할 수 있습니다. 그 외에는 모든 조건을 잘 만족하였습니다.", "judge_score": 9.0}}
{"id": 49, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2023년까지 농심의 최대 매출과 최소 매출을 알려줘"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 매출', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 매출' FROM ai_dart_corp_report WHERE corp_name = '농심' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 매출', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 매출' FROM ai_dart_corp_report WHERE corp_name = '농심' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하였다. SQL 쿼리의 내용은 Additional Reference와 거의 일치하며, 주요 조건인 '농심', '매출액', '연결재무제표', '2021년부터 2023년까지'를 모두 포함하고 있다. 다만, LIMIT 20 조건이 누락되었으나, 이는 질문의 요구사항을 충족하는 데 큰 영향을 미치지 않는다. 전반적으로 질문의 요구사항을 잘 반영한 답변이다.", "judge_score": 9.0}}
{"id": 35, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n브이티의 최근 3년의 영업이익률을 말해보세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '브이티' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '브이티' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 JSON 형식으로 잘 생성하였다. 답변 형식은 {\"sql_query\": \"...\"}로 정확히 맞췄으며, SQL 쿼리 내용도 Additional Reference와 거의 일치한다. 다만, Additional Reference에서는 CAST를 SIGNED로 변환했으나, 모델은 FLOAT로 변환하였다. 이 차이는 큰 문제는 아니지만, SIGNED가 더 적절할 수 있다. 또한, LIMIT 20 조건이 누락되었다. 이 부분은 데이터 양이 많을 경우 성능에 영향을 줄 수 있다.", "judge_score": 9.0}}
{"id": 52, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2022년까지 대상의 평균 영업이익을 알려줘"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 영업이익' FROM ai_dart_corp_report WHERE corp_name = '대상' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 영업이익' FROM ai_dart_corp_report WHERE account_nm = '영업이익' AND fs_nm = '연결재무제표' AND corp_name = '대상' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 쿼리의 구조와 조건이 정확하게 반영되었습니다.", "judge_score": 8.0}}
{"id": 47, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nHMM의 2020 ~ 2022년까지 영업이익 성장률 구해줘"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `영업이익` FROM ai_dart_corp_report WHERE corp_name = 'HMM' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `영업이익` FROM yearly_revenue WHERE `연도` = 2022) / (SELECT `영업이익` FROM yearly_revenue WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `HMM 영업이익 연평균 성장률(CAGR)` FROM dual;\"}"], "references": ["{\"sql_query\": \"WITH yearly_operating_income AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `영업이익` FROM ai_dart_corp_report WHERE corp_name = 'HMM' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2022) / (SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `HMM 영업이익 연평균 성장률(CAGR)` FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. 답변은 JSON 형식으로 제공되었고, \"sql_query\" 키를 포함하고 있습니다. SQL 쿼리문은 Additional Reference와 거의 동일하며, 필요한 조건들을 모두 포함하고 있습니다. 다만, CTE(Common Table Expression)의 이름이 \"yearly_revenue\"로 되어 있는데, 이는 \"yearly_operating_income\"으로 수정하는 것이 더 적절합니다. 이 외에는 SQL 쿼리의 논리와 구조가 올바르게 작성되었습니다.", "judge_score": 9.0}}
{"id": 46, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 삼바의 매출 성장률을 구해주세요"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `매출액` FROM ai_dart_corp_report WHERE corp_name = '삼바' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `매출액` FROM yearly_revenue WHERE `연도` = 2022) / (SELECT `매출액` FROM yearly_revenue WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `삼바 연평균 매출 성장률(CAGR)` FROM dual;\"}"], "references": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성바이오로직스' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2020), 1.0 / 2) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 JSON 형식으로 잘 생성하였다. 그러나 \"삼바\"라는 회사명을 사용한 부분이 문제이다. DB 스키마와 Additional Reference에 따르면, \"삼성바이오로직스\"가 올바른 회사명이다. 이로 인해 쿼리가 정확한 데이터를 반환하지 못할 가능성이 크다. 또한, 나머지 쿼리 구조는 Additional Reference와 거의 일치하며, 연평균 성장률(CAGR)을 계산하는 방식도 적절하다.", "judge_score": 7.0}}
{"id": 38, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n최근 5년의 빙그레 부채비율을 말해보세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '빙그레' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '빙그레' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, `CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)` 대신 `CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT)`를 사용한 점이 다릅니다. 이로 인해 데이터 타입 변환에서 약간의 차이가 있을 수 있습니다. 그 외에는 쿼리의 구조와 조건이 잘 맞아떨어집니다.", "judge_score": 9.0}}
{"id": 43, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 LG에너지솔루션와 엔씨소프트의 매출 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name IN ('LG에너지솔루션', '엔씨소프트') AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name IN ('LG에너지솔루션', '엔씨소프트') AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많아질 수 있습니다. 그 외에는 쿼리의 구조와 조건이 정확하게 반영되었습니다.", "judge_score": 9.0}}
{"id": 48, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2019년부터 2022년까지 위니아의 매출 성장률 알려줘"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `매출액` FROM ai_dart_corp_report WHERE corp_name = '위니아' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022) SELECT (POWER((SELECT `매출액` FROM yearly_revenue WHERE `연도` = 2022) / (SELECT `매출액` FROM yearly_revenue WHERE `연도` = 2019), 1.0 / 3) - 1) * 100 AS `연평균 성장률(CAGR)` FROM dual;\"}"], "references": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '위니아' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2019), 1.0 / 3) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 DB 스키마와 조건을 충실히 반영하여 SQL 쿼리를 생성하였습니다. JSON 형식도 정확히 준수하였으며, \"sql_query\"의 값이 빈 스트링이 아닌 적절한 SQL 쿼리문으로 채워져 있습니다. SQL 쿼리문은 위니아의 2019년부터 2022년까지의 매출 성장률을 계산하는 데 필요한 모든 조건을 포함하고 있습니다. Additional Reference와 비교했을 때, 모델의 답변은 거의 동일하며, 필요한 모든 요소를 포함하고 있습니다.", "judge_score": 10.0}}
{"id": 56, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2023년까지 아모레퍼시픽의 누적 매출액을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 매출액' FROM ai_dart_corp_report WHERE corp_name = '아모레퍼시픽' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 매출액' FROM ai_dart_corp_report WHERE corp_name = '아모레퍼시픽' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 `LIMIT 20` 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하여 SQL 쿼리를 생성하였습니다.", "judge_score": 8.0}}
{"id": 57, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nBYC 2017년부터 2019년까지 누적 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 순이익' FROM ai_dart_corp_report WHERE corp_name = 'BYC' AND account_nm = '누적 순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2019;\"}"], "references": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 순이익' FROM ai_dart_corp_report WHERE corp_name = 'BYC' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2019 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문을 생성하는 데 있어서 대부분의 조건을 충족하고 있다. 그러나 \"account_nm\" 조건에서 '누적 순이익'을 사용한 부분이 Additional Reference와 다르다. Additional Reference에서는 '당기순이익'을 사용하고 있으며, 이는 중요한 차이점이다. 이로 인해 쿼리 결과가 다를 수 있다. 나머지 조건들은 정확히 반영되었으며, SQL 쿼리문 자체는 문법적으로 올바르다.", "judge_score": 7.0}}
{"id": 54, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한화 솔루션의 2019년부터 2020년까지의 평균 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 순이익' FROM ai_dart_corp_report WHERE corp_name = '한화 솔루션' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 순이익' FROM ai_dart_corp_report WHERE corp_name = '한화솔루션' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 대부분의 조건을 충족하고 있으며, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 \"한화 솔루션\" 대신 \"한화솔루션\"으로 작성해야 하는 부분에서 오타가 있습니다. 이로 인해 쿼리가 실제로 실행될 때 원하는 결과를 얻지 못할 수 있습니다. 또한, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이 두 가지 점이 아쉬운 부분입니다.", "judge_score": 7.0}}
{"id": 50, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n엘지이노텍의 2021~ 2023년 중 최대 영업이익과 최소 영업이익을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = '엘지이노텍' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'LG이노텍' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 \"엘지이노텍\" 대신 \"LG이노텍\"을 사용해야 한다는 점에서 약간의 차이가 있습니다. 또한, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이 두 가지 차이점이 답변의 정확성에 영향을 미칠 수 있습니다.", "judge_score": 8.0}}
{"id": 58, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 금양의 매출액 증가/감소 추세를 알려줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '금양' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '금양' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하고 있다. SQL 쿼리의 구조와 조건도 Additional Reference와 일치하며, 필요한 모든 조건을 충족하고 있다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었으나, 이는 큰 영향을 미치지 않는 부분으로 보인다. 전반적으로 질문의 요구사항을 잘 반영한 답변이다.", "judge_score": 9.0}}
{"id": 53, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한진의 2021년부터 2023년까지 평균 매출을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 매출' FROM ai_dart_corp_report WHERE corp_name = '한진' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 매출' FROM ai_dart_corp_report WHERE corp_name = '한진' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문과 조건을 잘 반영하고 있습니다. SQL 쿼리는 \"한진\"의 2021년부터 2023년까지의 평균 매출을 구하는 데 필요한 조건들을 모두 포함하고 있습니다. 특히, `corp_name`, `account_nm`, `fs_nm`, `thstrm_nm`, `bsns_year` 등의 조건을 정확히 사용하였고, `REPLACE`와 `CAST` 함수를 사용하여 문자열을 숫자로 변환하는 부분도 올바르게 처리되었습니다. 다만, Additional Reference와 비교했을 때 `LIMIT 20` 조건이 누락된 점이 아쉽습니다. 하지만 이 조건이 필수적이지 않으므로 큰 문제는 아닙니다.", "judge_score": 9.0}}
{"id": 60, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한일시멘트의 2019~2022 순이익 증가/감소 추세 보여줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '한일시멘트' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022 ORDER BY bsns_year;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '한일시멘트' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 적절히 생성하였으며, JSON 형식을 준수하였다. \"한일시멘트\"의 2019~2022년 순이익 증가/감소 추세를 보여주기 위해 필요한 조건들을 모두 포함하고 있다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었다. 이로 인해 결과의 크기를 제한하지 못한 점이 아쉽다. 그러나 전체적으로 질문의 요구사항을 잘 반영하였다.", "judge_score": 9.0}}
{"id": 62, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n신성이엔지의 2020, 2021년 자산총계 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '자산총계' FROM ai_dart_corp_report WHERE corp_name = '신성이엔지' AND account_nm = '자산총계' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2021);\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '자산총계' FROM ai_dart_corp_report WHERE corp_name = '신성이엔지' AND account_nm = '자산총계' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2021) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많을 수 있습니다. 그 외에는 쿼리의 구조와 내용이 적절하게 작성되었습니다.", "judge_score": 8.0}}
{"id": 61, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년과 2022년  엔에이치엔의 유동자산을 비교해줘."], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '유동자산' FROM ai_dart_corp_report WHERE corp_name = '엔에이치엔' AND account_nm = '유동자산' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2022);\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '유동자산' FROM ai_dart_corp_report WHERE corp_name = '엔에이치엔' AND account_nm = '유동자산' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2022) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문과 DB 스키마를 잘 반영하여 SQL 쿼리를 생성하였습니다. 답변은 JSON 형식을 준수하고 있으며, \"sql_query\" 필드에 적절한 SQL 쿼리를 포함하고 있습니다. Additional Reference와 비교했을 때, 모델의 쿼리는 LIMIT 20 조건이 빠져있습니다. 이로 인해 결과의 수를 제한하지 않게 되어, 대량의 데이터가 반환될 가능성이 있습니다. 그러나 이 부분을 제외하면 나머지 조건은 정확히 반영되었습니다.", "judge_score": 9.0}}
{"id": 55, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n대한항공의 2021년부터 2023년까지 누적 영업이익울 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 영업이익' FROM ai_dart_corp_report WHERE corp_name = '대한항공' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 영업이익' FROM ai_dart_corp_report WHERE corp_name = '대한항공' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 대부분 충족하고 있습니다. SQL 쿼리는 대한항공의 2021년부터 2023년까지의 누적 영업이익을 구하는 데 필요한 조건들을 잘 반영하고 있습니다. 그러나 Additional Reference와 비교했을 때, 모델의 쿼리에는 'bsns_year'와 'corp_name'을 그룹화하는 부분이 누락되었습니다. 이로 인해 연도별로 누적 영업이익을 구하는 것이 아니라 전체 기간에 대한 누적 영업이익만을 구하게 됩니다. JSON 형식은 정확히 준수되었으며, SQL 쿼리의 기본값을 빈 스트링으로 설정하는 조건도 잘 지켰습니다.", "judge_score": 7.0}}
{"id": 59, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n대웅제약의 2020 ~ 2022년까지 영업이익 증가/감소 추세를 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '영업이익' FROM ai_dart_corp_report WHERE corp_name = '대웅제약' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '영업이익' FROM ai_dart_corp_report WHERE corp_name = '대웅제약' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문과 조건을 잘 반영하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때, LIMIT 20 조건이 누락된 점이 아쉽습니다. 이로 인해 쿼리 결과가 다소 달라질 수 있습니다. 그러나 전체적인 쿼리 구조와 조건은 정확하게 반영되었습니다.", "judge_score": 9.0}}