{"id": 24, "category": "lotte_qa", "questions": ["롯데타워는 언제 개장했어?"], "outputs": ["롯데월드타워는 2017년 4월 3일에 개장하였습니다."], "references": ["2017년 4월 3일"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 정확히 반영하여 롯데타워의 개장일을 정확하게 제공하였다. 또한, 답변은 한국어로 작성되어 언어 요구사항을 충족하였다. 추가적인 정보나 불필요한 내용 없이 간결하고 명확하게 답변을 제공한 점도 긍정적이다.", "judge_score": 10.0}}
{"id": 15, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV, LOCD_SOC\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n    managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n    esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경), S(사회), G(거버넌스), ESG(공통)\n    indicator_name VARCHAR(200) COMMENT '지표 명',\n    indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량, 정성\n    indicator_unit VARCHAR(50) COMMENT '지표 단위',\n    concept_description TEXT COMMENT '지표 개념 설명',\n    detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n    calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n    data_calculation_method TEXT COMMENT '데이터 산출 방안',\n    data_source VARCHAR(100) COMMENT '데이터 출처',\n    related_systems VARCHAR(100) COMMENT '연관 시스템',\n    notes VARCHAR(200) COMMENT '기타 주석',\n    PRIMARY KEY (id, slide_page)\n);\n-- 기타 테이블 생략\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시: \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n    - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\nESG 범주가 'G(지배구조)'인 지표의 정보를 알려줘."], "outputs": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G(지배구조)';\"}"], "references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G(지배구조)';\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 적합한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하고 있습니다. \"sql_query\"의 값으로 적절한 SQL 쿼리를 포함하고 있으며, ESG 범주가 'G(지배구조)'인 지표를 조회하는 조건을 정확히 반영하였습니다. 또한, Additional Reference와 일치하는 답변을 제공하여 높은 점수를 받을 수 있습니다. 언어 요구사항도 충족하였습니다.", "judge_score": 10.0}}
{"id": 16, "category": "text2sql", "questions": ["## DB 스키마 :\n-- 제품 정보를 저장하는 메인 테이블\nCREATE TABLE products (\n    product_id INT PRIMARY KEY COMMENT '제품 ID',\n    product_name VARCHAR(100) COMMENT '제품명',\n    category VARCHAR(50) COMMENT '카테고리',\n    price DECIMAL(10,2) COMMENT '가격',\n    stock INT COMMENT '재고 수량',\n    supplier_id INT COMMENT '공급업체 ID',\n    description TEXT COMMENT '제품 설명'\n);\n-- 공급업체 정보를 저장하는 테이블\nCREATE TABLE suppliers (\n    supplier_id INT PRIMARY KEY COMMENT '공급업체 ID',\n    supplier_name VARCHAR(100) COMMENT '공급업체명',\n    contact_email VARCHAR(100) COMMENT '연락처 이메일',\n    phone_number VARCHAR(20) COMMENT '전화번호'\n);\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시: \"제품 ID 1001의 이름은?\" 라는 질문이 있을때, DB에는 \"1001\"로 저장되어 있으므로 검색결과를 위해서는 \"1001\"로 문자열 검색을 해야합니다.\n    - 예시: \"재고가 없는 제품은?\" 라는 질문이 있을때, 재고 수량을 확인하여 0인 제품을 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n## 질문 :\n가격이 10000 이상인 제품의 이름과 가격을 알려줘."], "outputs": ["{\"sql_query\": \"SELECT product_id, product_name, price FROM products WHERE price >= 10000;\"}"], "references": ["{\"sql_query\": \"SELECT product_id, product_name, price FROM products WHERE price >= 10000;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 정확히 따르고 있습니다. SQL 쿼리는 가격이 10000 이상인 제품의 이름과 가격을 조회하는 조건을 충족하며, PRIMARY_KEY인 product_id도 포함되어 있습니다. 또한, 답변은 JSON 형식으로 구성되었고, \"sql_query\"의 기본값이 빈 스트링(\"\")이 아닌 적절한 SQL 쿼리문으로 채워졌습니다. 따라서 모델의 답변은 매우 적절합니다.", "judge_score": 10.0}}
{"id": 9, "category": "task_assistant_mail_meeting", "questions": ["보내는 사람: AI기술팀 김롯데\n받는 사람: AI기술팀 박롯데\n회의 목적: 현재 개발중인 플랫폼 내 기능 구현에 대한 의견 수렴\n회의 날짜: 2024-07-10\n회의 장소: 롯데이노베이트 15층 대회의실"], "outputs": ["제목: [회의 요청] 플랫폼 기능 구현 관련 의견 수렴 회의 안내\n\n박롯데님께,\n\n안녕하세요. AI기술팀의 김롯데입니다.\n\n현재 개발 중인 플랫폼 내 기능 구현에 대한 의견을 수렴하고자 아래와 같이 회의를 요청드립니다.\n\n- **회의 목적**: 현재 개발 중인 플랫폼 내 기능 구현에 대한 의견 수렴\n- **회의 일시**: 2024년 7월 10일\n- **회의 장소**: 롯데이노베이트 15층 대회의실\n\n회의에 참석해주셔서 다양한 의견을 나눠주시길 부탁드립니다. 궁금한 사항이 있으시면 언제든지 문의해주시기 바랍니다.\n\n감사합니다.\n\n김롯데 드림\nAI기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 충실히 반영하였다. 회의 요청 메일의 형식과 내용이 적절하며, 필요한 모든 정보가 포함되어 있다. 언어 요구사항도 잘 준수하여 한국어로 작성되었다. 다만, 메일의 형식에서 약간의 개선 여지가 있다면, \"김롯데 드림\" 대신 \"김롯데 올림\"이 더 자연스러울 수 있다. 그러나 이는 매우 사소한 부분으로, 전반적인 답변의 질에는 큰 영향을 미치지 않는다.", "judge_score": 10.0}}
{"id": 4, "category": "search_keyword", "questions": ["세상에서 가장 맛있는 음식을 알려주고 추천해줘"], "outputs": ["세상에서 가장 맛있는 음식 추천"], "references": ["세상에서 가장 맛있는 음식 추천"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 요구사항을 충분히 반영하지 못했다. 질문은 \"세상에서 가장 맛있는 음식을 알려주고 추천해달라\"는 것이었으나, 모델은 단순히 \"세상에서 가장 맛있는 음식 추천\"이라는 키워드만 생성했다. 이는 질문의 요구사항을 충족하지 못하며, 구체적인 음식 추천이 전혀 포함되지 않았다. 또한, 답변이 한국어로 작성되었으나, 내용이 매우 부실하다.", "judge_score": 2.0}}
{"id": 18, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT product_name, SUM(quantity) AS total_quantity FROM inventory_orders GROUP BY product_name HAVING SUM(quantity) > 100;\n\n## SQL 실행결과-1:\n제품명:\nProduct A\n총 수량:\n150\n\n## SQL 실행결과-2:\n제품명:\nProduct B\n총 수량:\n200\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n총 수량이 100을 초과하는 제품의 이름과 총 수량을 알려줘."], "outputs": ["{\"answer\": \"총 수량이 100을 초과하는 제품들의 이름과 총 수량은 다음과 같습니다:\n\n- 제품명: Product A\n- 총 수량: 150\n\n- 제품명: Product B\n- 총 수량: 200\n\n문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\"}"], "references": ["1. 제품명: Product A\n   총 수량: 150\n\n2. 제품명: Product B\n   총 수량: 200\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 정보를 정확히 반영하고 있으며, SQL 실행 결과를 바탕으로 총 수량이 100을 초과하는 제품의 이름과 총 수량을 올바르게 제시하고 있다. 그러나 JSON 형식을 준수하지 않았고, \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\"와 같은 밝은 리액션을 포함하지 않았다. 또한, 슬라이드 페이지 정보는 포함하지 않았으나, 문서 검색 결과가 다양하다는 언급은 필요하지 않았다.", "judge_score": 5.0}}
{"id": 2, "category": "search_keyword", "questions": ["현대 물리학에서 다중우주 이론과 끈 이론의 관계에 대해 설명해줘."], "outputs": ["현대 물리학 다중우주 이론 끈 이론 관계"], "references": ["현대 물리학 다중우주 이론 끈 이론 관계"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 설명을 제공하지 않고, 단순히 Additional Reference의 키워드를 그대로 반복하였다. 질문은 다중우주 이론과 끈 이론의 관계에 대한 설명을 요구했으나, 모델은 이에 대한 설명을 전혀 제공하지 않았다. 언어 요구사항은 충족했으나, 답변의 질적 측면에서 매우 부족하다.", "judge_score": 2.0}}
{"id": 17, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT id, slide_page, eval_code FROM esg_eval_codes WHERE eval_code LIKE 'SUST%';\n\n## SQL 실행결과-1:\n정의서 ID:\nLOCD_COM001\n슬라이드 페이지 번호:\n1055\nESG 평가/공시 지표 코드:\nSUST-CO-G050\n## SQL 실행결과-2:\n정의서 ID:\nLOCD_COM011\n슬라이드 페이지 번호:\n1066\nESG 평가/공시 지표 코드:\nSUST-CO-C001\nSUST-CO-E041\n## SQL 실행결과-3:\n정의서 ID:\nLOCD_COM022\n슬라이드 페이지 번호:\n1079\nESG 평가/공시 지표 코드:\nSUST-CO-G052\n## SQL 실행결과-4:\n정의서 ID:\nLOCD_ENV008\n슬라이드 페이지 번호:\n13\nESG 평가/공시 지표 코드:\nSUST-CO-E047\nSUST-CO-E048\n## SQL 실행결과-5:\n정의서 ID:\nLOCD_ENV019\n슬라이드 페이지 번호:\n28\n29\nESG 평가/공시 지표 코드:\nSUST-CO-E021\n## SQL 실행결과-6:\n정의서 ID:\nLOCD_ENV032\n슬라이드 페이지 번호:\n43\nESG 평가/공시 지표 코드:\nSUST-CO-E042\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n3. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n4. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n5. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n6. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n7. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n8. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\nESG 평가 코드가 SUST로 시작하는 지표를 찾아줘"], "outputs": ["{\"answer\": \"ESG 평가 코드가 SUST로 시작하는 지표는 다음과 같습니다:\n\n1. 정의서 ID: LOCD_COM001\n   ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n   ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n   ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n   ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n   ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n   ESG 평가/공시 지표 코드: SUST-CO-E042\n\n문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요.\"}"], "references": ["1. 정의서 ID: LOCD_COM001\n   ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n   ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n   ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n   ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n   ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n   ESG 평가/공시 지표 코드: SUST-CO-E042\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 정보를 정확히 제공하고 있으며, SQL 실행 결과를 바탕으로 ESG 평가 코드가 'SUST'로 시작하는 지표들을 잘 정리하고 있습니다. 그러나 JSON 형식의 조건을 충족하지 못했습니다. 답변은 {\"answer\": \"...\"} 형식이어야 하며, 모델은 이 형식을 따르지 않았습니다. 또한, 답변 끝에 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\"와 같은 밝은 리액션을 포함하지 않았습니다. 따라서 조건을 완전히 만족하지 못했습니다.", "judge_score": 5.0}}
{"id": 13, "category": "task_assistant_hire", "questions": ["팀 이름: 글로벌로지스IS팀\n담당 업무: 롯데글로벌로지스의 시스템 운영/관리 및 IT 리딩\n프로젝트: 그룹SCM시스템 운영(L-LIS, WMS, TMS 등)\n팀 장점: 국내 대표 종합물류회사 IT 시스템 운영, 물류 플랫폼의 IT 관점에서의 비즈니스 리딩\n키워드: 택배물류, 글로벌물류, 3PL 서비스, SCM물류시스템, IT 시스템 관리"], "outputs": ["글로벌로지스IS팀은 택배물류, 글로벌물류, 국내 롯데그룹 및 3PL 서비스를 제공하는 국내 대표 종합물류회사인 롯데글로벌로지스의 시스템을 운영/관리하고 IT를 리딩하는 팀입니다.\n\n특히 그룹SCM시스템은 롯데글로벌로지스 물류 플랫폼인 L-LIS 및 그외 WMS,TMS 등의 시스템을 운영하고 있습니다. 국내 3대 종합물류회사의 SCM물류시스템을 운영하고 고객사의 비지니스를 IT관점에서 리딩하고자 하는 분들의 많은 관심 기다리겠습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 정보를 잘 반영하고 있으며, 팀의 주요 업무와 프로젝트, 강점을 명확히 설명하고 있습니다. 그러나 답변이 다소 단조롭고 설득력이 부족합니다. 팀의 정체성, 사명, 및 영향력에 대한 명확한 스냅샷을 제공하는 데 있어 다소 부족한 부분이 있습니다. 예를 들어, 팀의 독특한 강점과 주요 성취를 더 구체적으로 강조할 수 있었을 것입니다. 또한, 키워드에 대한 팀의 전문성이 어떻게 성공에 기여하는지에 대한 설명이 부족합니다.", "judge_score": 7.0}}
{"id": 3, "category": "search_keyword", "questions": ["차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문은?"], "outputs": ["차량 엔진 연료 효율 극대화 연구 논문"], "references": ["차량 엔진 내 연료 효율 극대화 방법 논문"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충실히 반영하여 키워드를 생성하였다. \"차량 엔진 연료 효율 극대화 연구 논문\"이라는 키워드는 질문에서 요구한 \"차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문\"과 매우 유사하며, 검색에 적합한 키워드로 보인다. 또한, 답변은 한국어로 작성되어 언어 요구사항을 충족하였다. 다만, \"최신\"이라는 단어가 누락된 점이 아쉽다.", "judge_score": 9.0}}
{"id": 6, "category": "search_summary", "questions": ["## 검색 결과 :\n- 1.위험현장 사전 예측해 사고 예방…내년 1월 전면 시행  <b>서울</b>시가 전국 최초로 공공 공사장 <b>안전</b>수준을 파악해 사고를 예측하고 재해를 방지하는 '<b>안전지수제</b>'를 도입한다고 19일 밝혔다. 올해 연말까지 제도를 시범...\n - 2. <b>서울</b>시는 공공 공사장에서 발생할 수 있는 <b>안전</b>사고를 예방하기 위해서 전국 최초로 ‘<b>안전지수제</b>’를 도입한다고 19일 밝혔다. ‘<b>안전지수제</b>’는 <b>안전</b>학회, 전문가, 실무자가 2만5000건의 주요 재해 사고원인을 분석하여... \n- 3. 안전지수 평가점수가 3개월 연속 ‘매우 미흡’ 등급으로 평가되는 공사 현장은 안전 개선 의지가 없는 것으로 판단해 특별안전점검과 부실벌점 부과, 고용노동부에 과태료 부과를 의뢰한다. 2년간 서울시(도시기반시설본부)에서 발주하는 공사 입찰에 불이익을 줄 예정이다. 또 평가점수가 40점 미만의 공사장은 안전사고 위험이 크다고 판단해 즉시 공사를 중단한다.\n\n## 질문 : 서울시에서 안전지수제를 한다고하는데 이게 뭐야?"], "outputs": ["서울시가 도입하는 '안전지수제'는 공공 공사장의 안전 수준을 파악하고 사고를 예방하며 재해를 방지하기 위한 제도입니다.\n\n주요 내용은 다음과 같습니다:\n\n1. 안전지수 평가를 통해 공사장의 안전 수준을 점수화합니다.\n2. 평가 점수가 3개월 연속 '매우 미흡' 등급인 현장은 안전 개선 의지가 없이 간주하여 특별 안전점검, 부실벌점 부과, 과태료 부과 등을 진행합니다.\n3. 안전지수 평가 점수가 40점 미만인 현장은 안전사고 위험이 크다고 판단하여 공사를 즉시 중단합니다.\n4. 안전지수 평가 결과가 좋지 않은 현장은 공사 입찰에 불이익을 받게 합니다.\n\n이 제도는 공사장의 안전 수준을 객관적으로 평가하고, 안전 관리가 미흡한 현장을 강력하게 개선하도록 유도하는 데 목적이 있습니다. 서울시는 이를 통해 공사장 사고를 사전에 예방하고, 공사장 안전 수준을 전반적으로 향상시키려는 것으로 보입니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하고 있습니다. '안전지수제'의 목적과 주요 내용을 상세히 설명하고 있으며, 검색 결과에서 제공된 정보를 잘 활용하였습니다. 특히, 안전지수 평가, 점수화, 평가 결과에 따른 조치 등을 구체적으로 언급하여 사용자가 이해하기 쉽게 설명하였습니다. 또한, 답변은 한국어로 작성되어 언어 요구사항을 충족하였습니다. 다만, '안전지수제'의 도입 배경이나 추가적인 맥락에 대한 설명이 조금 더 포함되었으면 더욱 완벽했을 것입니다.", "judge_score": 9.0}}
{"id": 11, "category": "task_assistant_mail_pr", "questions": ["보내는 사람: 롯데이노베이트 NFT사업팀\n받는 사람: 개발팀 홍길동\n제품 종류: NFT 마켓플레이스 & 월렛 서비스\n제품명: Kottonseed(코튼시드)\n제품 정보: 쉽고 편리한 사용성과 거래 경험을 기반으로 누구나 쉽게 NFT를 거래하고 소유할 수 있는 서비스 제공\n제품 링크: https://www.kottonseed.io/"], "outputs": ["제목: Kottonseed - NFT 거래의 새 지평을 열다\n\n홍길동 님께,\n\n안녕하세요. 롯데이노베이트 NFT사업팀입니다.\n\n저희가 운영 중인 NFT 마켓플레이스 & 월렛 서비스 'Kottonseed(코튼시드)'를 소개해 드립니다.\n\nKottonseed는 누구나 쉽게 NFT를 거래하고 소유할 수 있도록 설계된 혁신적인 플랫폼입니다:\n\n- 직관적인 인터페이스로 NFT 거래 간소화\n- 안전하고 빠른 거래 시스템 구축\n- 간편한 월렛 관리 기능 탑재\n- 다양한 NFT 작품 제공\n\nNFT 시장 진입을 고민하셨다면, Kottonseed와 함께 시작해보세요. 초보자부터 전문가까지, 모두에게 최적화된 경험을 제공합니다.\n\n플랫폼을 직접 방문하여 특징과 서비스를 확인해 주시기 바랍니다:\nhttps://www.kottonseed.io/\n\n궁금한 점이나 제안사항이 있으시면 언제든 연락 주시기 바랍니다.\n\n감사합니다.\n\n롯데이노베이트 NFT사업팀 드림"], "references": [null], "query_single": {"judge_message": "모델의 답변은 Instruct의 요구사항을 충실히 반영하여 홍보 메일을 작성하였다. 보내는 사람과 받는 사람, 제품 종류, 제품명, 제품 정보, 제품 링크 등 모든 필수 요소가 포함되어 있다. 또한, 언어 요구사항을 준수하여 한국어로 작성되었다. 메일의 구조도 적절하며, 제품의 주요 특징을 잘 설명하고 있다. 다만, 메일의 서두에서 홍길동 님에게 더 개인적인 인사를 추가하면 더 좋았을 것이다.", "judge_score": 9.0}}
{"id": 29, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n근 5년간 삼전 매출 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성전자' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성전자' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많아질 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하고 있으며, '삼성전자'의 매출액을 최근 5년간 비교하는 쿼리로 적절합니다.", "judge_score": 8.0}}
{"id": 12, "category": "task_assistant_mail_introduce", "questions": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 고객님\n회사명: 롯데이노베이트\n회사 소개: IT로 더욱 가치있는 미래 세상을 만듭니다. 유통, 제조, 물류, 금융, 헬스케어 등 전 산업의 IT 노하우와 기술력을 기반으로, AI, Bigdata, IoT, Cloud 등 신기술을 접목하여 편리한 세상, 스마트한 미래를 만들어 나가겠습니다.\n주요 제품/서비스: IT로 더욱 가치있는 미래 세상을 만듭니다. 유통, 제조, 물류, 금융, 헬스케어 등 전 산업의 IT 노하우와 기술력을 기반으로, AI, Bigdata, IoT, Cloud 등 신기술을 접목하여 편리한 세상, 스마트한 미래를 만들어 나가겠습니다.\n회사 웹사이트:"], "outputs": ["제목: 롯데이노베이트 - IT 기술로 미래를 혁신하는 기업\n\n고객님께,\n\n안녕하세요. 롯데이노베이트 AI 기술팀 김롯데입니다.\n\n저희 롯데이노베이트를 소개드릴 수 있게 되어 기쁘게 생각합니다.\n\n롯데이노베이트는 \"IT로 더욱 가치 있는 미래 세상을 만든다\"는 비전 아래, 다양한 산업 분야에서 혁신적인 IT 솔루션을 제공하고 있습니다. 유통, 제조, 물류, 금융, 헬스케어 등 광범위한 산업 영역에서 축적된 IT 노하우와 기술력을 바탕으로, 최신 기술을 접목하여 스마트하고 편리한 미래를 구현하고 있습니다.\n\n주요 사업 영역:\n1. AI (인공지능) 솔루션\n2. Big Data 분석 및 활용\n3. IoT (사물인터넷) 기술 적용\n4. Cloud 서비스\n\n저희는 이러한 첨단 기술을 다양한 산업 분야에 적용함으로써, 기업의 효율성을 높이고 고객 경험을 개선하는 데 주력하고 있습니다. 롯데이노베이트의 혁신적인 솔루션은 기업의 디지털 전환을 가속화하고, 궁극적으로는 더 나은 사회를 만드는 데 기여하고 있습니다.\n\n롯데이노베이트의 기술과 서비스에 대해 더 자세히 알고 싶으시다면, 언제든지 문의 주시기 바랍니다. 귀사의 비즈니스 요구사항에 맞는 최적의 솔루션을 제안해 드리겠습니다.\n\n감사합니다.\n\n김롯데 드림\n롯데이노베이트 AI 기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 정중하고 전문적인 어투로 작성되었으며, 롯데이노베이트의 다양한 산업 분야와 기술력을 잘 소개하고 있다. 질문의 요구사항을 충분히 반영하여 회사의 비전, 주요 사업 영역, 그리고 기술적 강점을 명확히 설명하였다. 다만, 회사 웹사이트 주소가 제공되지 않았다는 점이 아쉽다. 웹사이트 주소가 포함되었다면 더 완벽한 답변이 되었을 것이다. 전반적으로 언어 요구사항을 충족하며, 내용도 충실하다.", "judge_score": 9.0}}
{"id": 30, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nSK하이닉스의 최근 배당금 지급 내역을 알려줘."], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '배당금' FROM ai_dart_corp_report WHERE corp_name = 'SK하이닉스' AND account_nm = '배당금' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '배당금' FROM ai_dart_corp_report WHERE corp_name = 'SK하이닉스' AND account_nm = '배당금' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식을 준수하였고, SQL 쿼리문도 적절하게 생성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락된 점이 아쉽습니다. 이로 인해 반환되는 결과의 수가 제한되지 않을 수 있습니다. 또한, CAST와 REPLACE 함수를 사용하여 배당금 금액을 정수형으로 변환한 부분은 유용하지만, Additional Reference에 명시된 조건과는 다소 차이가 있습니다.", "judge_score": 8.0}}
{"id": 25, "category": "lotte_qa", "questions": ["SKY31 컨벤션에 대해 설명해줘"], "outputs": ["SKY31 컨벤션은 SK이노베이션의 자회사인 SKY31이 운영하는 국제회의 및 전시사업 전문회사입니다.\n\n국내외 우수한 환경 분야 전문가 및 기업의 입장을 반영하여, 환경 기술 전시회 및 국제 컨퍼런스를 지속적으로 개최하고 있습니다."], "references": ["롯데물산이 운영하는 회의 시설"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. SKY31 컨벤션에 대해 설명하는 과정에서 잘못된 정보를 제공하였으며, 롯데물산이 운영하는 회의 시설이라는 Additional Reference와 일치하지 않습니다. 또한, 답변 내용이 부정확하고 혼동을 줄 수 있는 정보로 구성되어 있습니다. 언어 요구사항은 충족하였으나, 답변의 질적 측면에서 많은 개선이 필요합니다.", "judge_score": 2.0}}
{"id": 14, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV,L LOCD_SOC\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n    managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n    esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경),S(사회),G(거버넌스),ESG(공통)\n    indicator_name VARCHAR(200) COMMENT '지표 명',\n    indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량,정성\n    indicator_unit VARCHAR(50) COMMENT '지표 단위',\n    concept_description TEXT COMMENT '지표 개념 설명',\n    detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n    calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n    data_calculation_method TEXT COMMENT '데이터 산출 방안',\n    data_source VARCHAR(100) COMMENT '데이터 출처',\n    related_systems VARCHAR(100) COMMENT '연관 시스템',\n    notes VARCHAR(200) COMMENT '기타 주석',\n    PRIMARY KEY (id, slide_page)  -- 지표 정의서(정의서 ID)와 슬라이드 페이지의 조합을 기본키로 설정\n);\n/*\nSELECT DISTINCT(keyword) FROM esg_indicators; -- 324게 레코드,\nkeyword\n지속가능경영 거버넌스\n경제적 가치 창출 현황\n보조금 수혜 실적 모니터링\nRD 투자 현황\n...\n\nSELECT DISTINCT(id) FROM esg_indicators; -- 946개 레코드,\nid\nLOCD_COM001\n...\nLOCD_ENV001\n...\nLOCD_SOC001\n...\nLOCD_GOV001\n...\n\nSELECT DISTINCT(esg_category) FROM esg_indicators; -- 4개 레코드\nesg_category\nE(환경)\nESG(공통)\nG(거버넌스)\nS(사회)\n\nSELECT DISTINCT(indicator_type) FROM esg_indicators -- 2개 레코드\nindicator_type\n정성\n정량\n\nSELECT DISTINCT(managing_dept) FROM esg_indicators ; -- 1개 레코드\n본 프로젝트 이후 각 사 別 별도 작성\n\nSELECT DISTINCT(data_source) FROM esg_indicators ; -- 1개 레코드\n본 프로젝트 이후 각 사 別 별도 작성\n\nSELECT DISTINCT(related_systems) FROM esg_indicators ; -- 1개 래코드\n본 프로젝트 이후 각 사 別 별도 작성\n\n\n*/\n-- ESG 지표와 연관된 ESG 평가 코드 정보를 저장하는 테이블\nCREATE TABLE esg_eval_codes (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID) (esg_indicators 테이블의 id를 참조)',\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    eval_code VARCHAR(20) COMMENT 'ESG 평가/공시 지표 코드(이니셔티브)',\n    PRIMARY KEY (id, slide_page,eval_code),  -- 지표 정의서(정의서 ID), 슬라이드 페이지, 평가 코드의 조합을 기본키로 설정\n    FOREIGN KEY (id ) REFERENCES esg_indicators(id)  -- 지표 정의서(정의서 ID)는 esg_indicators 테이블의 id를 참조\n);\n/*\nSELECT DISTINCT(eval_code) FROM esg_eval_codes ; -- 1,811개 레코드\neval_code\nSUST-CO-G050\nCDPC-CO-E054\nCDPW-CO-E010\nDJSI-CO-C001\nGRIs-CO-G001\n...\n*/\n-- ESG 지표와 연관된 ESG 관련 평가 및 지침 항목 정보를 저장하는 테이블\nCREATE TABLE esg_eval_guidelines (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID) (esg_indicators 테이블의 id를 참조)',\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    eval_guideline VARCHAR(50) COMMENT 'ESG 관련 평가 및 지침 항목(이니셔티브)', -- GRI,Sustin., CDP기후변화, CDP수자원,DJSI,MSCI,SASB,Eco.,KCGS,TCFD\n    PRIMARY KEY (id, slide_page,eval_guideline),  -- 지표 정의서(정의서 ID), 슬라이드 페이지, 가이드라인의 조합을 기본키로 설정\n    FOREIGN KEY (id) REFERENCES esg_indicators(id)  -- 지표 정의서(정의서 ID)는 esg_indicators 테이블의 id를 참조\n);\n/*\nSELECT DISTINCT(eval_guideline) from esg_eval_guidelines ; -- 10개 레코드\neval_guideline\nSustin.\nCDP기후변화\nCDP수자원\nDJSI\nGRI\nMSCI\nSASB\nEco.\nKCGS\nTCFD\n*/\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시:  \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n    - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\n특정 키워드를 포함하는 지표의 정보를 알려줘. 예: '지속가능경영'"], "outputs": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE keyword LIKE '%지속가능경영%';\"}"], "references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE keyword LIKE '%지속가능경영%';\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 적합한 SQL 쿼리를 정확히 생성하였습니다. 질문에서 특정 키워드를 포함하는 지표의 정보를 요청하였고, 모델은 이를 반영하여 `keyword` 필드를 검색하는 SQL 문을 작성했습니다. 또한, 답변은 JSON 형식을 준수하고 있으며, \"sql_query\"의 기본값을 빈 스트링으로 설정한 후 적절한 SQL 쿼리를 입력하였습니다. 추가적으로, 주어진 Additional Reference와 일치하는 답변을 제공하여 높은 점수를 받을 수 있습니다.", "judge_score": 10.0}}
{"id": 10, "category": "task_assistant_mail_share", "questions": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 개발팀 홍길동\n회의 주제: 아이멤버 프로젝트 진행 상황 및 향후 계획\n회의록 내용:\n- 회의에서 논의된 주요 내용:\n- AI기술팀은 아이멤버 프로젝트의 현재 진행 상황을 검토\n- 기술적 문제 해결을 위한 다양한 방안이 논의, 데이터 처리 효율성과 시스템 안정성에 중점\n- 최신 AI 기술 동향과 시장 분석 결과가 공유, 프로젝트에 어떻게 적용할지에 대한 의견 교환\n- 결정된 사항 및 액션 아이템 목록:\n- 추가된 데이터 수집을 위한 외부 협력사 선정 작업을 진행하기로 결정\n- 기존 시스템의 성능 최적화를 위한 팀 구성\n- 향후 2주 간 프로젝트 위험 평가를 수행, 위험 관리 계획을 수립\n- 향후 계획 및 예정된 일정:\n- 다음 달 말까지 프로젝트의 중간 점검을 실시\n- 3개월 내에 프로토타입 개발을 완료, 내부 테스트를 진행\n- 올해 말까지는 최종 제품의 시범 운영을 시작, 내년 상반기 중 시장 출시를 목표"], "outputs": ["제목: [회의록 전달] 아이멤버 프로젝트 진행 상황 및 향후 계획\n\n홍길동 님께,\n\n안녕하세요. AI 기술팀 김롯데입니다.\n\n지난 회의에서 논의된 '아이멤버 프로젝트 진행 상황 및 향후 계획'에 대한 회의록을 전달드립니다. 주요 내용과 결정사항, 그리고 향후 계획을 정리하였으니 검토 부탁드립니다.\n\n[회의록 내용]\n\n1. 논의된 주요 내용:\n   - AI기술팀의 아이멤버 프로젝트 현재 진행 상황 검토\n   - 기술적 문제 해결을 위한 다양한 방안 논의 (데이터 처리 효율성과 시스템 안정성에 중점)\n   - 최신 AI 기술 동향과 시장 분석 결과 공유 및 프로젝트 적용 방안에 대한 의견 교환\n\n2. 결정된 사항 및 액션 아이템:\n   - 추가 데이터 수집을 위한 외부 협력사 선정 작업 진행\n   - 기존 시스템의 성능 최적화를 위한 팀 구성\n   - 향후 2주간 프로젝트 위험 평가 수행 및 위험 관리 계획 수립\n\n3. 향후 계획 및 예정 일정:\n   - 다음 달 말: 프로젝트 중간 점검 실시\n   - 3개월 내: 프로토타입 개발 완료 및 내부 테스트 진행\n   - 올해 말: 최종 제품 시범 운영 시작\n   - 내년 상반기: 시장 출시 목표\n\n회의록 내용에 대해 추가 의견이나 질문이 있으시면 언제든 연락 주시기 바랍니다. 또한, 결정된 사항에 대한 후속 조치를 원활하게 진행할 수 있도록 협조 부탁드립니다.\n\n감사합니다.\n\n김롯데 드림\nAI 기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question을 충실히 반영하여 작성되었다. 이메일 형식은 적절하며, 회의록의 주요 내용, 결정된 사항 및 향후 계획이 명확하게 정리되어 있다. 또한, 언어 요구사항을 준수하여 한국어로 작성되었다. 다만, 이메일의 서두와 끝맺음 부분에서 약간의 추가적인 정중함이나 구체적인 문구가 더해졌다면 더욱 완벽했을 것이다. 예를 들어, \"검토 부탁드립니다\" 대신 \"검토 부탁드리며, 회신 부탁드립니다\"와 같은 문구가 더 적절할 수 있다.", "judge_score": 9.0}}
{"id": 28, "category": "lotte_qa", "questions": ["엔제리너스 아아 가격 얼마야"], "outputs": ["2023년 기준 엔제리너스 아아는 정가 5,900원입니다."], "references": ["일반가: 4500원"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 질문은 엔제리너스 아아의 가격을 묻고 있으며, Additional Reference에 따르면 일반가는 4,500원입니다. 그러나 모델은 5,900원이라고 잘못된 정보를 제공하였습니다. 또한, 답변은 한국어로 작성되었으므로 언어 요구사항은 충족하였으나, 정확한 정보를 제공하지 못한 점이 아쉽습니다.", "judge_score": 3.0}}
{"id": 21, "category": "mrc_summary", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분  AS-IS  TO-BE 신규고객  심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 :  2024.05.09. (목) 오전08:30 4. 문의 :  심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "outputs": ["사고손해율 관련 내용은 다음과 같습니다:\n\n1. [사고건수및과태료]할증/초고위험/추가,재계약/B2C: 미대상, 미대상, 할증Ⅳ 3%, 사고건수및과태료, 초고위험/재계약\n\n2. [사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체: 사고손해율우량, 신규/추가계약, 우량할인Ⅱ 1%, 사고손해율우량, \"초우량,우량A,B/신규,추가계약\"\n\n3. [사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체: 사고손해율우량, 신규/추가계약, 우량할인Ⅲ 1%, 사고손해율우량, \"S0,A1,A2/신규,추가계약\"\n\n4. [사고손해율우량]할인/(A1/A2)/재계약/전체: 사고손해율우량, 재계약, 우량할인Ⅳ 1.5%, 사고손해율우량, \"A1,A2/재계약\""], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하지 못했습니다. 질문은 \"보험 손해율 자료\"를 요청했으나, 모델은 문서에서 사고손해율과 관련된 할인 및 할증 항목만을 나열했습니다. 문서의 다른 부분에서 손해율과 관련된 구체적인 데이터나 분석 내용이 포함되어 있을 수 있는데, 이를 포함하지 않은 점이 아쉽습니다. 또한, 문서의 다른 부분에서 손해율과 관련된 정보가 있는지 확인하지 않고 단순히 관련된 항목만을 나열한 점도 부족합니다.", "judge_score": 4.0}}
{"id": 23, "category": "lotte_qa", "questions": ["롯데 창립일과 창업주가 누구야"], "outputs": ["롯데그룹은 신격호 창업주가 1948년 7월 1일에 설립하였습니다."], "references": ["1948년 6월 28일, 신격호"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 부분적으로 충족하였습니다. 창업주인 신격호에 대한 정보는 정확히 제공되었으나, 창립일에 대한 정보가 정확하지 않습니다. 롯데의 창립일은 1948년 6월 28일인데, 모델은 1948년 7월 1일로 잘못 답변하였습니다. 언어 요구사항은 충족하였으나, 정확한 정보를 제공하지 못한 점이 아쉽습니다.", "judge_score": 6.0}}
{"id": 20, "category": "mrc", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분  AS-IS  TO-BE 신규고객  심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 :  2024.05.09. (목) 오전08:30 4. 문의 :  심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "outputs": ["문서에는 보험 손해율에 대한 자료나 정보가 명시되어 있지 않습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하였습니다. 문서 내에 보험 손해율에 대한 구체적인 자료나 정보가 없음을 명확히 밝혔습니다. 또한, 문서의 내용을 바탕으로 관련 내용을 찾을 수 없다고 정확히 답변하였습니다. 언어 요구사항도 충족하였으며, 답변의 길이도 적절합니다. 추가적인 정보가 필요하지 않은 상황에서 간결하고 명확한 답변을 제공하였습니다.", "judge_score": 10.0}}
{"id": 5, "category": "search_keyword", "questions": ["최근에 유행하고 있는 트렌드에는 뭐가있어?"], "outputs": ["최근 유행 트렌드"], "references": ["최신 유행 트렌드"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했다. 질문은 최근에 유행하고 있는 트렌드에 대해 물어보았으나, 모델은 단순히 \"최근 유행 트렌드\"라는 키워드만 제공하였다. 이는 질문에 대한 구체적인 답변이 아니며, 질문의 의도를 제대로 반영하지 못한 것이다. 또한, \"최근 유행 트렌드\"는 \"최신 유행 트렌드\"와 유사하지만, 추가적인 정보나 구체적인 트렌드를 제시하지 않아 아쉬움이 남는다.", "judge_score": 3.0}}
{"id": 1, "category": "search_keyword", "questions": ["음 그렇다면 세입자가 먼저 확정일자 신고를 해서 전세자금 전체를 보호받고 있음에도 소액임차보증금을 변제하는건 이중변제 아닌가 싶은데 어떻게 생각해?"], "outputs": ["세입자 확정일자 신고 전세자금 보호 소액임차보증금 변제 이중변제"], "references": ["전세자금 보호 중 소액임차보증금 변제 시 이중변제 여부"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 키워드를 생성하는 데 초점을 맞추고 있으며, 언어 요구사항을 충족하고 있다. 그러나 생성된 키워드가 질문의 구체적인 요구사항을 충분히 반영하지 못하고 있다. 질문은 이중변제 여부에 대한 의견을 묻고 있는데, 모델은 단순히 관련된 키워드를 나열하는 데 그쳤다. 추가적으로, \"이중변제\"라는 키워드는 포함되었으나, 질문의 맥락을 충분히 반영하지 못한 점이 아쉽다.", "judge_score": 5.0}}
{"id": 8, "category": "meeting_summary", "questions": ["## 대화 스트립트 : speaker1: 안녕하세요~ 국어교육과 전공한 30대 여성입니다!\nspeaker2: 반갑습니다~ 저는 사학과 전공했어요! 저도 30대 여성입니다~\nspeaker1: 아하~ 저는 국어교사로 일하고있어요! 혹시 전공관련일을 하시나요..?ㅎㅎ.\nspeaker2: 전 석사 과정 밟고 있어요~ 교수님의 노예가 됐네요ㅎㅎ.\nspeaker1: 아 ㅋㅋㅋ대학원 다니시면...화이팅입니다...! 제 주변에 대학원다니는 친구가 한명있는데 고생이 많더라구요..\nspeaker2: 제가 바이올린도 가끔 켜고 야구도 자주 하고 했는데.. 대학원 다니곤 그럴 시간이 없어 연구실에서 식물 키우는 재미로 사네요ㅋㅋㅋ.\nspeaker1: 아 그럼 쉴때는 주로 식물을 키우시는건가요~? 저는 실외에서 승마하는 것을 좋아해서 승마를 즐겨요!\nspeaker2: 그냥 연구실 나갈 때 소소하게 식물 키워요~ 승마 비싼 취미 아닌가요? 여유 있으신가봐요 부럽네요ㅠㅠ.\nspeaker1: 어쩌다가 재미붙이게되었는데 후회해요 ㅋㅋㅋ돈드는게....흑흑 저는 요즘에는 거북이가 키우고싶더라구요! 거북이가 귀여워보여요 ㅎㅎ.\nspeaker2: 거북이가 수명이 길어 키우기 좋대요~ 저도 한번 키워보고 싶네요ㅋㅋ.\nspeaker1: 맞아요 오랫동안 키울수 있어서 그점도 끌리더라구요~~! 식물키우기를 좋아하시다니 되게 소박하시네요 ㅎㅎ.\nspeaker2: 그거 말곤 할 수 있는게 없기도 해서요ㅠㅠ 혹시 교사로 일하시면 방학 땐 주로 뭐하세요?\nspeaker1: 대학원생한테 말하기 좀 그렇지만 저는 이번 방학에 여행을 너무 기다리고있어요..제가 국내여행에는 관심이 없어서 이번에 해외로 여행가거든요!\nspeaker2: 영어나 제2외국어 선생님이랑 같이 가시면 언어문제도 해결되시겠어요ㅋㅋㅋ 매력있는 직업이네요~\nspeaker1: 여행메이트 만들어서 같이가면 그것도좋죠 ㅎㅎ 그런데 혼자 해외가보고도싶어서 고민중에있어요~!\nspeaker2: 어느 나라로 가세요? 저는 한번도 해외 못 가봤어요ㅠㅠ.\nspeaker1: 저는 이번에 동남아로 갈 예정이에요!ㅎㅎ전 이제 점심시간이 다가와서 밥먹으러 다녀와야겠어요. 맛점하세요!\nspeaker2: 네 저도 출출하네요! 맛있게 드세요~\nspeaker1: 아유 계속 수업하고났더니 벌써 퇴근시간이네요..ㅋㅋ.\nspeaker2: 멋지십니다! 저도 남은 연구가 조금 있는데 이따 하려고 쉬고 있어요~\nspeaker1: 그럼 하루중 대부분은 연구를 하시는거에요? 지루하지는 않으신가요?ㅠㅠ.\nspeaker2: 지루해도 별 수 있나요~ 그래도 제가 하고 싶은 일이라서 대부분 재밌어요!!\nspeaker1: 저는 핏줄부터 문과라서 하루종일 연구하라고하면 너무 힘들거같아요...ㅋㅋㅋ재밌는일 하는게 최고긴하죠 ㅎㅎ진짜 대단하세요!\nspeaker2: 저도 문과에요~ 말이 연구지 그냥 공부죠 공부ㅋㅋㅋ 감사해요~ 퇴근하곤 뭐하세요?\nspeaker1: 아 저는 요즘에 주식에 조금 재미를 붙였어요.. 저는 위험회피성향이라 주식안할줄 알았는데 소소하게 하니 나름 재밌네요 ㅎ.\nspeaker2: 어디 주식하셔서 재미 좀 보셨나요? 저는 무서워서 도전도 못하겠어요ㅠ.\nspeaker1: 아 재미를 본건아니구요 ㅋㅋㅋ어차피 잘 하지도못해서 소소하게 용돈벌이 하는거죠뭐~!ㅋㅋ.\nspeaker2: 그래도 용돈벌이 하신 다는건 잃진 않으신다는거잖아요! 재능 있으실수도?!\nspeaker1: 언젠간...잃을 수도 있겠죠..?ㅋㅋㅋ그러면 제 성향상 주식 접을거같긴해요ㅋㅋㅋㅋ.\nspeaker2: 개인적으로 주식은 상위 몇프로 제외하곤 잃을 수 밖에 없는 구조같아요.. 회피 성향이셔서 접을 것 같다는거세요?\nspeaker1: 네 맞아요 ㅎㅎ 그래서 너무 깊게 빠져서 하지는 않으려고해요..ㅋㅋ심한 사람들보면 하루종일 차트만 보고있더라구요..\nspeaker2: 제 친구도 그래요. 만나자고 해서 만나면 밥 먹으면서도 주식창만 들여다보고 기분이 나빠질 지경이었어요~\nspeaker1: 심하면 한마디 해주세요. 그거는 예의가아니라고! ㅋㅋㅋ저도 주식을 하지만 그렇게 되지않으려고 노력한답니다 ㅎ.\nspeaker2: 그래야겠어요~ 다들 적당히 할줄 알아야할텐데... 도박이랑 다를게 뭔지 싶네요~\nspeaker1: ㅋㅋㅋ저는 이제 저녁좀 먹으려구요. 얘기하느라 저녁시간 다된줄도 몰랐네요 ㅎㅎ 오늘 즐거웠어요~!\nspeaker2: 네 맛있게 드세요! 저도 저녁 먹어야겠어요..ㅎㅎ."], "outputs": ["#### 👥 30대 여성들의 직업, 취미, 일상 대화\n- 국어교사와 사학과 대학원생의 만남과 서로의 직업 소개\n- 취미 활동 공유: 교사는 식물 키우기, 대학원생은 승마와 거북이 키우기\n- 교사의 해외여행 계획과 대학원생의 부러워하는 반응\n- 주식 투자에 대한 의견 교환: 교사의 소소한 투자와 대학원생의 신중한 태도\n- 일과 후 활동: 교사의 주식 투자, 대학원생의 연구 지속\n- 주식 투자의 위험성과 적절한 투자 태도에 대한 토론\n- 서로의 일상과 고민을 공유하며 공감대 형성"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 대화 스크립트를 잘 요약하였으며, 핵심 내용을 충실히 반영하였다. 제목에 적절한 이모지를 사용하였고, 요약문 형식도 정확히 따랐다. 대화의 주요 주제인 직업, 취미, 여행 계획, 주식 투자 등에 대한 내용을 잘 요약하였다. 다만, \"교사는 식물 키우기, 대학원생은 승마와 거북이 키우기\" 부분에서 교사와 대학원생의 취미가 바뀌어 기술된 점이 아쉽다. 전반적으로 요약의 질은 높지만, 이 작은 오류로 인해 완벽한 요약은 아니었다.", "judge_score": 8.0}}
{"id": 26, "category": "lotte_qa", "questions": ["L-SWAT이 뭐야"], "outputs": ["롯데이노베이트의 L-SWAT은 대용량 데이터의 특성 및 패턴을 분석하여 이상징후를 식별하는 솔루션입니다.\n\n이 솔루션은 금융, 제조, 유통, 공공 등 다양한 산업에 적용될 수 있으며, 비즈니스 과정에 발생하는 데이터를 활용해 예측 및 의사결정을 지원합니다.\n\n롯데이노베이트는 L-SWAT을 통해 고객 중심의 맞춤형 서비스를 제공하고 있으며, 데이터 기반의 경영을 통해 기업의 경쟁력을 강화하는 데 기여하고 있습니다."], "references": ["Lotte(World Tower) - Special Weapons And Tactics, 롯데에서 운영하는 국내 최초이자 유일의 민간 테러대응팀, 계획적인 테러 위협을 롯데그룹 차원에서 직접 대비하기 위한 조직 "], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충족하지 못했습니다. 질문은 L-SWAT에 대한 설명을 요구했으며, Additional Reference에 따르면 이는 롯데에서 운영하는 민간 테러대응팀을 의미합니다. 그러나 모델의 답변은 L-SWAT을 데이터 분석 솔루션으로 설명하고 있어, 전혀 다른 내용을 제공하고 있습니다. 또한, 답변은 한국어로 작성되었으나, 질문의 요구사항과 Additional Reference를 반영하지 못한 점에서 큰 결함이 있습니다.", "judge_score": 2.0}}
{"id": 22, "category": "lotte_qa", "questions": ["롯데글로벌로지스에서 활용하고 있는 PC-OFF 제도는 뭐야?"], "outputs": ["롯데글로벌로지스에서는 야근이나 불필요한 업무를 없애고 직원들의 여가시간 확보를 위해 PC-OFF 시스템을 활용하고 있습니다. PC-OFF 시간은 퇴근 후와 토, 일요일 및 공휴일입니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하고 있습니다. 롯데글로벌로지스의 PC-OFF 제도가 무엇인지에 대해 명확하게 설명하고 있으며, 야근이나 불필요한 업무를 줄이고 직원들의 여가시간을 확보하기 위한 시스템임을 언급하고 있습니다. 또한, PC-OFF 시간이 퇴근 후와 주말 및 공휴일임을 구체적으로 설명하여 질문에 대한 충분한 답변을 제공하고 있습니다. 언어 요구사항도 잘 준수하였습니다.", "judge_score": 10.0}}
{"id": 19, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT department, AVG(expense) AS average_expense FROM finance_expenses GROUP BY department;\n\n## SQL 실행결과-1:\n부서:\nHR\n평균 지출:\n5000\n\n## SQL 실행결과-2:\n부서:\nIT\n평균 지출:\n7500\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n각 부서별 평균 지출을 알려줘."], "outputs": ["{\"answer\": \"HR 부서의 평균 지출은 5000입니다.\\n\\nIT 부서의 평균 지출은 7500입니다.\\n\\n언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\"}"], "references": ["1. 부서: HR\n   평균 지출: 5000\n\n2. 부서: IT\n   평균 지출: 7500\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 SQL 실행 쿼리와 결과를 바탕으로 각 부서별 평균 지출을 정확하게 전달하고 있습니다. 또한, 답변 끝에 밝은 리액션을 포함하여 조건을 충족하고 있습니다. 그러나 JSON 형식의 조건을 완전히 만족하지 못했습니다. JSON 형식은 {\"answer\": \"...\"}로 구성되어야 하며, 모델의 답변은 이 형식을 따르지 않았습니다. 따라서 형식적인 부분에서 아쉬움이 있습니다.", "judge_score": 7.0}}
{"id": 7, "category": "review_summary", "questions": ["## 상품명:조셉앤스테이시 가방 100종 모음\n\n## 상품 리뷰:\n1. 출국할때 면세로 사려다 여러개 사는게 아니면 면세도 그닥 저렴하지않아서 패스했다. 그런데 어제 쇼핑몰 둘러보다 쿠폰먹이면 면세가격이랑 비슷하길래 그냥 질러버림. 기본 단색이랑 스태리펄이랑 고민하다 원래 사려던 골드로… 한참 유행할때 쳐다도 안보던 가방인데 왜 뒤늦게 꽂혀서..... 니트라 쳐짐 걱정 살짝있었는데 그리 얇지않아서 지갑, 자동차키,폰 넣고 저정도 핏이다. 첨엔 생각보다 작다했는데 나름귀엽다. 이 나이에 귀여울일인가 싶지만...ㅎㅎㅎ 자기만족....♡♡♡  골드 들어보고 손자주가면 봄에 젤리그린하나 더 사야겠다.​ #조셉니트백 #조셉스태리골드 #조셉니트백S #니트백 #조셉스테이시 #스태리골드S 2. 평소에 에코백 종류를 좋아하고 사용을 합니다. 사이즈가 작지만 카드지갑,폰,파우치,물티슈 정도 넣으면 딱인것 같아요. 축 쳐짐도 생각 보다 없어서 좀 놀랐어요.  가볍게 필요한 것만 넣고 다니기에는 사이즈가 작음에도 불구하고 괜찮은 것 같어요. 무엇 보다 약간의 반짝임이 있어서 저는 참 마음에 듭니다.  그리고 끈을 묶을 수 있는 고리가 있는데 이 부분은 키링 같은 것을 달 수도 있어서 … 이 부분이 마음에 드네요. 일단 사계절 사용하기에 무난한 블랙을 구입 했는데.. 내년 봄여름 용으로 밝은색으로도 하나 더 세일 할때 구입을 하고 싶네요. 3. 네이비 M반짝이 가방을 사고 넘 맘에 들어 골드랑 검정 S사이즈 반짝이로 또 구매했습니다..친구가 검정,골드 들고다는거 보고 고민없이 같은 사이즈로  구매했어요..실물을 봤으니 더기대하고 기다렸는데 검정 가방이 반짝이가 제가 들고있는 네이비에비해 넘 표시가 덜나고 친구가방 보다도 차이가 확실히 나네요ㅠㅠ  같이 온 골드는 넘 맘에 드는데 검정은 아쉬움이 많이 남네요..반짝이가 넘 빈약합니다ㅠㅠ"], "outputs": ["조셉앤스테이시 가방은 다양한 색상과 디자인으로 인기를 얻고 있습니다. 니트백 시리즈는 예상보다 튼튼하고 쳐짐이 적어 실용적입니다. 작은 사이즈임에도 지갑, 키, 휴대폰 등 필수품을 수납하기에 적당합니다. 특히 스태리 골드와 같은 반짝이는 디자인이 많은 사랑을 받고 있으며, 가벼운 외출용으로 적합합니다. 끈을 묶을 수 있는 고리가 있어 키링 등을 달 수 있는 점도 장점입니다. 사계절 사용 가능한 블랙부터 봄여름용 밝은 색상까지 다양한 선택지가 있어, 여러 개 구매하는 소비자들도 많습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct를 잘 따르고 있습니다. 상품명 \"조셉앤스테이시 가방\"이 요약에 포함되었고, 부정적인 내용은 배제되었습니다. 리뷰에서 언급된 다양한 색상과 디자인, 니트백의 튼튼함과 실용성, 작은 사이즈의 수납 용량, 반짝이는 디자인의 인기도 잘 반영되었습니다. 또한, 끈을 묶을 수 있는 고리와 사계절 사용 가능한 블랙 색상 등도 언급되어 있어 리뷰의 긍정적인 측면을 잘 요약했습니다. 전반적으로 요구사항을 충실히 반영한 답변입니다.", "judge_score": 10.0}}
{"id": 27, "category": "lotte_qa", "questions": ["롯데는 왜 롯데야?"], "outputs": ["롯데(Lotte)라는 이름에는 여러 가지 유산이 담겨 있습니다. 롯데의 창업주인 신격호는 일본에서 롯데를 시작했으며, 그 이름은 덴마쿠(점심 간식)의 줄임말에서 유래되었습니다. 일본어로 \"어떤 것\"을 의미하는 \"어떤\"(\"롯데\"의 \"롯\")과 \"10\"(\"롯데\"의 \"데\")을 조합한 \"10의 어떤\"을 줄여서 \"롯데\"라는 이름을 붙였습니다. 이는 신격호가 시작한 사업이 다양한 분야로 확장될 것이라는 포부를 담고 있었습니다.\n\n신격호는 롯데를 창업하면서 \"10의 어떤\"처럼 다양한 분야에서 사업을 확장하고자 하는 마음을 담아 롯데라는 이름을 선택했습니다. 이후 롯데는 식품, 유통, 관광, 화학, 건설 등 다양한 분야로 사업을 확장하며 세계적인 기업으로 성장했습니다.\n\n이처럼 롯데라는 이름은 다양한 분야에서 활약하는 롯데 그룹의 다각화된 사업 구조를 상징적으로 나타내고 있습니다."], "references": ["젊은 베르테르의 슬픔의 여주인공인 샤를로테(샤롯데)에서 따온 것"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 질문은 \"롯데\"라는 이름의 유래에 대해 묻고 있으며, Additional Reference에 따르면 \"젊은 베르테르의 슬픔\"의 여주인공인 샤를로테에서 따온 것이라고 명확히 설명되어 있습니다. 그러나 모델의 답변은 \"덴마쿠\"와 \"10의 어떤\"이라는 잘못된 정보를 제공하고 있습니다. 또한, 답변이 한국어로 작성되었으나, 내용의 정확성이 부족하여 질문에 대한 적절한 답변이 되지 못했습니다.", "judge_score": 2.0}}
{"id": 37, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n금호타이어 최근 5년 순이익을 말해봐"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '금호타이어' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '금호타이어' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 생성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 반환되는 결과의 수가 제한되지 않아 예상치 못한 결과를 초래할 수 있습니다. 그 외의 조건들은 모두 잘 반영되어 있습니다.", "judge_score": 8.0}}
{"id": 32, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한화의 2022년 매출 알려줘봐라"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '한화' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '한화' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. SQL 쿼리는 JSON 형식으로 제공되었고, \"sql_query\" 필드에 적절한 SQL 쿼리가 포함되어 있습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 쿼리의 구조와 조건이 정확하게 일치합니다.", "judge_score": 8.0}}
{"id": 38, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n최근 5년의 빙그레 부채비율을 말해보세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '빙그레' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '빙그레' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, `CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT)` 대신 `CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)`를 사용해야 합니다. 이 외에는 쿼리의 구조와 조건이 잘 맞습니다.", "judge_score": 9.0}}
{"id": 41, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n하나마이크론의 2017년 ~ 2020년까지 매출 알려줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '하나마이크론' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '하나마이크론' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, DB 스키마와 조건을 잘 고려한 것으로 보입니다.", "judge_score": 8.0}}
{"id": 48, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2019년부터 2022년까지 위니아의 매출 성장률 알려줘"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `매출액` FROM ai_dart_corp_report WHERE corp_name = '위니아' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022) SELECT (POWER((SELECT `매출액` FROM yearly_revenue WHERE `연도` = 2022) / (SELECT `매출액` FROM yearly_revenue WHERE `연도` = 2019), 1.0 / 3) - 1) * 100 AS `위니아 매출 성장률`\"}"], "references": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '위니아' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2019), 1.0 / 3) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 DB 스키마와 조건을 잘 반영하고 있으며, JSON 형식을 준수하고 있다. SQL 쿼리문은 주어진 Additional Reference와 거의 일치하며, 필요한 조건들을 모두 포함하고 있다. 다만, 쿼리의 마지막 부분에서 LIMIT 20이 누락된 점이 아쉽다. 이 외에는 전체적으로 정확하고 요구사항을 충실히 반영한 답변이다.", "judge_score": 9.0}}
{"id": 33, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n태경산업의 2021년 매출 보여줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '태경산업' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2021;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '태경산업' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2021 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, DB 스키마와 조건을 잘 고려한 것으로 보입니다.", "judge_score": 8.0}}
{"id": 35, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n브이티의 최근 3년의 영업이익률을 말해보세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '브이티' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '브이티' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 DB 스키마와 조건을 잘 반영하고 있으며, JSON 형식을 준수하고 있다. SQL 쿼리문은 Additional Reference와 거의 일치하지만, CAST 함수에서 SIGNED 대신 FLOAT를 사용한 점이 다르다. 이로 인해 데이터 타입 변환에서 약간의 차이가 있을 수 있지만, 큰 문제는 아니다. 또한, LIMIT 20 조건이 누락되었으나, 이는 큰 영향이 없을 수 있다. 전반적으로 질문의 요구사항을 잘 충족하고 있다.", "judge_score": 9.0}}
{"id": 44, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n유한양행과 SKC의 2020 ~ 2022년 영업이익을 비교해줘봐라"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '영업이익' FROM ai_dart_corp_report WHERE corp_name IN ('유한양행', 'SKC') AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '영업이익' FROM ai_dart_corp_report WHERE corp_name IN ('유한양행', 'SKC') AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식을 준수하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다소 많아질 수 있으며, 이는 성능에 영향을 미칠 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, 필요한 조건들을 모두 포함하고 있습니다.", "judge_score": 9.0}}
{"id": 53, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한진의 2021년부터 2023년까지 평균 매출을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 매출' FROM ai_dart_corp_report WHERE corp_name = '한진' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 매출' FROM ai_dart_corp_report WHERE corp_name = '한진' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 쿼리의 구조와 내용이 정확하게 일치합니다.", "judge_score": 8.0}}
{"id": 51, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nGS의 2021년부터 2023년까지의 최대 영업이익과 최소 영업이익 작성"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'GS' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'GS' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하였다. SQL 쿼리의 내용도 Additional Reference와 거의 일치하며, 조건을 충족하고 있다. 다만, LIMIT 20 조건이 누락되었으나, 이는 큰 영향을 미치지 않는 부분으로 보인다. 전반적으로 질문의 요구사항을 잘 반영한 답변이다.", "judge_score": 9.0}}
{"id": 54, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한화 솔루션의 2019년부터 2020년까지의 평균 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 순이익' FROM ai_dart_corp_report WHERE corp_name = '한화 솔루션' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 순이익' FROM ai_dart_corp_report WHERE corp_name = '한화솔루션' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 대부분의 조건을 충족하고 있으며, SQL 쿼리의 구조도 적절하다. 그러나 \"한화 솔루션\" 대신 \"한화솔루션\"으로 표기해야 한다는 점에서 오타가 있다. 또한, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었다. 이 두 가지 점이 SQL 쿼리의 정확성에 영향을 미친다.", "judge_score": 7.0}}
{"id": 57, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nBYC 2017년부터 2019년까지 누적 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 순이익' FROM ai_dart_corp_report WHERE corp_name = 'BYC' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2019;\"}"], "references": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 순이익' FROM ai_dart_corp_report WHERE corp_name = 'BYC' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2019 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 쿼리의 구조와 내용이 적절하게 작성되었습니다.", "judge_score": 8.0}}
{"id": 31, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n롯데이노베이트의 2018년 매출을 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '롯데이노베이트' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2018;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '롯데이노베이트' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2018 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, DB 스키마와 조건을 고려하여 적절한 SQL문을 생성하였습니다.", "judge_score": 8.0}}
{"id": 56, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2023년까지 아모레퍼시픽의 누적 매출액을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 매출액' FROM ai_dart_corp_report WHERE corp_name = '아모레퍼시픽' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 매출액' FROM ai_dart_corp_report WHERE corp_name = '아모레퍼시픽' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하여 SQL 쿼리를 생성하였습니다.", "judge_score": 8.0}}
{"id": 59, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n대웅제약의 2020 ~ 2022년까지 영업이익 증가/감소 추세를 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '영업이익' FROM ai_dart_corp_report WHERE corp_name = '대웅제약' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '영업이익' FROM ai_dart_corp_report WHERE corp_name = '대웅제약' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식을 준수하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 `LIMIT 20` 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다소 차이가 있을 수 있습니다. 그러나 전체적인 쿼리 구조와 조건은 정확하게 반영되었습니다.", "judge_score": 9.0}}
{"id": 49, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2023년까지 농심의 최대 매출과 최소 매출을 알려줘"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 매출', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 매출' FROM ai_dart_corp_report WHERE corp_name = '농심' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 매출', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 매출' FROM ai_dart_corp_report WHERE corp_name = '농심' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하여 최대 매출과 최소 매출을 구하는 쿼리를 작성하였습니다.", "judge_score": 9.0}}
{"id": 52, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2022년까지 대상의 평균 영업이익을 알려줘"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 영업이익' FROM ai_dart_corp_report WHERE account_nm = '영업이익' AND fs_nm = '연결재무제표' AND corp_name = '대상' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 영업이익' FROM ai_dart_corp_report WHERE account_nm = '영업이익' AND fs_nm = '연결재무제표' AND corp_name = '대상' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, \"sql_query\" 필드에 적절한 SQL 쿼리를 생성하였습니다. SQL 쿼리의 내용도 Additional Reference와 거의 일치하며, 필요한 조건들을 모두 포함하고 있습니다. 다만, LIMIT 20 조건이 누락된 점이 아쉽습니다. 이로 인해 쿼리 결과가 다소 달라질 수 있습니다.", "judge_score": 9.0}}
{"id": 34, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n최근 3년간 영풍제지 영업이익률 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 JSON 형식으로 잘 생성하였습니다. 답변 형식은 {\"sql_query\": \"...\"}를 따르고 있으며, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때, CAST 함수에서 SIGNED 대신 FLOAT를 사용한 점이 다릅니다. 이로 인해 데이터 타입 변환에서 약간의 차이가 있을 수 있지만, 전체적인 쿼리의 논리는 동일합니다. 언어 요구사항도 충족하였으며, SQL 쿼리문 생성 조건도 잘 반영되었습니다.", "judge_score": 9.0}}
{"id": 45, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n농심과 오리온의 2019~2020 순이익 비교"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name IN ('농심', '오리온') AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name IN ('농심', '오리온') AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건과 DB 스키마를 잘 반영하여 SQL 쿼리를 생성했습니다. JSON 형식도 정확히 준수하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락된 점이 아쉽습니다. 이로 인해 쿼리 결과가 다소 많아질 수 있습니다. 그러나 전체적인 쿼리 구조와 조건은 정확히 반영되었습니다.", "judge_score": 9.0}}
{"id": 50, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n엘지이노텍의 2021~ 2023년 중 최대 영업이익과 최소 영업이익을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'LG이노텍' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'LG이노텍' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. SQL 쿼리는 JSON 형식으로 제공되었으며, \"sql_query\" 필드에 적절한 SQL 문이 포함되어 있습니다. 쿼리 자체는 Additional Reference와 거의 일치하며, LG이노텍의 2021년부터 2023년까지의 최대 및 최소 영업이익을 구하는 데 필요한 조건들을 모두 포함하고 있습니다. 다만, LIMIT 20 조건이 누락된 점이 아쉽습니다. 이 조건이 중요한 경우, 쿼리의 정확성에 영향을 미칠 수 있습니다.", "judge_score": 9.0}}
{"id": 60, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한일시멘트의 2019~2022 순이익 증가/감소 추세 보여줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '한일시멘트' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022 ORDER BY bsns_year;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '한일시멘트' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 `LIMIT 20` 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다소 차이가 있을 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하여 SQL 쿼리를 생성하였습니다.", "judge_score": 9.0}}
{"id": 43, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 LG에너지솔루션와 엔씨소프트의 매출 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name IN ('LG에너지솔루션', '엔씨소프트') AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name IN ('LG에너지솔루션', '엔씨소프트') AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, \"sql_query\" 필드에 적절한 SQL 쿼리를 포함하였습니다. SQL 쿼리의 내용도 Additional Reference와 거의 일치하며, LG에너지솔루션과 엔씨소프트의 매출을 2020년부터 2022년까지 비교하는 데 필요한 조건들을 잘 반영하고 있습니다. 다만, LIMIT 20 조건이 누락된 점이 아쉽습니다. 이로 인해 결과가 너무 많아질 수 있는 가능성이 있습니다.", "judge_score": 9.0}}
{"id": 39, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n신일전자 최근 5년의 순이익이 얼만가요 ?"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '신일전자' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '신일전자' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 생성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많아질 수 있습니다. 그 외의 조건들은 모두 잘 반영되어 있습니다. 언어 요구사항도 충족하였으며, SQL 쿼리문도 적절하게 작성되었습니다.", "judge_score": 8.0}}
{"id": 40, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 유한양행의 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '유한양행' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '유한양행' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건과 DB 스키마를 잘 반영하여 SQL 쿼리를 생성하였다. JSON 형식도 정확히 준수하였으며, SQL 쿼리문도 적절하게 작성되었다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었다. 이로 인해 쿼리 결과가 다소 많아질 수 있는 가능성이 있다. 그러나 전체적인 쿼리 구조와 조건은 정확히 반영되었다.", "judge_score": 9.0}}
{"id": 47, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nHMM의 2020 ~ 2022년까지 영업이익 성장률 구해줘"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `영업이익` FROM ai_dart_corp_report WHERE corp_name = 'HMM' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `영업이익` FROM yearly_revenue WHERE `연도` = 2022) / (SELECT `영업이익` FROM yearly_revenue WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `HMM 영업이익 연평균 성장률(CAGR)` FROM dual;\"}"], "references": ["{\"sql_query\": \"WITH yearly_operating_income AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `영업이익` FROM ai_dart_corp_report WHERE corp_name = 'HMM' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2022) / (SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `HMM 영업이익 연평균 성장률(CAGR)` FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. 답변은 JSON 형식으로 제공되었고, \"sql_query\" 필드에 적절한 SQL 쿼리가 포함되어 있습니다. 그러나 \"yearly_revenue\"라는 테이블 별칭이 사용되었는데, 이는 \"yearly_operating_income\"으로 수정되어야 합니다. 이 외에는 쿼리의 논리와 구조가 Additional Reference와 일치하며, 필요한 조건을 모두 만족합니다. 언어 요구사항도 충족되었습니다.", "judge_score": 9.0}}
{"id": 46, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 삼바의 매출 성장률을 구해주세요"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `매출액` FROM ai_dart_corp_report WHERE corp_name = '삼바' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `매출액` FROM yearly_revenue WHERE `연도` = 2022) / (SELECT `매출액` FROM yearly_revenue WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `삼바 매출 연평균 성장률(CAGR)` FROM dual;\"}"], "references": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성바이오로직스' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2020), 1.0 / 2) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 DB 스키마와 조건을 잘 반영하고 있습니다. JSON 형식을 준수하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 \"삼바\"라는 회사명을 사용한 부분이 문제입니다. DB 스키마에서 제공된 예시와 Additional Reference에서는 \"삼성바이오로직스\"라는 정식 회사명을 사용하고 있습니다. 따라서 \"삼바\" 대신 \"삼성바이오로직스\"를 사용해야 합니다. 이 외에는 쿼리의 구조와 논리가 적절하게 구성되어 있습니다.", "judge_score": 7.0}}
{"id": 55, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n대한항공의 2021년부터 2023년까지 누적 영업이익울 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 영업이익' FROM ai_dart_corp_report WHERE corp_name = '대한항공' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 영업이익' FROM ai_dart_corp_report WHERE corp_name = '대한항공' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 대부분 충족하고 있습니다. SQL 쿼리는 대한항공의 2021년부터 2023년까지의 누적 영업이익을 구하는 데 필요한 조건들을 잘 반영하고 있습니다. 그러나 Additional Reference와 비교했을 때, 모델의 쿼리에는 'bsns_year'와 'corp_name'을 그룹화하는 부분이 누락되었습니다. 이로 인해 연도별로 누적 영업이익을 구하는 것이 아니라 전체 기간에 대한 누적 영업이익만을 구하게 됩니다. JSON 형식은 올바르게 사용되었으며, SQL 쿼리문도 적절하게 작성되었습니다.", "judge_score": 7.0}}
{"id": 42, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n교보증권의 2018년에서 2022년까지의 부채비율 말해"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS FLOAT) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '교보증권' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2018 AND 2022 GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '교보증권' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2018 AND 2022 GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 JSON 형식으로 잘 생성하였습니다. 답변 형식은 {\"sql_query\": \"...\"}로 정확히 맞추었고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때, CAST 함수에서 SIGNED 대신 FLOAT를 사용한 점이 다릅니다. 이로 인해 데이터 타입 변환에서 약간의 차이가 있을 수 있지만, 전체적인 쿼리의 논리와 조건은 잘 맞추었습니다. 언어 요구사항도 충족하였습니다.", "judge_score": 9.0}}
{"id": 36, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n에어부산의 3년간 영업이익률"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) / NULLIF((SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) FROM ai_dart_corp_report WHERE corp_name = '에어부산' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW())), 0)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '에어부산' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '에어부산' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지만, 몇 가지 중요한 부분에서 부족함이 있다. 우선, JSON 형식은 올바르게 사용되었고, SQL 쿼리문도 포함되어 있다. 그러나 쿼리의 정확성 측면에서 보면, '영업이익'과 '매출액'을 각각 별도로 계산하여 나누는 방식이 아닌, 서브쿼리를 사용하여 '매출액'을 계산하고 이를 '영업이익'과 나누는 방식으로 작성되었다. 이는 Additional Reference와 다르며, 서브쿼리 사용이 불필요하게 복잡하다. 또한, NULLIF를 사용하여 0으로 나누는 오류를 방지하려 했으나, 이는 Additional Reference의 방식과 다르다. 따라서, 모델의 답변은 SQL 쿼리의 정확성 측면에서 부족하다.", "judge_score": 5.0}}
{"id": 62, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n신성이엔지의 2020, 2021년 자산총계 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '자산총계' FROM ai_dart_corp_report WHERE corp_name = '신성이엔지' AND account_nm = '자산총계' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2021);\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '자산총계' FROM ai_dart_corp_report WHERE corp_name = '신성이엔지' AND account_nm = '자산총계' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2021) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많을 수 있습니다. 이 부분이 아쉬운 점입니다.", "judge_score": 8.0}}
{"id": 58, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 금양의 매출액 증가/감소 추세를 알려줘"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `매출액` FROM ai_dart_corp_report WHERE corp_name = '금양' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT yr1.연도 AS `연도`, yr1.회사명 AS `회사명`, yr1.매출액 AS `매출액_기준년도`, COALESCE(yr2.매출액, 0) AS `매출액_비교년도`, ROUND((COALESCE((yr2.매출액 - yr1.매출액) / yr1.매출액, 0) * 100), 2) AS `매출액 증가율(%)` FROM yearly_revenue yr1 LEFT JOIN yearly_revenue yr2 ON yr1.회사명 = yr2.회사명 AND yr1.bsns_year = yr2.bsns_year - 1 ORDER BY yr1.회사명, yr1.연도;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '금양' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 충실히 반영하고 있습니다. JSON 형식을 정확히 따랐으며, \"sql_query\" 필드에 적절한 SQL 쿼리를 포함하고 있습니다. 쿼리는 2020년부터 2022년까지 금양의 매출액 증가/감소 추세를 분석하기 위해 필요한 데이터를 정확히 추출하고 있습니다. 또한, 매출액 증가율을 계산하기 위해 WITH 절을 사용하여 연도별 매출액을 추출한 후, LEFT JOIN을 통해 전년도와 비교하는 방식으로 구성되어 있습니다. 다만, Additional Reference와 비교했을 때, 모델의 쿼리는 더 복잡한 계산을 포함하고 있어 추가적인 정보를 제공하지만, 질문의 요구사항을 초과하는 부분이 있습니다.", "judge_score": 9.0}}
{"id": 61, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년과 2022년  엔에이치엔의 유동자산을 비교해줘."], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '유동자산' FROM ai_dart_corp_report WHERE corp_name = '엔에이치엔' AND account_nm = '유동자산' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2022);\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '유동자산' FROM ai_dart_corp_report WHERE corp_name = '엔에이치엔' AND account_nm = '유동자산' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2022) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락된 점이 아쉽습니다. 이로 인해 쿼리 결과가 너무 많아질 수 있는 가능성이 있습니다. 그 외에는 질문의 요구사항을 잘 반영하여 정확한 데이터를 추출할 수 있는 쿼리를 생성하였습니다.", "judge_score": 9.0}}