lotte_single_turn.jsonl

{"id": 30, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nSK하이닉스의 최근 배당금 지급 내역을 알려줘."], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '배당금' FROM ai_dart_corp_report WHERE corp_name = 'SK하이닉스' AND account_nm = '배당금' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '배당금' FROM ai_dart_corp_report WHERE corp_name = 'SK하이닉스' AND account_nm = '배당금' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 생성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많을 수 있습니다. 그 외의 조건들은 모두 정확하게 반영되었습니다.", "judge_score": 8.0}}
{"id": 29, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n근 5년간 삼전 매출 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성전자' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성전자' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 생성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많아질 수 있습니다. 그 외의 조건들은 모두 잘 반영되어 있습니다.", "judge_score": 8.0}}
{"id": 2, "category": "search_keyword", "questions": ["현대 물리학에서 다중우주 이론과 끈 이론의 관계에 대해 설명해줘."], "outputs": ["현대 물리학 다중우주 이론 끈 이론 관계"], "references": ["현대 물리학 다중우주 이론 끈 이론 관계"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 설명을 제공하지 않고, 단순히 Additional Reference의 키워드를 반복하는 데 그쳤다. 질문은 다중우주 이론과 끈 이론의 관계에 대한 설명을 요구했으나, 모델은 이에 대한 구체적인 설명을 전혀 제공하지 않았다. 언어 요구사항은 충족했으나, 답변의 질적 측면에서 매우 부족하다.", "judge_score": 2.0}}
{"id": 17, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT id, slide_page, eval_code FROM esg_eval_codes WHERE eval_code LIKE 'SUST%';\n\n## SQL 실행결과-1:\n정의서 ID:\nLOCD_COM001\n슬라이드 페이지 번호:\n1055\nESG 평가/공시 지표 코드:\nSUST-CO-G050\n## SQL 실행결과-2:\n정의서 ID:\nLOCD_COM011\n슬라이드 페이지 번호:\n1066\nESG 평가/공시 지표 코드:\nSUST-CO-C001\nSUST-CO-E041\n## SQL 실행결과-3:\n정의서 ID:\nLOCD_COM022\n슬라이드 페이지 번호:\n1079\nESG 평가/공시 지표 코드:\nSUST-CO-G052\n## SQL 실행결과-4:\n정의서 ID:\nLOCD_ENV008\n슬라이드 페이지 번호:\n13\nESG 평가/공시 지표 코드:\nSUST-CO-E047\nSUST-CO-E048\n## SQL 실행결과-5:\n정의서 ID:\nLOCD_ENV019\n슬라이드 페이지 번호:\n28\n29\nESG 평가/공시 지표 코드:\nSUST-CO-E021\n## SQL 실행결과-6:\n정의서 ID:\nLOCD_ENV032\n슬라이드 페이지 번호:\n43\nESG 평가/공시 지표 코드:\nSUST-CO-E042\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n3. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n4. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n5. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n6. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n7. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n8. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\nESG 평가 코드가 SUST로 시작하는 지표를 찾아줘"], "outputs": ["{\"answer\": \"SUST로 시작하는 ESG 평가 코드를 가진 지표는 다음과 같습니다:\n\n1. 정의서 ID: LOCD_COM001\n   ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n   ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n   ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n   ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n   ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n   ESG 평가/공시 지표 코드: SUST-CO-E042\n\n문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요.\"}"], "references": ["1. 정의서 ID: LOCD_COM001\n   ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n   ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n   ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n   ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n   ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n   ESG 평가/공시 지표 코드: SUST-CO-E042\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 정보를 정확하게 제공하고 있습니다. 그러나 JSON 형식을 준수하지 않았습니다. 답변은 JSON 형식으로 구성되어야 하며, \"answer\" 키의 값은 문자열이어야 합니다. 또한, 답변 끝에 밝은 리액션을 포함해야 하는 조건도 충족하지 않았습니다. 따라서, 모델의 답변은 형식적인 요구사항을 충족하지 못했습니다.", "judge_score": 3.0}}
{"id": 14, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV,L LOCD_SOC\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n    managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n    esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경),S(사회),G(거버넌스),ESG(공통)\n    indicator_name VARCHAR(200) COMMENT '지표 명',\n    indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량,정성\n    indicator_unit VARCHAR(50) COMMENT '지표 단위',\n    concept_description TEXT COMMENT '지표 개념 설명',\n    detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n    calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n    data_calculation_method TEXT COMMENT '데이터 산출 방안',\n    data_source VARCHAR(100) COMMENT '데이터 출처',\n    related_systems VARCHAR(100) COMMENT '연관 시스템',\n    notes VARCHAR(200) COMMENT '기타 주석',\n    PRIMARY KEY (id, slide_page)  -- 지표 정의서(정의서 ID)와 슬라이드 페이지의 조합을 기본키로 설정\n);\n/*\nSELECT DISTINCT(keyword) FROM esg_indicators; -- 324게 레코드,\nkeyword\n지속가능경영 거버넌스\n경제적 가치 창출 현황\n보조금 수혜 실적 모니터링\nRD 투자 현황\n...\n\nSELECT DISTINCT(id) FROM esg_indicators; -- 946개 레코드,\nid\nLOCD_COM001\n...\nLOCD_ENV001\n...\nLOCD_SOC001\n...\nLOCD_GOV001\n...\n\nSELECT DISTINCT(esg_category) FROM esg_indicators; -- 4개 레코드\nesg_category\nE(환경)\nESG(공통)\nG(거버넌스)\nS(사회)\n\nSELECT DISTINCT(indicator_type) FROM esg_indicators -- 2개 레코드\nindicator_type\n정성\n정량\n\nSELECT DISTINCT(managing_dept) FROM esg_indicators ; -- 1개 레코드\n본 프로젝트 이후 각 사 別 별도 작성\n\nSELECT DISTINCT(data_source) FROM esg_indicators ; -- 1개 레코드\n본 프로젝트 이후 각 사 別 별도 작성\n\nSELECT DISTINCT(related_systems) FROM esg_indicators ; -- 1개 래코드\n본 프로젝트 이후 각 사 別 별도 작성\n\n\n*/\n-- ESG 지표와 연관된 ESG 평가 코드 정보를 저장하는 테이블\nCREATE TABLE esg_eval_codes (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID) (esg_indicators 테이블의 id를 참조)',\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    eval_code VARCHAR(20) COMMENT 'ESG 평가/공시 지표 코드(이니셔티브)',\n    PRIMARY KEY (id, slide_page,eval_code),  -- 지표 정의서(정의서 ID), 슬라이드 페이지, 평가 코드의 조합을 기본키로 설정\n    FOREIGN KEY (id ) REFERENCES esg_indicators(id)  -- 지표 정의서(정의서 ID)는 esg_indicators 테이블의 id를 참조\n);\n/*\nSELECT DISTINCT(eval_code) FROM esg_eval_codes ; -- 1,811개 레코드\neval_code\nSUST-CO-G050\nCDPC-CO-E054\nCDPW-CO-E010\nDJSI-CO-C001\nGRIs-CO-G001\n...\n*/\n-- ESG 지표와 연관된 ESG 관련 평가 및 지침 항목 정보를 저장하는 테이블\nCREATE TABLE esg_eval_guidelines (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID) (esg_indicators 테이블의 id를 참조)',\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    eval_guideline VARCHAR(50) COMMENT 'ESG 관련 평가 및 지침 항목(이니셔티브)', -- GRI,Sustin., CDP기후변화, CDP수자원,DJSI,MSCI,SASB,Eco.,KCGS,TCFD\n    PRIMARY KEY (id, slide_page,eval_guideline),  -- 지표 정의서(정의서 ID), 슬라이드 페이지, 가이드라인의 조합을 기본키로 설정\n    FOREIGN KEY (id) REFERENCES esg_indicators(id)  -- 지표 정의서(정의서 ID)는 esg_indicators 테이블의 id를 참조\n);\n/*\nSELECT DISTINCT(eval_guideline) from esg_eval_guidelines ; -- 10개 레코드\neval_guideline\nSustin.\nCDP기후변화\nCDP수자원\nDJSI\nGRI\nMSCI\nSASB\nEco.\nKCGS\nTCFD\n*/\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시:  \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n    - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\n특정 키워드를 포함하는 지표의 정보를 알려줘. 예: '지속가능경영'"], "outputs": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE keyword LIKE '%지속가능경영%';\"}"], "references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE keyword LIKE '%지속가능경영%';\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 적합한 SQL 쿼리를 정확히 생성하였습니다. 질문에서 특정 키워드를 포함하는 지표의 정보를 요청하였고, 모델은 이를 반영하여 `keyword` 필드를 검색하는 SQL 쿼리를 작성했습니다. 또한, 답변은 JSON 형식을 준수하고 있으며, \"sql_query\"의 기본값을 빈 스트링으로 설정하지 않고 적절한 SQL 쿼리를 포함하였습니다. 주어진 Additional Reference와도 일치합니다.", "judge_score": 10.0}}
{"id": 24, "category": "lotte_qa", "questions": ["롯데타워는 언제 개장했어?"], "outputs": ["롯데월드타워는 2018년 2월 28일에 개장하였습니다."], "references": ["2017년 4월 3일"], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충족하지 못했습니다. 롯데타워의 개장일을 묻는 질문에 대해 잘못된 날짜를 제공하였습니다. Additional Reference에 따르면 롯데타워는 2017년 4월 3일에 개장했어야 합니다. 또한, 답변은 한국어로 작성되었으므로 언어 요구사항은 충족하였으나, 정확한 정보를 제공하지 못한 점이 큰 단점입니다.", "judge_score": 3.0}}
{"id": 16, "category": "text2sql", "questions": ["## DB 스키마 :\n-- 제품 정보를 저장하는 메인 테이블\nCREATE TABLE products (\n    product_id INT PRIMARY KEY COMMENT '제품 ID',\n    product_name VARCHAR(100) COMMENT '제품명',\n    category VARCHAR(50) COMMENT '카테고리',\n    price DECIMAL(10,2) COMMENT '가격',\n    stock INT COMMENT '재고 수량',\n    supplier_id INT COMMENT '공급업체 ID',\n    description TEXT COMMENT '제품 설명'\n);\n-- 공급업체 정보를 저장하는 테이블\nCREATE TABLE suppliers (\n    supplier_id INT PRIMARY KEY COMMENT '공급업체 ID',\n    supplier_name VARCHAR(100) COMMENT '공급업체명',\n    contact_email VARCHAR(100) COMMENT '연락처 이메일',\n    phone_number VARCHAR(20) COMMENT '전화번호'\n);\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시: \"제품 ID 1001의 이름은?\" 라는 질문이 있을때, DB에는 \"1001\"로 저장되어 있으므로 검색결과를 위해서는 \"1001\"로 문자열 검색을 해야합니다.\n    - 예시: \"재고가 없는 제품은?\" 라는 질문이 있을때, 재고 수량을 확인하여 0인 제품을 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n## 질문 :\n가격이 10000 이상인 제품의 이름과 가격을 알려줘."], "outputs": ["{\"sql_query\": \"SELECT product_id, product_name, price FROM products WHERE price >= 10000;\"}"], "references": ["{\"sql_query\": \"SELECT product_id, product_name, price FROM products WHERE price >= 10000;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 정확히 따르고 있습니다. SQL 쿼리는 가격이 10000 이상인 제품의 이름과 가격을 조회하는 조건을 충족하며, PRIMARY_KEY인 product_id를 포함하고 있습니다. 또한, 답변은 JSON 형식으로 구성되었고, \"sql_query\"의 기본값을 빈 스트링으로 설정하는 조건도 잘 지켰습니다. 따라서 모델의 답변은 매우 적절합니다.", "judge_score": 10.0}}
{"id": 12, "category": "task_assistant_mail_introduce", "questions": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 고객님\n회사명: 롯데이노베이트\n회사 소개: IT로 더욱 가치있는 미래 세상을 만듭니다. 유통, 제조, 물류, 금융, 헬스케어 등 전 산업의 IT 노하우와 기술력을 기반으로, AI, Bigdata, IoT, Cloud 등 신기술을 접목하여 편리한 세상, 스마트한 미래를 만들어 나가겠습니다.\n주요 제품/서비스: IT로 더욱 가치있는 미래 세상을 만듭니다. 유통, 제조, 물류, 금융, 헬스케어 등 전 산업의 IT 노하우와 기술력을 기반으로, AI, Bigdata, IoT, Cloud 등 신기술을 접목하여 편리한 세상, 스마트한 미래를 만들어 나가겠습니다.\n회사 웹사이트:"], "outputs": ["제목: 롯데이노베이트 - IT 기술로 미래를 혁신하는 기업\n\n고객님께,\n\n안녕하세요. 롯데이노베이트 AI 기술팀 김롯데입니다.\n\n저희 롯데이노베이트를 소개드릴 수 있게 되어 기쁘게 생각합니다.\n\n롯데이노베이트는 \"IT로 더욱 가치 있는 미래 세상을 만든다\"는 비전 아래, 다양한 산업 분야에서 혁신적인 IT 솔루션을 제공하고 있습니다. 유통, 제조, 물류, 금융, 헬스케어 등 광범위한 산업 영역에서 축적된 IT 노하우와 기술력을 바탕으로, 최신 기술을 접목하여 스마트하고 편리한 미래를 구현하고 있습니다.\n\n주요 사업 영역:\n1. AI (인공지능) 솔루션\n2. Big Data 분석 및 활용\n3. IoT (사물인터넷) 기술 적용\n4. Cloud 서비스\n\n저희는 이러한 첨단 기술을 다양한 산업 분야에 적용함으로써, 기업의 효율성을 높이고 고객 경험을 개선하는 데 주력하고 있습니다. 롯데이노베이트의 혁신적인 솔루션은 기업의 디지털 전환을 가속화하고, 궁극적으로는 더 나은 사회를 만드는 데 기여하고 있습니다.\n\n롯데이노베이트의 기술과 서비스에 대해 더 자세히 알고 싶으시다면, 언제든지 문의 주시기 바랍니다. 귀사의 비즈니스 요구사항에 맞는 최적의 솔루션을 제안해 드리겠습니다.\n\n감사합니다.\n\n김롯데 드림\n롯데이노베이트 AI 기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 정중하고 전문적인 어투로 작성되었으며, 롯데이노베이트의 다양한 산업 분야와 기술력을 잘 소개하고 있다. 질문의 요구사항을 충실히 반영하여 회사의 비전, 주요 사업 영역, 그리고 기술 적용 사례를 명확하게 설명하였다. 다만, 회사 웹사이트 주소가 제공되지 않았다는 점이 아쉽다. 웹사이트 주소가 포함되지 않은 것은 질문의 요구사항을 완전히 충족하지 못한 부분이다. 그러나 전반적으로 메일의 구조와 내용은 매우 적절하다.", "judge_score": 8.0}}
{"id": 6, "category": "search_summary", "questions": ["## 검색 결과 :\n- 1.위험현장 사전 예측해 사고 예방…내년 1월 전면 시행  <b>서울</b>시가 전국 최초로 공공 공사장 <b>안전</b>수준을 파악해 사고를 예측하고 재해를 방지하는 '<b>안전지수제</b>'를 도입한다고 19일 밝혔다. 올해 연말까지 제도를 시범...\n - 2. <b>서울</b>시는 공공 공사장에서 발생할 수 있는 <b>안전</b>사고를 예방하기 위해서 전국 최초로 ‘<b>안전지수제</b>’를 도입한다고 19일 밝혔다. ‘<b>안전지수제</b>’는 <b>안전</b>학회, 전문가, 실무자가 2만5000건의 주요 재해 사고원인을 분석하여... \n- 3. 안전지수 평가점수가 3개월 연속 ‘매우 미흡’ 등급으로 평가되는 공사 현장은 안전 개선 의지가 없는 것으로 판단해 특별안전점검과 부실벌점 부과, 고용노동부에 과태료 부과를 의뢰한다. 2년간 서울시(도시기반시설본부)에서 발주하는 공사 입찰에 불이익을 줄 예정이다. 또 평가점수가 40점 미만의 공사장은 안전사고 위험이 크다고 판단해 즉시 공사를 중단한다.\n\n## 질문 : 서울시에서 안전지수제를 한다고하는데 이게 뭐야?"], "outputs": ["서울시가 도입하는 '안전지수제'는 공공 공사장의 안전 수준을 파악하고 사고를 예방하며 재해를 방지하기 위한 제도입니다. 이 제도는 다음과 같은 방식으로 운영됩니다.\n\n1. 안전지수 평가: 공사 현장의 안전 상태를 평가하여 점수를 매깁니다.\n2. 등급 부여: 평가 점수에 따라 등급을 부여합니다.\n3. 조치: 등급에 따라 다양한 조치를 취합니다.\n   - 3개월 연속 '매우 미흡' 등급: 특별안전점검, 부실벌점 부과, 고용노동부에 과태료 부과 의뢰, 2년간 공사 입찰에 불이익\n   - 40점 미만: 공사 중단\n\n이러한 방식으로 안전 개선을 촉진하고 안전사고를 예방하려는 것이 목표입니다. 안전지수제는 전문가와 실무자의 참여로 더욱 효과적으로 운영될 예정입니다. 이 제도는 올해 연말까지 제도를 시범 운영한 후 내년 1월부터 전면 시행될 예정입니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하고 있습니다. '안전지수제'의 목적과 운영 방식을 상세히 설명하고 있으며, 검색 결과에서 제공된 정보를 잘 활용하였습니다. 특히, 안전지수 평가, 등급 부여, 조치 사항 등을 구체적으로 언급하여 사용자가 이해하기 쉽게 설명하였습니다. 또한, 제도의 시행 시기와 전문가의 참여에 대한 정보도 포함되어 있어 답변이 매우 완성도 높습니다. 언어 요구사항도 충족하였으며, 한국어로 명확하게 답변하였습니다.", "judge_score": 10.0}}
{"id": 18, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT product_name, SUM(quantity) AS total_quantity FROM inventory_orders GROUP BY product_name HAVING SUM(quantity) > 100;\n\n## SQL 실행결과-1:\n제품명:\nProduct A\n총 수량:\n150\n\n## SQL 실행결과-2:\n제품명:\nProduct B\n총 수량:\n200\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n총 수량이 100을 초과하는 제품의 이름과 총 수량을 알려줘."], "outputs": ["{\"answer\": \"총 수량이 100을 초과하는 제품은 다음과 같습니다:\n\n- 제품명: Product A\n- 총 수량: 150\n\n- 제품명: Product B\n- 총 수량: 200\n\n언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\"}"], "references": ["1. 제품명: Product A\n   총 수량: 150\n\n2. 제품명: Product B\n   총 수량: 200\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 정보를 정확히 반영하고 있으며, SQL 실행 결과를 바탕으로 총 수량이 100을 초과하는 제품의 이름과 총 수량을 올바르게 제시하고 있다. 또한, 답변 끝에 밝은 리액션을 포함하여 정중하게 마무리하였다. 그러나 JSON 형식을 준수하지 않았으며, \"answer\"의 값이 문자열이 아닌 여러 줄로 구성된 텍스트로 되어 있어 조건을 완전히 만족하지 못했다. JSON 형식의 조건을 충족하지 못한 점이 아쉽다.", "judge_score": 6.0}}
{"id": 25, "category": "lotte_qa", "questions": ["SKY31 컨벤션에 대해 설명해줘"], "outputs": ["SKY31 컨벤션은 롯데호텔월드 31층에 위치한 만석 1,500명의 대규모 연회장입니다. 최상의 주최, 주賓 경험을 위해 최신 설비를 갖춘 10개의 회의실과 더불어 컨벤션 전문 포워딩 업체인 '코벤션'과의 협업을 통해 차별화된 서비스를 제공합니다."], "references": ["롯데물산이 운영하는 회의 시설"], "query_single": {"judge_message": "모델의 답변은 SKY31 컨벤션에 대한 설명을 제공하고 있지만, 주어진 Additional Reference와는 일치하지 않습니다. Additional Reference에 따르면 SKY31 컨벤션은 롯데물산이 운영하는 회의 시설로 설명되어야 합니다. 그러나 모델은 롯데호텔월드 31층에 위치한 대규모 연회장이라고 잘못 설명하고 있습니다. 또한, '코벤션'과의 협업에 대한 언급은 Additional Reference에 포함되지 않은 정보입니다. 언어 요구사항은 충족되었으나, 답변의 정확성과 관련된 부분에서 큰 오류가 있습니다.", "judge_score": 3.0}}
{"id": 23, "category": "lotte_qa", "questions": ["롯데 창립일과 창업주가 누구야"], "outputs": ["롯데그룹은 신격호 창업주의 이하 2018년 3월 20일에 설립되었습니다."], "references": ["1948년 6월 28일, 신격호"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 롯데그룹의 창립일과 창업주에 대한 정보가 잘못 제공되었습니다. 롯데그룹의 창립일은 1948년 6월 28일이며, 창업주는 신격호입니다. 그러나 모델은 창립일을 2018년 3월 20일로 잘못 기재하였고, 창업주에 대한 정보는 정확히 제공하지 않았습니다. 또한, 답변이 한국어로 작성되었으나, 정확한 정보를 제공하지 못한 점에서 점수를 낮게 평가할 수밖에 없습니다.", "judge_score": 2.0}}
{"id": 22, "category": "lotte_qa", "questions": ["롯데글로벌로지스에서 활용하고 있는 PC-OFF 제도는 뭐야?"], "outputs": ["롯데글로벌로지스에서는 야근이나 불필요한 업무를 없애고 직원들의 여가시간 확보를 위해 PC-OFF 시스템을 활용하고 있습니다. 퇴근시간이 임박하면 알림을 주고, 휴가 시에는 PC사 용을 제한하고, 퇴근시간 이후 PC를 사용하기 위해서는 팀장의 별도 승인을 받는 등의 기능을 통해 임직원의 일과 삶의 균형을 지원하고 있습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 롯데글로벌로지스의 PC-OFF 제도에 대해 잘 설명하고 있습니다. PC-OFF 제도의 목적과 기능을 구체적으로 언급하며, 퇴근 시간 알림, 휴가 시 PC 사용 제한, 퇴근 시간 이후 PC 사용 시 팀장의 승인 필요 등의 내용을 포함하고 있습니다. 질문의 요구사항을 충분히 반영하였고, 언어 요구사항도 충족하였습니다. 다만, 제도의 구체적인 도입 배경이나 추가적인 세부 사항이 더 포함되었으면 더욱 완벽한 답변이 되었을 것입니다.", "judge_score": 9.0}}
{"id": 26, "category": "lotte_qa", "questions": ["L-SWAT이 뭐야"], "outputs": ["롯데건설은 스마트 기술을 접목한 건설 선진 현장 구축에 나서고 있습니다. L-SWAT은 현장 근로자들의 스마트 기기 사용습관과 언어, 문화 특성을 고려하여 제작된 안전 통지사항 조회, 작업표 현황, 교육영상 등 필수 안전정보를 제공하는 모바일 안전워크숍 서비스입니다. 주요 기능은 다음과 같습니다. \n\n1. 안전통지사항: 안전통지사항을 작성하여 사진 및 동영상으로 현장 근로자들에게 즉시 전송할 수 있습니다.\n2. 일일작업표: 작업표를 작성하여 어떤 작업이 진행되고 있는지, 누구가 그 작업을 하고 있는지 확인할 수 있습니다.\n3. 안전교육: 안전교육 영상 및 자료를 제공하여 근로자가 편리하게 안전교육을 받을 수 있습니다.\n4. 안전서약서: 안전서약서를 작성하고 모바일로 서약할 수 있습니다.\n5. 품질서약서: 품질서약서를 작성하고 모바일로 서약할 수 있습니다.\n6. 안전보건.roundcube.net: 안전보건 포털에서 안전보건 정보를 확인할 수 있습니다."], "references": ["Lotte(World Tower) - Special Weapons And Tactics, 롯데에서 운영하는 국내 최초이자 유일의 민간 테러대응팀, 계획적인 테러 위협을 롯데그룹 차원에서 직접 대비하기 위한 조직 "], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 전혀 반영하지 못했습니다. 질문은 L-SWAT에 대한 설명을 요구했으나, 모델은 롯데건설의 스마트 기술과 관련된 내용을 설명하고 있습니다. Additional Reference에 따르면, L-SWAT은 롯데에서 운영하는 민간 테러대응팀을 의미하는데, 모델의 답변은 이와 전혀 관련이 없습니다. 또한, 답변의 내용이 질문과 맞지 않기 때문에 정보의 정확성도 떨어집니다. 언어 요구사항은 충족했으나, 답변의 질적 평가에서 매우 낮은 점수를 받을 수밖에 없습니다.", "judge_score": 1.0}}
{"id": 21, "category": "mrc_summary", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분  AS-IS  TO-BE 신규고객  심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 :  2024.05.09. (목) 오전08:30 4. 문의 :  심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "outputs": ["사고손해율 관련 정보:\n1. [사고건수및과태료]할증/초고위험/추가,재계약/B2C: 미대상, 미대상, 할증Ⅳ 3%, 사고건수및과태료, 초고위험/재계약\n2. [사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체: 사고손해율우량, 신규/추가계약, 우량할인Ⅱ 1%, 사고손해율우량, \"초우량,우량A,B/신규,추가계약\"\n3. [사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체: 사고손해율우량, 신규/추가계약, 우량할인Ⅲ 1%, 사고손해율우량, \"S0,A1,A2/신규,추가계약\"\n4. [사고손해율우량]할인/(A1/A2)/재계약/전체: 사고손해율우량, 재계약, 우량할인Ⅳ 1.5%, 사고손해율우량, \"A1,A2/재계약\""], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하지 못했습니다. 질문은 보험 손해율 자료를 보여달라는 것이었으나, 모델은 문서의 일부만을 발췌하여 제공하였습니다. 특히, 문서의 다른 부분에 있는 \"보험심사 연령제한 CUT-OFF\" 관련 정보는 전혀 언급되지 않았습니다. 또한, 모델은 문서의 전체적인 내용을 요약하지 않고, 특정 부분만을 발췌하여 제공하였기 때문에 질문의 요구사항을 충분히 반영하지 못했습니다.", "judge_score": 4.0}}
{"id": 1, "category": "search_keyword", "questions": ["음 그렇다면 세입자가 먼저 확정일자 신고를 해서 전세자금 전체를 보호받고 있음에도 소액임차보증금을 변제하는건 이중변제 아닌가 싶은데 어떻게 생각해?"], "outputs": ["세입자 확정일자 신고 소액임차보증금 변제 이중변제"], "references": ["전세자금 보호 중 소액임차보증금 변제 시 이중변제 여부"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 키워드를 생성하는 데 초점을 맞추고 있으며, 언어 요구사항을 준수하여 한국어로 작성되었다. 그러나 생성된 키워드가 질문의 구체적인 요구사항을 충분히 반영하지 못하고 있다. 질문은 세입자가 확정일자 신고를 통해 전세자금을 보호받고 있는 상황에서 소액임차보증금을 변제하는 것이 이중변제인지에 대한 의견을 묻고 있다. 따라서 키워드는 \"이중변제 여부\"와 같은 구체적인 내용을 포함해야 한다. 모델의 답변은 다소 일반적이며, 질문의 핵심을 충분히 반영하지 못했다.", "judge_score": 5.0}}
{"id": 11, "category": "task_assistant_mail_pr", "questions": ["보내는 사람: 롯데이노베이트 NFT사업팀\n받는 사람: 개발팀 홍길동\n제품 종류: NFT 마켓플레이스 & 월렛 서비스\n제품명: Kottonseed(코튼시드)\n제품 정보: 쉽고 편리한 사용성과 거래 경험을 기반으로 누구나 쉽게 NFT를 거래하고 소유할 수 있는 서비스 제공\n제품 링크: https://www.kottonseed.io/"], "outputs": ["제목: Kottonseed - NFT 거래의 새로운 표준\n\n홍길동 님께,\n\n안녕하세요. 롯데이노베이트 NFT사업팀입니다.\n\n저희가 운영 중인 NFT 마켓플레이스 & 월렛 서비스 'Kottonseed(코튼시드)'를 소개해 드립니다.\n\nKottonseed는 누구나 쉽고 편리하게 NFT를 거래하고 소유할 수 있는 서비스를 제공합니다.\n\n- 간편한 회원가입 & 로그인 시스템\n- 다양한 NFT 작품 구색\n- 안전한 거래 시스템\n- 자체 지갑 서비스 통합\n\n등의 특징을 갖추고 있습니다.\n\nhttps://www.kottonseed.io/ 에서 서비스를 체험해 보실 수 있습니다.\n\nNFT 트렌드를 Kottonseed와 함께 만들어 나가실 수 있습니다.\n\n감사합니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 Instruct의 요구사항을 충실히 반영하여 홍보 메일을 작성하였다. 보내는 사람과 받는 사람, 제품 종류, 제품명, 제품 정보, 제품 링크 등 모든 필수 요소가 포함되어 있다. 또한, 언어 요구사항을 준수하여 한국어로 작성되었다. 다만, 메일의 형식에서 조금 더 구체적인 정보나 추가적인 혜택을 언급했으면 더 좋았을 것이다. 예를 들어, Kottonseed의 주요 기능이나 사용 사례를 더 상세히 설명하거나, 홍길동 개발팀이 이 서비스를 통해 얻을 수 있는 구체적인 이점을 언급했으면 더욱 효과적인 홍보 메일이 되었을 것이다.", "judge_score": 9.0}}
{"id": 10, "category": "task_assistant_mail_share", "questions": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 개발팀 홍길동\n회의 주제: 아이멤버 프로젝트 진행 상황 및 향후 계획\n회의록 내용:\n- 회의에서 논의된 주요 내용:\n- AI기술팀은 아이멤버 프로젝트의 현재 진행 상황을 검토\n- 기술적 문제 해결을 위한 다양한 방안이 논의, 데이터 처리 효율성과 시스템 안정성에 중점\n- 최신 AI 기술 동향과 시장 분석 결과가 공유, 프로젝트에 어떻게 적용할지에 대한 의견 교환\n- 결정된 사항 및 액션 아이템 목록:\n- 추가된 데이터 수집을 위한 외부 협력사 선정 작업을 진행하기로 결정\n- 기존 시스템의 성능 최적화를 위한 팀 구성\n- 향후 2주 간 프로젝트 위험 평가를 수행, 위험 관리 계획을 수립\n- 향후 계획 및 예정된 일정:\n- 다음 달 말까지 프로젝트의 중간 점검을 실시\n- 3개월 내에 프로토타입 개발을 완료, 내부 테스트를 진행\n- 올해 말까지는 최종 제품의 시범 운영을 시작, 내년 상반기 중 시장 출시를 목표"], "outputs": ["제목: [회의록 전달] 아이멤버 프로젝트 진행 상황 및 향후 계획 회의\n\n홍길동 님께,\n\n안녕하세요. AI 기술팀 김롯데입니다.\n\n지난 회의에서 논의된 '아이멤버 프로젝트 진행 상황 및 향후 계획'에 대한 회의록을 전달드립니다. 주요 내용과 결정사항, 그리고 향후 계획을 정리하였으니 검토 부탁드립니다.\n\n[회의록 내용]\n\n1. 논의된 주요 내용:\n   - AI기술팀의 아이멤버 프로젝트 현재 진행 상황 검토\n   - 기술적 문제 해결 방안 논의 (데이터 처리 효율성 및 시스템 안정성 중점)\n   - 최신 AI 기술 동향과 시장 분석 결과 공유 및 프로젝트 적용 방안 논의\n\n2. 결정된 사항 및 액션 아이템:\n   - 추가 데이터 수집을 위한 외부 협력사 선정 작업 진행\n   - 기존 시스템 성능 최적화를 위한 팀 구성\n   - 향후 2주간 프로젝트 위험 평가 수행 및 위험 관리 계획 수립\n\n3. 향후 계획 및 예정 일정:\n   - 다음 달 말까지 프로젝트 중간 점검 실시\n   - 3개월 내 프로토타입 개발 완료 및 내부 테스트 진행\n   - 올해 말까지 최종 제품 시범 운영 시작, 내년 상반기 중 시장 출시 목표\n\n회의록 내용에 대해 추가 의견이나 질문이 있으시면 언제든 연락 주시기 바랍니다. 또한, 결정된 사항에 대한 후속 조치를 위해 각 팀의 적극적인 협조를 부탁드립니다.\n\n감사합니다.\n\n김롯데 드림\nAI 기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question을 충실히 반영하여 작성되었다. 이메일 형식은 적절하며, 회의록의 주요 내용, 결정된 사항 및 액션 아이템, 향후 계획 및 예정 일정을 명확하게 전달하고 있다. 또한, 이메일의 서두와 마무리 부분도 적절하게 작성되어 있다. 언어 요구사항을 충족하며, 한국어로 명확하고 정확하게 작성되었다. 다만, 이메일의 제목에 \"회의록 전달\"이라는 표현이 다소 일반적일 수 있으므로, \"아이멤버 프로젝트 회의록 전달\"과 같이 더 구체적으로 작성하면 더 좋을 것이다.", "judge_score": 9.0}}
{"id": 9, "category": "task_assistant_mail_meeting", "questions": ["보내는 사람: AI기술팀 김롯데\n받는 사람: AI기술팀 박롯데\n회의 목적: 현재 개발중인 플랫폼 내 기능 구현에 대한 의견 수렴\n회의 날짜: 2024-07-10\n회의 장소: 롯데이노베이트 15층 대회의실"], "outputs": ["제목: [회의 요청] 플랫폼 기능 구현 관련 의견 수렴 회의 안내\n\n박롯데님께,\n\n안녕하세요. AI기술팀의 김롯데입니다.\n\n현재 개발 중인 플랫폼 내 기능 구현에 대한 의견을 수렴하고자 아래와 같이 회의를 요청드립니다.\n\n- **회의 목적**: 현재 개발 중인 플랫폼 내 기능 구현에 대한 의견 수렴\n- **회의 일시**: 2024년 7월 10일\n- **회의 장소**: 롯데이노베이트 15층 대회의실\n\n회의에 참석해주셔서 다양한 의견을 나눠주시길 부탁드립니다. 궁금한 사항이 있으시면 언제든지 문의해주시기 바랍니다.\n\n감사합니다.\n\n김롯데 드림\nAI기술팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 충실히 반영하였다. 회의 요청 메일의 형식과 내용이 적절하며, 필요한 모든 정보를 포함하고 있다. 언어 요구사항도 잘 준수하여 한국어로 작성되었다. 다만, 메일의 형식에서 약간의 개선 여지가 있다면, \"김롯데 드림\" 대신 \"김롯데 올림\"이 더 자연스러울 수 있다. 그러나 이는 사소한 부분으로, 전반적으로 매우 잘 작성된 답변이다.", "judge_score": 10.0}}
{"id": 15, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV, LOCD_SOC\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n    managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n    esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경), S(사회), G(거버넌스), ESG(공통)\n    indicator_name VARCHAR(200) COMMENT '지표 명',\n    indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량, 정성\n    indicator_unit VARCHAR(50) COMMENT '지표 단위',\n    concept_description TEXT COMMENT '지표 개념 설명',\n    detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n    calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n    data_calculation_method TEXT COMMENT '데이터 산출 방안',\n    data_source VARCHAR(100) COMMENT '데이터 출처',\n    related_systems VARCHAR(100) COMMENT '연관 시스템',\n    notes VARCHAR(200) COMMENT '기타 주석',\n    PRIMARY KEY (id, slide_page)\n);\n-- 기타 테이블 생략\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시: \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n    - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\nESG 범주가 'G(지배구조)'인 지표의 정보를 알려줘."], "outputs": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G';\"}"], "references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G(지배구조)';\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 생성하는 데 있어 일부 조건을 충족하지 못했습니다. 우선, 모델은 질문의 요구사항을 반영하여 'G(지배구조)'인 지표를 검색하는 SQL 쿼리를 생성했으나, 'G(지배구조)'를 'G'로 단순화하여 사용했습니다. 이는 Additional Reference에서 제공된 정확한 쿼리와 일치하지 않습니다. 또한, 모델은 PRIMARY_KEY를 포함해야 한다는 조건을 충족하지 않았습니다. 따라서 모델의 답변은 정확성과 완전성 면에서 부족합니다.", "judge_score": 5.0}}
{"id": 20, "category": "mrc", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분  AS-IS  TO-BE 신규고객  심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 :  2024.05.09. (목) 오전08:30 4. 문의 :  심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "outputs": ["문서에는 보험 손해율에 대한 자료가 명시적으로 언급되어 있지 않습니다. 따라서, 관련 내용을 찾을 수 없습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충실히 반영하였습니다. 문서 내에서 보험 손해율에 대한 명시적인 자료를 찾을 수 없다는 점을 정확히 지적하였고, 관련 내용을 찾을 수 없다고 답변하였습니다. 문서의 내용을 근거로 하여 질문에 답변하라는 Instruct를 잘 따랐습니다. 또한, 답변은 한국어로 작성되어 언어 요구사항을 충족하였습니다.", "judge_score": 10.0}}
{"id": 27, "category": "lotte_qa", "questions": ["롯데는 왜 롯데야?"], "outputs": ["롯데(Lotte)라는 이름은 일본 도쿄의 한 식료품 가게 이름에서 유래되었습니다. 이 가게의 주인은 신격호(辛格浩) 회장의 처남인 다나카(田中)였습니다.\n\n다나카의 부모님이 노령에 접어들면서 가게를 정리하고 고향으로 돌아가기로 결심했고, 가게를 맡고 있던 처남은 이에 따라 일본을 떠나야 했습니다. 이때 신격호 회장이 처남을 대신하여 가게를 맡기로 하였고, 이렇게 해서 그는 롯데라는 가게를 운영하게 되었습니다.\n\n이후 신격호 회장은 롯데라는 이름을 사용하여 일본과 한국에서 다양한 사업을 전개하였습니다. 현재 롯데는 한국과 일본을 비롯한 전 세계에 다양한 사업을 전개하고 있는 대기업 그룹입니다."], "references": ["젊은 베르테르의 슬픔의 여주인공인 샤를로테(샤롯데)에서 따온 것"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 질문은 \"롯데\"라는 이름의 기원에 대해 묻고 있으며, Additional Reference에 따르면 이는 \"젊은 베르테르의 슬픔\"의 여주인공인 샤를로테(샤롯데)에서 따온 것입니다. 그러나 모델의 답변은 롯데의 이름이 일본 도쿄의 한 식료품 가게에서 유래되었다고 잘못된 정보를 제공하고 있습니다. 또한, 신격호 회장의 처남과 관련된 이야기는 질문과 관련이 없습니다. 따라서 모델의 답변은 정확하지 않으며, 질문의 요구사항을 충족하지 못했습니다.", "judge_score": 2.0}}
{"id": 4, "category": "search_keyword", "questions": ["세상에서 가장 맛있는 음식을 알려주고 추천해줘"], "outputs": ["세상에서 가장 맛있는 음식 추천"], "references": ["세상에서 가장 맛있는 음식 추천"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 요구사항을 충분히 반영하지 못했다. 질문은 \"세상에서 가장 맛있는 음식을 알려주고 추천해줘\"였으나, 모델은 단순히 \"세상에서 가장 맛있는 음식 추천\"이라는 키워드만 생성했다. 이는 질문의 요구사항을 충족하지 못하며, 구체적인 음식 추천이나 설명이 전혀 포함되지 않았다. 또한, 언어 요구사항은 충족했으나, 답변의 질적 측면에서 매우 부족하다.", "judge_score": 2.0}}
{"id": 19, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT department, AVG(expense) AS average_expense FROM finance_expenses GROUP BY department;\n\n## SQL 실행결과-1:\n부서:\nHR\n평균 지출:\n5000\n\n## SQL 실행결과-2:\n부서:\nIT\n평균 지출:\n7500\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n각 부서별 평균 지출을 알려줘."], "outputs": ["{\"answer\": \"HR 부서의 평균 지출은 5000입니다.\\n\\nIT 부서의 평균 지출은 7500입니다.\\n\\n언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\"}"], "references": ["1. 부서: HR\n   평균 지출: 5000\n\n2. 부서: IT\n   평균 지출: 7500\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 SQL 실행 쿼리와 결과를 바탕으로 각 부서별 평균 지출을 정확히 전달하고 있습니다. 또한, 답변 끝에 밝은 리액션을 포함하여 조건을 충족하고 있습니다. 그러나 JSON 형식의 조건을 완전히 만족하지 못했습니다. JSON 형식은 {\"answer\": \"...\"}로 구성되어야 하며, 모델의 답변은 이 형식을 따르지 않았습니다. 따라서 형식적인 부분에서 아쉬움이 있습니다.", "judge_score": 7.0}}
{"id": 3, "category": "search_keyword", "questions": ["차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문은?"], "outputs": ["차량 엔진 연료 효율 극대화 연구 논문"], "references": ["차량 엔진 내 연료 효율 극대화 방법 논문"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충실히 반영하여 키워드를 생성하였다. \"차량 엔진 연료 효율 극대화 연구 논문\"이라는 키워드는 질문에서 요구한 \"차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문\"과 매우 유사하며, 검색에 적합한 키워드로 보인다. 또한, 답변은 한국어로 작성되어 언어 요구사항을 충족하였다. 다만, \"최신\"이라는 단어가 누락된 점이 아쉽다.", "judge_score": 9.0}}
{"id": 34, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n최근 3년간 영풍제지 영업이익률 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 충실히 따르고 있으며, JSON 형식으로 SQL 쿼리를 생성하였다. SQL 쿼리의 내용도 Additional Reference와 일치하여 정확하다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락된 점이 아쉽다. 이 외에는 모든 조건을 만족하고 있으며, 질문에 적합한 SQL 쿼리를 생성하였다.", "judge_score": 9.0}}
{"id": 7, "category": "review_summary", "questions": ["## 상품명:조셉앤스테이시 가방 100종 모음\n\n## 상품 리뷰:\n1. 출국할때 면세로 사려다 여러개 사는게 아니면 면세도 그닥 저렴하지않아서 패스했다. 그런데 어제 쇼핑몰 둘러보다 쿠폰먹이면 면세가격이랑 비슷하길래 그냥 질러버림. 기본 단색이랑 스태리펄이랑 고민하다 원래 사려던 골드로… 한참 유행할때 쳐다도 안보던 가방인데 왜 뒤늦게 꽂혀서..... 니트라 쳐짐 걱정 살짝있었는데 그리 얇지않아서 지갑, 자동차키,폰 넣고 저정도 핏이다. 첨엔 생각보다 작다했는데 나름귀엽다. 이 나이에 귀여울일인가 싶지만...ㅎㅎㅎ 자기만족....♡♡♡  골드 들어보고 손자주가면 봄에 젤리그린하나 더 사야겠다.​ #조셉니트백 #조셉스태리골드 #조셉니트백S #니트백 #조셉스테이시 #스태리골드S 2. 평소에 에코백 종류를 좋아하고 사용을 합니다. 사이즈가 작지만 카드지갑,폰,파우치,물티슈 정도 넣으면 딱인것 같아요. 축 쳐짐도 생각 보다 없어서 좀 놀랐어요.  가볍게 필요한 것만 넣고 다니기에는 사이즈가 작음에도 불구하고 괜찮은 것 같어요. 무엇 보다 약간의 반짝임이 있어서 저는 참 마음에 듭니다.  그리고 끈을 묶을 수 있는 고리가 있는데 이 부분은 키링 같은 것을 달 수도 있어서 … 이 부분이 마음에 드네요. 일단 사계절 사용하기에 무난한 블랙을 구입 했는데.. 내년 봄여름 용으로 밝은색으로도 하나 더 세일 할때 구입을 하고 싶네요. 3. 네이비 M반짝이 가방을 사고 넘 맘에 들어 골드랑 검정 S사이즈 반짝이로 또 구매했습니다..친구가 검정,골드 들고다는거 보고 고민없이 같은 사이즈로  구매했어요..실물을 봤으니 더기대하고 기다렸는데 검정 가방이 반짝이가 제가 들고있는 네이비에비해 넘 표시가 덜나고 친구가방 보다도 차이가 확실히 나네요ㅠㅠ  같이 온 골드는 넘 맘에 드는데 검정은 아쉬움이 많이 남네요..반짝이가 넘 빈약합니다ㅠㅠ"], "outputs": ["조셉앤스테이시 가방은 다양한 색상과 디자인으로 인기를 얻고 있습니다. 니트백 시리즈는 예상보다 튼튼하고 쳐짐이 적어 실용적입니다. 작은 사이즈임에도 지갑, 키, 휴대폰 등 필수품을 수납하기에 적당합니다. 특히 스태리 골드와 같은 반짝이는 디자인이 많은 사랑을 받고 있으며, 가벼운 외출용으로 적합합니다. 끈을 묶을 수 있는 고리가 있어 키링 등을 달 수 있는 점도 장점입니다. 사계절 사용 가능한 블랙부터 봄여름용 밝은 색상까지 다양한 선택지가 있어, 여러 개 구매하는 소비자들도 많습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct를 잘 따르고 있습니다. 상품명 \"조셉앤스테이시 가방\"이 요약에 포함되었고, 부정적인 내용은 배제되었습니다. 리뷰에서 언급된 다양한 색상과 디자인, 니트백의 튼튼함, 작은 사이즈의 실용성, 반짝이는 디자인의 인기도 잘 반영되었습니다. 또한, 끈을 묶을 수 있는 고리와 사계절 사용 가능한 블랙 색상 등도 언급되어 있어 리뷰의 긍정적인 측면을 잘 요약했습니다. 전반적으로 요구사항을 충실히 반영한 답변입니다.", "judge_score": 10.0}}
{"id": 32, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한화의 2022년 매출 알려줘봐라"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '한화' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '한화' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 쿼리의 구조와 조건이 정확하게 반영되었습니다.", "judge_score": 8.0}}
{"id": 41, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n하나마이크론의 2017년 ~ 2020년까지 매출 알려줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '하나마이크론' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '하나마이크론' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 DB 스키마를 잘 반영하고 있으며, SQL 쿼리문도 적절하게 작성되었습니다. JSON 형식도 정확히 준수하고 있습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락된 점이 아쉽습니다. 이 조건이 포함되었더라면 더 완벽한 답변이 되었을 것입니다.", "judge_score": 9.0}}
{"id": 5, "category": "search_keyword", "questions": ["최근에 유행하고 있는 트렌드에는 뭐가있어?"], "outputs": ["최근 유행 트렌드"], "references": ["최신 유행 트렌드"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했다. 질문은 최근에 유행하고 있는 트렌드에 대해 묻고 있으며, 이에 대한 구체적인 정보를 제공해야 한다. 그러나 모델의 답변은 단순히 \"최근 유행 트렌드\"라는 키워드만 제시하고 있어, 질문에 대한 충분한 답변이 되지 않는다. 또한, 답변이 너무 짧고 구체적인 내용이 부족하다. 언어 요구사항은 충족되었으나, 답변의 질적 측면에서 부족하다.", "judge_score": 3.0}}
{"id": 43, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 LG에너지솔루션와 엔씨소프트의 매출 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name IN ('LG에너지솔루션', '엔씨소프트') AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name IN ('LG에너지솔루션', '엔씨소프트') AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하였다. \"sql_query\"의 값은 Additional Reference와 거의 일치하며, 조건을 모두 만족하고 있다. 다만, LIMIT 20 조건이 누락되었으나 이는 큰 문제는 아니다. 언어 요구사항도 충족되었다.", "judge_score": 9.0}}
{"id": 28, "category": "lotte_qa", "questions": ["엔제리너스 아아 가격 얼마야"], "outputs": ["2023년 12월 기준 엔제리너스의 아아(A.A) 커피 가격은 1,500원입니다.\n\n이는 엔제리너스의 베이스 메뉴인 에스프레소 커피 중 가장 저렴한 가격대로, 합리적인 가격에 커피를 즐기고 싶은 고객들에게 인기가 있습니다.\n\n엔제리너스는 종종 아아 커피를 중심으로 다양한 할인 이벤트나 프로모션을 진행하기도 하니, 자세한 정보는 엔제리너스 공식 홈페이지나 매장에서 확인해 보시는 것이 좋습니다."], "references": ["일반가: 4500원"], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충분히 반영하지 못했습니다. 질문은 엔제리너스의 아아 가격을 묻고 있으며, Additional Reference에 따르면 그 가격은 4500원입니다. 그러나 모델은 1500원이라고 잘못된 정보를 제공하였습니다. 또한, 답변의 나머지 부분은 질문의 핵심 요구사항과 관련이 적으며, 불필요한 정보가 포함되어 있습니다. 언어 요구사항은 충족되었으나, 정확한 정보를 제공하지 못한 점이 큰 감점 요인입니다.", "judge_score": 2.0}}
{"id": 31, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n롯데이노베이트의 2018년 매출을 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '롯데이노베이트' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2018;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '롯데이노베이트' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2018 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, DB 스키마와 조건을 고려하여 적절한 SQL문을 생성하였습니다.", "judge_score": 8.0}}
{"id": 35, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n브이티의 최근 3년의 영업이익률을 말해보세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '브이티' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '브이티' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 충실히 따르고 있으며, JSON 형식을 정확히 준수하고 있다. SQL 쿼리문도 적절하게 작성되었으며, '브이티'의 최근 3년간의 영업이익률을 계산하는 데 필요한 조건들을 모두 포함하고 있다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락된 점이 아쉽다. 이 외에는 전체적으로 정확하고 요구사항을 잘 반영한 답변이다.", "judge_score": 9.0}}
{"id": 37, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n금호타이어 최근 5년 순이익을 말해봐"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '금호타이어' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '금호타이어' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 생성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많은 행을 반환할 수 있습니다. 그 외에는 조건을 잘 반영하여 SQL 쿼리를 작성하였습니다.", "judge_score": 8.0}}
{"id": 13, "category": "task_assistant_hire", "questions": ["팀 이름: 글로벌로지스IS팀\n담당 업무: 롯데글로벌로지스의 시스템 운영/관리 및 IT 리딩\n프로젝트: 그룹SCM시스템 운영(L-LIS, WMS, TMS 등)\n팀 장점: 국내 대표 종합물류회사 IT 시스템 운영, 물류 플랫폼의 IT 관점에서의 비즈니스 리딩\n키워드: 택배물류, 글로벌물류, 3PL 서비스, SCM물류시스템, IT 시스템 관리"], "outputs": ["글로벌로지스IS팀은 택배물류, 글로벌물류, 국내 롯데그룹 및 3PL 서비스를 제공하는 국내 대표 종합물류회사인 롯데글로벌로지스의 시스템을 운영/관리하고 IT를 리딩하는 팀입니다.\n\n특히 그룹SCM시스템은 롯데글로벌로지스 물류 플랫폼인 L-LIS 및 그외 WMS,TMS 등의 시스템을 운영하고 있습니다. 국내 3대 종합물류회사의 SCM물류시스템을 운영하고 고객사의 비지니스를 IT관점에서 리딩하고자 하는 분들의 많은 관심 기다리겠습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 정보를 잘 반영하고 있으며, 팀의 주요 업무와 프로젝트, 강점을 명확히 설명하고 있습니다. 그러나 답변이 다소 단조롭고 설득력이 부족합니다. 팀의 정체성, 사명, 및 영향력에 대한 명확한 스냅샷을 제공하는 데 있어 다소 부족한 부분이 있습니다. 예를 들어, 팀의 성취나 구체적인 성공 사례를 언급하지 않았고, 키워드와 팀의 전문성이 어떻게 성공에 기여하는지에 대한 설명이 부족합니다. 또한, 문장 구조가 다소 반복적이고 매력적이지 않아 설득력이 떨어집니다.", "judge_score": 6.0}}
{"id": 38, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n최근 5년의 빙그레 부채비율을 말해보세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '빙그레' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '빙그레' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 충실히 따르고 있습니다. JSON 형식으로 답변을 구성하였고, \"sql_query\" 필드에 적절한 SQL 쿼리를 포함하였습니다. SQL 쿼리는 최근 5년간의 빙그레 부채비율을 계산하기 위해 필요한 조건들을 모두 포함하고 있으며, Additional Reference와 일치합니다. 다만, LIMIT 20 조건이 누락되었으나, 이는 큰 영향을 미치지 않는 부분입니다.", "judge_score": 9.0}}
{"id": 44, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n유한양행과 SKC의 2020 ~ 2022년 영업이익을 비교해줘봐라"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '영업이익' FROM ai_dart_corp_report WHERE corp_name IN ('유한양행', 'SKC') AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '영업이익' FROM ai_dart_corp_report WHERE corp_name IN ('유한양행', 'SKC') AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 적합한 SQL 쿼리를 생성하였으며, JSON 형식을 준수하였다. SQL 쿼리의 내용은 Additional Reference와 거의 일치하며, 유한양행과 SKC의 2020년부터 2022년까지의 영업이익을 비교하기 위한 조건을 정확히 반영하였다. 다만, Additional Reference에서 LIMIT 20 조건이 포함되어 있었으나, 모델의 답변에서는 이 조건이 누락되었다. 이로 인해 쿼리 결과의 제한이 없다는 점이 아쉽다.", "judge_score": 9.0}}
{"id": 8, "category": "meeting_summary", "questions": ["## 대화 스트립트 : speaker1: 안녕하세요~ 국어교육과 전공한 30대 여성입니다!\nspeaker2: 반갑습니다~ 저는 사학과 전공했어요! 저도 30대 여성입니다~\nspeaker1: 아하~ 저는 국어교사로 일하고있어요! 혹시 전공관련일을 하시나요..?ㅎㅎ.\nspeaker2: 전 석사 과정 밟고 있어요~ 교수님의 노예가 됐네요ㅎㅎ.\nspeaker1: 아 ㅋㅋㅋ대학원 다니시면...화이팅입니다...! 제 주변에 대학원다니는 친구가 한명있는데 고생이 많더라구요..\nspeaker2: 제가 바이올린도 가끔 켜고 야구도 자주 하고 했는데.. 대학원 다니곤 그럴 시간이 없어 연구실에서 식물 키우는 재미로 사네요ㅋㅋㅋ.\nspeaker1: 아 그럼 쉴때는 주로 식물을 키우시는건가요~? 저는 실외에서 승마하는 것을 좋아해서 승마를 즐겨요!\nspeaker2: 그냥 연구실 나갈 때 소소하게 식물 키워요~ 승마 비싼 취미 아닌가요? 여유 있으신가봐요 부럽네요ㅠㅠ.\nspeaker1: 어쩌다가 재미붙이게되었는데 후회해요 ㅋㅋㅋ돈드는게....흑흑 저는 요즘에는 거북이가 키우고싶더라구요! 거북이가 귀여워보여요 ㅎㅎ.\nspeaker2: 거북이가 수명이 길어 키우기 좋대요~ 저도 한번 키워보고 싶네요ㅋㅋ.\nspeaker1: 맞아요 오랫동안 키울수 있어서 그점도 끌리더라구요~~! 식물키우기를 좋아하시다니 되게 소박하시네요 ㅎㅎ.\nspeaker2: 그거 말곤 할 수 있는게 없기도 해서요ㅠㅠ 혹시 교사로 일하시면 방학 땐 주로 뭐하세요?\nspeaker1: 대학원생한테 말하기 좀 그렇지만 저는 이번 방학에 여행을 너무 기다리고있어요..제가 국내여행에는 관심이 없어서 이번에 해외로 여행가거든요!\nspeaker2: 영어나 제2외국어 선생님이랑 같이 가시면 언어문제도 해결되시겠어요ㅋㅋㅋ 매력있는 직업이네요~\nspeaker1: 여행메이트 만들어서 같이가면 그것도좋죠 ㅎㅎ 그런데 혼자 해외가보고도싶어서 고민중에있어요~!\nspeaker2: 어느 나라로 가세요? 저는 한번도 해외 못 가봤어요ㅠㅠ.\nspeaker1: 저는 이번에 동남아로 갈 예정이에요!ㅎㅎ전 이제 점심시간이 다가와서 밥먹으러 다녀와야겠어요. 맛점하세요!\nspeaker2: 네 저도 출출하네요! 맛있게 드세요~\nspeaker1: 아유 계속 수업하고났더니 벌써 퇴근시간이네요..ㅋㅋ.\nspeaker2: 멋지십니다! 저도 남은 연구가 조금 있는데 이따 하려고 쉬고 있어요~\nspeaker1: 그럼 하루중 대부분은 연구를 하시는거에요? 지루하지는 않으신가요?ㅠㅠ.\nspeaker2: 지루해도 별 수 있나요~ 그래도 제가 하고 싶은 일이라서 대부분 재밌어요!!\nspeaker1: 저는 핏줄부터 문과라서 하루종일 연구하라고하면 너무 힘들거같아요...ㅋㅋㅋ재밌는일 하는게 최고긴하죠 ㅎㅎ진짜 대단하세요!\nspeaker2: 저도 문과에요~ 말이 연구지 그냥 공부죠 공부ㅋㅋㅋ 감사해요~ 퇴근하곤 뭐하세요?\nspeaker1: 아 저는 요즘에 주식에 조금 재미를 붙였어요.. 저는 위험회피성향이라 주식안할줄 알았는데 소소하게 하니 나름 재밌네요 ㅎ.\nspeaker2: 어디 주식하셔서 재미 좀 보셨나요? 저는 무서워서 도전도 못하겠어요ㅠ.\nspeaker1: 아 재미를 본건아니구요 ㅋㅋㅋ어차피 잘 하지도못해서 소소하게 용돈벌이 하는거죠뭐~!ㅋㅋ.\nspeaker2: 그래도 용돈벌이 하신 다는건 잃진 않으신다는거잖아요! 재능 있으실수도?!\nspeaker1: 언젠간...잃을 수도 있겠죠..?ㅋㅋㅋ그러면 제 성향상 주식 접을거같긴해요ㅋㅋㅋㅋ.\nspeaker2: 개인적으로 주식은 상위 몇프로 제외하곤 잃을 수 밖에 없는 구조같아요.. 회피 성향이셔서 접을 것 같다는거세요?\nspeaker1: 네 맞아요 ㅎㅎ 그래서 너무 깊게 빠져서 하지는 않으려고해요..ㅋㅋ심한 사람들보면 하루종일 차트만 보고있더라구요..\nspeaker2: 제 친구도 그래요. 만나자고 해서 만나면 밥 먹으면서도 주식창만 들여다보고 기분이 나빠질 지경이었어요~\nspeaker1: 심하면 한마디 해주세요. 그거는 예의가아니라고! ㅋㅋㅋ저도 주식을 하지만 그렇게 되지않으려고 노력한답니다 ㅎ.\nspeaker2: 그래야겠어요~ 다들 적당히 할줄 알아야할텐데... 도박이랑 다를게 뭔지 싶네요~\nspeaker1: ㅋㅋㅋ저는 이제 저녁좀 먹으려구요. 얘기하느라 저녁시간 다된줄도 몰랐네요 ㅎㅎ 오늘 즐거웠어요~!\nspeaker2: 네 맛있게 드세요! 저도 저녁 먹어야겠어요..ㅎㅎ."], "outputs": ["#### 👥 30대 여성들의 직업, 취미, 일상 대화\n- 국어교사와 사학과 대학원생의 만남과 서로의 직업 소개\n- 취미 활동 공유: 교사는 승마와 거북이 키우기 관심, 대학원생은 식물 키우기와 바이올린\n- 교사의 해외여행 계획과 대학원생의 바쁜 연구 생활 비교\n- 주식 투자에 대한 의견 교환: 교사의 소소한 투자와 대학원생의 신중한 태도\n- 일과 후 활동: 교사의 주식 투자, 대학원생의 연구 지속\n- 주식 투자의 위험성과 적절한 투자 태도에 대한 토론\n- 서로의 일상과 고민을 공유하며 공감대 형성"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 대화 스크립트를 잘 요약하였으며, 핵심 내용을 충실히 반영하였다. 제목에 적절한 이모지를 사용하였고, 요약문 형식도 정확히 따랐다. 대화의 주요 주제인 직업, 취미, 여행 계획, 주식 투자 등에 대한 내용을 잘 요약하였다. 다만, 대화의 흐름을 조금 더 간결하게 요약할 수 있었을 것이다. 예를 들어, \"교사의 해외여행 계획과 대학원생의 바쁜 연구 생활 비교\"와 같은 문장은 \"교사의 해외여행 계획\"으로 간단히 표현할 수 있다. 전반적으로 요약의 질은 높으며, 언어 요구사항도 잘 준수하였다.", "judge_score": 9.0}}
{"id": 46, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 삼바의 매출 성장률을 구해주세요"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼바' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2020), 1.0 / 2) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual;\"}"], "references": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성바이오로직스' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2020), 1.0 / 2) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문을 포함하고 있다. 그러나 \"삼바\"라는 회사명은 \"삼성바이오로직스\"의 약칭으로 사용되었으나, DB 스키마에 명시된 \"corp_name\" 필드에는 \"삼성바이오로직스\"로 저장되어 있을 가능성이 높다. 따라서 \"삼바\" 대신 \"삼성바이오로직스\"를 사용해야 한다. 이로 인해 쿼리가 정확한 결과를 반환하지 못할 수 있다. 또한, Additional Reference와 비교했을 때, 모델의 쿼리는 약간의 차이가 있지만, 전반적으로 유사한 구조를 가지고 있다.", "judge_score": 6.0}}
{"id": 47, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nHMM의 2020 ~ 2022년까지 영업이익 성장률 구해줘"], "outputs": ["{\"sql_query\": \"WITH yearly_operating_income AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `영업이익` FROM ai_dart_corp_report WHERE corp_name = 'HMM' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2022) / (SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `HMM 영업이익 연평균 성장률(CAGR)` FROM dual;\"}"], "references": ["{\"sql_query\": \"WITH yearly_operating_income AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `영업이익` FROM ai_dart_corp_report WHERE corp_name = 'HMM' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2022) / (SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `HMM 영업이익 연평균 성장률(CAGR)` FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 충실히 반영하고 있습니다. 답변은 JSON 형식으로 구성되었으며, \"sql_query\" 필드에 적절한 SQL 쿼리가 포함되어 있습니다. SQL 쿼리는 Additional Reference와 일치하며, HMM의 2020년부터 2022년까지의 영업이익 성장률을 계산하는 데 필요한 조건들을 모두 충족하고 있습니다. 언어 요구사항도 준수하여 한국어로 답변을 작성하였습니다.", "judge_score": 10.0}}
{"id": 48, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2019년부터 2022년까지 위니아의 매출 성장률 알려줘"], "outputs": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '위니아' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2019), 1.0 / 3) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual;\"}"], "references": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '위니아' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2019), 1.0 / 3) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 충실히 반영하고 있습니다. SQL 쿼리는 Additional Reference와 일치하며, JSON 형식으로 정확하게 구성되었습니다. \"sql_query\"의 기본값이 빈 스트링(\"\")이 아닌, 실제로 SQL 쿼리를 생성하여 입력하였고, 이는 질문의 조건을 만족합니다. 또한, DB 스키마와 조건을 고려하여 적절한 SQL 문을 생성하였습니다. 언어 요구사항도 충족하여 한국어로 답변을 작성하였습니다.", "judge_score": 10.0}}
{"id": 50, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n엘지이노텍의 2021~ 2023년 중 최대 영업이익과 최소 영업이익을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'LG이노텍' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'LG이노텍' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하였다. SQL 쿼리의 내용은 Additional Reference와 거의 일치하며, 조건을 충족하고 있다. 다만, Additional Reference에서 LIMIT 20 조건이 포함되어 있었으나, 모델의 답변에서는 이 부분이 누락되었다. 이로 인해 쿼리 결과의 제한이 없다는 점이 아쉽다.", "judge_score": 9.0}}
{"id": 39, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n신일전자 최근 5년의 순이익이 얼만가요 ?"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '신일전자' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW());\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '신일전자' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 생성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 또한, 질문의 요구사항을 충분히 반영하여 최근 5년의 순이익을 조회하는 쿼리를 생성한 점은 긍정적입니다. 하지만 LIMIT 조건의 누락은 중요한 부분이므로 아쉬운 점으로 평가됩니다.", "judge_score": 8.0}}
{"id": 54, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한화 솔루션의 2019년부터 2020년까지의 평균 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 순이익' FROM ai_dart_corp_report WHERE corp_name = '한화 솔루션' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 순이익' FROM ai_dart_corp_report WHERE corp_name = '한화솔루션' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문도 적절하게 생성되었습니다. 그러나 \"한화 솔루션\"이라는 회사 이름에서 공백이 추가된 점이 Additional Reference와 다릅니다. 이로 인해 쿼리가 의도한 데이터를 정확히 반환하지 못할 가능성이 있습니다. 또한, LIMIT 20 조건이 누락되었습니다. 이 두 가지 차이점이 SQL 쿼리의 정확성에 영향을 미칠 수 있습니다.", "judge_score": 7.0}}
{"id": 58, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 금양의 매출액 증가/감소 추세를 알려줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '금양' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '금양' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 대부분 충족하고 있습니다. JSON 형식을 준수하였고, SQL 쿼리문도 적절하게 생성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다소 차이가 날 수 있습니다. 그러나 전체적인 쿼리 구조와 조건은 정확하게 반영되었습니다.", "judge_score": 9.0}}
{"id": 36, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n에어부산의 3년간 영업이익률"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '에어부산' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '에어부산' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 DB 스키마, 조건을 충실히 반영하고 있습니다. JSON 형식으로 답변을 제공하였고, \"sql_query\"의 값도 적절하게 작성되었습니다. SQL 쿼리는 Additional Reference와 일치하며, 에어부산의 3년간 영업이익률을 계산하는 데 필요한 조건들을 모두 포함하고 있습니다. 특히, '영업이익'과 '매출액' 계정명을 사용하여 영업이익률을 계산하고, '연결재무제표'를 기준으로 데이터를 필터링하는 부분이 정확합니다. 또한, 'bsns_year'를 현재 연도를 기준으로 3년간의 데이터를 가져오는 조건도 잘 반영되었습니다.", "judge_score": 10.0}}
{"id": 40, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 유한양행의 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '유한양행' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '유한양행' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었다. 이로 인해 쿼리 결과가 예상보다 많아질 수 있다. 그 외에는 질문의 요구사항을 잘 반영하여 유한양행의 2020년부터 2022년까지의 순이익을 조회하는 쿼리를 정확히 작성하였다.", "judge_score": 9.0}}
{"id": 45, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n농심과 오리온의 2019~2020 순이익 비교"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name IN ('농심', '오리온') AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name IN ('농심', '오리온') AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많아질 수 있습니다. 그 외에는 쿼리의 구조와 내용이 Additional Reference와 일치합니다.", "judge_score": 8.0}}
{"id": 57, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nBYC 2017년부터 2019년까지 누적 순이익 알려줘"], "outputs": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 순이익' FROM ai_dart_corp_report WHERE corp_name = 'BYC' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2019;\"}"], "references": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 순이익' FROM ai_dart_corp_report WHERE corp_name = 'BYC' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2019 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하였다. SQL 쿼리의 내용은 Additional Reference와 거의 일치하며, 필요한 조건들을 모두 포함하고 있다. 다만, Additional Reference에서 LIMIT 20 조건이 포함되어 있었으나, 모델의 답변에서는 이 조건이 누락되었다. 이로 인해 쿼리 결과의 제한이 없을 수 있다. 그러나 이 부분은 큰 오류는 아니며, 전체적인 쿼리의 정확성에는 큰 영향을 미치지 않는다.", "judge_score": 9.0}}
{"id": 42, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n교보증권의 2018년에서 2022년까지의 부채비율 말해"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '교보증권' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2018 AND 2022 GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '교보증권' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2018 AND 2022 GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건과 DB 스키마를 충실히 반영하여 SQL 쿼리를 생성하였습니다. JSON 형식으로 답변을 제공하였고, \"sql_query\" 필드에 적절한 SQL 쿼리를 포함하였습니다. 쿼리 내용은 Additional Reference와 일치하며, 교보증권의 2018년에서 2022년까지의 부채비율을 계산하는 데 필요한 조건들을 모두 포함하고 있습니다. 따라서 모델의 답변은 정확하고 요구사항을 잘 충족하고 있습니다.", "judge_score": 10.0}}
{"id": 51, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nGS의 2021년부터 2023년까지의 최대 영업이익과 최소 영업이익 작성"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'GS' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'GS' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 Additional Reference와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 쿼리의 구조와 내용이 Additional Reference와 일치합니다.", "judge_score": 8.0}}
{"id": 56, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2023년까지 아모레퍼시픽의 누적 매출액을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 매출액' FROM ai_dart_corp_report WHERE corp_name = '아모레퍼시픽' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 매출액' FROM ai_dart_corp_report WHERE corp_name = '아모레퍼시픽' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하여 SQL 쿼리를 생성하였습니다.", "judge_score": 8.0}}
{"id": 52, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2022년까지 대상의 평균 영업이익을 알려줘"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 영업이익' FROM ai_dart_corp_report WHERE account_nm = '영업이익' AND fs_nm = '연결재무제표' AND corp_name = '대상' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2022;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 영업이익' FROM ai_dart_corp_report WHERE account_nm = '영업이익' AND fs_nm = '연결재무제표' AND corp_name = '대상' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, \"sql_query\" 필드에 적절한 SQL 쿼리를 생성하였습니다. SQL 쿼리의 내용도 Additional Reference와 거의 일치하며, 필요한 조건들을 모두 포함하고 있습니다. 다만, Additional Reference에서 LIMIT 20 조건이 포함되어 있었으나, 모델의 답변에서는 이 조건이 누락되었습니다. 이 부분이 아쉬운 점입니다.", "judge_score": 9.0}}
{"id": 49, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2023년까지 농심의 최대 매출과 최소 매출을 알려줘"], "outputs": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 매출', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 매출' FROM ai_dart_corp_report WHERE corp_name = '농심' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 매출', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 매출' FROM ai_dart_corp_report WHERE corp_name = '농심' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하여 최대 매출과 최소 매출을 구하는 SQL 쿼리를 작성하였습니다.", "judge_score": 8.0}}
{"id": 61, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년과 2022년  엔에이치엔의 유동자산을 비교해줘."], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '유동자산' FROM ai_dart_corp_report WHERE corp_name = '엔에이치엔' AND account_nm = '유동자산' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2022);\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '유동자산' FROM ai_dart_corp_report WHERE corp_name = '엔에이치엔' AND account_nm = '유동자산' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2022) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다소 많아질 수 있습니다. 그러나 이 부분은 큰 오류는 아니며, 전체적인 쿼리 구조와 조건은 정확하게 반영되었습니다.", "judge_score": 9.0}}
{"id": 60, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한일시멘트의 2019~2022 순이익 증가/감소 추세 보여줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '한일시멘트' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022 ORDER BY bsns_year;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '한일시멘트' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 그러나 \"Additional Reference\"와 비교했을 때, LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 쿼리의 구조와 내용이 적절하게 작성되었습니다.", "judge_score": 8.0}}
{"id": 59, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n대웅제약의 2020 ~ 2022년까지 영업이익 증가/감소 추세를 알려주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '영업이익' FROM ai_dart_corp_report WHERE corp_name = '대웅제약' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '영업이익' FROM ai_dart_corp_report WHERE corp_name = '대웅제약' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 정확히 생성하였으며, JSON 형식을 준수하고 있다. \"sql_query\"의 값은 Additional Reference와 거의 일치하며, 주요 조건들을 모두 충족하고 있다. 다만, LIMIT 20 조건이 누락되었으나, 이는 질문의 요구사항을 충족하는 데 큰 영향을 미치지 않는다. 따라서 모델의 답변은 매우 적절하다.", "judge_score": 9.0}}
{"id": 62, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n신성이엔지의 2020, 2021년 자산총계 비교해줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '자산총계' FROM ai_dart_corp_report WHERE corp_name = '신성이엔지' AND account_nm = '자산총계' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2021);\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '자산총계' FROM ai_dart_corp_report WHERE corp_name = '신성이엔지' AND account_nm = '자산총계' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2021) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 예상보다 많을 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, DB 스키마와 조건을 고려한 SQL문을 생성하였습니다.", "judge_score": 9.0}}
{"id": 33, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n태경산업의 2021년 매출 보여줘"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '태경산업' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2021;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '태경산업' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2021 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 대부분 충족하고 있습니다. JSON 형식으로 답변을 제공하였고, SQL 쿼리문도 적절하게 작성되었습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락되었습니다. 이로 인해 쿼리 결과가 다를 수 있습니다. 그 외에는 질문의 요구사항을 잘 반영하였고, DB 스키마와 조건을 잘 고려한 것으로 보입니다.", "judge_score": 8.0}}
{"id": 55, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n대한항공의 2021년부터 2023년까지 누적 영업이익울 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 영업이익' FROM ai_dart_corp_report WHERE corp_name = '대한항공' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 GROUP BY bsns_year, corp_name;\"}"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 영업이익' FROM ai_dart_corp_report WHERE corp_name = '대한항공' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 충실히 반영하고 있습니다. JSON 형식으로 답변을 구성하였고, \"sql_query\" 필드에 적절한 SQL 쿼리를 포함하였습니다. SQL 쿼리는 대한항공의 2021년부터 2023년까지의 누적 영업이익을 구하는 데 필요한 조건들을 모두 포함하고 있습니다. Additional Reference와 비교했을 때, LIMIT 20 조건이 누락된 점이 아쉽지만, 이는 필수 조건은 아니므로 큰 문제는 아닙니다. 전반적으로 질문의 요구사항을 잘 반영한 답변입니다.", "judge_score": 9.0}}
{"id": 53, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한진의 2021년부터 2023년까지 평균 매출을 구해주세요"], "outputs": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 매출' FROM ai_dart_corp_report WHERE corp_name = '한진' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023;\"}"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 매출' FROM ai_dart_corp_report WHERE corp_name = '한진' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 잘 충족하고 있습니다. JSON 형식을 정확히 따랐으며, SQL 쿼리문도 적절하게 작성되었습니다. 특히, '한진'의 2021년부터 2023년까지의 평균 매출을 구하는 데 필요한 조건들을 모두 포함하고 있습니다. 다만, Additional Reference와 비교했을 때 LIMIT 20 조건이 누락된 점이 아쉽습니다. 이 부분이 큰 영향을 미치지는 않지만, 주어진 참조 답변을 완전히 따르지 않았다는 점에서 약간의 감점 요인이 됩니다.", "judge_score": 9.0}}