{"id": 26, "category": "lotte_qa", "questions": ["L-SWAT이 뭐야"], "outputs": ["\"L-SWAT\"는 명확한 정보가 부족하여 정확한 설명이 어려울 정도로 구체적이지 않습니다. \"L\"과 \"SWAT\"의 의미를 더 자세히 설명해주실 수 있으신가요? \"SWAT\"는 Special Weapons and Tactics의 약자로 특수무기 및 전술 팀을 의미하지만, \"L\"의 의미는 알려지지 않았습니다."], "references": ["Lotte(World Tower) - Special Weapons And Tactics, 롯데에서 운영하는 국내 최초이자 유일의 민간 테러대응팀, 계획적인 테러 위협을 롯데그룹 차원에서 직접 대비하기 위한 조직 "], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. \"L-SWAT\"에 대한 명확한 정보를 제공하지 않았으며, 추가적인 설명을 요구하는 형태로 답변을 마무리했습니다. 또한, Additional Reference에 제공된 정보를 전혀 반영하지 않았습니다. 언어 요구사항은 충족했으나, 답변의 질적 측면에서 매우 부족합니다.", "judge_score": 2.0}}
{"id": 12, "category": "task_assistant_mail_introduce", "questions": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 고객님\n회사명: 롯데이노베이트\n회사 소개: IT로 더욱 가치있는 미래 세상을 만듭니다. 유통, 제조, 물류, 금융, 헬스케어 등 전 산업의 IT 노하우와 기술력을 기반으로, AI, Bigdata, IoT, Cloud 등 신기술을 접목하여 편리한 세상, 스마트한 미래를 만들어 나가겠습니다.\n주요 제품/서비스: IT로 더욱 가치있는 미래 세상을 만듭니다. 유통, 제조, 물류, 금융, 헬스케어 등 전 산업의 IT 노하우와 기술력을 기반으로, AI, Bigdata, IoT, Cloud 등 신기술을 접목하여 편리한 세상, 스마트한 미래를 만들어 나가겠습니다.\n회사 웹사이트:"], "outputs": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 고객님\n\n제목: 롯데이노베이트의 혁신적인 솔루션 소개\n\n안녕하세요, 고객님.\n\n롯데이노베이트의 AI 기술팀 김롯데입니다. 이메일을 통해 저희 롯데이노베이트의 최신 정보와 혁신적인 솔루션을 소개드리고자 합니다.\n\n롯데이노베이트는 IT 기술을 활용하여 더욱 가치 있는 미래 세상을 만들어가는 것을 목표로 합니다. 저희는 유통, 제조, 물류, 금융, 헬스케어 등 다양한 산업의 IT 노하우와 기술력을 바탕으로, AI, Bigdata, IoT, Cloud 등 최신 신기술을 접목하여 편리하고 스마트한 미래를 만들어 나가고 있습니다.\n\n우리의 주요 제품 및 서비스는 다음과 같습니다:\n- AI 기반의 데이터 분석 및 예측 모델\n- Bigdata 활용을 통한 비즈니스 인사이트 제공\n- IoT 기반의 자동화 솔루션\n- Cloud 기반의 클라우드 컴퓨팅 및 저장 솔루션\n\n롯데이노베이트의 이러한 혁신적인 솔루션은 고객님의 비즈니스 성과 향상과 효율적인 운영을 위한 강력한 도구가 될 것입니다. 더 자세한 정보를 원하시면 언제든지 저희에게 연락주시기 바랍니다.\n\n롯데이노베이트의 웹사이트를 방문해 주시면 더욱 자세한 정보를 얻으실 수 있습니다. \n\n웹사이트: [롯데이노베이트 웹사이트 주소]\n\n감사합니다.\n\n롯데이노베이트 AI 기술팀 김롯데"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 충실히 반영하였다. 정중하고 전문적인 어투로 기업을 소개하는 메일을 작성하였으며, 회사의 주요 제품 및 서비스에 대한 설명도 잘 포함되어 있다. 다만, 웹사이트 주소가 제공되지 않았기 때문에 \"웹사이트: [롯데이노베이트 웹사이트 주소]\" 부분이 비어 있는 점이 아쉽다. 언어 요구사항을 충족하여 한국어로 작성되었으며, 전체적인 문맥과 내용이 적절하다.", "judge_score": 9.0}}
{"id": 8, "category": "meeting_summary", "questions": ["## 대화 스트립트 : speaker1: 안녕하세요~ 국어교육과 전공한 30대 여성입니다!\nspeaker2: 반갑습니다~ 저는 사학과 전공했어요! 저도 30대 여성입니다~\nspeaker1: 아하~ 저는 국어교사로 일하고있어요! 혹시 전공관련일을 하시나요..?ㅎㅎ.\nspeaker2: 전 석사 과정 밟고 있어요~ 교수님의 노예가 됐네요ㅎㅎ.\nspeaker1: 아 ㅋㅋㅋ대학원 다니시면...화이팅입니다...! 제 주변에 대학원다니는 친구가 한명있는데 고생이 많더라구요..\nspeaker2: 제가 바이올린도 가끔 켜고 야구도 자주 하고 했는데.. 대학원 다니곤 그럴 시간이 없어 연구실에서 식물 키우는 재미로 사네요ㅋㅋㅋ.\nspeaker1: 아 그럼 쉴때는 주로 식물을 키우시는건가요~? 저는 실외에서 승마하는 것을 좋아해서 승마를 즐겨요!\nspeaker2: 그냥 연구실 나갈 때 소소하게 식물 키워요~ 승마 비싼 취미 아닌가요? 여유 있으신가봐요 부럽네요ㅠㅠ.\nspeaker1: 어쩌다가 재미붙이게되었는데 후회해요 ㅋㅋㅋ돈드는게....흑흑 저는 요즘에는 거북이가 키우고싶더라구요! 거북이가 귀여워보여요 ㅎㅎ.\nspeaker2: 거북이가 수명이 길어 키우기 좋대요~ 저도 한번 키워보고 싶네요ㅋㅋ.\nspeaker1: 맞아요 오랫동안 키울수 있어서 그점도 끌리더라구요~~! 식물키우기를 좋아하시다니 되게 소박하시네요 ㅎㅎ.\nspeaker2: 그거 말곤 할 수 있는게 없기도 해서요ㅠㅠ 혹시 교사로 일하시면 방학 땐 주로 뭐하세요?\nspeaker1: 대학원생한테 말하기 좀 그렇지만 저는 이번 방학에 여행을 너무 기다리고있어요..제가 국내여행에는 관심이 없어서 이번에 해외로 여행가거든요!\nspeaker2: 영어나 제2외국어 선생님이랑 같이 가시면 언어문제도 해결되시겠어요ㅋㅋㅋ 매력있는 직업이네요~\nspeaker1: 여행메이트 만들어서 같이가면 그것도좋죠 ㅎㅎ 그런데 혼자 해외가보고도싶어서 고민중에있어요~!\nspeaker2: 어느 나라로 가세요? 저는 한번도 해외 못 가봤어요ㅠㅠ.\nspeaker1: 저는 이번에 동남아로 갈 예정이에요!ㅎㅎ전 이제 점심시간이 다가와서 밥먹으러 다녀와야겠어요. 맛점하세요!\nspeaker2: 네 저도 출출하네요! 맛있게 드세요~\nspeaker1: 아유 계속 수업하고났더니 벌써 퇴근시간이네요..ㅋㅋ.\nspeaker2: 멋지십니다! 저도 남은 연구가 조금 있는데 이따 하려고 쉬고 있어요~\nspeaker1: 그럼 하루중 대부분은 연구를 하시는거에요? 지루하지는 않으신가요?ㅠㅠ.\nspeaker2: 지루해도 별 수 있나요~ 그래도 제가 하고 싶은 일이라서 대부분 재밌어요!!\nspeaker1: 저는 핏줄부터 문과라서 하루종일 연구하라고하면 너무 힘들거같아요...ㅋㅋㅋ재밌는일 하는게 최고긴하죠 ㅎㅎ진짜 대단하세요!\nspeaker2: 저도 문과에요~ 말이 연구지 그냥 공부죠 공부ㅋㅋㅋ 감사해요~ 퇴근하곤 뭐하세요?\nspeaker1: 아 저는 요즘에 주식에 조금 재미를 붙였어요.. 저는 위험회피성향이라 주식안할줄 알았는데 소소하게 하니 나름 재밌네요 ㅎ.\nspeaker2: 어디 주식하셔서 재미 좀 보셨나요? 저는 무서워서 도전도 못하겠어요ㅠ.\nspeaker1: 아 재미를 본건아니구요 ㅋㅋㅋ어차피 잘 하지도못해서 소소하게 용돈벌이 하는거죠뭐~!ㅋㅋ.\nspeaker2: 그래도 용돈벌이 하신 다는건 잃진 않으신다는거잖아요! 재능 있으실수도?!\nspeaker1: 언젠간...잃을 수도 있겠죠..?ㅋㅋㅋ그러면 제 성향상 주식 접을거같긴해요ㅋㅋㅋㅋ.\nspeaker2: 개인적으로 주식은 상위 몇프로 제외하곤 잃을 수 밖에 없는 구조같아요.. 회피 성향이셔서 접을 것 같다는거세요?\nspeaker1: 네 맞아요 ㅎㅎ 그래서 너무 깊게 빠져서 하지는 않으려고해요..ㅋㅋ심한 사람들보면 하루종일 차트만 보고있더라구요..\nspeaker2: 제 친구도 그래요. 만나자고 해서 만나면 밥 먹으면서도 주식창만 들여다보고 기분이 나빠질 지경이었어요~\nspeaker1: 심하면 한마디 해주세요. 그거는 예의가아니라고! ㅋㅋㅋ저도 주식을 하지만 그렇게 되지않으려고 노력한답니다 ㅎ.\nspeaker2: 그래야겠어요~ 다들 적당히 할줄 알아야할텐데... 도박이랑 다를게 뭔지 싶네요~\nspeaker1: ㅋㅋㅋ저는 이제 저녁좀 먹으려구요. 얘기하느라 저녁시간 다된줄도 몰랐네요 ㅎㅎ 오늘 즐거웠어요~!\nspeaker2: 네 맛있게 드세요! 저도 저녁 먹어야겠어요..ㅎㅎ."], "outputs": ["#### 📘\n- 30대 여성 교사와 대학원생이 각각 국어교사와 연구를 주제로 대화를 나누며, 대학원 생활의 어려움과 여가 활동, 여행, 주식에 대한 이야기를 나눕니다.\n- 두 사람은 서로의 생활과 취미에 대해 공감하며, 대학원 생활의 고충과 여가 활동의 중요성을 강조합니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 대화 스크립트를 요약하는 데 있어 핵심 내용을 잘 반영하고 있습니다. 두 사람의 직업과 주요 대화 주제인 대학원 생활, 여가 활동, 여행, 주식에 대한 이야기를 간결하게 요약했습니다. 그러나 요약문 형식에서 요구된 이모지가 제목 맨 앞에 위치하지 않고, 제목 뒤에 위치한 점은 아쉽습니다. 또한, 요약문이 두 개로 나뉘어야 하는데 하나로 통합된 점도 형식적인 요구사항을 완전히 충족하지 못했습니다.", "judge_score": 7.0}}
{"id": 7, "category": "review_summary", "questions": ["## 상품명:조셉앤스테이시 가방 100종 모음\n\n## 상품 리뷰:\n1. 출국할때 면세로 사려다 여러개 사는게 아니면 면세도 그닥 저렴하지않아서 패스했다. 그런데 어제 쇼핑몰 둘러보다 쿠폰먹이면 면세가격이랑 비슷하길래 그냥 질러버림. 기본 단색이랑 스태리펄이랑 고민하다 원래 사려던 골드로… 한참 유행할때 쳐다도 안보던 가방인데 왜 뒤늦게 꽂혀서..... 니트라 쳐짐 걱정 살짝있었는데 그리 얇지않아서 지갑, 자동차키,폰 넣고 저정도 핏이다. 첨엔 생각보다 작다했는데 나름귀엽다. 이 나이에 귀여울일인가 싶지만...ㅎㅎㅎ 자기만족....♡♡♡  골드 들어보고 손자주가면 봄에 젤리그린하나 더 사야겠다.​ #조셉니트백 #조셉스태리골드 #조셉니트백S #니트백 #조셉스테이시 #스태리골드S 2. 평소에 에코백 종류를 좋아하고 사용을 합니다. 사이즈가 작지만 카드지갑,폰,파우치,물티슈 정도 넣으면 딱인것 같아요. 축 쳐짐도 생각 보다 없어서 좀 놀랐어요.  가볍게 필요한 것만 넣고 다니기에는 사이즈가 작음에도 불구하고 괜찮은 것 같어요. 무엇 보다 약간의 반짝임이 있어서 저는 참 마음에 듭니다.  그리고 끈을 묶을 수 있는 고리가 있는데 이 부분은 키링 같은 것을 달 수도 있어서 … 이 부분이 마음에 드네요. 일단 사계절 사용하기에 무난한 블랙을 구입 했는데.. 내년 봄여름 용으로 밝은색으로도 하나 더 세일 할때 구입을 하고 싶네요. 3. 네이비 M반짝이 가방을 사고 넘 맘에 들어 골드랑 검정 S사이즈 반짝이로 또 구매했습니다..친구가 검정,골드 들고다는거 보고 고민없이 같은 사이즈로  구매했어요..실물을 봤으니 더기대하고 기다렸는데 검정 가방이 반짝이가 제가 들고있는 네이비에비해 넘 표시가 덜나고 친구가방 보다도 차이가 확실히 나네요ㅠㅠ  같이 온 골드는 넘 맘에 드는데 검정은 아쉬움이 많이 남네요..반짝이가 넘 빈약합니다ㅠㅠ"], "outputs": ["조셉앤스테이시 가방 100종 모음은 다양한 색상과 디자인으로 구성되어 있으며, 사용자들은 기본 단색 가방과 스태리펄 가방을 고민하다 골드 색상의 가방을 선택했습니다. 가방은 지갑, 키, 핸드폰 등을 넣을 수 있으며, 사이즈는 작지만 필요한 물건만 넣으면 딱 맞는 크기입니다. 가방은 블랙, 골드, 네이비 등 다양한 색상으로 출시되어 있으며, 봄이나 여름용으로 밝은 색상의 가방을 추가로 구매할 계획입니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 대체로 충족하였으나, 부정적인 내용을 완전히 배제하지는 못했다. 예를 들어, \"검정 가방이 반짝이가 제가 들고있는 네이비에비해 넘 표시가 덜나고 친구가방 보다도 차이가 확실히 나네요\"와 같은 부정적인 내용이 요약에 포함되지 않았다. 또한, \"니트라 쳐짐 걱정 살짝있었는데\"와 같은 부정적인 내용도 포함되지 않았다. 그러나 전반적으로 상품명과 긍정적인 내용은 잘 반영되었다.", "judge_score": 7.0}}
{"id": 23, "category": "lotte_qa", "questions": ["롯데 창립일과 창업주가 누구야"], "outputs": ["롯데그룹의 창립일은 1967년 10월 1일이며, 창업주는 신격호 장군입니다."], "references": ["1948년 6월 28일, 신격호"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 부분적으로 충족하지 못했습니다. 롯데그룹의 창립일은 1948년 6월 28일로, 모델이 제공한 1967년 10월 1일은 잘못된 정보입니다. 또한, 신격호는 '장군'이 아니라 기업가입니다. 언어 요구사항은 충족했으나, 중요한 정보가 잘못 전달되었습니다.", "judge_score": 3.0}}
{"id": 21, "category": "mrc_summary", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분  AS-IS  TO-BE 신규고객  심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 :  2024.05.09. (목) 오전08:30 4. 문의 :  심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "outputs": ["관련 정보를 찾을 수 없습니다. 질문과 직접적으로 관련된 내용이 문서 내에 포함되어 있지 않습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충분히 반영하지 못했습니다. 문서 내에는 보험 손해율과 관련된 정보가 포함되어 있으며, 특히 \"사고손해율우량\"과 관련된 할인 정보가 여러 차례 언급되고 있습니다. 따라서 \"관련 정보를 찾을 수 없습니다\"라는 답변은 부적절합니다. 모델은 문서 내에서 손해율과 관련된 정보를 추출하여 요약했어야 합니다.", "judge_score": 2.0}}
{"id": 9, "category": "task_assistant_mail_meeting", "questions": ["보내는 사람: AI기술팀 김롯데\n받는 사람: AI기술팀 박롯데\n회의 목적: 현재 개발중인 플랫폼 내 기능 구현에 대한 의견 수렴\n회의 날짜: 2024-07-10\n회의 장소: 롯데이노베이트 15층 대회의실"], "outputs": ["제목: 회의 요청 - 플랫폼 기능 구현에 대한 의견 수렴\n\n안녕하세요, 박롯데님,\n\nAI 기술팀 김롯데입니다.\n\n현재 개발 중인 플랫폼 내 기능 구현에 대한 의견을 수렴하기 위해 다음 날짜와 장소에서 회의를 요청드립니다.\n\n**회의 정보:**\n- **목적:** 플랫폼 기능 구현에 대한 의견 수렴\n- **날짜:** 2024년 7월 10일\n- **시간:** [시간을 추가해주세요]\n- **장소:** 롯데이노베이트 15층 대회의실\n\n회의는 플랫폼 개발의 중요한 단계를 맞이하여, 각 팀원들의 의견을 공유하고 최적의 방향성을 모색하기 위해 마련되었습니다. 회의에 참석해 주시면 감사하겠습니다.\n\n참석이 어려우시다면, 미리 알려주시면 다른 날짜를 조정해 드리겠습니다.\n\n감사합니다.\n\n最好的方式是直接翻译成英文，这样更符合国际化的标准。以下是翻译后的版本：\n\n---\n\nSubject: Meeting Request - Opinions on Platform Feature Implementation\n\nHello Park Lotde,\n\nThis is Kim Lotde from the AI Technology Team.\n\nI would like to request a meeting to gather opinions on the implementation of features for our current platform development. \n\n**Meeting Details:**\n- **Purpose:** Opinions on platform feature implementation\n- **Date:** July 10, 2024\n- **Time:** [Please add the time]\n- **Location:** Lotte Innovate 15th Floor Conference Room\n\nThe meeting is scheduled to discuss and align on the best approach for implementing features in our platform, as we are at a critical stage in the development process. Your participation is greatly appreciated.\n\nIf you are unable to attend, please let me know so we can reschedule.\n\nThank you.\n\nBest regards,\nKim Lotde\nAI Technology Team\n\n如果有任何特定的时间需求或其他细节需要添加，请告知。"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question을 충실히 반영하여 회의 요청 메일을 작성하였다. 회의 목적, 날짜, 장소 등 필수 정보를 정확히 포함하고 있으며, 회의의 중요성을 강조하는 내용도 잘 담겨 있다. 그러나 답변의 마지막 부분에서 중국어와 영어로 번역된 내용을 포함한 것은 언어 요구사항을 위반한 것이다. 한국어로만 답변해야 하는 규칙을 어겼기 때문에, 이 부분은 큰 감점 요인이다.", "judge_score": 4.0}}
{"id": 3, "category": "search_keyword", "questions": ["차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문은?"], "outputs": ["차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문을 찾는다면, 다음과 같은 키워드를 사용해보세요:\n\n1. \"최적화된 연료 효율\"\n2. \"차량 엔진 효율성\"\n3. \"신개념 엔진 설계\"\n4. \"엔진 관리 시스템\"\n5. \"연료 경제성 향상\"\n6. \"엔진 성능 최적화\"\n7. \"차량 연료 효율 연구\"\n8. \"신기술 적용을 통한 연료 효율 개선\"\n9. \"엔진 설계 최적화\"\n10. \"차량 연료 효율성 향상\"\n\n이 키워드들을 이용해 Google Scholar, ScienceDirect, IEEE Xplore, SpringerLink 등의 학술 자료베이스를 검색해보세요. 또한, 최신 자동차 엔지니어링 및 기술 관련 학술지나 컨퍼런스 논문들을 찾아보는 것도 도움이 될 것입니다."], "references": ["차량 엔진 내 연료 효율 극대화 방법 논문"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하여, 차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문을 찾기 위한 키워드를 제시하고 있다. 제시된 키워드들은 Additional Reference와 잘 일치하며, 다양한 측면에서 연료 효율을 극대화하는 방법을 포괄하고 있다. 또한, 학술 자료베이스를 제안하여 추가적인 검색 방법을 제공한 점도 긍정적이다. 언어 요구사항도 충실히 준수하여 한국어로 답변을 작성하였다.", "judge_score": 10.0}}
{"id": 1, "category": "search_keyword", "questions": ["음 그렇다면 세입자가 먼저 확정일자 신고를 해서 전세자금 전체를 보호받고 있음에도 소액임차보증금을 변제하는건 이중변제 아닌가 싶은데 어떻게 생각해?"], "outputs": ["세입자가 확정일자 신고를 해서 전세자금 전체를 보호받고 있지만, 소액의 임차보증금을 변제하는 경우 이중변제라고 볼 수는 없습니다. \n\n이유는 다음과 같습니다:\n\n1. 확정일자 신고는 전세자금 대출을 보호하는 제도로, 주택담보대출과 관련이 있습니다. \n\n2. 임차보증금은 임대차 관계에서 세입자가 임차인의 신용을 보증하기 위해 낸 돈으로, 이는 주택담보대출과는 별개의 개념입니다.\n\n3. 임차보증금은 임대차 계약에 따라 변제되는 돈으로, 이는 세입자의 책임 내에서 이루어지는 것이며, 이는 확정일자 신고와는 별개의 사안입니다.\n\n따라서, 전세자금 대출을 보호하는 확정일자 신고와 임차보증금 변제는 서로 다른 개념이며, 이중변제라고 볼 수는 없습니다."], "references": ["전세자금 보호 중 소액임차보증금 변제 시 이중변제 여부"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 질문은 세입자가 확정일자 신고를 통해 전세자금을 보호받고 있는 상황에서 소액임차보증금을 변제하는 것이 이중변제인지에 대한 의견을 묻고 있습니다. 그러나 모델의 답변은 확정일자 신고와 임차보증금의 개념을 설명하는 데 집중하고 있으며, 이중변제 여부에 대한 명확한 답변을 제공하지 않았습니다. 또한, 답변의 논리적 연결이 부족하여 질문에 대한 명확한 답변을 제공하지 못했습니다. 언어 요구사항은 충족되었으나, 답변의 질적 측면에서 부족함이 있습니다.", "judge_score": 4.0}}
{"id": 4, "category": "search_keyword", "questions": ["세상에서 가장 맛있는 음식을 알려주고 추천해줘"], "outputs": ["세상에서 가장 맛있는 음식은 개인의 취향에 따라 다르지만, 다양한 음식 문화를 고려해보면 몇 가지 추천할 수 있습니다:\n\n1. 김치: 한국의 전통 음식으로, 다양한 재료와 맛의 조합이 가능합니다.\n2. 파스타: 이탈리아 요리로, 다양한 종류와 맛의 조합이 가능합니다.\n3. 불고기: 한국의 전통 음식으로, 고기와 야채의 조합이 특징입니다.\n4. 타코: 멕시코 요리로, 다양한 재료와 맛의 조합이 가능합니다.\n5. 라멘: 일본의 전통 음식으로, 다양한 종류와 맛의 조합이 가능합니다.\n\n이 중에서 개인의 취향과 문화적 배경에 따라 가장 맛있는 음식을 선택할 수 있을 것입니다."], "references": ["세상에서 가장 맛있는 음식 추천"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충실히 반영하여 다양한 음식을 추천하고 있습니다. 김치, 파스타, 불고기, 타코, 라멘 등 여러 나라의 대표 음식을 언급하며, 개인의 취향에 따라 선택할 수 있도록 안내하고 있습니다. 그러나 \"인터넷 검색을 위한 키워드 생성해줘\"라는 Instruct를 따르지 않았습니다. 또한, Additional Reference에 있는 \"세상에서 가장 맛있는 음식 추천\"이라는 키워드를 포함하지 않았습니다. 언어 요구사항은 충족하였으나, Instruct를 따르지 않은 점이 아쉽습니다.", "judge_score": 5.0}}
{"id": 25, "category": "lotte_qa", "questions": ["SKY31 컨벤션에 대해 설명해줘"], "outputs": ["SKY31 컨벤션에 대한 정보는 구체적으로 제공되지 않았습니다. \"SKY31\"이라는 용어는 다양한 맥락에서 사용될 수 있으며, 특정 회사나 장소, 이벤트 등을 가리킬 수 있습니다. \n\n더 정확한 정보를 제공하기 위해서는 추가적인 맥락이 필요합니다. 예를 들어, \"SKY31\"이 어떤 회사의 이름인지, 또는 어떤 컨벤션을 가리키는지 등에 대한 정보가 필요합니다. \n\n만약 \"SKY31\"이 특정 회사의 컨벤션을 가리키는 경우, 그 회사의 이름이나 더 많은 상세 정보를 제공해 주시면, 더 정확한 정보를 제공할 수 있습니다."], "references": ["롯데물산이 운영하는 회의 시설"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 질문은 SKY31 컨벤션에 대한 설명을 요구했으나, 모델은 구체적인 정보를 제공하지 않고 추가적인 맥락이 필요하다고 언급했습니다. Additional Reference에 따르면, SKY31 컨벤션은 롯데물산이 운영하는 회의 시설임을 명확히 알 수 있습니다. 모델은 이 정보를 포함하지 않았으며, 따라서 답변이 불충분합니다. 또한, 답변은 한국어로 작성되었으므로 언어 요구사항은 충족되었습니다.", "judge_score": 3.0}}
{"id": 19, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT department, AVG(expense) AS average_expense FROM finance_expenses GROUP BY department;\n\n## SQL 실행결과-1:\n부서:\nHR\n평균 지출:\n5000\n\n## SQL 실행결과-2:\n부서:\nIT\n평균 지출:\n7500\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n각 부서별 평균 지출을 알려줘."], "outputs": ["{\n  \"answer\": \"HR 부서의 평균 지출은 5000원이고, IT 부서의 평균 지출은 7500원입니다.\"\n}\n\n언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요."], "references": ["1. 부서: HR\n   평균 지출: 5000\n\n2. 부서: IT\n   평균 지출: 7500\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 요구사항을 대부분 충족하고 있습니다. JSON 형식으로 답변을 구성하였고, \"answer\" 필드에 적절한 정보를 입력하였습니다. 또한, 답변 끝에 밝은 리액션을 추가하여 정중하게 마무리하였습니다. 그러나 JSON 형식 외부에 리액션 문구가 포함된 점은 조건을 완전히 만족하지 못한 부분입니다. 리액션 문구는 JSON 형식 내부에 포함되었어야 합니다.", "judge_score": 8.0}}
{"id": 17, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT id, slide_page, eval_code FROM esg_eval_codes WHERE eval_code LIKE 'SUST%';\n\n## SQL 실행결과-1:\n정의서 ID:\nLOCD_COM001\n슬라이드 페이지 번호:\n1055\nESG 평가/공시 지표 코드:\nSUST-CO-G050\n## SQL 실행결과-2:\n정의서 ID:\nLOCD_COM011\n슬라이드 페이지 번호:\n1066\nESG 평가/공시 지표 코드:\nSUST-CO-C001\nSUST-CO-E041\n## SQL 실행결과-3:\n정의서 ID:\nLOCD_COM022\n슬라이드 페이지 번호:\n1079\nESG 평가/공시 지표 코드:\nSUST-CO-G052\n## SQL 실행결과-4:\n정의서 ID:\nLOCD_ENV008\n슬라이드 페이지 번호:\n13\nESG 평가/공시 지표 코드:\nSUST-CO-E047\nSUST-CO-E048\n## SQL 실행결과-5:\n정의서 ID:\nLOCD_ENV019\n슬라이드 페이지 번호:\n28\n29\nESG 평가/공시 지표 코드:\nSUST-CO-E021\n## SQL 실행결과-6:\n정의서 ID:\nLOCD_ENV032\n슬라이드 페이지 번호:\n43\nESG 평가/공시 지표 코드:\nSUST-CO-E042\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n3. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n4. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n5. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n6. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n7. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n8. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\nESG 평가 코드가 SUST로 시작하는 지표를 찾아줘"], "outputs": ["{\"answer\":\"주어진 정보에서 ESG 평가 코드가 SUST로 시작하는 지표들을 찾았습니다. 아래와 같습니다:\n\n- ESG 평가/공시 지표 코드: SUST-CO-G050 (정의서 ID: LOCD_COM001)\n- ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041 (정의서 ID: LOCD_COM011)\n- ESG 평가/공시 지표 코드: SUST-CO-G052 (정의서 ID: LOCD_COM022)\n- ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048 (정의서 ID: LOCD_ENV008)\n- ESG 평가/공시 지표 코드: SUST-CO-E021 (정의서 ID: LOCD_ENV019)\n- ESG 평가/공시 지표 코드: SUST-CO-E042 (정의서 ID: LOCD_ENV032)\"}\n\n언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요."], "references": ["1. 정의서 ID: LOCD_COM001\n   ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n   ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n   ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n   ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n   ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n   ESG 평가/공시 지표 코드: SUST-CO-E042\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 요구사항을 대부분 충족하였습니다. JSON 형식을 사용하였고, \"answer\" 필드에 적절한 정보를 제공하였습니다. 또한, 답변 끝에 밝은 리액션을 포함하여 정중하게 마무리하였습니다. 그러나 답변에서 슬라이드 페이지 정보를 포함하지 말라는 조건을 잘 준수하였고, SQL 실행 레코드가 5개가 넘는 경우에 대한 조건도 잘 반영하였습니다. 다만, 답변을 좀 더 구조화하고 개행문자를 적절히 사용하여 가독성을 높일 수 있었을 것입니다.", "judge_score": 9.0}}
{"id": 11, "category": "task_assistant_mail_pr", "questions": ["보내는 사람: 롯데이노베이트 NFT사업팀\n받는 사람: 개발팀 홍길동\n제품 종류: NFT 마켓플레이스 & 월렛 서비스\n제품명: Kottonseed(코튼시드)\n제품 정보: 쉽고 편리한 사용성과 거래 경험을 기반으로 누구나 쉽게 NFT를 거래하고 소유할 수 있는 서비스 제공\n제품 링크: https://www.kottonseed.io/"], "outputs": ["제목: Kottonseed(코튼시드) - NFT 마켓플레이스 & 월렛 서비스 소개\n\n안녕하세요, 개발팀 홍길동님,\n\n롯데이노베이트 NFT사업팀에서 귀하께 연락드립니다. 저희는 NFT 마켓플레이스와 월렛 서비스를 제공하는 Kottonseed(코튼시드)를 개발하였습니다. 이 서비스는 누구나 쉽게 NFT를 거래하고 소유할 수 있도록 설계되었습니다.\n\nKottonseed의 주요 특징은 다음과 같습니다:\n- 쉽고 편리한 사용성과 거래 경험\n- 누구나 쉽게 NFT를 거래하고 소유할 수 있는 플랫폼\n\nKottonseed의 공식 웹사이트는 https://www.kottonseed.io/ 입니다. 이 링크를 통해 서비스의 자세한 정보와 기능을 확인하실 수 있습니다.\n\n이제 NFT 시장에 진입하고 싶으신 분들이나, 기존 사용자들이 더 편리하게 NFT를 관리하고 거래하고 싶으신 분들에게 Kottonseed는 이상적인 선택이 될 것입니다.\n\n만약 추가 정보가 필요하시거나, 협업에 대한 논의를 원하시면 언제든지 저희에게 연락주세요. 함께 Kottonseed의 성공을 위해 노력해 보실 수 있기를 바랍니다.\n\n감사합니다.\n\n롯데이노베이트 NFT사업팀"], "references": [null], "query_single": {"judge_message": "모델의 답변은 Instruct의 요구사항을 충실히 반영하고 있습니다. 홍보 메일의 형식과 내용이 적절하며, 제품명, 제품 정보, 제품 링크 등 필수 요소들이 모두 포함되어 있습니다. 또한, 언어 요구사항을 준수하여 한국어로 작성되었습니다. 다만, 메일의 서두에서 \"안녕하세요, 개발팀 홍길동님,\" 부분이 다소 어색하게 느껴질 수 있으며, \"안녕하세요, 개발팀 홍길동님.\" 또는 \"안녕하세요, 홍길동님.\"으로 수정하면 더 자연스러울 것입니다. 전반적으로 요구사항을 잘 반영한 답변입니다.", "judge_score": 9.0}}
{"id": 27, "category": "lotte_qa", "questions": ["롯데는 왜 롯데야?"], "outputs": ["\"롯데는 왜 롯데야?\"는 한국의 유명한 노래로, 1980년에 발표된 곡입니다. 이 노래는 김광진이 작사·작곡하고, 김광진과 롯데그룹의 가수인 김정은이 불렀습니다. \n\n이 노래의 주요 내용은 다음과 같습니다:\n\n1. 롯데의 상징성을 표현하고 있습니다.\n2. \"롯데야, 롯데야\"라는 구호를 반복하여 강조합니다.\n3. 롯데의 다양한 사업 분야와 이미지를 언급합니다.\n\n이 노래는 당시 롯데그룹의 성장과 발전을 반영하며, 한국 대기업의 위상을 대중에게 알리는 데 기여했습니다. 또한, 한국의 대중문화에서 중요한 위치를 차지하며, 많은 사람들에게 익숙한 노래가 되었습니다."], "references": ["젊은 베르테르의 슬픔의 여주인공인 샤를로테(샤롯데)에서 따온 것"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 전혀 반영하지 못했습니다. 질문은 롯데라는 이름의 유래에 대해 묻고 있는데, 모델은 롯데와 관련된 노래에 대해 설명하고 있습니다. 또한, Additional Reference에 따르면 롯데라는 이름은 '젊은 베르테르의 슬픔'의 여주인공인 샤를로테에서 따온 것인데, 이 정보는 전혀 언급되지 않았습니다. 따라서 답변은 질문의 요구사항을 충족하지 못했으며, 언어 요구사항은 충족했으나 내용적으로 매우 부적절합니다.", "judge_score": 1.0}}
{"id": 10, "category": "task_assistant_mail_share", "questions": ["보내는 사람: AI 기술팀 김롯데\n받는 사람: 개발팀 홍길동\n회의 주제: 아이멤버 프로젝트 진행 상황 및 향후 계획\n회의록 내용:\n- 회의에서 논의된 주요 내용:\n- AI기술팀은 아이멤버 프로젝트의 현재 진행 상황을 검토\n- 기술적 문제 해결을 위한 다양한 방안이 논의, 데이터 처리 효율성과 시스템 안정성에 중점\n- 최신 AI 기술 동향과 시장 분석 결과가 공유, 프로젝트에 어떻게 적용할지에 대한 의견 교환\n- 결정된 사항 및 액션 아이템 목록:\n- 추가된 데이터 수집을 위한 외부 협력사 선정 작업을 진행하기로 결정\n- 기존 시스템의 성능 최적화를 위한 팀 구성\n- 향후 2주 간 프로젝트 위험 평가를 수행, 위험 관리 계획을 수립\n- 향후 계획 및 예정된 일정:\n- 다음 달 말까지 프로젝트의 중간 점검을 실시\n- 3개월 내에 프로토타입 개발을 완료, 내부 테스트를 진행\n- 올해 말까지는 최종 제품의 시범 운영을 시작, 내년 상반기 중 시장 출시를 목표"], "outputs": ["제목: [AI 기술팀] 아이멤버 프로젝트 회의록\n\n안녕하세요, 개발팀 홍길동님,\n\nAI 기술팀 김롯데입니다. 이메일을 통해 아이멤버 프로젝트의 회의 내용을 전달드리겠습니다.\n\n**회의 주제: 아이멤버 프로젝트 진행 상황 및 향후 계획**\n\n**회의 내용:**\n1. **현재 진행 상황 검토:** AI 기술팀은 아이멤버 프로젝트의 현재 진행 상황을 검토하였으며, 기술적 문제 해결을 위한 다양한 방안이 논의되었습니다. 특히, 데이터 처리 효율성과 시스템 안정성에 중점을 두었습니다.\n2. **기술 동향 및 시장 분석:** 최신 AI 기술 동향과 시장 분석 결과가 공유되었으며, 프로젝트에 어떻게 적용할지에 대한 의견 교환이 이루어졌습니다.\n\n**결정된 사항 및 액션 아이템:**\n1. **외부 협력사 선정:** 추가된 데이터 수집을 위한 외부 협력사 선정 작업을 진행하기로 결정하였습니다.\n2. **팀 구성:** 기존 시스템의 성능 최적화를 위한 팀 구성이 이루어졌습니다.\n3. **프로젝트 위험 평가:** 향후 2주 간 프로젝트 위험 평가를 수행하고, 위험 관리 계획을 수립하기로 하였습니다.\n\n**향후 계획 및 예정 일정:**\n1. **중간 점검:** 다음 달 말까지 프로젝트의 중간 점검을 실시할 예정입니다.\n2. **프로토타입 개발:** 3개월 내에 프로토타입 개발을 완료하고, 내부 테스트를 진행할 계획입니다.\n3. **시범 운영 및 시장 출시:** 올해 말까지는 최종 제품의 시범 운영을 시작하며, 내년 상반기 중 시장 출시를 목표로 하고 있습니다.\n\n이번 회의에서 논의된 내용과 계획을 참고하여 필요한 조치를 취해주시기 바랍니다. 추가로 궁금한 사항이 있으시면 언제든지 연락주시기 바랍니다.\n\n감사합니다.\n\nAI 기술팀 김롯데"], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question을 충실히 반영하여 작성되었다. 이메일 형식이 적절하며, 회의록의 주요 내용, 결정된 사항 및 액션 아이템, 향후 계획 및 예정 일정이 명확하게 전달되었다. 언어 요구사항을 준수하여 한국어로 작성되었으며, 정보 전달이 명확하고 정확하다. 다만, 이메일의 서두와 끝맺음 부분에서 약간의 정중함을 더할 수 있었으면 더욱 좋았을 것이다.", "judge_score": 9.0}}
{"id": 2, "category": "search_keyword", "questions": ["현대 물리학에서 다중우주 이론과 끈 이론의 관계에 대해 설명해줘."], "outputs": ["다중우주 이론과 끈 이론은 현대 물리학에서 중요한 이론들로, 둘 사이에는 밀접한 관련이 있습니다. \n\n다중우주 이론은 우주의 다양한 가능성을 설명하는 이론으로, 이론상으로는 우주가 무한히 많으며 각각의 우주에서 다른 물리 법칙이 적용될 수 있다는 개념을 포함합니다. 이 이론은 주로 양자역학과 일반상대론의 모순을 해결하기 위해 제안되었습니다.\n\n반면, 끈 이론은 양자역학과 일반상대론을 통합하기 위한 이론으로, 모든 기본 입자들이 1차원의 '끈'으로 표현될 수 있다는 개념을 포함합니다. 끈 이론은 10차원 또는 11차원의 공간-시간을 필요로 하며, 이는 우리가 경험하는 4차원(3차원 공간 + 1차원 시간)과는 다릅니다. \n\n다중우주 이론과 끈 이론 사이의 관계는 끈 이론이 다중우주 이론의 일부로 해석될 수 있다는 점에서 발견됩니다. 끈 이론의 여러 해답 중 일부는 다중우주 이론의 다양한 모델을 설명할 수 있습니다. 예를 들어, 끈 이론의 일부 해답은 10차원 또는 11차원의 공간-시간에서의 물리학을 설명하며, 이는 우리가 경험하는 4차원 공간-시간을 포함하는 다중우주의 일부를 설명할 수 있습니다.\n\n따라서, 끈 이론은 다중우주 이론의 일부로 해석될 수 있으며, 둘 사이의 관계는 양자역학과 일반상대론의 통합을 위한 이론적 접근 방식으로 이해될 수 있습니다."], "references": ["현대 물리학 다중우주 이론 끈 이론 관계"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충실히 반영하고 있으며, 다중우주 이론과 끈 이론의 관계를 명확하게 설명하고 있다. 다중우주 이론과 끈 이론 각각의 개념을 설명한 후, 두 이론 간의 관계를 구체적으로 언급하여 이해를 돕고 있다. 또한, 답변은 한국어로 작성되어 언어 요구사항을 충족하고 있다. 다만, 추가적인 예시나 더 깊이 있는 설명이 포함되었으면 더욱 완벽한 답변이 되었을 것이다.", "judge_score": 9.0}}
{"id": 15, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV, LOCD_SOC\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n    managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n    esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경), S(사회), G(거버넌스), ESG(공통)\n    indicator_name VARCHAR(200) COMMENT '지표 명',\n    indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량, 정성\n    indicator_unit VARCHAR(50) COMMENT '지표 단위',\n    concept_description TEXT COMMENT '지표 개념 설명',\n    detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n    calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n    data_calculation_method TEXT COMMENT '데이터 산출 방안',\n    data_source VARCHAR(100) COMMENT '데이터 출처',\n    related_systems VARCHAR(100) COMMENT '연관 시스템',\n    notes VARCHAR(200) COMMENT '기타 주석',\n    PRIMARY KEY (id, slide_page)\n);\n-- 기타 테이블 생략\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시: \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n    - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\nESG 범주가 'G(지배구조)'인 지표의 정보를 알려줘."], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G' AND id IN (SELECT id FROM esg_indicators WHERE esg_category = 'G')\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G(지배구조)';\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 Instruct와 Question의 요구사항을 충분히 반영하지 못했습니다. 우선, SQL 쿼리에서 불필요한 서브쿼리를 사용하여 복잡성을 증가시켰습니다. 또한, PRIMARY_KEY를 포함해야 한다는 조건을 충족하지 않았습니다. 주어진 Additional Reference와 비교했을 때, 단순히 `esg_category = 'G'` 조건만으로 충분했으며, 서브쿼리는 필요하지 않았습니다. 따라서 모델의 답변은 부적절합니다.", "judge_score": 3.0}}
{"id": 22, "category": "lotte_qa", "questions": ["롯데글로벌로지스에서 활용하고 있는 PC-OFF 제도는 뭐야?"], "outputs": ["롯데글로벌로지스에서 시행하고 있는 PC-OFF 제도는 '프리미엄 커뮤니케이션 오프'의 약자로, 직원들의 근무 효율성 향상을 위해 도입된 제도입니다. 이 제도는 주말과 공휴일, 야간 등 특정 시간대에 전화나 메시지 등의 커뮤니케이션을 제한하여 개인 시간을 보호하고, 직원들의 균형 잡힌 생활을 지원하는 것을 목표로 하고 있습니다. \n\n이 제도는 주로 다음과 같은 효과를 가져올 수 있습니다:\n\n1. 근무 시간 외의 개인 시간 보호\n2. 직원들의 스트레스 감소\n3. 균형 잡힌 생활 실현\n4. 근무 효율성 향상\n5. 직원 만족도 증가\n\n롯데글로벌로지스는 이 제도를 통해 직원들의 근무 환경을 개선하고, 장기적으로는 기업의 생산성과 직원의 만족도를 높이려는 노력을 하고 있습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하지 못했다. 롯데글로벌로지스의 PC-OFF 제도는 '프리미엄 커뮤니케이션 오프'가 아니라, 'PC를 강제로 종료하여 근무 시간을 관리하는 제도'를 의미한다. 모델은 제도의 목적과 효과에 대해 잘 설명했으나, 제도의 정확한 정의를 잘못 이해하고 있다. 또한, 언어 요구사항을 충족했으나, 답변의 정확성에서 큰 결함이 있다.", "judge_score": 4.0}}
{"id": 24, "category": "lotte_qa", "questions": ["롯데타워는 언제 개장했어?"], "outputs": ["롯데타워는 2015년 12월 24일에 개관했습니다. 하지만 정확한 개장일은 2016년 1월 29일로, 이 날부터 관광객들이 이용할 수 있게 되었습니다."], "references": ["2017년 4월 3일"], "query_single": {"judge_message": "모델의 답변은 롯데타워의 개장일에 대한 질문에 대해 잘못된 정보를 제공하고 있습니다. 롯데타워의 실제 개장일은 2017년 4월 3일인데, 모델은 2015년 12월 24일과 2016년 1월 29일이라는 잘못된 날짜를 언급했습니다. 언어 요구사항은 충족되었으나, 답변의 정확성이 부족합니다.", "judge_score": 3.0}}
{"id": 20, "category": "mrc", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분  AS-IS  TO-BE 신규고객  심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 :  2024.05.09. (목) 오전08:30 4. 문의 :  심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "outputs": ["문서 내에서 직접적인 보험 손해율 자료는 제공되지 않았습니다. 하지만 연령대별 손해율 분석에서 80세 이상 연령대에서 높은 수준의 사고손해율이 확인되었다는 내용은 언급되어 있습니다. 이는 보험 손해율 자료의 일부를 반영할 수 있지만, 보다 구체적인 손해율 데이터는 문서 내에서 찾을 수 없습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충실히 반영하였습니다. 문서 내에서 직접적인 보험 손해율 자료가 제공되지 않았음을 명확히 언급하였고, 80세 이상 연령대에서 높은 수준의 사고손해율이 확인되었다는 내용을 근거로 제시하였습니다. 이는 문서의 내용을 잘 반영한 답변입니다. 다만, 문서 내에서 구체적인 손해율 데이터가 없다는 점을 명확히 언급한 부분이 좋았습니다. 언어 요구사항도 충족하였습니다.", "judge_score": 10.0}}
{"id": 18, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT product_name, SUM(quantity) AS total_quantity FROM inventory_orders GROUP BY product_name HAVING SUM(quantity) > 100;\n\n## SQL 실행결과-1:\n제품명:\nProduct A\n총 수량:\n150\n\n## SQL 실행결과-2:\n제품명:\nProduct B\n총 수량:\n200\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n총 수량이 100을 초과하는 제품의 이름과 총 수량을 알려줘."], "outputs": ["{\"answer\": \"총 수량이 100을 초과하는 제품은 'Product A'와 'Product B'이며, 각각의 총 수량은 150과 200입니다.\"}\n\n언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요."], "references": ["1. 제품명: Product A\n   총 수량: 150\n\n2. 제품명: Product B\n   총 수량: 200\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 요구사항을 충실히 반영하고 있습니다. 답변은 JSON 형식으로 구성되었으며, \"answer\" 키에 적절한 값을 입력했습니다. 또한, 답변 끝에 정중한 리액션을 포함하여 요구사항을 충족했습니다. 다만, JSON 형식의 끝에 리액션 문구가 포함된 점은 아쉽습니다. 리액션 문구는 JSON 형식 외부에 별도로 작성하는 것이 더 적절했을 것입니다.", "judge_score": 9.0}}
{"id": 13, "category": "task_assistant_hire", "questions": ["팀 이름: 글로벌로지스IS팀\n담당 업무: 롯데글로벌로지스의 시스템 운영/관리 및 IT 리딩\n프로젝트: 그룹SCM시스템 운영(L-LIS, WMS, TMS 등)\n팀 장점: 국내 대표 종합물류회사 IT 시스템 운영, 물류 플랫폼의 IT 관점에서의 비즈니스 리딩\n키워드: 택배물류, 글로벌물류, 3PL 서비스, SCM물류시스템, IT 시스템 관리"], "outputs": ["글로벌로지스IS팀은 롯데글로벌로지스의 핵심적인 IT 리더십 역할을 수행하며, 국내 대표적인 종합물류 회사로서의 입지를 더욱 강화하고 있습니다. 이 팀은 택배물류, 글로벌물류, 3PL 서비스 등 다양한 분야에서 활약하며, 물류 플랫폼의 IT 관점에서 비즈니스 리딩 역할을 수행하고 있습니다.\n\n팀의 독특한 강점은 그룹SCM시스템 운영(L-LIS, WMS, TMS 등)을 통해 보여집니다. 이는 팀이 물류 플랫폼의 IT 관점에서 비즈니스를 리드하고, 효율적인 시스템 운영을 통해 고객에게 최상의 서비스를 제공하는 데 기여하고 있습니다. 이들 프로젝트는 팀이 SCM물류시스템과 IT 시스템 관리를 전문적으로 다루는 능력을 입증하며, 이를 통해 고객의 비즈니스 목표를 성공적으로 달성하는 데 기여하고 있습니다.\n\n글로벌로지스IS팀은 이러한 강점을 바탕으로, 고객의 비즈니스 성장을 지원하고, 물류 산업의 혁신을 선도하는 데 중점을 두고 있습니다. 팀은 지속적인 기술 개발과 혁신을 통해, 고객의 요구에 부응하고, 물류 산업의 미래를 선도하는 데 기여하고 있습니다. 이 팀은 고객의 비즈니스 성공을 위해 최선을 다하며, 그들의 전문성과 경험을 통해 물류 산업의 발전에 기여하고 있습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 주어진 정보를 충실히 반영하여 글로벌로지스IS팀의 개요를 잘 작성하였다. 팀의 독특한 강점, 주요 프로젝트, 그리고 주목할 만한 성취를 강조하였으며, 지정된 키워드도 적절히 활용되었다. 팀의 정체성, 사명, 및 영향력에 대한 명확한 스냅샷을 제공하는 데 성공하였다. 다만, \"글로벌로지스IS팀\"이라는 팀 이름이 반복적으로 사용되었으며, 이는 다소 중복된 느낌을 줄 수 있다. 전반적으로 설득력 있고 명확한 소개문을 작성하였다.", "judge_score": 9.0}}
{"id": 28, "category": "lotte_qa", "questions": ["엔제리너스 아아 가격 얼마야"], "outputs": ["죄송합니다만, \"엔제리너스 아아\"라는 제품에 대한 정보가 불충분합니다. 이 제품이 무엇인지, 어떤 카테고리에 속하는지(예: 의류, 가전제품 등) 추가 정보를 제공해 주시면 더 정확한 답변을 드릴 수 있습니다."], "references": ["일반가: 4500원"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 질문은 \"엔제리너스 아아\"의 가격을 묻고 있으며, 이는 커피 브랜드 엔제리너스의 아이스 아메리카노를 의미합니다. 모델은 이 정보를 인식하지 못하고, 추가 정보를 요청하는 답변을 제공했습니다. 또한, 답변은 한국어로 작성되었으나, 질문의 맥락을 이해하지 못한 점에서 아쉬움이 큽니다. 추가 참조 정보에 따르면, \"엔제리너스 아아\"의 가격은 4500원입니다.", "judge_score": 2.0}}
{"id": 16, "category": "text2sql", "questions": ["## DB 스키마 :\n-- 제품 정보를 저장하는 메인 테이블\nCREATE TABLE products (\n    product_id INT PRIMARY KEY COMMENT '제품 ID',\n    product_name VARCHAR(100) COMMENT '제품명',\n    category VARCHAR(50) COMMENT '카테고리',\n    price DECIMAL(10,2) COMMENT '가격',\n    stock INT COMMENT '재고 수량',\n    supplier_id INT COMMENT '공급업체 ID',\n    description TEXT COMMENT '제품 설명'\n);\n-- 공급업체 정보를 저장하는 테이블\nCREATE TABLE suppliers (\n    supplier_id INT PRIMARY KEY COMMENT '공급업체 ID',\n    supplier_name VARCHAR(100) COMMENT '공급업체명',\n    contact_email VARCHAR(100) COMMENT '연락처 이메일',\n    phone_number VARCHAR(20) COMMENT '전화번호'\n);\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시: \"제품 ID 1001의 이름은?\" 라는 질문이 있을때, DB에는 \"1001\"로 저장되어 있으므로 검색결과를 위해서는 \"1001\"로 문자열 검색을 해야합니다.\n    - 예시: \"재고가 없는 제품은?\" 라는 질문이 있을때, 재고 수량을 확인하여 0인 제품을 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n## 질문 :\n가격이 10000 이상인 제품의 이름과 가격을 알려줘."], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT product_name, price FROM products WHERE price >= 10000\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT product_id, product_name, price FROM products WHERE price >= 10000;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 생성하는 데 있어 일부 조건을 충족하지 못했습니다. 우선, 모델은 가격이 10000 이상인 제품의 이름과 가격을 조회하는 SQL 쿼리를 생성했으나, PRIMARY_KEY인 `product_id`를 SELECT 문에 포함시키지 않았습니다. 이는 조건 5를 충족하지 못한 것입니다. 또한, 답변은 JSON 형식으로 제공되었으나, SQL 쿼리의 기본값이 빈 스트링(\"\")이어야 한다는 조건 3을 고려하지 않았습니다. 따라서, 모델의 답변은 일부 조건을 충족하지 못해 아쉽습니다.", "judge_score": 5.0}}
{"id": 6, "category": "search_summary", "questions": ["## 검색 결과 :\n- 1.위험현장 사전 예측해 사고 예방…내년 1월 전면 시행  <b>서울</b>시가 전국 최초로 공공 공사장 <b>안전</b>수준을 파악해 사고를 예측하고 재해를 방지하는 '<b>안전지수제</b>'를 도입한다고 19일 밝혔다. 올해 연말까지 제도를 시범...\n - 2. <b>서울</b>시는 공공 공사장에서 발생할 수 있는 <b>안전</b>사고를 예방하기 위해서 전국 최초로 ‘<b>안전지수제</b>’를 도입한다고 19일 밝혔다. ‘<b>안전지수제</b>’는 <b>안전</b>학회, 전문가, 실무자가 2만5000건의 주요 재해 사고원인을 분석하여... \n- 3. 안전지수 평가점수가 3개월 연속 ‘매우 미흡’ 등급으로 평가되는 공사 현장은 안전 개선 의지가 없는 것으로 판단해 특별안전점검과 부실벌점 부과, 고용노동부에 과태료 부과를 의뢰한다. 2년간 서울시(도시기반시설본부)에서 발주하는 공사 입찰에 불이익을 줄 예정이다. 또 평가점수가 40점 미만의 공사장은 안전사고 위험이 크다고 판단해 즉시 공사를 중단한다.\n\n## 질문 : 서울시에서 안전지수제를 한다고하는데 이게 뭐야?"], "outputs": ["서울시가 도입한 안전지수제는 공공 공사장에서 발생할 수 있는 안전사고를 예방하기 위한 제도입니다. 이 제도는 안전학회, 전문가, 실무자가 2만5000건의 주요 재해 사고 원인을 분석하여 만들어졌습니다. \n\n안전지수제는 공사장의 안전 수준을 평가하고, 위험을 예측하여 사전에 사고를 방지하는 역할을 합니다. 평가 점수가 낮은 공사 현장은 특별안전점검을 받게 되고, 부실한 경우 벌점 부과나 과태료 부과 등의 조치가 취해질 수 있습니다. 또한, 안전사고 위험이 크다고 판단되면 즉시 공사를 중단할 수도 있습니다."], "references": [null], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하고 있습니다. 서울시의 안전지수제에 대해 공공 공사장에서 발생할 수 있는 안전사고를 예방하기 위한 제도라는 점을 명확히 설명하고 있으며, 안전학회, 전문가, 실무자가 2만5000건의 주요 재해 사고 원인을 분석하여 만들어졌다는 정보도 포함하고 있습니다. 또한, 안전지수제가 공사장의 안전 수준을 평가하고, 위험을 예측하여 사전에 사고를 방지하는 역할을 한다는 점도 잘 설명하고 있습니다. 평가 점수가 낮은 공사 현장에 대한 조치와 안전사고 위험이 큰 경우 공사를 중단할 수 있다는 내용도 포함되어 있어, 검색 결과를 충실히 반영한 답변입니다. 언어 요구사항도 잘 준수하였습니다.", "judge_score": 10.0}}
{"id": 30, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nSK하이닉스의 최근 배당금 지급 내역을 알려줘."], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount, thstrm_dt FROM ai_dart_corp_report WHERE corp_name = 'SK하이닉스' AND account_nm LIKE '%배당금%' AND fs_div = 'OFS' AND sj_div = 'BS' ORDER BY bsns_year DESC, thstrm_dt DESC LIMIT 1;\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '배당금' FROM ai_dart_corp_report WHERE corp_name = 'SK하이닉스' AND account_nm = '배당금' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 부분적으로 충족하지만, 몇 가지 중요한 부분에서 부족합니다. 우선, 모델은 JSON 형식을 준수하여 답변을 제공하였으나, SQL 쿼리의 조건이 Additional Reference와 일치하지 않습니다. Additional Reference에서는 '연결재무제표'와 '배당금' 계정명을 사용하고 있으며, '제 [0-9]+ 기' 형식의 당기명을 사용하고 있습니다. 반면, 모델의 답변은 'OFS'와 'BS'를 사용하고 있으며, '배당금' 계정명을 LIKE 조건으로 처리하고 있습니다. 또한, 모델의 쿼리는 최근 배당금 지급 내역을 하나만 반환하도록 되어 있어, 여러 해의 데이터를 반환하는 Additional Reference와 차이가 있습니다. 따라서 모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다.", "judge_score": 5.0}}
{"id": 5, "category": "search_keyword", "questions": ["최근에 유행하고 있는 트렌드에는 뭐가있어?"], "outputs": ["최근 유행하고 있는 트렌드는 다양한 분야에서 발견할 수 있습니다. 아래는 몇 가지 주요 트렌드를 소개합니다:\n\n1. **환경 친화적인 제품과 서비스**:\n   - 재활용 가능한 제품\n   - 친환경 패키징\n   - 재생 에너지 사용\n\n2. **디지털 트랜스포메이션**:\n   - 클라우드 기반 솔루션\n   - 인공지능(AI)과 머신러닝\n   - 블록체인 기술\n\n3. **건강과 웰빙**:\n   - 원료가 청정한 건강식품\n   - 스마트 웨어러블 기기\n   - 온라인 요가와 건강 챌린지\n\n4. **가상 현실(VR)과 증강 현실(AR)**:\n   - VR 게임과 교육\n   - AR 쇼핑 경험\n   - VR 테라피\n\n5. **스마트 홈 기술**:\n   - 스마트 냉장고와 가전제품\n   - 자동화된 가정 보안 시스템\n   - 스마트 조명과 난방\n\n6. **디지털 마케팅**:\n   - 인플루언서 마케팅\n   - 쇼핑 플랫폼의 사용 증가\n   - 콘텐츠 마케팅\n\n7. **가상화폐와 암호화폐**:\n   - 디지털 통화의 사용 확대\n   - NFT(Non-Fungible Token)의 인기\n   - 암호화폐 거래소\n\n8. **가상 콘퍼런스와 온라인 이벤트**:\n   - 비대면 회의와 워크샵\n   - 온라인 콘서트와 영화 상영\n\n9. **AI와 자동화**:\n   - AI 기반 고객 서비스\n   - 자동화된 생산 라인\n   - AI 보안 솔루션\n\n10. **가족과 친구들과의 연결**:\n    - 가족용 채팅 앱\n    - 가족용 스마트워치\n    - 가족용 건강 모니터링 앱\n\n이러한 트렌드들은 계속해서 변화하고 발전하고 있으므로, 특정 분야나 지역에 따라 차이가 있을 수 있습니다."], "references": ["최신 유행 트렌드"], "query_single": {"judge_message": "모델의 답변은 질문에 대한 요구사항을 충실히 반영하고 있으며, 다양한 최신 유행 트렌드를 상세히 설명하고 있다. 답변은 환경 친화적인 제품과 서비스, 디지털 트랜스포메이션, 건강과 웰빙, 가상 현실과 증강 현실, 스마트 홈 기술, 디지털 마케팅, 가상화폐와 암호화폐, 가상 콘퍼런스와 온라인 이벤트, AI와 자동화, 가족과 친구들과의 연결 등 여러 분야를 포괄하고 있다. 또한, 답변은 한국어로 작성되어 언어 요구사항을 충족하고 있다. 다만, 질문이 \"인터넷 검색을 위한 키워드 생성\"을 요구했으므로, 키워드 형태로 제시되었으면 더 좋았을 것이다.", "judge_score": 8.0}}
{"id": 14, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV,L LOCD_SOC\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n    managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n    esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경),S(사회),G(거버넌스),ESG(공통)\n    indicator_name VARCHAR(200) COMMENT '지표 명',\n    indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량,정성\n    indicator_unit VARCHAR(50) COMMENT '지표 단위',\n    concept_description TEXT COMMENT '지표 개념 설명',\n    detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n    calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n    data_calculation_method TEXT COMMENT '데이터 산출 방안',\n    data_source VARCHAR(100) COMMENT '데이터 출처',\n    related_systems VARCHAR(100) COMMENT '연관 시스템',\n    notes VARCHAR(200) COMMENT '기타 주석',\n    PRIMARY KEY (id, slide_page)  -- 지표 정의서(정의서 ID)와 슬라이드 페이지의 조합을 기본키로 설정\n);\n/*\nSELECT DISTINCT(keyword) FROM esg_indicators; -- 324게 레코드,\nkeyword\n지속가능경영 거버넌스\n경제적 가치 창출 현황\n보조금 수혜 실적 모니터링\nRD 투자 현황\n...\n\nSELECT DISTINCT(id) FROM esg_indicators; -- 946개 레코드,\nid\nLOCD_COM001\n...\nLOCD_ENV001\n...\nLOCD_SOC001\n...\nLOCD_GOV001\n...\n\nSELECT DISTINCT(esg_category) FROM esg_indicators; -- 4개 레코드\nesg_category\nE(환경)\nESG(공통)\nG(거버넌스)\nS(사회)\n\nSELECT DISTINCT(indicator_type) FROM esg_indicators -- 2개 레코드\nindicator_type\n정성\n정량\n\nSELECT DISTINCT(managing_dept) FROM esg_indicators ; -- 1개 레코드\n본 프로젝트 이후 각 사 別 별도 작성\n\nSELECT DISTINCT(data_source) FROM esg_indicators ; -- 1개 레코드\n본 프로젝트 이후 각 사 別 별도 작성\n\nSELECT DISTINCT(related_systems) FROM esg_indicators ; -- 1개 래코드\n본 프로젝트 이후 각 사 別 별도 작성\n\n\n*/\n-- ESG 지표와 연관된 ESG 평가 코드 정보를 저장하는 테이블\nCREATE TABLE esg_eval_codes (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID) (esg_indicators 테이블의 id를 참조)',\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    eval_code VARCHAR(20) COMMENT 'ESG 평가/공시 지표 코드(이니셔티브)',\n    PRIMARY KEY (id, slide_page,eval_code),  -- 지표 정의서(정의서 ID), 슬라이드 페이지, 평가 코드의 조합을 기본키로 설정\n    FOREIGN KEY (id ) REFERENCES esg_indicators(id)  -- 지표 정의서(정의서 ID)는 esg_indicators 테이블의 id를 참조\n);\n/*\nSELECT DISTINCT(eval_code) FROM esg_eval_codes ; -- 1,811개 레코드\neval_code\nSUST-CO-G050\nCDPC-CO-E054\nCDPW-CO-E010\nDJSI-CO-C001\nGRIs-CO-G001\n...\n*/\n-- ESG 지표와 연관된 ESG 관련 평가 및 지침 항목 정보를 저장하는 테이블\nCREATE TABLE esg_eval_guidelines (\n    id VARCHAR(20) COMMENT '지표 정의서(정의서 ID) (esg_indicators 테이블의 id를 참조)',\n    slide_page INT COMMENT '슬라이드 페이지 번호',\n    eval_guideline VARCHAR(50) COMMENT 'ESG 관련 평가 및 지침 항목(이니셔티브)', -- GRI,Sustin., CDP기후변화, CDP수자원,DJSI,MSCI,SASB,Eco.,KCGS,TCFD\n    PRIMARY KEY (id, slide_page,eval_guideline),  -- 지표 정의서(정의서 ID), 슬라이드 페이지, 가이드라인의 조합을 기본키로 설정\n    FOREIGN KEY (id) REFERENCES esg_indicators(id)  -- 지표 정의서(정의서 ID)는 esg_indicators 테이블의 id를 참조\n);\n/*\nSELECT DISTINCT(eval_guideline) from esg_eval_guidelines ; -- 10개 레코드\neval_guideline\nSustin.\nCDP기후변화\nCDP수자원\nDJSI\nGRI\nMSCI\nSASB\nEco.\nKCGS\nTCFD\n*/\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n    - 예시:  \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n    - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\n특정 키워드를 포함하는 지표의 정보를 알려줘. 예: '지속가능경영'"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT id, slide_page, keyword, indicator_name, managing_dept, esg_category, indicator_type, indicator_unit, concept_description, detailed_requirements, calculation_formula, data_calculation_method, data_source, related_systems, notes FROM esg_indicators WHERE keyword LIKE '%지속가능경영%' OR indicator_name LIKE '%지속가능경영%' OR concept_description LIKE '%지속가능경영%' OR detailed_requirements LIKE '%지속가능경영%'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE keyword LIKE '%지속가능경영%';\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 생성하는 데 있어 일부 적절한 접근을 보였으나, 몇 가지 중요한 부분에서 부족함이 있다. 우선, 질문에서 특정 키워드를 포함하는 지표의 정보를 요청했으므로, `keyword` 필드만을 검색하는 것이 적절하다. 그러나 모델은 `keyword` 외에도 `indicator_name`, `concept_description`, `detailed_requirements` 필드를 추가로 검색하고 있다. 이는 질문의 요구사항을 초과하는 부분이다. 또한, SELECT 시 PRIMARY_KEY를 반드시 포함해야 한다는 조건을 충족하지 못했다. `id`와 `slide_page`가 PRIMARY_KEY로 설정되어 있으므로, 이 두 필드를 반드시 포함해야 한다. 마지막으로, 답변 형식은 JSON 형식을 준수하고 있다.", "judge_score": 5.0}}
{"id": 29, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n근 5년간 삼전 매출 비교해줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT bsns_year, account_nm, thstrm_amount FROM ai_dart_corp_report WHERE stock_code = '005930' AND sj_div = 'IS' AND account_nm = '매출' AND bsns_year >= DATE_FORMAT(CURDATE(), '%Y') - 5 GROUP BY bsns_year, account_nm, fs_div ORDER BY bsns_year DESC\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성전자' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지 못했습니다. 우선, JSON 형식은 올바르게 사용되었으나, SQL 쿼리의 내용이 부정확합니다. \"삼전\"이라는 회사명을 \"삼성전자\"로 해석하지 않고, \"stock_code = '005930'\"로 대체한 점은 적절하나, \"account_nm\"을 \"매출\"로 설정한 것은 부정확합니다. \"매출액\"으로 설정해야 합니다. 또한, \"fs_nm = '연결재무제표'\" 조건이 누락되었고, \"thstrm_nm\" 조건도 포함되지 않았습니다. 마지막으로, \"bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW())\" 조건이 빠져있습니다.", "judge_score": 4.0}}
{"id": 34, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n최근 3년간 영풍제지 영업이익률 알려주세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT corp_name, bsns_year, (CAST(thstrm_amount AS DECIMAL) / (SELECT thstrm_amount FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND sj_div = 'IS' AND account_nm = '매출' AND bsns_year = yr.thstrm_year AND fs_div = 'CFS' AND sj_nm = '손익계산서' LIMIT 1)) AS营业利润率为 (thstrm_amount) FROM (SELECT DISTINCT corp_name, bsns_year FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND fs_div = 'CFS' AND sj_nm = '손익계산서' AND account_nm = '영업이익' AND bsns_year >= DATE_FORMAT(CURDATE(), '%Y') - 3) yr\"\n}\n```\n\n**Note:** \n- 上述SQL查询假设了“营业利润”和“销售”数据在同一份财务报表中，并且“销售”数据可以通过查询同一公司、同一财务报表类型（CFS）、同一会计年度和同一报表名称（如“销售”）来获取。\n- 由于提供的表结构中没有直接表示“销售”金额的字段，这里假设“销售”金额可以通过查询同一公司、同一财务报表类型（CFS）、同一会计年度和同一报表名称（如“销售”）来获取。\n- 为了使查询更准确，可能需要进一步确认“销售”金额的具体字段名称。\n- 该查询使用了MySQL的日期函数来获取最近3年的数据。"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '영풍제지' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 언어 요구사항을 충족하지 못했습니다. 답변의 일부가 중국어로 작성되었으며, 이는 명백히 한국어로 답변해야 하는 요구사항을 위반한 것입니다. 또한, SQL 쿼리 자체도 주어진 조건과 스키마를 충분히 반영하지 못했습니다. 예를 들어, '영업이익'과 '매출액'을 기준으로 영업이익률을 계산해야 하는데, 모델의 쿼리는 이를 제대로 반영하지 않았습니다. 따라서, 모델의 답변은 질문의 요구사항을 충족하지 못했습니다.", "judge_score": 1.0}}
{"id": 41, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n하나마이크론의 2017년 ~ 2020년까지 매출 알려줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_nm, thstrm_amount FROM ai_dart_corp_report WHERE stock_code = '003550' AND bsns_year IN ('2017', '2018', '2019', '2020') AND sj_div = 'IS' AND account_nm = '매출' AND fs_div = 'CFS' AND sj_nm = '손익계산서';\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '하나마이크론' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문과 조건을 충분히 반영하지 못했습니다. 첫째, 질문에서 요구한 회사명 '하나마이크론'을 'stock_code'로 대체했으나, 주어진 DB 스키마에는 'stock_code'가 아닌 'corp_name'을 사용해야 합니다. 둘째, '매출액'을 '매출'로 잘못 표기했습니다. 셋째, 'fs_nm'과 'sj_nm' 조건이 누락되었습니다. 넷째, 'bsns_year' 조건을 'IN' 대신 'BETWEEN'을 사용해야 합니다. 마지막으로, JSON 형식은 올바르게 사용되었습니다.", "judge_score": 3.0}}
{"id": 45, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n농심과 오리온의 2019~2020 순이익 비교"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT a.corp_name, a.bsns_year, a.thstrm_amount AS net_income FROM ai_dart_corp_report a WHERE (a.corp_name = '농심' OR a.corp_name = '오리온') AND a.sj_div = 'IS' AND a.sj_nm = '손익계산서' AND a.thstrm_nm = '당기순이익' AND a.bsns_year IN ('2019', '2020') GROUP BY a.corp_name, a.bsns_year, a.thstrm_amount ORDER BY a.corp_name, a.bsns_year;\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name IN ('농심', '오리온') AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 일부 충족하지 못했습니다. 우선, JSON 형식은 올바르게 사용되었으나, SQL 쿼리의 조건이 부정확합니다. \"당기순이익\"은 `account_nm` 컬럼에 있어야 하며, `sj_div`와 `sj_nm` 조건은 필요하지 않습니다. 또한, `fs_nm` 조건이 누락되었고, `thstrm_nm` 조건도 잘못되었습니다. `bsns_year` 조건은 BETWEEN을 사용해야 합니다. Additional Reference와 비교했을 때, 모델의 쿼리는 정확하지 않습니다.", "judge_score": 4.0}}
{"id": 35, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n브이티의 최근 3년의 영업이익률을 말해보세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT corp_name, bsns_year, CAST(thstrm_amount AS DECIMAL(18,2)) / CAST(frmtrm_amount AS DECIMAL(18,2)) * 100 AS营业利润率 FROM ai_dart_corp_report WHERE account_nm = '영업이익' AND fs_div = 'CFS' AND corp_name = '브이티' AND bsns_year IN ('2020', '2019', '2018') ORDER BY bsns_year DESC\"\n}\n```\n\n이 SQL 쿼리는 브이티의 최근 3년 동안의 영업이익률을 계산합니다. `营业利润率`는 영업이익률을 의미하며, 이는 영업이익을 전기금액으로 나눈 값에 100을 곱하여 백분율로 표현합니다."], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '브이티' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 언어 요구사항을 준수하지 않았습니다. SQL 쿼리에서 \"영업이익률\"을 중국어로 \"营业利润率\"로 표기하였으며, 이는 명백한 오류입니다. 또한, 쿼리의 논리적 구조도 부적절합니다. 영업이익률을 계산할 때 영업이익을 매출액으로 나누어야 하는데, 모델은 영업이익을 전기금액으로 나누고 있습니다. 추가적으로, 최근 3년을 특정 연도로 고정하여 쿼리를 작성한 것도 문제입니다. 따라서, 모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다.", "judge_score": 2.0}}
{"id": 50, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n엘지이노텍의 2021~ 2023년 중 최대 영업이익과 최소 영업이익을 구해주세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT MAX(thstrm_amount) AS max_operating_profit, MIN(thstrm_amount) AS min_operating_profit FROM ai_dart_corp_report WHERE corp_name = '엘지이노텍' AND bsns_year IN ('2021', '2022', '2023') AND sj_div = 'IS' AND account_nm = '영업이익'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'LG이노텍' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 생성하였으나, 몇 가지 중요한 부분에서 부족함이 있다. 첫째, \"엘지이노텍\" 대신 \"LG이노텍\"을 사용해야 한다. 둘째, `thstrm_amount`의 값을 숫자로 변환하는 과정이 누락되었다. 셋째, `fs_nm` 조건이 포함되지 않았다. 넷째, `thstrm_nm` 조건이 포함되지 않았다. 이러한 누락된 조건들은 정확한 결과를 도출하는 데 필수적이다. 마지막으로, JSON 형식은 올바르게 사용되었다.", "judge_score": 4.0}}
{"id": 40, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 유한양행의 순이익 알려줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount FROM ai_dart_corp_report WHERE corp_name = '유한양행' AND bsns_year IN ('2020', '2021', '2022') AND sj_div = 'IS' AND sj_nm = '손익계산서' AND thstrm_nm = '당기명'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '유한양행' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 부분적으로 충족하지만, 여러 중요한 요소가 누락되었습니다. 우선, 모델은 JSON 형식을 준수하였으나, SQL 쿼리의 정확성에서 문제가 있습니다. Additional Reference와 비교했을 때, 'account_nm' 필드에서 '당기순이익' 조건이 누락되었고, 'fs_nm' 필드에서 '연결재무제표' 조건이 빠졌습니다. 또한, 'thstrm_nm' 필드의 조건이 잘못 설정되었습니다. 이러한 누락과 오류로 인해 SQL 쿼리가 정확하지 않으며, 질문의 요구사항을 충분히 반영하지 못했습니다.", "judge_score": 4.0}}
{"id": 32, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한화의 2022년 매출 알려줘봐라"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount FROM ai_dart_corp_report WHERE corp_name = '한화' AND bsns_year = '2022' AND sj_div = 'IS' AND sj_nm = '손익계산서' AND thstrm_nm = '매출'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '한화' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 일부 충족하지만, 여러 중요한 부분에서 부족함이 있다. 우선, JSON 형식은 올바르게 사용되었으나, SQL 쿼리문이 부정확하다. \"thstrm_nm\" 필드의 값으로 '매출'을 사용했는데, 이는 스키마에 정의된 값과 일치하지 않는다. 또한, \"account_nm\" 필드에서 '매출액'을 명시하지 않았고, \"fs_nm\" 필드에서 '연결재무제표'를 명시하지 않았다. 추가적으로, \"LIMIT 20\" 조건도 누락되었다. 따라서, 모델의 답변은 질문의 조건을 충분히 반영하지 못했다.", "judge_score": 4.0}}
{"id": 43, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 LG에너지솔루션와 엔씨소프트의 매출 비교해줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT r1.corp_name, r1.sj_nm, r1.thstrm_nm, r1.thstrm_amount AS lg_energy, r2.thstrm_amount AS ncsoft FROM ai_dart_corp_report r1 JOIN ai_dart_corp_report r2 ON r1.stock_code = r2.stock_code AND r1.account_nm = r2.account_nm AND r1.sj_nm = r2.sj_nm AND r1.thstrm_nm = r2.thstrm_nm AND r1.fs_div = r2.fs_div AND r1.sj_div = r2.sj_div WHERE (r1.corp_name = 'LG에너지솔루션' OR r2.corp_name = 'LG에너지솔루션') AND (r1.corp_name = '엔씨소프트' OR r2.corp_name = '엔씨소프트') AND r1.bsns_year >= '2020' AND r1.bsns_year <= '2022' AND r1.fs_div = 'CFS' AND r1.sj_div = 'IS' GROUP BY r1.corp_name, r1.sj_nm, r1.thstrm_nm, r1.thstrm_amount, r2.thstrm_amount\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name IN ('LG에너지솔루션', '엔씨소프트') AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문을 포함하고 있다. 그러나 쿼리의 구조가 부적절하다. JOIN 조건에서 동일한 stock_code를 기준으로 두 테이블을 결합하고 있지만, 이는 LG에너지솔루션과 엔씨소프트의 매출을 비교하는 데 적합하지 않다. 또한, WHERE 절에서 두 회사의 이름을 동시에 포함하는 조건이 잘못 설정되어 있다. Additional Reference와 비교했을 때, 모델의 쿼리는 불필요하게 복잡하며, 정확한 결과를 도출하지 못할 가능성이 높다. 따라서 모델의 답변은 질문의 요구사항을 충분히 반영하지 못했다.", "judge_score": 3.0}}
{"id": 49, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2023년까지 농심의 최대 매출과 최소 매출을 알려줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS max_revenue, MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS min_revenue FROM ai_dart_corp_report WHERE bsns_year BETWEEN '2021' AND '2023' AND corp_name = '농심'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 매출', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 매출' FROM ai_dart_corp_report WHERE corp_name = '농심' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지만, 중요한 부분에서 누락이 있습니다. 우선, JSON 형식으로 답변을 제공한 점은 긍정적입니다. 그러나 SQL 쿼리에서 'account_nm'과 'fs_nm' 조건이 누락되었습니다. 'account_nm'은 '매출액'이어야 하고, 'fs_nm'은 '연결재무제표'이어야 합니다. 또한, 'thstrm_nm' 조건도 포함되지 않았습니다. 이러한 조건들이 빠지면 쿼리의 정확성이 떨어질 수 있습니다. 따라서 모델의 답변은 불완전합니다.", "judge_score": 5.0}}
{"id": 46, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 삼바의 매출 성장률을 구해주세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT \\n\" +\n               \"  (CAST(SUM(CASE WHEN bsns_year = '2022' THEN thstrm_amount END) AS DECIMAL(10,2)) - CAST(SUM(CASE WHEN bsns_year = '2020' THEN thstrm_amount END) AS DECIMAL(10,2))) / CAST(SUM(CASE WHEN bsns_year = '2020' THEN thstrm_amount END) AS DECIMAL(10,2)) * 100 AS growth_rate\\n\" +\n               \"FROM ai_dart_corp_report\\n\" +\n               \"WHERE corp_name = '삼바' AND sj_div = 'IS' AND sj_nm = '손익계산서' AND bsns_year IN ('2020', '2022');\"\n}\n```"], "references": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '삼성바이오로직스' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2020), 1.0 / 2) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문을 포함하고 있다. 그러나 쿼리문에서 몇 가지 중요한 부분이 누락되었다. 첫째, '삼바'라는 회사명은 '삼성바이오로직스'로 수정되어야 한다. 둘째, '매출액' 계정명을 명시하지 않았고, '연결재무제표'를 필터링하지 않았다. 셋째, 2021년 데이터를 포함하지 않아 2020년부터 2022년까지의 매출 성장률을 정확히 계산하지 못한다. 추가적으로, 성장률 계산 방식도 연평균 성장률(CAGR)로 수정되어야 한다.", "judge_score": 4.0}}
{"id": 42, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n교보증권의 2018년에서 2022년까지의 부채비율 말해"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT CONCAT(YEAR(thstrm_dt), '년 ', thstrm_amount, ' / ', COALESCE(frmtrm_amount, '0')) AS 부채비율, thstrm_dt FROM ai_dart_corp_report WHERE stock_code = '005930' AND bsns_year BETWEEN '2018' AND '2022' AND fs_div = 'FS' AND fs_nm = 'CFS' AND sj_div = 'BS' AND sj_nm = '재무상태표' AND thstrm_dt IS NOT NULL AND thstrm_dt >= '20180101' AND thstrm_dt <= '20221231' ORDER BY thstrm_dt;\"\n}\n```\n\n이 SQL 쿼리는 교보증권의 2018년부터 2022년까지의 부채비율을 가져옵니다. 부채비율은 당기금액과 전기금액을 비교하여 계산되며, 전기금액이 없을 경우 0으로 처리됩니다."], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '교보증권' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2018 AND 2022 GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건과 DB 스키마를 충분히 반영하지 못했습니다. 우선, 질문에서 요구한 \"교보증권\"의 부채비율을 계산하는 SQL 쿼리가 아닙니다. 모델은 \"stock_code = '005930'\"을 사용했는데, 이는 교보증권의 종목코드가 아닙니다. 또한, 부채비율을 계산하는 방식도 잘못되었습니다. 부채비율은 '부채총계'를 '자본총계'로 나누어 계산해야 하는데, 모델의 쿼리는 이를 반영하지 않았습니다. 마지막으로, JSON 형식은 올바르게 사용되었으나, SQL 쿼리의 정확성이 부족합니다.", "judge_score": 2.0}}
{"id": 37, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n금호타이어 최근 5년 순이익을 말해봐"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT `bsns_year`, `thstrm_amount` AS `profit` FROM `ai_dart_corp_report` WHERE `account_nm` = '순이익' AND `stock_code` = '001230' AND `fs_div` = 'CFS' AND `sj_div` = 'IS' AND `bsns_year` >= DATE_FORMAT(CURDATE(), '%Y') - 5 ORDER BY `bsns_year` DESC LIMIT 5;\"\n}\n```\n\n이 SQL 쿼리는 금호타이어의 최근 5년 동안의 순이익을 가져옵니다. `stock_code`는 '001230'으로 설정되어 있으며, `account_nm`은 '순이익'으로 필터링되어 있습니다. 또한, `fs_div`는 'CFS'로 설정되어 연결재무제표를 선택하고, `sj_div`는 'IS'로 설정되어 손익계산서를 선택합니다."], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '금호타이어' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지만, 몇 가지 중요한 부분에서 부족합니다. 우선, JSON 형식은 올바르게 사용되었고, SQL 쿼리도 적절하게 작성되었습니다. 그러나 '순이익'이라는 계정명은 '당기순이익'으로 수정되어야 하며, '금호타이어'의 종목코드가 '001230'으로 설정된 부분은 명확하지 않습니다. 또한, 'bsns_year' 조건은 최근 5년을 의미하지만, 정확한 연도 계산이 부족합니다. Additional Reference와 비교했을 때, 'fs_nm'과 'thstrm_nm' 조건이 누락되었습니다.", "judge_score": 6.0}}
{"id": 33, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n태경산업의 2021년 매출 보여줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount FROM ai_dart_corp_report WHERE corp_name = '태경산업' AND bsns_year = '2021' AND sj_div = 'IS' AND sj_nm = '손익계산서' AND thstrm_nm = '매출'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '태경산업' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2021 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지 못했습니다. 우선, JSON 형식은 올바르게 사용되었으나, SQL 쿼리의 내용이 부정확합니다. \"thstrm_nm\" 필드에 '매출'이라는 값이 존재하지 않으며, \"account_nm\" 필드에서 '매출액'을 필터링해야 합니다. 또한, \"fs_nm\" 필드에서 '연결재무제표'를 필터링해야 하며, \"thstrm_nm\" 필드에서 정규 표현식을 사용하여 '제 [0-9]+ 기' 형식을 필터링해야 합니다. 추가적으로, \"LIMIT 20\" 조건도 누락되었습니다. 따라서, 모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다.", "judge_score": 3.0}}
{"id": 47, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nHMM의 2020 ~ 2022년까지 영업이익 성장률 구해줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT \\n\" +\n               \"  (CAST(thstrm_amount AS DECIMAL(18,2)) - COALESCE(frmtrm_amount, 0)) / COALESCE(frmtrm_amount, 1) * 100 AS growth_rate, \\n\" +\n               \"  thstrm_dt, \\n\" +\n               \"  account_nm \\n\" +\n               \"FROM ai_dart_corp_report \\n\" +\n               \"WHERE corp_name = 'HMM' AND bsns_year IN ('2020', '2021', '2022') AND sj_div = 'IS' AND account_nm = '영업이익' \\n\" +\n               \"ORDER BY thstrm_dt;\"\n}\n```"], "references": ["{\"sql_query\": \"WITH yearly_operating_income AS (SELECT bsns_year AS `연도`, corp_name AS `회사명`, CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS `영업이익` FROM ai_dart_corp_report WHERE corp_name = 'HMM' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022) SELECT (POWER((SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2022) / (SELECT `영업이익` FROM yearly_operating_income WHERE `연도` = 2020), 1.0 / 2) - 1) * 100 AS `HMM 영업이익 연평균 성장률(CAGR)` FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지 못했습니다. 우선, 답변은 JSON 형식으로 제공되었으나, SQL 쿼리가 질문의 요구사항을 정확히 반영하지 않았습니다. 질문은 2020년부터 2022년까지의 영업이익 성장률을 구하는 것이었으나, 모델의 쿼리는 각 연도의 영업이익 성장률을 계산하는 방식으로 작성되었습니다. 또한, Additional Reference와 비교했을 때, 모델의 쿼리는 연평균 성장률(CAGR)을 계산하지 않았습니다. 따라서, 모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다.", "judge_score": 4.0}}
{"id": 51, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nGS의 2021년부터 2023년까지의 최대 영업이익과 최소 영업이익 작성"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT MAX(thstrm_amount) AS max_operating_profit, MIN(thstrm_amount) AS min_operating_profit FROM ai_dart_corp_report WHERE corp_name = 'GS' AND bsns_year BETWEEN '2021' AND '2023' AND sj_div = 'IS' AND account_nm = '영업이익'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT MAX(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최대 영업이익', MIN(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '최소 영업이익' FROM ai_dart_corp_report WHERE corp_name = 'GS' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리도 적절하게 작성되었습니다. 그러나 몇 가지 중요한 부분이 누락되었습니다. 첫째, `thstrm_amount` 필드의 값이 문자열로 저장되어 있으므로 이를 숫자로 변환해야 합니다. 둘째, `fs_nm` 필드에서 '연결재무제표'를 필터링하는 조건이 빠져 있습니다. 셋째, `thstrm_nm` 필드에서 특정 형식을 만족하는 조건이 추가되지 않았습니다. 이러한 누락된 조건들은 정확한 결과를 도출하는 데 필수적입니다.", "judge_score": 6.0}}
{"id": 54, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한화 솔루션의 2019년부터 2020년까지의 평균 순이익 알려줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS avg_profit FROM ai_dart_corp_report WHERE corp_name = '한화 솔루션' AND sj_div = 'IS' AND (bsns_year = '2019' OR bsns_year = '2020') AND account_nm = '순이익'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 순이익' FROM ai_dart_corp_report WHERE corp_name = '한화솔루션' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2020 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 생성하는 데 있어 몇 가지 중요한 부분에서 부족함이 있다. 첫째, \"한화 솔루션\" 대신 \"한화솔루션\"으로 표기해야 한다. 둘째, \"순이익\" 대신 \"당기순이익\"으로 계정명을 정확히 명시해야 한다. 셋째, \"연결재무제표\"를 명시하지 않았으며, 이는 중요한 조건이다. 넷째, \"bsns_year\" 조건을 BETWEEN 2019 AND 2020으로 설정하는 것이 더 적절하다. 마지막으로, \"thstrm_nm\" 조건을 추가하여 특정 기간을 명확히 해야 한다. 이러한 누락된 부분들로 인해 SQL 쿼리가 정확하지 않다.", "judge_score": 4.0}}
{"id": 52, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2022년까지 대상의 평균 영업이익을 알려줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS avg_operating_profit FROM ai_dart_corp_report WHERE bsns_year IN ('2021', '2022') AND account_nm = '영업이익'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 영업이익' FROM ai_dart_corp_report WHERE account_nm = '영업이익' AND fs_nm = '연결재무제표' AND corp_name = '대상' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문을 생성하는 데 있어서 일부 조건을 충족하고 있습니다. 그러나 몇 가지 중요한 부분이 누락되었습니다. 첫째, 'fs_nm' 조건이 포함되지 않아 '연결재무제표'만을 대상으로 하지 않았습니다. 둘째, 'corp_name' 조건이 빠져 있어 특정 기업인 '대상'을 대상으로 하지 않았습니다. 셋째, 'thstrm_nm' 조건이 빠져 있어 특정 기간을 명확히 지정하지 않았습니다. 이러한 누락으로 인해 쿼리가 정확하지 않으며, Additional Reference와 비교했을 때 완전하지 않습니다.", "judge_score": 5.0}}
{"id": 53, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한진의 2021년부터 2023년까지 평균 매출을 구해주세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS avg_revenue FROM ai_dart_corp_report WHERE corp_name = '한진' AND bsns_year BETWEEN '2021' AND '2023' AND sj_div = 'IS' AND sj_nm = '손익계산서' AND fs_div = 'OFS'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT AVG(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '평균 매출' FROM ai_dart_corp_report WHERE corp_name = '한진' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문을 생성하는 데 있어 일부 조건을 충족하고 있습니다. 그러나 몇 가지 중요한 부분이 누락되었습니다. 첫째, `account_nm`이 '매출액'이라는 조건이 빠져 있습니다. 둘째, `fs_nm`이 '연결재무제표'라는 조건이 빠져 있습니다. 셋째, `thstrm_nm`에 대한 조건이 포함되지 않았습니다. 이러한 누락으로 인해 쿼리가 정확한 결과를 반환하지 못할 가능성이 큽니다. 따라서 모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다.", "judge_score": 4.0}}
{"id": 55, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n대한항공의 2021년부터 2023년까지 누적 영업이익울 구해주세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount AS cumulative_operating_income FROM ai_dart_corp_report WHERE corp_name = '대한항공' AND bsns_year IN ('2021', '2022', '2023') AND account_nm = '영업이익' AND fs_div = 'CFS' AND sj_div = 'IS' AND thstrm_add_amount IS NOT NULL GROUP BY thstrm_amount\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 영업이익' FROM ai_dart_corp_report WHERE corp_name = '대한항공' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리문을 생성하는 데 있어 일부 조건을 충족하고 있습니다. 그러나 몇 가지 중요한 부분에서 부족함이 있습니다. 첫째, `thstrm_amount` 대신 `thstrm_add_amount`를 사용해야 누적 영업이익을 구할 수 있습니다. 둘째, `GROUP BY` 절에서 `thstrm_amount`를 그룹화하는 것은 적절하지 않습니다. 대신 `bsns_year`와 `corp_name`을 그룹화해야 합니다. 셋째, `fs_div`와 `sj_div` 조건은 적절하게 사용되었으나, `fs_nm` 조건이 누락되었습니다. 마지막으로, `LIMIT 20` 조건이 추가되지 않았습니다.", "judge_score": 5.0}}
{"id": 57, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\nBYC 2017년부터 2019년까지 누적 순이익 알려줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount AS cumulative_profit FROM ai_dart_corp_report WHERE account_nm = '순이익' AND bsns_year IN ('2017', '2018', '2019') AND fs_div = 'CFS' AND thstrm_add_amount IS NOT NULL GROUP BY thstrm_amount\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 순이익' FROM ai_dart_corp_report WHERE corp_name = 'BYC' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2017 AND 2019 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지 못했습니다. 우선, JSON 형식은 올바르게 사용되었으나, SQL 쿼리의 내용이 부정확합니다. \"BYC\"라는 회사명을 필터링하지 않았고, \"당기순이익\"이라는 계정명을 사용하지 않았습니다. 또한, \"fs_nm\" 대신 \"fs_div\"를 사용했으며, \"thstrm_add_amount\"를 조건으로 사용했지만 이는 누적 금액을 의미하지 않습니다. Additional Reference와 비교했을 때, 모델의 쿼리는 필요한 조건을 모두 충족하지 못했습니다.", "judge_score": 3.0}}
{"id": 44, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n유한양행과 SKC의 2020 ~ 2022년 영업이익을 비교해줘봐라"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT corp_name, bsns_year, thstrm_amount AS operating_income FROM ai_dart_corp_report WHERE (corp_name = '유한양행' OR corp_name = 'SKC') AND sj_div = 'IS' AND sj_nm = '손익계산서' AND fs_div = 'OFS' AND bsns_year IN ('2020', '2021', '2022') AND account_nm = '영업이익' GROUP BY corp_name, bsns_year, thstrm_amount ORDER BY corp_name, bsns_year\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '영업이익' FROM ai_dart_corp_report WHERE corp_name IN ('유한양행', 'SKC') AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 질문에 대한 SQL 쿼리를 생성하는 데 있어 몇 가지 중요한 부분에서 부족함이 있다. 첫째, 모델은 `fs_div`를 'OFS'로 설정했으나, Additional Reference에서는 '연결재무제표'를 의미하는 'CFS'를 사용하고 있다. 둘째, `sj_div`와 `sj_nm` 조건을 추가했지만, 이는 Additional Reference에 포함되지 않은 조건이다. 셋째, `bsns_year` 조건을 'IN' 구문으로 사용했으나, BETWEEN 구문이 더 적절하다. 마지막으로, `GROUP BY`와 `ORDER BY` 구문이 추가되었으나, 이는 필요하지 않다. 따라서 모델의 답변은 질문의 요구사항을 충분히 반영하지 못했다.", "judge_score": 4.0}}
{"id": 58, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년부터 2022년까지 금양의 매출액 증가/감소 추세를 알려줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT `thstrm_nm`, `thstrm_amount` FROM `ai_dart_corp_report` WHERE `corp_name` = '금양' AND `bsns_year` IN ('2020', '2021', '2022') AND `sj_div` = 'IS' AND `account_nm` = '매출액' ORDER BY `thstrm_nm` ASC\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '금양' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 부분적으로 충족하지만, 몇 가지 중요한 부분에서 부족함이 있다. 우선, 모델은 JSON 형식을 준수하여 답변을 제공하였으나, SQL 쿼리의 정확성에서 문제가 있다. Additional Reference와 비교했을 때, 모델의 쿼리는 `fs_nm` 조건을 포함하지 않았고, `thstrm_nm` 조건도 빠져 있다. 또한, `bsns_year` 조건을 `BETWEEN` 대신 `IN`을 사용하여 범위를 지정한 점도 다르다. 이러한 차이점들은 결과적으로 정확한 데이터를 추출하는 데 영향을 미칠 수 있다.", "judge_score": 6.0}}
{"id": 59, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n대웅제약의 2020 ~ 2022년까지 영업이익 증가/감소 추세를 알려주세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT `thstrm_nm`, `thstrm_amount` FROM `ai_dart_corp_report` WHERE `stock_code` = '004210' AND `bsns_year` IN ('2020', '2021', '2022') AND `account_nm` = '영업이익' AND `fs_div` = 'CFS' AND `sj_div` = 'IS' ORDER BY `thstrm_nm` ASC\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '영업이익' FROM ai_dart_corp_report WHERE corp_name = '대웅제약' AND account_nm = '영업이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2020 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 일부 충족하지만, 여러 중요한 부분에서 부족함이 있다. 우선, 답변은 JSON 형식으로 제공되었고, 이는 조건을 충족한다. 그러나 SQL 쿼리의 내용이 부정확하다. `stock_code`를 사용하여 '대웅제약'을 식별하려 했으나, 질문에서는 'corp_name'을 사용해야 한다. 또한, `fs_div`와 `sj_div` 조건은 적절하지만, `fs_nm`과 `sj_nm`을 사용해야 한다. 마지막으로, `thstrm_nm` 대신 `bsns_year`를 기준으로 정렬해야 한다. Additional Reference와 비교했을 때, 모델의 답변은 여러 중요한 요소를 놓쳤다.", "judge_score": 4.0}}
{"id": 60, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n한일시멘트의 2019~2022 순이익 증가/감소 추세 보여줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT `thstrm_nm`, `thstrm_amount` FROM `ai_dart_corp_report` WHERE `account_nm` = '순이익' AND `fs_div` = 'CFS' AND `bsns_year` IN ('2019', '2020', '2021', '2022') AND `corp_name` = '한일시멘트' ORDER BY `thstrm_nm` ASC\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '순이익' FROM ai_dart_corp_report WHERE corp_name = '한일시멘트' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022 ORDER BY bsns_year LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지 못했다. 우선, JSON 형식은 올바르게 사용되었으나, SQL 쿼리의 내용이 부정확하다. \"account_nm\" 필드에서 '순이익'을 사용했으나, '당기순이익'이 더 적절하다. 또한, \"fs_div\" 대신 \"fs_nm\"을 사용하여 '연결재무제표'를 명시해야 한다. \"thstrm_nm\" 필드의 정규 표현식 조건도 누락되었으며, \"bsns_year\" 조건은 BETWEEN을 사용하여 범위를 지정하는 것이 더 적절하다. 마지막으로, \"ORDER BY\" 절에서 \"thstrm_nm\" 대신 \"bsns_year\"를 사용하는 것이 더 적합하다.", "judge_score": 4.0}}
{"id": 61, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2020년과 2022년  엔에이치엔의 유동자산을 비교해줘."], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT \\n    IF(`bsns_year` = '2020', '2020', '2022') AS year, \\n    `thstrm_amount` AS amount \\nFROM `ai_dart_corp_report` \\nWHERE `bsns_year` IN ('2020', '2022') \\n  AND `account_nm` = '유동자산' \\n  AND `corp_name` = '엔에이치엔'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '유동자산' FROM ai_dart_corp_report WHERE corp_name = '엔에이치엔' AND account_nm = '유동자산' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2022) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 주어진 조건을 일부 충족하지만, 몇 가지 중요한 부분에서 부족합니다. 우선, 답변은 JSON 형식을 따르고 있으며, 이는 조건 1과 2를 충족합니다. 그러나 SQL 쿼리의 내용이 부정확합니다. Additional Reference에 따르면, `fs_nm` 필드에서 '연결재무제표'를 필터링해야 하며, `thstrm_nm` 필드에서 특정 패턴을 만족하는 값을 필터링해야 합니다. 모델의 쿼리에는 이러한 조건이 누락되어 있습니다. 또한, `LIMIT 20` 조건도 포함되지 않았습니다. 따라서 SQL 쿼리가 완전하지 않으며, 질문의 요구사항을 충분히 반영하지 못했습니다.", "judge_score": 5.0}}
{"id": 31, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n롯데이노베이트의 2018년 매출을 알려주세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount FROM ai_dart_corp_report WHERE corp_name = '롯데이노베이트' AND bsns_year = '2018' AND sj_div = 'IS' AND sj_nm = '손익계산서' AND thstrm_nm = '매출'\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '롯데이노베이트' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year = 2018 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 JSON 형식을 준수하고 있으며, SQL 쿼리를 생성하는 데 있어 일부 조건을 반영하고 있다. 그러나 몇 가지 중요한 부분이 누락되었다. 첫째, `account_nm`이 '매출액'으로 지정되지 않았고, `fs_nm`이 '연결재무제표'로 지정되지 않았다. 둘째, `thstrm_nm` 조건이 '매출'로 잘못 설정되었으며, 이는 '제 [0-9]+ 기'와 같은 정규 표현식으로 설정되어야 한다. 마지막으로, `LIMIT 20` 조건이 누락되었다. 이러한 누락으로 인해 쿼리가 정확하지 않다.", "judge_score": 5.0}}
{"id": 62, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n신성이엔지의 2020, 2021년 자산총계 비교해줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_dt, thstrm_amount FROM ai_dart_corp_report WHERE corp_name = '신성이엔지' AND bsns_year IN ('2020', '2021') AND account_nm = '자산총계' AND fs_div = 'OFS' AND sj_div = 'BS' AND fs_nm = '재무상태표' AND sj_nm = '재무상태표' ORDER BY bsns_year, thstrm_dt;\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '자산총계' FROM ai_dart_corp_report WHERE corp_name = '신성이엔지' AND account_nm = '자산총계' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year IN (2020, 2021) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 부분적으로 충족하지만, 몇 가지 중요한 부분에서 부족함이 있다. 우선, 모델은 JSON 형식을 준수하여 답변을 제공하였으나, SQL 쿼리의 조건이 Additional Reference와 다르다. Additional Reference에서는 '연결재무제표'를 사용하고 '제 [0-9]+ 기' 형식의 당기명을 필터링하는 조건이 포함되어 있다. 반면, 모델의 답변에서는 '재무상태표'를 사용하고 있으며, '제 [0-9]+ 기' 형식의 필터링 조건이 빠져 있다. 또한, fs_div와 sj_div 조건이 다르다. 이러한 차이점들은 결과적으로 질문의 요구사항을 완전히 충족하지 못하게 한다.", "judge_score": 6.0}}
{"id": 38, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n최근 5년의 빙그레 부채비율을 말해보세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT bsns_year, thstrm_amount AS 부채금액, (SELECT thstrm_amount FROM ai_dart_corp_report WHERE account_nm = '자본금' AND bsns_year = rcept_no.bsns_year AND fs_div = 'CFS') AS 자본금액, CAST(부채금액 AS DECIMAL) / CAST(자본금액 AS DECIMAL) * 100 AS 부채비율 FROM ai_dart_corp_report rcept_no WHERE account_nm = '부채총계' AND fs_div = 'CFS' AND bsns_year >= DATE_FORMAT(CURDATE(), '%Y') - 5 AND bsns_year < DATE_FORMAT(CURDATE(), '%Y') GROUP BY bsns_year ORDER BY bsns_year DESC LIMIT 5;\"\n}\n```\n\n이 SQL 쿼리는 빙그레의 최근 5년 동안의 빙그레 부채비율을 계산합니다. 부채비율은 각 사업연도의 부채총계를 자본금으로 나눈 값입니다. 이 쿼리는 `부채총계` 계정명과 `자본금` 계정명의 금액을 가져와서 부채비율을 계산합니다."], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '부채총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '자본총계' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '부채비율' FROM ai_dart_corp_report WHERE corp_name = '빙그레' AND account_nm IN ('부채총계', '자본총계') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 언어 요구사항을 충족하며, JSON 형식을 준수하고 있습니다. 그러나 SQL 쿼리의 정확성에 문제가 있습니다. 첫째, `부채금액`과 `자본금액`을 계산하는 서브쿼리에서 `rcept_no` 테이블 별칭을 사용하고 있지만, 이는 정의되지 않았습니다. 둘째, `bsns_year` 조건이 잘못되었습니다. `DATE_FORMAT(CURDATE(), '%Y') - 5`는 최근 5년을 정확히 반영하지 않습니다. 셋째, `account_nm`이 '자본금'이 아닌 '자본총계'여야 합니다. 마지막으로, `fs_nm` 조건이 누락되었습니다.", "judge_score": 4.0}}
{"id": 36, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n에어부산의 3년간 영업이익률"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT corp_name, bsns_year, (CAST(thstrm_amount AS DECIMAL) / CASE WHEN frmtrm_amount = 'NULL' THEN 1 ELSE CAST(frmtrm_amount AS DECIMAL) END) * 100 AS营业利润率 FROM ai_dart_corp_report WHERE account_nm = '영업이익' AND fs_div = 'CFS' AND corp_name = '에어부산' AND bsns_year IN ('2019', '2020', '2021') GROUP BY corp_name, bsns_year, thstrm_amount, frmtrm_amount\"\n}\n```\n\n이 SQL 쿼리는 에어부산의 2019년, 2020년, 2021년 3년간의 영업이익률을 계산합니다. 영업이익률은 영업이익을 전기금액으로 나눈 값의 100배로 계산됩니다. 이 쿼리는 `account_nm`이 '영업이익'이고 `fs_div`가 'CFS'이며, `corp_name`이 '에어부산'인 데이터만 필터링합니다."], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', ROUND((SUM(CASE WHEN account_nm = '영업이익' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END) / SUM(CASE WHEN account_nm = '매출액' THEN CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) ELSE 0 END)) * 100, 1) AS '영업이익률' FROM ai_dart_corp_report WHERE corp_name = '에어부산' AND account_nm IN ('영업이익', '매출액') AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 2 AND YEAR(NOW()) GROUP BY bsns_year, corp_name LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 언어 요구사항을 준수하여 한국어로 작성되었으나, SQL 쿼리의 정확성에 문제가 있다. 주어진 조건에 따르면 영업이익률은 영업이익을 매출액으로 나눈 값이어야 한다. 그러나 모델의 쿼리는 영업이익을 전기금액으로 나누고 있다. 또한, `bsns_year` 조건이 2019, 2020, 2021로 고정되어 있어, 현재 연도를 기준으로 3년간의 데이터를 가져오는 조건을 만족하지 않는다. 추가적으로, `fs_nm` 조건이 '연결재무제표'로 설정되어야 하는데, 모델은 `fs_div`를 'CFS'로 설정하였다. 따라서 모델의 답변은 질문의 요구사항을 충분히 반영하지 못했다.", "judge_score": 3.0}}
{"id": 48, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2019년부터 2022년까지 위니아의 매출 성장률 알려줘"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT (CAST(thstrm_amount AS DECIMAL(18,2)) - CAST(frmtrm_amount AS DECIMAL(18,2))) / CAST(frmtrm_amount AS DECIMAL(18,2)) * 100 AS growth_rate, thstrm_dt FROM ai_dart_corp_report WHERE corp_name = '위니아' AND bsns_year BETWEEN '2019' AND '2022' AND sj_div = 'IS' AND sj_nm = '손익계산서' AND fs_div = 'OFS' AND thstrm_amount != '0' AND frmtrm_amount != '0' GROUP BY thstrm_dt ORDER BY thstrm_dt;\"\n}\n```"], "references": ["{\"sql_query\": \"WITH yearly_revenue AS (SELECT bsns_year AS '연도', corp_name AS '회사명', CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED) AS '매출액' FROM ai_dart_corp_report WHERE corp_name = '위니아' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2019 AND 2022) SELECT (POWER((SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2022) / (SELECT 매출액 FROM yearly_revenue WHERE 연도 = 2019), 1.0 / 3) - 1) * 100 AS '연평균 성장률(CAGR)' FROM dual LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 질문은 2019년부터 2022년까지 위니아의 매출 성장률을 묻고 있으며, Additional Reference는 이를 계산하기 위한 SQL 쿼리를 제공합니다. 그러나 모델의 답변은 매출 성장률을 계산하는 대신, 특정 기간 동안의 매출액 변화를 계산하는 쿼리를 제공하고 있습니다. 또한, 모델의 쿼리는 연결재무제표(CFS)를 사용하지 않고 개별재무제표(OFS)를 사용하고 있으며, 매출액 계정(account_nm = '매출액')을 명시하지 않았습니다. 따라서 모델의 답변은 질문의 조건을 충족하지 못하고 있습니다.", "judge_score": 3.0}}
{"id": 39, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n신일전자 최근 5년의 순이익이 얼만가요 ?"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount FROM ai_dart_corp_report WHERE corp_name = '신일전자' AND sj_div = 'IS' AND sj_nm = '손익계산서' AND thstrm_dt >= DATE_SUB(CURDATE(), INTERVAL 5 YEAR) AND thstrm_amount != '' ORDER BY thstrm_dt DESC LIMIT 5\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT bsns_year AS '연도', corp_name AS '회사명', thstrm_amount AS '당기순이익' FROM ai_dart_corp_report WHERE corp_name = '신일전자' AND account_nm = '당기순이익' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN YEAR(NOW()) - 4 AND YEAR(NOW()) LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 부분적으로 충족하지만, 몇 가지 중요한 부분에서 부족함이 있다. 우선, 모델은 JSON 형식을 준수하여 답변을 제공하였다. 그러나 SQL 쿼리의 조건이 부정확하다. 질문은 최근 5년의 순이익을 묻고 있으며, Additional Reference에 따르면 '당기순이익' 계정명을 사용해야 한다. 모델의 쿼리에서는 'sj_div'와 'sj_nm'을 사용하여 손익계산서를 필터링하고 있지만, 'account_nm'을 '당기순이익'으로 필터링하지 않았다. 또한, 'fs_nm'을 '연결재무제표'로 필터링하지 않았고, 'thstrm_nm'의 형식도 고려하지 않았다. 따라서 모델의 쿼리는 정확한 결과를 반환하지 못할 가능성이 높다.", "judge_score": 5.0}}
{"id": 56, "category": "text2sql_dart", "questions": ["## DB 스키마 :\n-- 기업 재무제표 테이블\nCREATE TABLE `ai_dart_corp_report` (\n  `id` bigint(20) NOT NULL AUTO_INCREMENT,\n  `stock_code` varchar(6) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '상장회사의 종목코드',\n  `rcept_no` varchar(14) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '접수번호',\n  `bsns_year` varchar(4) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '사업연도',\n  `account_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '계정명',\n  `fs_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결구분 OFS:재무제표, CFS:연결재무제표',\n  `fs_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '개별/연결명',\n  `sj_div` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표구분 BS:재무상태표, IS:손익계산서',\n  `sj_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '재무제표명',\n  `thstrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기명',\n  `thstrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기일자',\n  `thstrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '당기금액',\n  `thstrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '당기누적금액',\n  `frmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기명',\n  `frmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기일자',\n  `frmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기금액',\n  `frmtrm_add_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전기누적금액',\n  `bfefrmtrm_nm` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기명',\n  `bfefrmtrm_dt` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기일자',\n  `bfefrmtrm_amount` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '전전기금액',\n  `currency` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '통화 단위',\n  `insert_dtm` datetime(6) DEFAULT NULL COMMENT 'DB 생성일자',\n  `corp_name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '정식회사명칭',\n  PRIMARY KEY (`id`),\n  UNIQUE KEY `UK8ftec913csvmrepmkvqsuhv8q` (`stock_code`,`bsns_year`,`rcept_no`,`account_nm`,`fs_div`),\n  KEY `idx_corp_report_info` (`corp_name`(100),`account_nm`(50),`fs_nm`(50),`thstrm_nm`(50),`bsns_year`),\n  KEY `idx_account_nm` (`account_nm`)\n) ENGINE=InnoDB AUTO_INCREMENT=779813 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n\n## 질문 :\n2021년부터 2023년까지 아모레퍼시픽의 누적 매출액을 구해주세요"], "outputs": ["```json\n{\n  \"sql_query\": \"SELECT thstrm_amount AS cumulative_revenue FROM ai_dart_corp_report WHERE corp_name = '아모레퍼시픽' AND bsns_year IN ('2021', '2022', '2023') AND fs_div = 'CFS' AND sj_div = 'IS' AND thstrm_add_amount IS NOT NULL GROUP BY thstrm_amount\"\n}\n```"], "references": ["{\"sql_query\": \"SELECT SUM(CAST(REPLACE(thstrm_amount, ',', '') AS SIGNED)) AS '누적 매출액' FROM ai_dart_corp_report WHERE corp_name = '아모레퍼시픽' AND account_nm = '매출액' AND fs_nm = '연결재무제표' AND thstrm_nm REGEXP '^제 [0-9]+ 기$' AND bsns_year BETWEEN 2021 AND 2023 LIMIT 20;\"}"], "query_single": {"judge_message": "모델의 답변은 질문의 요구사항을 충분히 반영하지 못했습니다. 우선, JSON 형식은 잘 준수했으나, SQL 쿼리의 내용이 부적절합니다. 질문에서는 2021년부터 2023년까지 아모레퍼시픽의 누적 매출액을 구하는 것이었으나, 모델의 쿼리는 누적 매출액을 구하는 데 필요한 SUM 함수와 REPLACE 함수가 빠져 있습니다. 또한, fs_div와 sj_div 조건은 적절하게 사용되었으나, thstrm_add_amount를 그룹화하는 것은 누적 매출액을 구하는 데 적절하지 않습니다. Additional Reference와 비교했을 때, 모델의 쿼리는 정확하지 않습니다.", "judge_score": 3.0}}