Commit 5fe2740b authored by Liky98's avatar Liky98
Browse files

평가 인스트럭트 수정

parent 4bcbf563
// 키워드 검색은 점수 측정 상 문제가 있으므로 주석처리
{"id": 1, "category": "search_keyword", "questions": ["음 그렇다면 세입자가 먼저 확정일자 신고를 해서 전세자금 전체를 보호받고 있음에도 소액임차보증금을 변제하는건 이중변제 아닌가 싶은데 어떻게 생각해?"], "references": ["전세자금 보호 중 소액임차보증금 변제 시 이중변제 여부"]} {"id": 1, "category": "search_keyword", "questions": ["음 그렇다면 세입자가 먼저 확정일자 신고를 해서 전세자금 전체를 보호받고 있음에도 소액임차보증금을 변제하는건 이중변제 아닌가 싶은데 어떻게 생각해?"], "references": ["전세자금 보호 중 소액임차보증금 변제 시 이중변제 여부"]}
{"id": 2, "category": "search_keyword", "questions": ["현대 물리학에서 다중우주 이론과 끈 이론의 관계에 대해 설명해줘."], "references": ["현대 물리학 다중우주 이론 끈 이론 관계"]} {"id": 2, "category": "search_keyword", "questions": ["현대 물리학에서 다중우주 이론과 끈 이론의 관계에 대해 설명해줘."], "references": ["현대 물리학 다중우주 이론 끈 이론 관계"]}
{"id": 3, "category": "search_keyword", "questions": ["차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문은?"], "references": ["차량 엔진 내 연료 효율 극대화 방법 논문"]} {"id": 3, "category": "search_keyword", "questions": ["차량 엔진 내 연료 효율을 극대화하는 방법에 대한 최신 연구 논문은?"], "references": ["차량 엔진 내 연료 효율 극대화 방법 논문"]}
...@@ -24,9 +25,9 @@ ...@@ -24,9 +25,9 @@
{"id": 15, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV, LOCD_SOC\n slide_page INT COMMENT '슬라이드 페이지 번호',\n keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경), S(사회), G(거버넌스), ESG(공통)\n indicator_name VARCHAR(200) COMMENT '지표 명',\n indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량, 정성\n indicator_unit VARCHAR(50) COMMENT '지표 단위',\n concept_description TEXT COMMENT '지표 개념 설명',\n detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n data_calculation_method TEXT COMMENT '데이터 산출 방안',\n data_source VARCHAR(100) COMMENT '데이터 출처',\n related_systems VARCHAR(100) COMMENT '연관 시스템',\n notes VARCHAR(200) COMMENT '기타 주석',\n PRIMARY KEY (id, slide_page)\n);\n-- 기타 테이블 생략\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n - 예시: \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\nESG 범주가 'G(지배구조)'인 지표의 정보를 알려줘."],"references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G(지배구조)';\"}"]} {"id": 15, "category": "text2sql", "questions": ["## DB 스키마 :\n-- ESG 지표 정보를 저장하는 메인 테이블\nCREATE TABLE esg_indicators (\n id VARCHAR(20) COMMENT '지표 정의서(정의서 ID)', -- LOCD_ENV, LOCD_GOV, LOCD_SOC\n slide_page INT COMMENT '슬라이드 페이지 번호',\n keyword VARCHAR(100) COMMENT '지표 키워드(핵심 키워드)',\n managing_dept VARCHAR(100) COMMENT '지표 관리 부서',\n esg_category VARCHAR(10) COMMENT 'ESG 범주(카테고리) (E: 환경, S: 사회, G: 지배구조)', -- E(환경), S(사회), G(거버넌스), ESG(공통)\n indicator_name VARCHAR(200) COMMENT '지표 명',\n indicator_type VARCHAR(20) COMMENT '지표 유형 (정성/정량)', -- 정량, 정성\n indicator_unit VARCHAR(50) COMMENT '지표 단위',\n concept_description TEXT COMMENT '지표 개념 설명',\n detailed_requirements TEXT COMMENT '지표 세부 요구사항 및 가이던스',\n calculation_formula VARCHAR(200) COMMENT '지표 산출식',\n data_calculation_method TEXT COMMENT '데이터 산출 방안',\n data_source VARCHAR(100) COMMENT '데이터 출처',\n related_systems VARCHAR(100) COMMENT '연관 시스템',\n notes VARCHAR(200) COMMENT '기타 주석',\n PRIMARY KEY (id, slide_page)\n);\n-- 기타 테이블 생략\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n - 예시: \"ENV 001 지표명은 뭐야?\" 라는 질문이 있을때, DB에는 \"LOCD_ENV001\" 형태로 저장되어 있으므로 검색결과를 위해서는 \"LOCD_ENV001\"로 문자열 검색을 해야합니다.\n - 예시: \"개인정보 관련 지표는 뭐가 있어?\" 라는 질문이 있을때, 어떤 필드를 검색해야할지 결정하기 어려우므로 text 형태의 주요한 필드를 최대한 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n\n## 질문 :\nESG 범주가 'G(지배구조)'인 지표의 정보를 알려줘."],"references": ["{\"sql_query\": \"SELECT * FROM esg_indicators WHERE esg_category = 'G(지배구조)';\"}"]}
{"id": 16, "category": "text2sql", "questions": ["## DB 스키마 :\n-- 제품 정보를 저장하는 메인 테이블\nCREATE TABLE products (\n product_id INT PRIMARY KEY COMMENT '제품 ID',\n product_name VARCHAR(100) COMMENT '제품명',\n category VARCHAR(50) COMMENT '카테고리',\n price DECIMAL(10,2) COMMENT '가격',\n stock INT COMMENT '재고 수량',\n supplier_id INT COMMENT '공급업체 ID',\n description TEXT COMMENT '제품 설명'\n);\n-- 공급업체 정보를 저장하는 테이블\nCREATE TABLE suppliers (\n supplier_id INT PRIMARY KEY COMMENT '공급업체 ID',\n supplier_name VARCHAR(100) COMMENT '공급업체명',\n contact_email VARCHAR(100) COMMENT '연락처 이메일',\n phone_number VARCHAR(20) COMMENT '전화번호'\n);\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n - 예시: \"제품 ID 1001의 이름은?\" 라는 질문이 있을때, DB에는 \"1001\"로 저장되어 있으므로 검색결과를 위해서는 \"1001\"로 문자열 검색을 해야합니다.\n - 예시: \"재고가 없는 제품은?\" 라는 질문이 있을때, 재고 수량을 확인하여 0인 제품을 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n## 질문 :\n가격이 10000 이상인 제품의 이름과 가격을 알려줘."], "references": ["{\"sql_query\": \"SELECT product_id, product_name, price FROM products WHERE price >= 10000;\"}"]} {"id": 16, "category": "text2sql", "questions": ["## DB 스키마 :\n-- 제품 정보를 저장하는 메인 테이블\nCREATE TABLE products (\n product_id INT PRIMARY KEY COMMENT '제품 ID',\n product_name VARCHAR(100) COMMENT '제품명',\n category VARCHAR(50) COMMENT '카테고리',\n price DECIMAL(10,2) COMMENT '가격',\n stock INT COMMENT '재고 수량',\n supplier_id INT COMMENT '공급업체 ID',\n description TEXT COMMENT '제품 설명'\n);\n-- 공급업체 정보를 저장하는 테이블\nCREATE TABLE suppliers (\n supplier_id INT PRIMARY KEY COMMENT '공급업체 ID',\n supplier_name VARCHAR(100) COMMENT '공급업체명',\n contact_email VARCHAR(100) COMMENT '연락처 이메일',\n phone_number VARCHAR(20) COMMENT '전화번호'\n);\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"sql_query\": \"...\"} 입니다.\n3. \"sql_query\"의 기본값은 빈 스트링(\"\")이며, SQL 쿼리를 생성할 수 있는 경우 SQL 쿼리문을 입력합니다.\n4. 사용자 질문은 DB 데이터를 모르는 상태이기 때문에 적절치 않은 질문이 들어 올 수 있습니다. 이 부분은 반드시 고려하여 SQL 문을 생성합니다.\n - 예시: \"제품 ID 1001의 이름은?\" 라는 질문이 있을때, DB에는 \"1001\"로 저장되어 있으므로 검색결과를 위해서는 \"1001\"로 문자열 검색을 해야합니다.\n - 예시: \"재고가 없는 제품은?\" 라는 질문이 있을때, 재고 수량을 확인하여 0인 제품을 검색해야 합니다.\n5. SELECT 시 PRIMARY_KEY는 반드시 포함 합니다.\n## 질문 :\n가격이 10000 이상인 제품의 이름과 가격을 알려줘."], "references": ["{\"sql_query\": \"SELECT product_id, product_name, price FROM products WHERE price >= 10000;\"}"]}
{"id": 17, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT id, slide_page, eval_code FROM esg_eval_codes WHERE eval_code LIKE 'SUST%';\n\n## SQL 실행결과-1:\n정의서 ID:\nLOCD_COM001\n슬라이드 페이지 번호:\n1055\nESG 평가/공시 지표 코드:\nSUST-CO-G050\n## SQL 실행결과-2:\n정의서 ID:\nLOCD_COM011\n슬라이드 페이지 번호:\n1066\nESG 평가/공시 지표 코드:\nSUST-CO-C001\nSUST-CO-E041\n## SQL 실행결과-3:\n정의서 ID:\nLOCD_COM022\n슬라이드 페이지 번호:\n1079\nESG 평가/공시 지표 코드:\nSUST-CO-G052\n## SQL 실행결과-4:\n정의서 ID:\nLOCD_ENV008\n슬라이드 페이지 번호:\n13\nESG 평가/공시 지표 코드:\nSUST-CO-E047\nSUST-CO-E048\n## SQL 실행결과-5:\n정의서 ID:\nLOCD_ENV019\n슬라이드 페이지 번호:\n28\n29\nESG 평가/공시 지표 코드:\nSUST-CO-E021\n## SQL 실행결과-6:\n정의서 ID:\nLOCD_ENV032\n슬라이드 페이지 번호:\n43\nESG 평가/공시 지표 코드:\nSUST-CO-E042\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n3. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n4. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n5. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n6. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n7. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n8. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\nESG 평가 코드가 SUST로 시작하는 지표를 찾아줘"], "references": ["1. 정의서 ID: LOCD_COM001\n ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n ESG 평가/공시 지표 코드: SUST-CO-E042\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."]} {"id": 17, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT id, slide_page, eval_code FROM esg_eval_codes WHERE eval_code LIKE 'SUST%';\n\n## SQL 실행결과-1:\n정의서 ID:\nLOCD_COM001\n슬라이드 페이지 번호:\n1055\nESG 평가/공시 지표 코드:\nSUST-CO-G050\n## SQL 실행결과-2:\n정의서 ID:\nLOCD_COM011\n슬라이드 페이지 번호:\n1066\nESG 평가/공시 지표 코드:\nSUST-CO-C001\nSUST-CO-E041\n## SQL 실행결과-3:\n정의서 ID:\nLOCD_COM022\n슬라이드 페이지 번호:\n1079\nESG 평가/공시 지표 코드:\nSUST-CO-G052\n## SQL 실행결과-4:\n정의서 ID:\nLOCD_ENV008\n슬라이드 페이지 번호:\n13\nESG 평가/공시 지표 코드:\nSUST-CO-E047\nSUST-CO-E048\n## SQL 실행결과-5:\n정의서 ID:\nLOCD_ENV019\n슬라이드 페이지 번호:\n28\n29\nESG 평가/공시 지표 코드:\nSUST-CO-E021\n## SQL 실행결과-6:\n정의서 ID:\nLOCD_ENV032\n슬라이드 페이지 번호:\n43\nESG 평가/공시 지표 코드:\nSUST-CO-E042\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n3. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n4. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n5. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n6. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n7. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n8. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\nESG 평가 코드가 SUST로 시작하는 지표를 찾아줘"], "references": ["{\"answer\": \"1. 정의서 ID: LOCD_COM001\n ESG 평가/공시 지표 코드: SUST-CO-G050\n\n2. 정의서 ID: LOCD_COM011\n ESG 평가/공시 지표 코드: SUST-CO-C001, SUST-CO-E041\n\n3. 정의서 ID: LOCD_COM022\n ESG 평가/공시 지표 코드: SUST-CO-G052\n\n4. 정의서 ID: LOCD_ENV008\n ESG 평가/공시 지표 코드: SUST-CO-E047, SUST-CO-E048\n\n5. 정의서 ID: LOCD_ENV019\n ESG 평가/공시 지표 코드: SUST-CO-E021\n\n6. 정의서 ID: LOCD_ENV032\n ESG 평가/공시 지표 코드: SUST-CO-E042\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요.\""]}
{"id": 18, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT product_name, SUM(quantity) AS total_quantity FROM inventory_orders GROUP BY product_name HAVING SUM(quantity) > 100;\n\n## SQL 실행결과-1:\n제품명:\nProduct A\n총 수량:\n150\n\n## SQL 실행결과-2:\n제품명:\nProduct B\n총 수량:\n200\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n총 수량이 100을 초과하는 제품의 이름과 총 수량을 알려줘."],"references":["1. 제품명: Product A\n 총 수량: 150\n\n2. 제품명: Product B\n 총 수량: 200\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."]} {"id": 18, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT product_name, SUM(quantity) AS total_quantity FROM inventory_orders GROUP BY product_name HAVING SUM(quantity) > 100;\n\n## SQL 실행결과-1:\n제품명:\nProduct A\n총 수량:\n150\n\n## SQL 실행결과-2:\n제품명:\nProduct B\n총 수량:\n200\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n총 수량이 100을 초과하는 제품의 이름과 총 수량을 알려줘."],"references":["{\"answer\": \"1. 제품명: Product A\n 총 수량: 150\n\n2. 제품명: Product B\n 총 수량: 200\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요.\""]}
{"id": 19, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT department, AVG(expense) AS average_expense FROM finance_expenses GROUP BY department;\n\n## SQL 실행결과-1:\n부서:\nHR\n평균 지출:\n5000\n\n## SQL 실행결과-2:\n부서:\nIT\n평균 지출:\n7500\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n각 부서별 평균 지출을 알려줘."],"references":["1. 부서: HR\n 평균 지출: 5000\n\n2. 부서: IT\n 평균 지출: 7500\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요."]} {"id": 19, "category": "sql2text", "questions": ["## SQL 실행 쿼리 :\nSELECT department, AVG(expense) AS average_expense FROM finance_expenses GROUP BY department;\n\n## SQL 실행결과-1:\n부서:\nHR\n평균 지출:\n5000\n\n## SQL 실행결과-2:\n부서:\nIT\n평균 지출:\n7500\n\n## 조건 :\n1. 답변은 반드시 JSON 형식으로 구성됩니다.\n2. JSON 형식은 {\"answer\": \"...\"} 입니다.\n3. \"answer\"의 기본값은 빈 스트링(\"\")이며, 주어진 문맥에서 답변할 수 있는 경우에만 답변을 문자열로 입력합니다.\n4. 답변은 주어진 질문과 연관된 근거 문서의 슬라이드 페이지를 제외한 모든 내용을 반영해야 하며, 문장단위로 유창하고 정중하게 설명해야 합니다.\n5. 답변 끝에는 \"언제든지 추가 질문이나 도움이 필요하시면 말씀해 주세요.\" 와 같이 리액션을 밝게 답변해야 합니다.\n6. 주어진 문맥에서 답변할 수 없는 경우 \"문서에서 정보를 찾지 못하여 질문에 대해 구체적으로 답변을 드리기 어렵습니다. 좀 더 구체적인 질문을 주시면 최대한 도움을 드리도록 하겠습니다\" 와 같이 답변할 수 없는 이유를 정중하고 유창하게 입력합니다.\n7. SQL 실행 레코드 갯수가 5개가 넘어 가는 경우 주어진 문서를 바탕으로 답변을 생성한 후 \"문서 검색 결과가 다양하므로, 구체적인 질문을 주시면 보다 정확하고 상세한 답변을 드릴 수 있습니다.\" 라고 답변을 정중하게 요청합니다.\n8. 답변해야할 정보가 많다면 사용자가 읽기 편하게 구조화와 개행문자를 적절하게 포함해서 답변해야 합니다.\n9. 답변에는 슬라이드 페이지 정보는 절대 포함하지 마세요.\n\n## 질문 :\n각 부서별 평균 지출을 알려줘."],"references":["{\"answer\": \"1. 부서: HR\n 평균 지출: 5000\n\n2. 부서: IT\n 평균 지출: 7500\n\n 문서 검색 결과가 다양하니, 구체적인 질문이나 분석이 필요한 경우 언제든지 말씀해 주세요.\""]}
{"id": 20, "category": "mrc", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분 AS-IS TO-BE 신규고객 심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 : 2024.05.09. (목) 오전08:30 4. 문의 : 심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "references": [null]} {"id": 20, "category": "mrc", "questions": ["이상(중,고위험)/신규계약/B2C\",보험미가입,전연령,할증Ⅱ 5%,보험미가입,\"중,고위험/신규계약\" 할증,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[보험가입]할증/(중,고,초고위험)/전체계약/B2C\",미대상,미대상,할증Ⅲ 5%,보험가입,\"중,고,초고위험/신규계약\" ,\"[사고건수및과태료]할증/초고위험/추가,재계약/B2C\",미대상,미대상,할증Ⅳ 3%,사고건수및과태료,초고위험/재계약 ,\"[우수신용]할인/(KRSS 1~3 등급)/신규,추가계약/전체\",우수신용,KRSS 1~3 등급,우량할인Ⅰ1%,우수신용,KRSS 1~3 등급 ,\"[사고손해율우량]할인/(초우량/우량A/우량B)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅱ 1%,사고손해율우량,\"초우량,우량A,B/신규,추가계약\" ,\"[사고손해율우량]할인/(S0/A1/A2)/신규,추가계약/전체\",사고손해율우량,신규/추가계약,우량할인Ⅲ 1%,사고손해율우량,\"S0,A1,A2/신규,추가계약\" 할인,[사고손해율우량]할인/(A1/A2)/재계약/전체,사고손해율우량,재계약,\"우량할인Ⅳ 1.5%\",사고손해율우량,\"A1,A2/재계약\" ,[사고손해율우량]할 2.보험심사 연령제한 CUT-OFF 기준 신규 도입으로 아래와 같이 안내 드리니 업무에 참고해 주시기 바랍니다. 1. 보험심사 연령제한 CUT-OFF 내용 1) 연령대별 손해율 분석으로 80세 이상 연령대에서 높은 수준의 사고손해율 확인 2) 최근 80대 연령 운전자 사고로 운전자 및 동승자 사망사고 발생으로 연령제한 CUT-OFF 도입 2. 보험심사 연령제한 CUT-OFF 대상 1) 계약유형 : 신차장기/중고차장기/월단기 신규 및 재계약 2) 고객구분 : 개인/개인사업자 B2C 전체 표1 신규고객, 기존고객 연령제한 수기심사 대상 구분 AS-IS TO-BE 신규고객 심사없음 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 기존고객 당사 사고이력보유 만연령60세 이상 수 기심사 1. 당사 사고이력보유 만연령 60세 이상 수기심사 2. 사고이력, 예측모형 등급 무관 만연령 80대 CUT-OFF 3. 시행 일자 : 2024.05.09. (목) 오전08:30 4. 문의 : 심사팀 5. 게시글URL https://comp.lotte.net:443/MOIN/dispatcherBBS.jsp?articleId=RENEW17151580419910011&bbsId= MIG_6981\n\n## 질문: 보험 손해율 자료 보여줘"], "references": [null]}
......
...@@ -187,6 +187,7 @@ JUDGE_TEMPLATE = { ...@@ -187,6 +187,7 @@ JUDGE_TEMPLATE = {
# 출력 형식 # 출력 형식
평가: 평가 내용 평가: 평가 내용
점수: 숫자""", 점수: 숫자""",
"lotte_eval_template": """너는 질문에 대한 한국어 언어 모델의 답변을 매우 꼼꼼히 평가할 것이다. 공정한 평가를 위해 아래의 규칙을 준수한다. "lotte_eval_template": """너는 질문에 대한 한국어 언어 모델의 답변을 매우 꼼꼼히 평가할 것이다. 공정한 평가를 위해 아래의 규칙을 준수한다.
# 기본 규칙 # 기본 규칙
...@@ -194,7 +195,11 @@ JUDGE_TEMPLATE = { ...@@ -194,7 +195,11 @@ JUDGE_TEMPLATE = {
2. 답변 과정에서 누락되었거나 포함되지 못하여 아쉬운 부분에 대하여 상세히 분석할 것. 2. 답변 과정에서 누락되었거나 포함되지 못하여 아쉬운 부분에 대하여 상세히 분석할 것.
3. 답변의 길이가 평가 결과에 영향을 미치지 않도록 할 것. 3. 답변의 길이가 평가 결과에 영향을 미치지 않도록 할 것.
4. Additional Reference는 정답을 의미하며, 만약 해당 값이 제공된다면 평가 시 해당 정보를 참고할 것. 4. Additional Reference는 정답을 의미하며, 만약 해당 값이 제공된다면 평가 시 해당 정보를 참고할 것.
5. 모델은 Instruct를 정확히 따라 학습이 되었으며, Additional Reference의 내용이 포함되었다면 높은 점수를 얻는다.
# 롯데 관련 규칙
- 만약 키워드 생성 작업이라면 모델은 유저의 질문에 답하는 것이 아닌 키워드만 출력해야하며 부가적인 설명이 있으면 안된다.
- 만약 문서를 기반으로 사실적 답변을 제공하는 작업이라면, 모델의 생성문은 주어진 context 내에 정보가 있어야한다.
- 만약 text를 sql query로 변환하는 작업이라면, 쿼리만 생성해야하며 부가적인 설명이 있으면 안된다.
# 언어 요구사항 # 언어 요구사항
- 모델은 반드시 한국어로 답변해야 하며, 다른 언어로의 답변은 절대 허용되지 않는다. - 모델은 반드시 한국어로 답변해야 하며, 다른 언어로의 답변은 절대 허용되지 않는다.
......
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment