{"id":42,"category":"문법(Grammar)","questions":["나는어제친구와김치찌개를먹었다.\n\n이 문장을 올바르게 띄어 써보아라.","아래 문장의 높임 표현을 올바르게 수정보아라.\n\n할머니가 밥을 먹는다."],"references":["나는 어제 친구와 김치찌개를 먹었다.","할머니께서 진지를 잡수신다."]}
{"id":42,"category":"문법(Grammar)","questions":["나는어제친구와김치찌개를먹었다.\n\n이 문장을 올바르게 띄어 써보아라.","아래 문장의 높임 표현을 올바르게 수정보아라.\n\n할머니가 밥을 먹는다."],"references":["나는 어제 친구와 김치찌개를 먹었다.","할머니께서 진지를 잡수신다."]}
{"id":22,"category":"코딩(Coding)","questions":["시간 복잡도를 어떻게 구할 수 있는지 설명해주고, 많이 쓰이는 알고리즘 중에 최적화를 통해 시간 복잡도를 줄인 예시를 알려줘.","공간 복잡도라는 용어도 있던데 뭐가 다른 거야?"],"references":[null,null]}
{"id":22,"category":"코딩(Coding)","questions":["시간 복잡도를 어떻게 구할 수 있는지 설명해주고, 많이 쓰이는 알고리즘 중에 최적화를 통해 시간 복잡도를 줄인 예시를 알려줘.","공간 복잡도라는 용어도 있던데 뭐가 다른 거야?"],"references":[null,null]}
{"id":1,"category":"search_keyword","questions":["음 그렇다면 세입자가 먼저 확정일자 신고를 해서 전세자금 전체를 보호받고 있음에도 소액임차보증금을 변제하는건 이중변제 아닌가 싶은데 어떻게 생각해?"],"references":[null]}
"search_summary":"다음 검색 결과를 바탕으로 사용자의 질문에 대답하세요. 검색 결과에 질문에 대한 정보가 없으면 관련 내용을 찾지 못했다고 답변하고 만약, 자체적으로 답변이 가능한 질문이면 답변하세요.",
#상품 리뷰를 기반으로 이를 요약해주는 작업
"review_summary":"다음 상품 리뷰를 요약하시오. 요약 시 상품명이 반드시 들어가야 합니다. 부정적인 내용은 요약에 포함시키면 안됩니다.",
#대화 및 회의 내용을 일정한 형식에 맞춰 요약해주는 작업
"meeting_summary":"다음 대화 스크립트를 핵심 내용만 남도록 요약하세요. 만약 대화 스크립트 내용이 없다면, 내용이 없다고 답하세요. 요약문 형식은 다음 형식을 꼭 따라야 합니다.\n#### [제목]\n- [요약문]\n- [요약문]\n제목 맨 앞에는 적절한 이모지를 꼭 넣어주세요.",
#회의를 요청하는 메일을 작성해주는 작업
"task_assistant_mail_meeting":"아래 내용으로 회의를 요청하는 메일을 작성해줘.",
#회의록을 전달하는 메일을 작성해주는 작업
"task_assistant_mail_share":"아래 내용을 바탕으로 회의록을 전달하는 이메일을 작성해주세요. 이메일에는 회의록 내용을 포함 시켜 정확하고 명확한 정보 전달이 이루어지도록 해주세요.",
#홍보 메일을 작성해주는 작업
"task_assistant_mail_pr":"아래 사항을 반영하여 홍보 메일을 작성해주세요.",
#기업 소개 메일을 작성해주는 작업
"task_assistant_mail_introduce":"아래 내용을 바탕으로 정중하고 전문적인 어투로 기업을 소개하는 메일을 작성해 주세요. 웹사이트 주소가 있다면 웹사이트 주소를 포함해 주세요.",
#팀에 대해 소개해주는 작업 (채용 공고)
"task_assistant_hire":"아래 세부 정보를 활용하여 조직의 매력적인 개요를 작성하십시오. 팀의 독특한 강점, 주요 프로젝트 및 주목할 만한 성취를 강조하고, 지정된 키워드에 대한 팀의 전문성이 그들의 책임과 프로젝트에서 어떻게 성공에 기여하는지를 강조합니다. 소개문은 설득력 있고, 팀의 정체성, 사명, 및 영향력에 대한 명확한 스냅샷을 제공해야 합니다.",
#텍스트를 SQL로 변환해주는 작업
"text2sql":"DB 스키마 및 예시를 고려하여 질문에 적합한 SQL문을 단계별로 생각해가며 생성합니다. 답변은 조건을 반드시 만족해야 합니다.",
#롯데 관련 질문에 답변을 제공해주는 작업
"lotte_qa":"",
#문서를 기반으로 사실적 답변을 제공해주는 작업
"mrc":"다음 문서를 근거로 들면서 질문에 자세히 답변하세요. 문서 안에 질문에 대한 내용이 없으면 관련 내용을 찾을 수 없다고 답하세요.",
#검색된 문서를 질문과 관련된 내용만 남도록 요약해주는 작업
"mrc_summary":"다음 문서를 질문과 관련있는 내용만 남도록 요약하세요. 요약 할때 질문과 관련된 정보는 최대한 유지해야 합니다. 만약 문서의 내용이 질문과 관련이 없다면, 관련 내용을 찾을 수 없다고 답하세요."
"search_summary":"다음 검색 결과를 바탕으로 사용자의 질문에 대답하세요. 검색 결과에 질문에 대한 정보가 없으면 관련 내용을 찾지 못했다고 답변하고 만약, 자체적으로 답변이 가능한 질문이면 답변하세요.",
#상품 리뷰를 기반으로 이를 요약해주는 작업
"review_summary":"다음 상품 리뷰를 요약하시오. 요약 시 상품명이 반드시 들어가야 합니다. 부정적인 내용은 요약에 포함시키면 안됩니다.",
#대화 및 회의 내용을 일정한 형식에 맞춰 요약해주는 작업
"meeting_summary":"다음 대화 스크립트를 핵심 내용만 남도록 요약하세요. 만약 대화 스크립트 내용이 없다면, 내용이 없다고 답하세요. 요약문 형식은 다음 형식을 꼭 따라야 합니다.\n#### [제목]\n- [요약문]\n- [요약문]\n제목 맨 앞에는 적절한 이모지를 꼭 넣어주세요.",
#회의를 요청하는 메일을 작성해주는 작업
"task_assistant_mail_meeting":"아래 내용으로 회의를 요청하는 메일을 작성해줘.",
#회의록을 전달하는 메일을 작성해주는 작업
"task_assistant_mail_share":"아래 내용을 바탕으로 회의록을 전달하는 이메일을 작성해주세요. 이메일에는 회의록 내용을 포함 시켜 정확하고 명확한 정보 전달이 이루어지도록 해주세요.",
#홍보 메일을 작성해주는 작업
"task_assistant_mail_pr":"아래 사항을 반영하여 홍보 메일을 작성해주세요.",
#기업 소개 메일을 작성해주는 작업
"task_assistant_mail_introduce":"아래 내용을 바탕으로 정중하고 전문적인 어투로 기업을 소개하는 메일을 작성해 주세요. 웹사이트 주소가 있다면 웹사이트 주소를 포함해 주세요.",
#팀에 대해 소개해주는 작업 (채용 공고)
"task_assistant_hire":"아래 세부 정보를 활용하여 조직의 매력적인 개요를 작성하십시오. 팀의 독특한 강점, 주요 프로젝트 및 주목할 만한 성취를 강조하고, 지정된 키워드에 대한 팀의 전문성이 그들의 책임과 프로젝트에서 어떻게 성공에 기여하는지를 강조합니다. 소개문은 설득력 있고, 팀의 정체성, 사명, 및 영향력에 대한 명확한 스냅샷을 제공해야 합니다.",
#텍스트를 SQL로 변환해주는 작업
"text2sql":"DB 스키마 및 예시를 고려하여 질문에 적합한 SQL문을 단계별로 생각해가며 생성합니다. 답변은 조건을 반드시 만족해야 합니다.",
#롯데 관련 질문에 답변을 제공해주는 작업
"lotte_qa":"",
#문서를 기반으로 사실적 답변을 제공해주는 작업
"mrc":"다음 문서를 근거로 들면서 질문에 자세히 답변하세요. 문서 안에 질문에 대한 내용이 없으면 관련 내용을 찾을 수 없다고 답하세요.",
#검색된 문서를 질문과 관련된 내용만 남도록 요약해주는 작업
"mrc_summary":"다음 문서를 질문과 관련있는 내용만 남도록 요약하세요. 요약 할때 질문과 관련된 정보는 최대한 유지해야 합니다. 만약 문서의 내용이 질문과 관련이 없다면, 관련 내용을 찾을 수 없다고 답하세요.",
}
PROMPT_STRATEGY={
PROMPT_STRATEGY={
"cot-1-shot":[
"cot-1-shot":[
{
{
...
@@ -95,22 +137,6 @@ git merge feature
...
@@ -95,22 +137,6 @@ git merge feature
"default":[],
"default":[],
}
}
LOTTE_PROMPT_STRATEGY={
"search_keyword":"인터넷 검색을 위한 키워드 생성해줘",
"search_summary":"다음 검색 결과를 바탕으로 사용자의 질문에 대답하세요. 검색 결과에 질문에 대한 정보가 없으면 관련 내용을 찾지 못했다고 답변하고 만약, 자체적으로 답변이 가능한 질문이면 답변하세요.",
"review_summary":"다음 상품 리뷰를 요약하시오. 요약 시 상품명이 반드시 들어가야 합니다. 부정적인 내용은 요약에 포함시키면 안됩니다.",
"meeting_summary":"다음 대화 스크립트를 핵심 내용만 남도록 요약하세요. 만약 대화 스크립트 내용이 없다면, 내용이 없다고 답하세요. 요약문 형식은 다음 형식을 꼭 따라야 합니다.\n#### [제목]\n- [요약문]\n- [요약문]\n제목 맨 앞에는 적절한 이모지를 꼭 넣어주세요.",
"task_assistant_mail_meeting":"아래 내용으로 회의를 요청하는 메일을 작성해줘.",
"task_assistant_mail_share":"아래 내용을 바탕으로 회의록을 전달하는 이메일을 작성해주세요. 이메일에는 회의록 내용을 포함 시켜 정확하고 명확한 정보 전달이 이루어지도록 해주세요.",
"task_assistant_mail_pr":"아래 사항을 반영하여 홍보 메일을 작성해주세요.",
"task_assistant_mail_introduce":"아래 내용을 바탕으로 정중하고 전문적인 어투로 기업을 소개하는 메일을 작성해 주세요. 웹사이트 주소가 있다면 웹사이트 주소를 포함해 주세요.",
"task_assistant_hire":"아래 세부 정보를 활용하여 조직의 매력적인 개요를 작성하십시오. 팀의 독특한 강점, 주요 프로젝트 및 주목할 만한 성취를 강조하고, 지정된 키워드에 대한 팀의 전문성이 그들의 책임과 프로젝트에서 어떻게 성공에 기여하는지를 강조합니다. 소개문은 설득력 있고, 팀의 정체성, 사명, 및 영향력에 대한 명확한 스냅샷을 제공해야 합니다.",
"text2sql":"DB 스키마 및 예시를 고려하여 질문에 적합한 SQL문을 단계별로 생각해가며 생성합니다. 답변은 조건을 반드시 만족해야 합니다.",
"lotte_qa":"",
"mrc":"다음 문서를 근거로 들면서 질문에 자세히 답변하세요. 문서 안에 질문에 대한 내용이 없으면 관련 내용을 찾을 수 없다고 답하세요.",
}
JUDGE_TEMPLATE={
JUDGE_TEMPLATE={
"single_turn":"""너는 질문에 대한 한국어 언어 모델의 답변을 매우 꼼꼼히 평가할 것이다. 공정한 평가를 위해 아래의 규칙을 준수한다.
"single_turn":"""너는 질문에 대한 한국어 언어 모델의 답변을 매우 꼼꼼히 평가할 것이다. 공정한 평가를 위해 아래의 규칙을 준수한다.
