start.sh

#!/bin/bash

# 변수 설정
MODEL="Qwen/Qwen2.5-7B-Instruct" #허깅페이스 모델 
API_KEY="sk-##" #openai api key 입력해주세요.
GPU_DEVICES=2 # 사용할 GPU 번호
MODEL_LEN=4096 

# 아래부터는 안건드려도 됩니다.
OUTPUT_DIR="generated/$MODEL"
EVAL_DIR="evaluated/$MODEL"
JUDGE_MODEL="gpt-4o" 

# 생성 스크립트 실행
python3 generator.py --model $MODEL --gpu_devices $GPU_DEVICES --model_len $MODEL_LEN
python3 lotte-generator.py --model $MODEL --gpu_devices $GPU_DEVICES --model_len $MODEL_LEN

# 평가 스크립트 실행
python3 evaluator.py -o $OUTPUT_DIR -m $MODEL -k $API_KEY -t 30 -j $JUDGE_MODEL
python3 lotte-evaluator.py -o $OUTPUT_DIR -m $MODEL -k $API_KEY -t 30 -j $JUDGE_MODEL

# 점수 계산 스크립트 실행
python3 score.py -p "$EVAL_DIR/default.jsonl"
python3 score.py -p "$EVAL_DIR/1-shot.jsonl"
python3 score.py -p "$EVAL_DIR/cot-1-shot.jsonl"
python3 lotte-score.py -p "$EVAL_DIR/lotte_single_turn.jsonl"

# 점수 결합 스크립트 실행 
python3 combine_scores.py -i "$EVAL_DIR" -o "$EVAL_DIR/combined_scores.xlsx"