start.sh

#!/bin/bash

# 변수 설정
huggingface-cli login --token hf_ #hf key 입력해주세요.
API_KEY="sk-" #openai api key 입력해주세요.

MODEL="Qwen/Qwen2.5-7B-Instruct" #허깅페이스 모델 
GPU_DEVICES=2 # 사용할 GPU 번호
MODEL_LEN=32000 

# 아래부터는 안건드려도 됩니다.
OUTPUT_DIR="generated/$MODEL"
EVAL_DIR="evaluated/$MODEL"
JUDGE_MODEL="gpt-4o" 

echo "$MODEL 모델을 사용하여 평가를 진행합니다."

# 생성 스크립트 실행
python generator.py --model $MODEL --gpu_devices $GPU_DEVICES --model_len $MODEL_LEN
python lotte-generator.py --model $MODEL --gpu_devices $GPU_DEVICES --model_len $MODEL_LEN

# 평가 스크립트 실행
python evaluator.py -o $OUTPUT_DIR -m $MODEL -k $API_KEY -t 30 -j $JUDGE_MODEL
python lotte-evaluator.py -o $OUTPUT_DIR -m $MODEL -k $API_KEY -t 30 -j $JUDGE_MODEL

# 점수 계산 스크립트 실행
python score.py -p "$EVAL_DIR/default.jsonl"
python score.py -p "$EVAL_DIR/1-shot.jsonl"
python score.py -p "$EVAL_DIR/cot-1-shot.jsonl"
python lotte-score.py -p "$EVAL_DIR/lotte_single_turn.jsonl"

# 점수 결합 스크립트 실행 
python combine_scores.py -i "$EVAL_DIR" -o "$EVAL_DIR/combined_scores.xlsx"

# 한 엑셀파일에 평가 결과를 종합시킨다. 
python merge_results.py
echo "파이프라인이 종료되었습니다."