# korean vocab 토크나이저에 추가하는 용으로 토큰화된 한글을 모아놓음 출처는 [여기](https://huggingface.co/beomi/llama-2-ko-7b)입니다. 16488개 존재합니다. 토크나이저의 `add_new_vocab`을 통해 추가하면 중복없이 추가된다고 합니다.
