Natural Language
Processing
42dot LLM-SFT
42dot LLM-SFT는 42dot에서 개발한 LLM(거대 언어 모델)으로 자연어 instruction을 따르도록 학습되었습니다. 42dot LLM-SFT는 42dot LLM의 일부이며 supervised fine-tuning (SFT)을 통해 42dot LLM-PLM에서 파생되었습니다. 이 저장소에는 1.3B parameter 버전이 포함되어 있습니다.
Download LLM-SFT on Hugging Face
LLM-SFT
Model Description
Hyperparameters
42dot LLM-SFT는 42dot LLM-PLM과 동일하게 LLaMA 2 아키텍처로 구성되었으며, 모델 하이퍼파라미터는 다음과 같습니다.
ParamsLayersAttention headsHidden sizeFFN sizeMax. length*
1.3B24322,0485,6324,096

(* unit: tokens)

Supervised Fine-tuning
미세 조정은 약 112 GPU hours가 소요되었습니다(NVIDIA A100 사용). 학습 데이터는 자체 구축하였으며 <질문 혹은 지시> 및 <응답> 쌍으로 구성되어 있습니다. 또한 학습 데이터는 싱글턴 및 멀티턴으로 구축하였습니다.
Evaluation
Vicuna와 같은 최근 사례에 착안해 우리도 GPT-4를 이용한 42dot LLM-PLM과 다른 상용/공개 챗봇과의 성능 평가를 진행하였습니다. 각 챗봇의 응답을 모아 GPT-4에 여러 가지 지표에서 채점을 시키는 방식으로 평가를 진행하였으며, 공정성을 더하기 위해 Instruct-GPT를 참고한 후, 크게 10개 카테고리로 구분된 121개 프롬프트로 구성된 평가셋을 구축한 후 테스트했습니다. 평가셋의 실제 샘플 및 채점 프롬프트는 저희 GitHub 레포지터리에서 다운로드 가능합니다.
Baselines
ModelGPT-3.5GPT-4BardKORani42dot LLM-SFT
ParamsUnknownUnknownUnknown13B1.3B
Citation
42dot LLM-SFT 활용시 아래 citation을 이용해주세요.
@misc{42dot2023llm,
      title={42dot LLM: A Series of Large Language Model by 42dot},
      author={42dot Inc.},
      year={2023},
      url = {https://github.com/42dot/42dot_LLM},
      version = {1.0.0}
Download LLM-SFT on Hugging Face
LLM-SFT
Learn More about LLM-SFT
LLM-SFT