LLM Engineer (LLM Evaluation)

About the Team & Mission

LLM Engineer (LLM Evaluation)는 대규모 언어 모델(LLM)의 성능을 신뢰성 있게 평가하고, 평가 결과를 기반으로 모델 품질을 지속적으로 개선할 수 있는 평가 체계와 플랫폼을 구축합니다.

빠르게 변화하는 LLM 환경 속에서 benchmark dataset, evaluation protocol, automation pipeline을 설계하여 모델의 품질과 안정성을 지속적으로 향상시키고, 실서비스 수준의 검증 체계를 운영하는 데 기여합니다.

또한 Kubernetes 기반 환경에서 Argo Workflows 및 MLflow를 활용하여 모델 평가–실험 관리–배포 검증까지 이어지는 end-to-end evaluation workflow를 구축하고, 반복 가능하고 재현성 있는 평가 환경을 고도화합니다.

Responsibilities

• LLM Evaluation & Benchmark 설계

  • LLM 성능 평가를 위한 벤치마크 데이터셋 구축 및 평가 지표(Human/LLM-based) 설계

  • 공정한 모델 비교를 위한 평가 프로토콜 수립 및 재현성(Reproducibility) 확보

• Evaluation Automation 및 Workflow 연동

  • Argo Workflows, MLflow 기반의 평가 자동화 환경 구축 및 ML 파이프라인 통합

  • 모델 배포 시 성능 저하(Regression) 자동 감지 및 알림 체계 설계

• Model Quality Validation 및 운영 고도화

  • 반복 가능한 평가 워크플로우를 통한 대규모 모델 품질 및 안정성 검증

  • 평가 결과를 바탕으로 한 지속적인 모델 품질 개선 프로세스 운영

Qualifications

• LLM 학습 또는 평가 관련 분야 3년 이상 경력

• Deep Learning 또는 NLP 관련 연구 및 개발 경험

• LLM evaluation framework 사용 경험 (lm-eval, HELM, OpenAI Evals 등)

• Python 기반 서비스 개발 경험 (async/비동기 처리 포함)

• 실험 관리 및 reproducibility에 대한 이해

• 모델 평가 및 validation workflow 설계 경험

• 동료와의 원활한 협업 능력

Preferred Qualifications

• Kubernetes 및 컨테이너 기반 환경 개발 경험

• 대규모 데이터 처리 또는 pipeline 설계 경험

• GPU 기반 분산 inference 또는 대규모 모델 평가 경험

• Datadog, Prometheus 등을 활용한 모니터링 구축 경험

• MLflow, Argo Workflows 기반 ML workflow 운영 경험

• GPU 클러스터 기반 evaluation pipeline 설계 및 운영 경험

• LLM 품질 평가 자동화 및 운영 경험

Interview Process

• 서류 전형

• 코딩 테스트

• 1차 면접 (화상, 1시간 내외)

• 2차 면접 (대면 혹은 화상, 3시간 내외)

• 처우 협의·입사

Additional Information

• 전형 절차는 일정 및 진행 상황에 따라 일부 변경될 수 있으며, 각 전형 결과는 등록하신 이메일로 개별 안내드립니다.

• 지원서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다.

• 지원서 접수 중 오류가 발생하거나 기타 문의 사항이 있을 경우, recruit@42dot.ai로 문의해 주시기 바랍니다.

• 국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다.

• 장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다.

• 42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다.

• 지원서 내용 중 허위 사실이 발견될 경우, 입사가 취소될 수 있습니다.

• 인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다.

• 3개월의 수습기간이 적용될 수 있습니다.