LLM Data Engineer
Gangnam-gu Seoul (Gangnam Station)
42dotFull-time/정규직
We are looking for the best
42dot LLM Data Engineer는 생성형 초거대 언어 모델 학습에 필요한 Peta Byte단위의 텍스트 데이터를 수집하고 효율적으로 관리할 수 있는 시스템을 개발합니다. 개발된 플랫폼은 초거대 언어 모델 학습 파이프라인과 연동되어, 필요한 데이터를 효율적으로 공급하며, 이를 통해 언어 모델 성능 개선 및 생성형 AI Assistant 서비스의 품질 향상에 기여합니다.
책임 (Responsibilities)
- 대용량 데이터 수집,처리,저장 및 활용 Pipeline 설계
- 보안을 고려한 효율적인 데이터 저장 및 공급 기술 개발
- 효율적인 분산, 압축 저장 시스템 개발
- 데이터 레이블링 및 버전 관리 시스템 개발
자격요건 (Qualifications)
- 데이터 구축 및 처리 파이프라인 관련 업무 경력 4년 이상
- 대용량 AI 데이터 전처리 경험
- 확장 가능한 실시간/대용량 분산 처리 시스템 개발 경험
- Cloud 환경(AWS, Azure, GCP 등)에서의 개발 경험
- 숙련된 프로그래밍 (Python, Java, C++, Golang 등) 기술
우대사항 (Preferred Qualifications)
- NLP (챗봇, 대화 에이전트, 언어 모델 등) 관련 업무 경험
- 분산 처리 시스템 구축 경험자
- 딥러닝 또는 기계학습에 대한 전반적인 이해
- 운영체제, 네트워크, 데이터베이스에 대한 이해
- Docker 및 Kubernetes에 대한 경험
전형절차 (Interview Process)
- 서류전형 - 코딩테스트 - 화상면접 (1시간 내외) - 대면 혹은 화상면접 (3시간 내외) - 최종합격
- 전형절차는 직무별로 다르게 운영될 수 있으며, 일정 및 상황에 따라 변동될 수 있습니다.
- 전형일정 및 결과는 지원서에 등록하신 이메일로 개별 안내드립니다.
참고사항 (Additional Information)
- 이력서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다.
- 모든 제출 파일은 30MB 이하의 PDF 양식으로 업로드를 부탁드립니다. (이력서 업로드 중 문제가 발생한다면 이력서와 함께 지원하시고자 하는 포지션의 URL을 recruit@42dot.ai으로 전송 부탁드립니다.)
- 인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다.
- 국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다.
- 장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다.
- 42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다.