LLM과 이를 에이전트 개발의 전 과정 (From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence)

유형: 논문 · 저자: Jian Yang, Xianglong Liu, Weifeng Lv · 출처: Beihang University · 별점: ⭐️⭐️

• 왜 단순 코드 생성 모델로는 실제 소프트웨어를 만들 수 없게 되었는지
• 그 한계를 넘기 위해 에이전트라는 개념이 왜 필연적으로 등장했는지를 설명

맥락

1. 진화 과정
   • 초기 룰, 템플릿 기반 → Transformer 기반 → 대규모 LLM 기반으로 발전
   • 벤치마크 성능이 단일 자리수에서 HumanEval 95%+까지 도달
2. 상용 코드 도구
   • Github Copilot, Cursor, Trae, Claude Code 등 실사용 도구 사례

기술 라이프사이클

1. 데이터 수집 및 전처리
   • 코드 데이터셋 구축, 라이선스/저작권 처리
   • 문제
     1. 깃허브에서 코드 수억 줄을 긁어온다
     2. 이 코드가 좋은 코드인지 나쁜 코드인지 모름
     3. 회사 내부 코드, 불법 복사 코드, 보안 취약 코드가 섞여 있음 → 데이터 자체를 설계 대상으로 보기 시작
2. 사전 학습(Pre-Training)
   • 언어 일반성 + 코드 특화 학습 신경망
   • 문법 + 관습 + 확률 패턴 학습
   • “다음에 뭐가 나올 확률이 높은지”
3. 지도학습(Supervised Fine-Tuning)
   • 고품질 코드 레이블링, 평가 기준
   • “이 상황에서는 B가 더 낫다”고 사람이 표시해줌
4. 강화학습(Reinforcement Learning)
   • 코드 생성 정확도 / 보상 설계
   • “이 선택은 점수 주고, 저 선택은 벌점 준다”로 행동을 조정
5. 에이전트 수준 시스템
   • 복수 모듈 협업, 장기 과제 해결 능력
     1. 요구사항을 읽고 기존 코드 구조를 파악
     2. 수정 계획을 세우고, 테스트 실패를 학습
     3. 다시 전략을 바꾸기
6. 실전 운영
   • CI에서 테스트 통과해야 배포됨
   • 보안 스캐너에 걸리면 배포 차단
   • 코드 리뷰 규칙 어기면 reject