Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents
유형: 논문 · 저자: Saaket Agashe, Kyle Wong, Vincent Tu · 출처: · 별점: ⭐️⭐️⭐️⭐️
핵심
- Agent S2
- GUI(그래픽 사용자 인터페이스) 기반 자동화 에이전트 분야에서 최신 성능 기준(SOTA)을 달성한 모듈형 프레임워크
기존 문제점
- GUI 요소에 대한 정확한 위치 예측(GUI grounding)이 어렵다.
- 긴 작업 수행 계획(long-horizon planning)이 불안정하거나 실패가 잦다.
- 단일 대규모 모델이 여러 역할을 동시에 하는 구조는 전문성 부족 및 성능 병목을 유발한다
구조적 설계: Compositional Framework
Agent S2 구조는 크게 세 가지 컴포넌트로 구성된다
- Manager (매니저)
- 전체 작업을 단계별로 나누고 지금 상황에서 다음에 뭘 해야 할지 결정
- 각 중간 목표 달성 시점마다 재계획한다
- Worker (저수준 실행)
- Manager가 생성한 중간 목표를 실제 행동 단위로 변환
- “이 버튼을 클릭해라” 같은 명령 생성하여 Specialist에 위임
- Mixture-of-Grounding Experts (전문가)
- 화면에서 버튼 위치를 찾는 역할만 담당
- Worker가 만든 위치 설명을 해당 전문 모듈(예: 시각적, 텍스트 기반, 구조적로 전달
- 각 Grounding Expert는 해당 상황에 가장 적합한 좌표 위치 또는 대상 개체를 생성한다.
1) Mixture-of-Grounding
- Grounding 문제를 단일 모델이 아닌 전문가 모듈 조합으로 해결
- 시각/텍스트/구조 기반 Grounding Expert 별 분업 처리로 정확도 향상
2) Proactive Hierarchical Planning
- 전통적 reactive planning이 실패 이후에만 대응하는 구조라면 Proactive Planning은 매 서브골 수행 이후 새 관찰을 반영해 계획을 즉시 업데이트함
- 환경 변화나 GUI 변동에 더 유연하게 적응 가능
OSWorld 벤치마크 (성공률 기준)
| 에이전트 | 15-step | 50-step |
|---|---|---|
| Claude Computer Use | 19.7% | 32.6% |
| UI-TARS | 22.7% | 24.6% |
| Agent S2 (본 논문) | 27.0% | 34.5% |
AI 에이전트는“하나의 똑똑한 모델”보다“역할을 나눈 여러 모델의 조합”이 더 잘 작동한다
- 화면에서 버튼·입력창을 정확히 찾는 문제
- 여러 단계를 거치는 긴 작업을 안정적으로 수행하는 문제
- 자동화 AI는 더 큰 모델을 하나 만드는 방향이 아니라 조합 가능한 구조로 가야 한다
- Agent S2 같은 조직형 에이전트가 현실적인 해법