서로 다른 LLM들은 스타트업 업무에서 어떻게 다른 성과를 내는가 (Evaluating Generative AI for Startups: A Benchmarking Study of Large Language Models)

유형: 논문 · 출처: The Overlake School · 별점: ⭐️⭐️

핵심 결론

• 범용 LLM 하나로 모든 업무를 처리하는 접근은 비용·시간·의사결정 품질 측면에서 비효율적

• 업무 유형별로 최적 LLM이 다르며, 그 차이는 실제 실무에서 명확히 체감됨

• LLM 선택은 기술 문제가 아니라 경영 의사결정 문제로 다뤄져야 함

• 업무별 최적 LLM 결론

  • 웹 디자인 / 프로덕트 초안 → ChatGPT
  • 시장조사 / 리서치 → Perplexity 또는 Claude
  • 사업 분석 / 운영 문서 → Writer 또는 Jasper

비교 대상 LLM

• 공통 LLM
  • ChatGPT
• 시장조사 영역
  • ChatGPT
  • Perplexity
  • Claude
• 사업 분석 영역
  • ChatGPT
  • Writer
  • Jasper
• 웹 디자인 영역
  • ChatGPT
  • Copilot
  • Windsurf

프롬프트 생성 방식

• 총 75개 프롬프트
  • 영역별 25개
• 프롬프트는 다음 기법을 혼합 사용
  • Zero-shot
  • Few-shot
  • Role prompting
  • Temperature 조절

평가 기준

각 LLM 응답은 다음 5개 기준으로 평가

• Relevance
• Accuracy
• Clarity
• Completeness
• Creativity

각 항목은 1~3점 척도

총점 평균으로 LLM 성능 비교