최근 Anthropic에서 Fable 사용량 리셋권을 제공받았습니다. 평소보다 Fable을 적극적으로 사용해 볼 수 있는 기회라, 저의 핵심 에이전트와 프로젝트 에이전트에 적용해 봤습니다.
그런데 의외였습니다.
기존에 Sonnet으로 작업하던 때와 비교해 결과물의 품질이나 형태에서 체감할 만한 차이를 거의 느끼지 못했습니다. Fable이 별로라는 이야기가 아닙니다. 오히려 왜 더 강력한 모델을 사용했는데도 결과가 크게 달라지지 않았는지가 궁금해졌습니다.
제가 찾은 이유는 모델 자체보다 에이전트가 일하는 환경에 있었습니다.
-
모델 선택보다 일의 구조화가 더 공을 들입니다. 저의 슈퍼 에이전트의 상당수 업무는 정해진 프로젝트 절차, 가이드, 명확한 산출물이 있습니다. 지시서를 읽고, 필요한 작업을 수행하고, 결과를 기록하고, 검증하는 식입니다. 이런 업무에서는 모델의 추론 능력 차이보다 업무 정의와 실행 구조가 결과에 더 큰 영향을 줄 수 있습니다. 반대로 처음 보는 문제나 모호한 판단에서는 모델 간 차이가 커질 수 있습니다.
-
안전과 품질은 모델의 주의력에만 맡기지 않습니다. 예를 들어 에이전트가 작업을 완료했다고 보고하려면 숫자로 나온 실측 결과를 함께 제출하도록 합니다. 근거가 없으면 완료 처리가 되지 않도록 자동화했습니다. 사람이 매번 확인하거나 에이전트에게 주의를 주는 대신 시스템이 누락을 잡아내는 것입니다.
-
지침은 백과사전이 아니라 지도여야 합니다. 지침이 길다고 에이전트가 일을 잘하는 것은 아닙니다. 오히려 중요한 정보가 묻힐 수 있습니다. OpenAI도 하네스 엔지니어링 사례에서 거대한 AGENTS.md 대신 짧은 길잡이와 구조화된 문서를 활용했습니다. 저희도 지침 파일의 길이에 상한을 두고, 기준을 넘으면 CI에서 차단하도록 만들었습니다. 모델이 찾아야 할 정보를 줄이고 필요한 맥락에 집중시키는 것입니다.
-
비싼 모델은 비싼 판단에 사용합니다. 반복적이고 절차가 명확한 업무까지 최고 성능의 모델에 맡길 필요는 없습니다. 반면 되돌리기 어려운 의사결정, 복잡한 설계, 여러 문서에 걸친 충돌 조정처럼 판단의 난도가 높은 업무에는 더 강력한 모델을 투입합니다. 결국 모델을 업무 난이도와 실패 비용에 맞춰 배분하는 것이 중요합니다.
지난 2월 OpenAI가 발표한 「Harness Engineering」을 보면 OpenAI는 엔지니어 3명으로 시작해 약 5개월 동안 Codex를 활용해 100만 줄 규모의 코드와 약 1,500개의 PR을 만들었습니다. 코드뿐 아니라 테스트, CI, 문서, 관측 도구까지 에이전트가 작성했습니다.
그들이 강조한 것도 모델 자체의 능력보다는 에이전트가 안정적으로 일할 수 있는 환경, 명확한 의도, 피드백 루프의 설계였습니다.
물론 제 경험이 Fable과 Sonnet의 성능이 같다는 것을 증명하는 것은 아닙니다. 동일 조건에서 통제된 비교 실험을 한 것도 아닙니다. 특정 업무와 제가 구축한 환경에서 관찰한 결과입니다. 앞으로는 업무 유형별 성공률, 재작업률, 사람의 개입 횟수와 비용을 비교해 상위 모델이 반드시 필요한 영역을 찾는 실험을 해볼려고 합니다.
현재 저의 가설은 이렇습니다.
‘에이전트의 생산성을 높이는 가장 좋은 방법이 반드시 더 비싼 모델을 사용하는 것은 아니다. 일의 절차를 명확히 정의하고, 필요한 맥락을 제공하고, 실행 결과를 검증하고, 실패를 복구하는 시스템을 설계하는 것이 더 큰 차이를 만들 수 있다’입니다.
여러분은 AI 에이전트의 성능을 높이기 위해 모델 등급과 업무 구조 중 어느 쪽에 먼저 투자하고 계신가요?
그 다음 걸음을, 함께
다음 성장은, 여기서 시작됩니다.
스타트업 인사이트