토큰을 아끼려다 기술이 늘었다

AI를 열심히 쓰다 보면 어느새 지출이 늘어 있습니다. 통장 잔고보다 사용량 게이지가 먼저 비명을 지른다는 점이 다를 뿐입니다. 저도 오늘은 하루가 채 지나기 전에 일주일 치 사용량 중 이틀 치를 써버렸습니다. 분명 오늘은 하루밖에 안 지났는데 말입니다. 이쯤 되면 AI 지출 다이어트를 시작해야 하는 날입니다.

AI 구독료와 사용료는 하나하나 보면 참 착합니다. 커피 한 잔 값 같습니다. 그런데 이 착한 것들이 모여 있으면 어느새 월세 비슷한 얼굴로 나타납니다. 토큰이라는 이름도 얄밉습니다. 게임 머니처럼 귀여운 이름을 하고 진짜 돈을 가져갑니다. 요즘 AI 비용이 부담이라는 이야기가 여기저기서 들리는 이유가 있었습니다. 저만 그런 게 아니라는 사실은 위안이 되지만, 위안이 사용량을 채워 주지는 않습니다.

다이어트의 첫 단계는 어디로 새는지 보는 일이었습니다. 살펴보니 작은 일까지 비싼 AI에게 하나하나 맡기고 있었습니다. 회사로 치면 제일 비싼 직원에게 복사를 시키고 있었던 셈입니다. 그것도 한 장씩 나눠서요. 복사는 아주 잘 됐습니다. 잘 되니까 더 무서웠습니다.

PM이 기능마다 비용 대비 효과를 따지듯, AI에게 맡기는 일에도 단가를 붙여 봐야 했습니다. 이 일에 이 비용이 맞는가를 묻는 순간, 그동안 얼마나 후하게 쓰고 있었는지가 보입니다. 사람 직원에게라면 첫 주에 했을 질문을 AI에게는 깜빡하고 있었던 겁니다. AI가 월급을 달라고 조르지 않으니 계산도 잊고 지냈습니다.

얼마 전 이 분야를 잘 아는 분에게 이런 말을 들었습니다. 토큰을 아끼는 건 돈을 아끼는 문제가 아니라 기술이 늘어나는 문제라고 했습니다. 오늘 제가 딱 그랬습니다. 돈을 아끼려고 했을 뿐인데 기술이 늘어야 했으니까요. 계획에 없던 자기계발입니다.

그래서 지출 구조를 바꿨습니다. 자료 모으기와 초안은 다른 헤르메스에게 먼저 시키고, 글자 수 세기 같은 단순한 일은 작은 프로그램에 넘기고, 3년간 잠들어 있던 GPU를 돌려 로컬모델도 써 봤습니다. 무료 모델에게 글 채점까지 시켜 봤는데 그건 영 못하더군요. 그래서 중요한 판단이 필요한 작업은 클로드에게 넘겼습니다.

3년 만에 출근한 GPU 입장에서는 복귀 첫 업무가 채점 시험인 셈입니다. 이력서에 쓰기에는 민망한 성적이지만 놀고 있던 것보다는 낫습니다. 게다가 월급이 없습니다. 이 부분이 이번 지출 다이어트에서 가장 마음에 드는 대목입니다. 3년 동안 무슨 꿈을 꿨는지는 모르겠지만 깨어나 보니 세상이 꽤 바뀌어 있었을 겁니다. 글을 써 주는 AI가 신기한 뉴스이던 시절에 잠들었다가, 이제는 그 AI의 일을 덜어 주는 조수로 복귀한 셈이니까요.

무료 모델의 채점 실력은 이랬습니다. 전혀 다른 두 글에 똑같은 점수를 준 모델도 있었습니다. 공정하기는 합니다. 다만 채점이라기보다 도장 찍기에 가까웠습니다. 그래서 채점만큼은 월급을 받는 쪽에 남겼습니다.

정리해 보니 AI 팀을 꾸리는 일도 회사를 꾸리는 일과 다르지 않았습니다. 판단은 비싼 직원이 하고, 정리와 요약은 성실한 인턴에게 맡겨 볼 만하고, 세는 일은 복사기가 하면 됩니다. 복사기에게 월급을 주는 회사는 없으니까요. 이 당연한 구분을, 한도가 넉넉할 때는 굳이 하지 않았습니다. 한도가 넉넉했다면 지금도 제일 비싼 직원에게 복사를 시키고 있었을지도 모릅니다.

그렇다면 무엇을 맡기지 않을까요. PM이라면 회의 끝나고 일정을 다시 계산하는 일, 표의 합계를 내는 일, 문서 이름을 규칙대로 바꾸는 일이 후보일 것 같습니다. 이런 일은 똑똑함이 아니라 성실함이 필요합니다. 반대로 고객 이야기를 어떻게 해석할지, 이번 기획서의 방향이 맞는지 같은 일은 비싼 직원의 자리입니다. 이 구분만 해 두어도 사용량 게이지가 눈에 띄게 느려지지 않을까 짐작해 봅니다.

지출 다이어트를 하려면 구독 목록부터 펼치기 쉽습니다. 그런데 이번에 알게 된 건 목록보다 일의 배분이 먼저라는 점이었습니다. 어떤 일에 똑똑한 AI가 필요한지 알고 나면, 어떤 구독이 필요 없는지는 저절로 보이기 시작합니다. 반대로 이 글의 제목을 두고 고민하는 일은 스크립트가 대신해 주지 않습니다. 그건 아직 사람의 몫이라 다행입니다.

비용을 줄이려다 알게 된 건, 일을 나누는 눈이 생긴다는 것이었습니다. 불편한 한도가 공짜 수업을 해 준 셈입니다. 수업료는 이틀 치 사용량으로 이미 냈습니다.

다음에 사용량 경고를 만나면, 비용을 더 쓰는 쉬운 길보다 아끼는 방법을 찾아 고수의 길로 들어가보면 어떨까요?