AI가 우선순위까지 대신 정해줄 수 있을까

백로그 우선순위, AI한테 맡기면 되지 않냐는 질문을 요즘 자주 받습니다.

결론부터 말하면, 계산은 AI가 합니다. 그 계산에 들어갈 판단은 여전히 사람 몫입니다.

RICE 점수 계산법이 있습니다. Reach, Impact, Confidence, Effort. 숫자 네 개만 넣으면 AI가 순식간에 계산하고, 순서까지 정렬해줍니다.

계산은 틀리지 않습니다. 문제는 그 앞입니다.

Impact 5점, 그건 누가 정했나요. Confidence가 낮은 이유는 AI가 아는 게 아니라 사람이 판단해서 넣은 값입니다. AI는 그 숫자들을 곱하고 나눌 뿐, 숫자 자체를 채우진 못합니다.

2021년, 미국 부동산 플랫폼 질로우가 비슷한 이유로 사업 하나를 접었습니다. 알고리즘이 집값을 계산해서 사고파는 사업이었는데, 팬데믹으로 시세가 요동치자 계산이 못 따라갔습니다. 그해 3분기에만 수천 채를 사들이고, 그중 상당수를 손해 보고 팔았습니다. 계산이 틀려서가 아니라, 계산에 넣을 수 없는 것들이 너무 많아서였습니다.

우선순위 싸움도 늘 같은 자리에서 벌어집니다. 계산이 아니라, 그 숫자를 채우는 자리에서요.

여전히 사람 몫인 것 세 가지입니다.

1. 점수의 기준을 정하는 일입니다. 이 기능의 Impact는 3점인가 5점인가는 계산이 아니라 판단입니다. 이번 분기 목표, 놓친 계약, 경쟁사 동향처럼 숫자표 밖에 있는 것들에서 나옵니다.

2. 누구를 먼저 실망시킬지 정하는 일입니다. 우선순위를 정한다는 건 누군가의 요청을 미룬다는 뜻입니다. 영업팀 요청을 이번 스프린트에서 빼면, 영업팀은 AI가 아니라 사람이 직접 설득해야 합니다.

3. 왜 지금 이 순서인지 설명하는 일입니다. “AI가 그렇게 계산해서요”는 설명이 아닙니다. 그래서는 팀이 그 순서를 믿지 않습니다.

저도 심플리파이어의 사업 우선순위를 클로드와 제미나이와 챗GPT에 다 물어봅니다. 매번 그럴듯한 답이 나오는데, 막상 그대로 움직여보면 뭔가 어긋납니다.

지금 이 고객과의 관계, 이번 분기에 놓치면 안 되는 일 하나, 그런 건 AI 셋 다 몰랐습니다. 그런 걸 고려해야 하는 순간엔 제가 직접 정할 때 결과가 더 나았습니다.

AI가 잘하는 건 속도입니다. 사람이 여전히 하는 건, 그 속도에 뭘 태울지 정하는 일입니다.

질로우도 계산기를 너무 믿었습니다. 계산기가 아니라 그 동네 부동산 중개인의 감이 알고 있던 것들을 놓쳤을 뿐입니다.

AI가 매겨준 우선순위 점수, 그대로 받아들이시나요. 아니면 그 점수에 뭐가 들어갔는지 한 번 더 물어보시나요.