[기획자의 하드웨어 5분 스터디] #025. 정밀도(Precision)와 재현율(Recall)

💡 하드웨어와 AI 도메인으로 시야를 넓혀가는 서비스 기획자의 5분 스터디 기록입니다.

 

[개념] 

안 틀리는 게 중요할까, 안 놓치는 게 중요할까?

AI의 성능을 평가할 때 단순히 '정확도 90% 입니다'라는 말은 기획자에게 아무런 의미가 없다. 목적에 따라 정밀도(Precision)와 재현율(Recall)이라는 두 가지 렌즈로 AI를 봐야 한다. 예를 들어, 6살 아이에게 여러 장난감이 섞인 바구니에서 '자동차 장난감'만 골라내라고 심부름을 시켰다고 상상해 보자.

정밀도(Precision): 아이가 '자동차'라고 가져온 장난감 중에서 진짜 자동차의 비율을 말한다. 다른 걸 자동차라고 우기지 않는 능력이자, 오답을 내지 않는 능력을 의미한다.

재현율(Recall): 바구니 안에 있던 전체 자동차 장난감 중에서 아이가 찾아낸 비율을 말하며, 구석에 숨은 자동차까지 놓치지 않고 다 찾아내는 능력을 의미한다.

이 두 가지는 시소와 같아서 (Trade-off), 하나를 높이려고 엄격하게 굴면 다른 하나가 떨어지기 마련이다.

 

[최신 트렌드]

두 가지가 함께 높아지기보다 하나가 높아지면 하나가 낮아지므로, 서비스의 목적에 따라 어떤 지표를 희생하고 어떤 지표를 끌어올릴 지 결정해야 한다.

정밀도(Precision)가 중요한 경우: 틀리지 않는 것이 핵심!
- 스마트 홈캠의 침입 알람: 고양이가 지나가거나 커튼이 흔들릴 때마다 '도둑입니다!'라고 알람(오탐지)을 울리면, 사용자는 피로감을 느끼고 결국 알람을 꺼버린다. 진짜 사람일 때만 정확히 알람을 주도록 정밀도를 높여야 한다.

재현율(Recall)이 중요한 경우: 놓치지 않는 것이 핵심!
- 스마트 팩토리의 불량 검사(AOI): 정상 제품을 불량이라고 오해해서 한 번 더 확인(정밀도 하락)하는 한이 있더라도, 진짜 불량품이 시중에 나가는 일은 절대 없어야 한다. 따라서 구석에 있는 미세한 흠집까지 다 잡아내도록 재현율을 극대화한다.

 

[오늘의 인사이트] 

기획자는 AI 모델을 직접 코딩하는 사람이 아니다. 하지만 비즈니스 목적에 맞춰 AI가 어떤 방향으로 똑똑해져야 하는지 기준(목표 지표)을 정해주는 사람이다. AI성능은 100점 만점의 시험이 아니며, 우리 서비스가 '애먼 사람을 잡더라도 범인을 절대 안 놓쳐야 하는 경찰(재현율)'인지, '확실한 증거가 있을 때만 판결을 내리는 판사(정밀도)'인지 결정하는 것이 기획의 시작이라고 할 수 있다.

나쁜 기획자의 질문: "개발자님, 이번 화재 감지 AI 모델 정확도가 몇 % 나오나요? 100% 만들어주세요."

좋은 기획자의 질문: "이번 화재 감지 서비스는 오알람이 울려 소방차가 출동하면 비용 타격이 큽니다. 미세한 연기를 놓치더라도(재현율 타협), 오탐지를 최소화할 수 있도록 정밀도(Precision)를 최우선으로 모델 임계치(Threshold)를 튜닝해 주세요."