[기획자의 하드웨어 5분 스터디] #045. 과적합과 편향

💡 하드웨어와 AI 도메인으로 시야를 넓혀가는 서비스 기획자의 5분 스터디 기록입니다.

 

[개념] 

기획자로서 콘텐츠와 서비스를 엮으며 기획하다보니, 사용자가 기획자의 의도대로만 움직이지 않는다는 '예외 케이스(Edge Case)'의 무서움을 누구보다도 잘 알게 되었다. AI도 마찬가지로 완벽하게 통제된 연구실을 벗어나면 치명적인 오류를 일으킬 수 있다.

과적합(Overfitting): 모의고사에만 100점 받는 헛똑똑이
기계가 훈련용 데이터에 너무 '과하게 적합'되어 버린 상태이다. 수학의 정석 연습문제 번호와 정답까지 통째로 달달 외워 버려서 실전에서 숫자가 조금만 바뀐 응용 문제가 나오면 손도 대지 못하고 다 틀려버리는 현상이다. 살충제 패러독스 같은 느낌이지 않을까? 

편향(Bias): 치우친 교재로 공부한 우물 안 개구리
모델 자체의 문제가 아니라, 애초에 '가르친 교재(데이터)' 자체가 한쪽으로 쏠려 있어서 생기는 문제이다. 백조의 사진만 잔뜩 보여주고 '이게 새'라고 가르치면 나중에 까마귀를 보았을 때 새가 아니라고 판단해 버리는 현상을 말한다.

 

[비즈니스 활용]

앞서 얘기했던 '수면 모니터링 시스템'이 있다고 가정하고, 이 시스템에 과적합과 편향이 발생했다고 가정해 보자.

과적합의 저주(환경의 변화에 취약)
AI 엔지니어가 쾌적한 연구실의 밝은 조명과 '하얀색 무지 이불' 위에서만 낙상 데이터를 수만 번 학습 시켰다. 모델 정확도는 99%가 나왔다. 하지만 고객의 집에 설치하는 순간 먹통이 되는 것이다. 캄캄한 수면등 아래, 화려한 뽀로로 패턴 이불 위에서는 AI가 아이의 팔다리 윤곽을 전혀 찾아내지 못하는 엄청난 오작동이 발생할 수 있다.

데이터 편향의 위험(특정 대상을 무시)
예를 들어 데이터 수집을 쉽게 하려고 활동량이 많은 6살 아이들의 역동적인 움직임 데이터만 90% 이상 잔뜩 넣고 학습시켰다. 그 결과 아직 뒤집기조차 버거운 영아들의 미세한 위험 신호는 '정상'으로 분류해 버리고 무시하는 치명적인 '나이 편향'이 발생하게 되는 것이다. 

 

[오늘의 인사이트] 

악마의 변호인이 되어 다양성을 요구하라.

이 병들을 치료하는 유일한 약은 결국 '데이터의 다양성'이다. AI PM은 연구실 안의 100점짜리 성적표를 곧이 곧대로 믿어서는 안된다. AI PM은 실험실 안의 높은 정확도에 안주하지 않고, 현실 세계의 다양한 변수와 편향을 의도적으로 주입하여 모델의 실전 방어력을 높이는 사람이다.

개발팀이 "AI 모델 정확도 목표를 달성했습니다!"라고 기뻐할 때, 기획자는 찬물을 끼얹는 악마의 변호인이 될 수 있어야 한다.

"그 99%가 밝은 방 기준인가요? 역광이나 흑백 야간 모드 데이터는 몇 %나 섞여있나요?"
"두꺼운 겨울 이불과 얇은 여름 인견 이불 데이터가 골고루 포함되어 있나요?"

이렇게 매섭게 질문을 던지며, 현실 세계의 지저분하고 다양한 변수(스트레스 테스트)를 AI에게 강제로 먹여 맷집을 키우는 것이 AI PM의 가장 중요한 역할이라 할 수 있다.