[기획자의 하드웨어 5분 스터디] #027. 모델 경량화

💡 하드웨어와 AI 도메인으로 시야를 넓혀가는 서비스 기획자의 5분 스터디 기록입니다.

 

[개념] 

AI가 수많은 정답지를 보고 학습을 마치면, 그 지식의 양이 엄청나게 방대해진다. 이 똑똑한 AI를 성능 좋은 거대한 서버에서 돌리면 문제가 없지만, 우리가 기획하는 현장의 작은 카메라나 센서 기기에 넣으려면 용량도, 연산 능력도 턱없이 부족하다. 그래서 AI의 똑똑함은 최대한 유지하면서 덩치와 무게를 확 줄이는 작업이 필요하다. 해외여행을 가기 위해 작은 기내용 캐리어에 짐을 싸는 것 같은 마음으로 부피와 무게 확 줄이기! 

가지치기: 꼭 필요하지 않은 두꺼운 겨울옷이나 중복되는 티셔츠를 과감하게 빼버린다.(AI 신경망 중 덜 중요한 연결선을 끊어버린다)

압축하기: 옷을 진공 압축팩에 넣어 부피를 절반으로 확 줄인다. 약간 구김은 가겠지만 가지고 갈 수도 있고 입는데 지장도 없다. (AI가 계산하는 소수점의 길이를 줄여 연산을 가볍게 만든다)

 

[최신 트렌드]

과거에는 무조건 더 크고 똑똑한 AI를 만드는데 집중했다면 최근에는 아주 작은 칩셋에서도 돌아가는 초소형 AI(TinyML) 트렌드가 대세이다. 공장에서 사고를 모니터링하고 낙상을 감지하는 비전 AI 시스템을 라즈베리파이같은 소형 보드에 올려서 서비스한다고 가정해 보자. 무거운 서버용 AI를 억지로 넣으면 기기가 열을 받거나 연산이 밀려 화면이 뚝뚝 끊기게 된다. 하지만 최신 경량화 기술을 적용하면, 손바닥만한 보드에서도 끊김없이 실시간으로 작업자들의 움직임을 분석하고 즉시 알람을 울릴 수 있다.

 

[오늘의 인사이트] 

하드웨어 도메인에서 최고의 AI는 '가장 똑똑한 AI'가 아니라 '우리가 정한 원가와 기기 스펙 안에서 돌아갈 수 있는 '가장 가벼운 AI'이다. 기획자로서 개발팀과 하드웨어 스펙을 논의할 때, 경량화는 곧 '원가절감'이자 '비즈니스 모델의 핵심'이 된다.

하드웨어 원가 타협점 찾기
AI 모델을 가볍게 만들면, 20만 원짜리 고성능 칩을 써야 할 제품을 5만 원짜리 보급형 칩으로 대체할 수 있다. 기기단가가 낮아지면 고객에게 서비스를 훨씬 저렴하게(또는 구독형 무상 대여로) 제공할 수 있어 영업 경쟁력이 폭발적으로 상승한다.

정확도(Accuracy) 하락의 방어선 구축
모델을 압축하고 잘라내면 당연히 AI의 정확도는 미세하게 떨어진다. 99% 정확도를 위해 20만원짜리 칩을 쓸 것인가, 아니면 경량화를 통해 정확도를 97%로 타협하는 대신 5만 원짜리 칩을 쓸 것인가? 기획자는 서비스의 핵심 가치를 해치지 않는 선에서 이 '최소 요구 성능 방어선'을 결정해야 한다.

발열과 배터리 관리
기기가 작아질 수록 무거운 연산은 엄청난 열을 발생시키고 배터리를 빠르게 소모시킨다. 경량화된 모델은 연산량이 적어 전력 소모를 획기적으로 줄여주므로, 배터리로 동작하는 무선 IoT 기기를 기획할 때 절대 빠져서는 안되는 필수 요건이라 할 수 있다.