[기획자의 하드웨어 5분 스터디] #039. 온디바이스(On-Device) 생성형 AI

💡 하드웨어와 AI 도메인으로 시야를 넓혀가는 서비스 기획자의 5분 스터디 기록입니다.

 

[개념] 

앞서 여러 번 정리했던 엣지 AI가 주로 '이 영상에 사람이있나 없나?'를 가려내는 '분류/감지' 작업에 집중했다면, 최근의 온디바이스 AI는 기기 안에서 직접 챗GPT 같은 '생성형 AI'를 돌리는 것을 의미한다. 

클라우드 생성형 AI는 모르는 게 있을 때마다 멀리 있는 천재 교수님(서버)에게 전화를 걸어 물어보는 것이라 할 수 있다. 똑똑하지만 통신이 끊기면 대답을 들을 수 없고, 내 프라이버시(통화 내용)가 밖으로 나간다.

반면, 온디바이스 생성형 AI는 내 방에, 혹은 내 주머니에 '개인 과외 선생님(소형 AI 모델)'을 아예 모셔두는 것이다.인터넷이 끊겨도 언제든 대화할 수 있고, 내 비밀을 밖으로 발설하지 않는다.

 

[최신 트렌드]

무거운 LLM 대신 가볍고 빠른 SLM
과거에는 수백억 개의 매개변수를 가진 무거운 거대 언어 모델(LLM)을 돌리기 위해 거대한 서버가 필수였다. 하지만 최근 트렌드는 이 뇌를 작게 압축한 '소형 언어 모델(SLM, Small Language Model)'을 스마트폰, 홈캠, 가전제품 자체에 탑재하는 것이다.

스마트 홈캠의 진화
과거에는 '움직임 감지됨'이라는 딱딱한 알림만 왔다. 하지만 온디바이스 AI가 탑재된 최신 기기들은 인터넷 연결 없이도 영상을 스스로 분석하여 '오늘 첫째 아이가 평소보다 30분 일찍 일어났고, 침대에서 내려와 장난감을 가지고 놀고 있어요'라고 자연스러운 문장으로 상황을 요약해(Generative) 보고해 준다.

 

[오늘의 인사이트] 

프라이버시와 초개인화, 두 마리 토끼를 잡다

미래의 하드웨어는 단순히 클라우드의 명령을 받는 깡통이 아니라, 인터넷이 끊겨도 내 상황을 완벽히 이해하고 대화할 수 있는 '독립된 지능을 가진 존재'로 진화하고 있다. 기획자가 온디바이스 AI를 무기로 삼을 때 폭발력을 가지는 비즈니스 포인트는 다음과 같다.

클라우드 API '토큰 비용'의 소멸
생성형 AI(오픈 AI 등)를 서비스에 연동하면, 사용자가 질문할 때마다 글자 수(토큰) 단위로 막대한 서버 비용을 내야 한다. 하지만 온디바이스 AI는 기기 자체의 NPU(신경망 칩)를 이용하므로, 사용자가 100번을 질문하든, 1,000번을 대화하든 추가적인 클라우드 추론 비용(Inference Cost)이 발생하지 않는다. 기획자 입장에서 엄청난 운영 원가 절감이 되는 것이다.

극단적인 프라이버시와 초개인화(Hyper-personalization)
집안의 내밀한 공간을 비추는 카메라는 해킹이나 영상 유출에 대한 공포가 크다. '우리 서비스는 아이의 수면 영상을 단 1초도 서버로 보내지 않고, 기기 안에서만 학습하여 아이만의 고유한 수면 패턴을 분석합니다'라고 선언할 수 있다면 어떨까? 보안(#038)과 온디바이스 AI가 결합하여 가장 강력한 세일즈 포인트가 될 수 있다.