온디바이스 AI (On-Device AI)

개요·정의

온디바이스 AI는 데이터를 클라우드 서버로 보내지 않고 스마트폰, PC, 가전, 자동차, 웨어러블 같은 기기 안에서 AI 모델을 실행하는 방식이다. 핵심은 AI 기능의 계산 위치다.

사용자가 말한 음성, 찍은 사진, 입력한 문장, 열어 둔 화면, 센서가 읽은 정보는 기기 안의 칩에서 처리된다. 서버를 거치지 않으면 응답 시간이 짧아지고, 네트워크가 끊겨도 일부 기능을 쓸 수 있다. 통화, 사진, 메시지, 일정처럼 민감한 데이터가 외부 서버로 나가지 않아도 되는 작업에서는 개인정보 부담도 줄어든다.

온디바이스 AI는 특정 앱 이름이 아니다. AI 기능이 어디서 계산되는지를 가리키는 말이다. 같은 번역 기능이라도 스마트폰 안에서 모델을 실행하면 온디바이스 AI이고, 서버에 음성을 보내 처리하면 클라우드 AI다.

실제 제품에서는 온디바이스 AI와 클라우드 AI를 함께 쓰는 경우가 많다. 짧은 문장 교정, 실시간 자막, 키보드 추천, 카메라 보정처럼 바로 끝나야 하는 작업은 기기 안에서 처리하기 좋다. 긴 문서 분석, 복잡한 추론, 고해상도 이미지 생성처럼 계산량이 큰 작업은 클라우드 모델을 호출하는 경우가 많다.

온디바이스 AI에서 자주 거론되는 부품은 신경망처리장치(NPU, Neural Processing Unit)다. NPU는 AI 모델이 반복해서 수행하는 행렬 연산을 낮은 전력으로 처리하는 전용 회로다. CPU는 운영체제와 앱을 넓게 맡고, GPU는 그래픽과 병렬 연산에 강하다. NPU는 사진 보정, 음성 인식, 번역, 요약, 작은 언어 모델 실행처럼 AI 추론에 맞춰 설계된다.

대부분의 온디바이스 AI는 기기 안에서 새 모델을 처음부터 학습시키지 않는다. 이미 학습된 모델을 기기에 넣고, 사용자의 입력에 맞춰 결과를 계산하는 추론이 중심이다. 일부 제품은 개인화나 작은 추가 학습을 기기 안에서 처리하지만, 대규모 학습은 여전히 데이터센터가 맡는다.

구조·특성

계산 위치

온디바이스 AI와 클라우드 AI를 가르는 기준은 모델이 어디서 실행되는가에 있다. 클라우드 AI는 사용자의 입력을 서버로 보내고, 서버에서 계산한 결과를 다시 기기로 받아온다. 큰 모델을 쓰기 쉽고, 모델 업데이트를 중앙에서 관리하기 좋다. 대신 네트워크 상태에 따라 응답이 늦어지고, 입력 데이터가 기기 밖으로 나간다.

온디바이스 AI는 모델이 기기 안에 있다. 사용자가 말을 하면 마이크가 음성을 받고, 기기 안의 칩이 음성을 텍스트로 바꾼다. 이후 작은 언어 모델이나 번역 모델이 결과를 만든다. 화면에는 번역문, 요약문, 추천 답장, 보정된 사진이 바로 뜬다.

이 차이는 제품 화면에서도 드러난다. 클라우드 AI는 “전송 중”, “업로드 중”, “서버에서 처리 중” 같은 상태 표시가 생기기 쉽다. 온디바이스 AI는 키보드 위 추천 문구, 통화 중 자막, 카메라 미리보기 보정, 녹음 앱 요약처럼 기본 화면 안에 들어간다.

하이브리드 구조

2026년 기준 소비자 제품의 주류는 순수 온디바이스 AI보다 하이브리드 AI에 가깝다. 하이브리드 AI는 기기 안 모델과 클라우드 모델을 함께 쓰는 방식이다. 제품은 사용자의 요청, 데이터 민감도, 네트워크 상태, 모델 크기, 배터리 상태를 보고 계산 위치를 고른다.

짧은 문장 교정, 통화 번역, 녹음 요약, 사진 속 글자 인식은 기기 안에서 처리하기 좋다. 긴 보고서 작성, 복잡한 추론, 대형 이미지 생성, 여러 앱을 오가며 처리하는 작업은 클라우드 모델이 더 유리하다.

따라서 “온디바이스 AI를 지원한다”는 말이 모든 AI 기능을 인터넷 없이 쓴다는 뜻은 아니다. 같은 제품 안에서도 어떤 기능은 기기 안에서 끝나고, 어떤 기능은 서버를 거친다. 사용자는 기능 이름보다 실제 처리 위치와 네트워크 필요 여부를 확인해야 한다.

NPU와 전용 칩

온디바이스 AI는 CPU, GPU, NPU를 함께 쓴다. 모든 AI 작업이 NPU에서만 돌아가지는 않는다. 모델의 일부 연산은 NPU가 빠르고, 다른 연산은 CPU나 GPU가 더 안정적일 수 있다. 운영체제와 런타임은 어떤 연산을 어느 칩에 보낼지 정한다.

NPU는 온디바이스 AI를 제품 사양의 전면으로 끌어올린 부품이다. 스마트폰에서는 카메라 보정, 생체 인증, 음성 인식, 번역에 쓰인다. PC에서는 실시간 자막, 배경 흐림, 이미지 생성, 화면 검색 같은 기능을 돕는다. 가전과 자동차에서는 센서 데이터 처리, 음성 명령, 사용자 패턴 분석에 쓰인다.

다만 NPU 성능 수치만으로 실제 사용감을 판단하기는 어렵다. TOPS는 이론상 연산 처리량을 나타낸다. 실제 속도는 메모리 대역폭, 저장 장치 속도, 발열, 모델 구조, 런타임, 앱 최적화에 따라 달라진다.

저장 장치와 메모리

생성형 AI가 기기 안으로 들어오면서 저장 장치와 메모리도 중요해졌다. 온디바이스 모델은 기기에 저장돼야 하고, 실행할 때는 메모리에 올라가야 한다. 모델이 커질수록 저장 공간과 메모리 대역폭이 체감 속도를 좌우한다.

모델 업데이트도 저장 공간을 요구한다. 안정적인 업데이트를 위해 이전 모델과 새 모델을 일정 기간 함께 보관할 수 있다. 사용자는 이 과정을 저장 공간 증가로 느낄 수 있다.

삼성전자가 UFS 5.0을 온디바이스 AI 용도로 설명한 것도 이 문제와 연결된다. 빠른 저장 장치는 큰 모델을 불러오고, 데이터를 읽고 쓰는 시간을 줄이는 데 도움을 준다. 온디바이스 AI는 NPU만의 문제가 아니라 칩, 메모리, 저장 장치, 전력 관리가 함께 맞아야 하는 구조다.

운영체제 서비스

2020년대 중반 이후 온디바이스 AI는 앱 하나의 기능이 아니라 운영체제의 기본 부품으로 들어가고 있다. 구글 안드로이드의 AICore는 Gemini Nano 같은 기기 안 모델을 관리하는 시스템 서비스다. 애플은 Foundation Models framework를 통해 개발자가 애플 인텔리전스 모델에 접근할 수 있게 했다. 삼성전자는 One UI와 갤럭시 AI 안에서 통역, 문장 보정, 사진 편집, 데이터 처리 설정을 묶는다.

이 변화는 화면 구성에도 영향을 준다. 예전에는 앱마다 AI 기능을 따로 만들었다. 이제는 운영체제가 같은 모델과 안전 장치를 제공하고, 여러 앱이 그 위에서 기능을 붙인다.

사용자는 별도 앱을 열지 않고 통화 화면, 키보드, 알림, 사진 앱 안에서 AI를 쓴다. 온디바이스 AI가 운영체제 안으로 들어갈수록 기본 앱의 위치가 더 중요해진다.

제품군별 차이

스마트폰의 온디바이스 AI는 화면, 카메라, 마이크, 키보드와 가깝다. 사용자는 통화 번역, 사진 보정, 문장 추천, 알림 요약처럼 자주 쓰는 기능에서 AI를 만난다.

PC의 온디바이스 AI는 파일, 브라우저, 회의, 문서 작업과 연결된다. 실시간 자막, 화상회의 배경 처리, 로컬 검색, 이미지 생성, 과거 화면 검색처럼 작업 흐름을 줄이는 기능이 많다.

자동차에서는 운전자 보조, 음성 명령, 실내 모니터링, 졸음 감지, 주차 보조, 내비게이션 추천에 쓰인다. 자동차는 네트워크가 불안정한 환경에서도 기능이 작동해야 한다. 운전자 보조처럼 반응 시간이 중요한 기능은 클라우드 왕복에 기대기 어렵다.

가전에서는 세탁물 무게와 재질을 감지하고, 냉장고 사용 패턴을 분석하며, 에어컨이 실내 상태에 맞춰 작동을 조절하는 방식으로 들어간다. 스마트폰처럼 화면을 오래 보는 제품이 아니기 때문에, 가전의 온디바이스 AI는 버튼보다 자동 설정과 상태 안내에 더 가깝다.

기술·작동 방식

추론

온디바이스 AI의 기본 작업은 추론이다. 모델이 이미 배운 패턴을 바탕으로 입력에 대한 결과를 계산한다. 사진 속 피사체를 알아보거나, 음성을 텍스트로 바꾸거나, 문장을 요약하거나, 다음에 쓸 답장을 추천하는 일이 여기에 들어간다.

추론은 기기 안에서 끝나야 하므로 모델 크기와 처리 시간이 중요하다. 큰 모델일수록 답은 좋아질 수 있지만, 메모리를 많이 쓰고 배터리를 빨리 소모한다. 스마트폰은 열을 식힐 공간이 작아 긴 시간 높은 부하를 유지하기 어렵다.

그래서 온디바이스 AI 모델은 작게 만들고, 연산량을 줄이고, 필요한 부분만 빠르게 실행하도록 설계한다. 기기 안 모델은 대형 클라우드 모델의 축소판이라기보다, 특정 기능을 안정적으로 수행하도록 조정한 모델에 가깝다.

양자화

양자화는 모델이 쓰는 숫자를 더 작은 단위로 줄이는 방법이다. 32비트 부동소수점으로 계산하던 값을 16비트, 8비트, 4비트처럼 줄이면 모델이 차지하는 공간과 연산량이 줄어든다.

숫자 정밀도를 줄이면 모델은 더 작아지고, 계산은 빨라지며, 메모리 부담도 줄어든다. 대신 너무 많이 줄이면 답의 품질이 떨어질 수 있다. 온디바이스 AI에서는 품질과 실행 속도 사이의 균형이 중요하다.

애플은 2025년 파운데이션 모델 기술 보고서에서 온디바이스 모델에 약 30억 개 매개변수를 사용하고, 2비트 양자화 인식 학습을 썼다고 설명했다. 이 사례는 온디바이스 생성형 AI가 단순히 모델을 작게 줄이는 문제가 아니라, 기기 안 실행에 맞춘 별도 최적화가 필요하다는 점을 보여준다.

지식 증류

지식 증류는 큰 모델의 결과를 작은 모델이 따라 배우게 하는 방법이다. 큰 모델은 더 많은 지식을 갖고 있지만 기기에 넣기 어렵다. 작은 모델은 빠르고 가볍지만 답이 약해질 수 있다.

스마트폰이나 가전 안에 들어가는 모델은 대부분 작은 모델이어야 한다. 번역, 요약, 문장 교정처럼 범위가 정해진 기능은 작은 모델로도 충분한 품질을 낼 수 있다. 반대로 자유 대화나 복잡한 추론은 작은 모델만으로 처리하기 어렵다.

지식 증류는 두 모델 사이에서 절충점을 찾는다. 큰 모델이 만든 답변 패턴을 작은 모델에 옮기면, 기기 안에서도 비교적 빠르게 쓸 수 있는 모델을 만들 수 있다.

하드웨어 가속

온디바이스 AI는 모델을 기기 안 칩에 맞춰 나누어 실행한다. CPU는 운영체제와 일반 앱 처리에 강하고, GPU는 병렬 연산에 강하다. NPU는 AI 추론에 맞춘 연산을 낮은 전력으로 처리한다.

실제 제품에서는 이 세 부품이 함께 움직인다. 지원하지 않는 연산이 많으면 NPU를 쓰다가도 CPU나 GPU로 되돌아간다. 이 전환 과정에서 시간이 늘어날 수 있다.

그래서 하드웨어 가속은 칩 성능만으로 끝나지 않는다. 모델 구조, 실행 엔진, 운영체제 API, 앱 최적화가 함께 맞아야 한다. 같은 NPU 성능을 가진 기기라도 실제 AI 기능의 속도와 안정성이 달라질 수 있다.

로컬 데이터 처리

온디바이스 AI는 기기 안에 있는 데이터를 바로 읽고 처리할 수 있다. 사진 앱은 앨범 속 인물을 찾고, 키보드는 사용자의 입력 습관에 맞춰 문구를 추천한다. 통화 앱은 음성을 텍스트로 바꾸고, 녹음 앱은 음성 파일을 요약한다.

이 방식은 빠르고 편리하지만, 데이터 권한을 더 섬세하게 다뤄야 한다. 모델이 어떤 앱의 데이터를 읽는지, 결과를 어디에 저장하는지, 사용자가 기능을 끌 수 있는지가 중요하다.

온디바이스 AI는 데이터가 서버로 나가지 않는다는 장점이 있다. 그러나 기기 안에 저장되는 데이터가 늘어날 수 있다는 점도 함께 봐야 한다.

모델 배포와 업데이트

온디바이스 AI 모델은 기기 안에 배포돼야 한다. 운영체제 업데이트, 앱 업데이트, 시스템 서비스 업데이트를 통해 모델이 내려오고, 기기에 저장된다.

구글 AICore처럼 시스템 서비스가 모델을 관리하면 앱 개발자는 모델을 직접 넣지 않고도 온디바이스 생성형 AI 기능을 쓸 수 있다. 애플 Foundation Models framework도 앱이 애플 인텔리전스의 모델을 호출할 수 있게 한다.

이 방식은 개발 부담을 줄이지만, 플랫폼 의존도를 높인다. 같은 앱이라도 기기, 운영체제 버전, 지역, 언어, 칩 성능에 따라 기능 지원 범위가 달라질 수 있다.

디자인에서의 활용

화면 조작 감소

온디바이스 AI는 사용자가 메뉴를 덜 찾게 만든다. 키보드는 답장을 추천하고, 통화 화면은 번역문을 띄운다. 녹음 앱은 긴 음성을 요약하고, 사진 앱은 피사체를 지우거나 배경을 채운다. 사용자는 파일을 업로드하거나 별도 서비스를 열지 않아도 된다.

이 변화는 인터페이스를 명령 버튼 중심에서 상황에 맞는 제안 중심으로 바꾼다. 버튼을 없애는 것이 목적은 아니다. 필요한 순간에 필요한 기능이 떠야 한다.

추천이 너무 많으면 화면은 시끄러워진다. 추천이 늦으면 사용자는 기능을 꺼 버린다. 온디바이스 AI 디자인에서는 모델 성능만큼 제안의 타이밍이 중요하다.

기본 앱 안의 AI

온디바이스 AI는 운영체제 기본 앱의 힘을 키운다. 전화 앱, 메시지 앱, 키보드, 사진 앱, 녹음 앱, 파일 탐색기처럼 사용자가 매일 쓰는 화면에 AI가 붙기 때문이다.

별도 앱을 설치하지 않아도 되는 기능은 빠르게 습관이 된다. 사용자는 AI 서비스를 새로 여는 대신, 이미 쓰던 화면 안에서 기능을 만난다. 통화 중 번역, 사진 앱 안 지우기, 키보드 위 추천 답장, 녹음 앱 요약이 여기에 해당한다.

이 변화는 앱 생태계에도 영향을 준다. 외부 앱이 자체 모델을 넣을 수도 있지만, 운영체제가 제공하는 온디바이스 모델과 API를 쓰면 개발 부담이 줄어든다. 대신 플랫폼의 규칙과 지원 기기에 더 묶인다.

실시간 번역과 통화 화면

실시간 번역은 온디바이스 AI의 대표 활용이다. 통화 중 음성을 받아 문자로 바꾸고, 번역한 뒤 다시 화면에 띄우거나 음성으로 들려준다. 이 과정이 서버를 거치면 지연 시간이 길어지고, 통화 내용이 외부로 나간다는 부담이 커진다.

삼성전자가 갤럭시 S24에서 실시간 통역을 기본 전화 앱 안에 넣은 것은 기능 배치가 중요했던 사례다. 별도 번역 앱이 아니라 통화 화면 안에 들어갔기 때문에, 사용자는 외국어 통화를 새로운 앱 사용이 아니라 전화 기능의 확장으로 받아들인다.

다만 실시간 번역 기능은 제품과 언어에 따라 네트워크 연결, 계정 로그인, 언어팩 다운로드가 필요할 수 있다. 온디바이스 AI라는 이름이 붙어도 모든 사용 조건이 오프라인으로 끝나는 것은 아니다.

카메라와 이미지 처리

온디바이스 AI는 카메라 사용 방식을 바꿨다. 사용자가 셔터를 누르기 전부터 기기는 피사체, 얼굴, 글자, 조명 상태를 계산한다. 배경 흐림, 야간 모드, 흔들림 보정, 문서 인식, 피사체 분리, 사진 보정은 대부분 사용자가 AI를 호출하기 전에 움직인다.

생성형 AI 이후에는 사진을 찍은 뒤의 편집도 달라졌다. 피사체를 지우거나, 이미지를 확장하거나, 그림자를 줄이는 작업이 사진 앱 안으로 들어왔다.

다만 고해상도 생성이나 복잡한 편집은 여전히 클라우드가 필요한 경우가 많다. 사진 앱은 어떤 작업이 기기 안에서 끝나는지, 어떤 작업이 서버로 넘어가는지 사용자가 알아볼 수 있게 해야 한다.

개인정보 설정 화면

온디바이스 AI는 개인 데이터를 더 많이 다룬다. 알림, 일정, 메시지, 위치, 통화, 사진, 문서처럼 사용자의 일상 정보가 모델 입력으로 쓰인다. 기기 안 처리만으로 신뢰가 자동으로 생기지는 않는다.

사용자는 어떤 데이터가 저장되는지, 어떤 기능이 켜져 있는지, 언제 끌 수 있는지 알아야 한다. 처리 위치 표시, 데이터 사용 범위, 저장 여부, 삭제, 일시 정지, 앱별 차단, 민감 정보 필터링이 화면 안에서 가까워야 한다.

마이크로소프트 Recall은 이 쟁점을 잘 보여준 사례다. Recall은 사용자가 본 화면을 스냅샷으로 저장하고, 나중에 자연어로 검색할 수 있게 하는 기능이다. 마이크로소프트는 스냅샷을 로컬에 저장하고 온디바이스 AI로 분석한다고 설명했지만, 화면을 저장한다는 방식 때문에 공개 직후 개인정보 우려가 컸다. 이후 회사는 기본 꺼짐, Windows Hello 인증, 암호화, 삭제 기능을 강조했다.

성능 표기와 제품 언어

예전 스마트폰과 PC는 CPU 코어 수, GPU 성능, 카메라 화소, 배터리 용량을 앞세웠다. 온디바이스 AI 이후에는 NPU와 TOPS가 제품 설명에 들어왔다. Copilot+ PC는 40 TOPS 이상 NPU를 기준으로 새 PC 범주를 만들었다.

하지만 TOPS는 출발점일 뿐이다. 실제 사용자는 요약이 얼마나 빨리 뜨는지, 통역이 얼마나 자연스러운지, 배터리가 얼마나 줄어드는지, 팬 소음이 생기는지를 느낀다.

디자인과 제품 기획에서는 숫자보다 체감 시간과 화면 배치가 더 중요하다. 온디바이스 AI의 가치는 스펙표보다 사용자가 기다리지 않고 바로 끝내는 장면에서 드러난다.

대표 적용 사례

애플 뉴럴 엔진과 애플 인텔리전스

애플은 2017년 아이폰 X의 A11 바이오닉에 뉴럴 엔진을 넣었다. Face ID와 애니모지는 초기에 소비자가 체감한 대표 기능이었다. A11 바이오닉의 뉴럴 엔진은 듀얼 코어 구조였고, 애플은 초당 최대 6천억 번 연산을 처리한다고 설명했다.

이후 애플 실리콘은 아이폰, 아이패드, 맥으로 넓어졌다. Core ML은 CPU, GPU, 뉴럴 엔진을 활용해 앱 안 머신러닝 기능을 실행하는 기반이 됐다.

2024년 애플 인텔리전스는 온디바이스 AI를 생성형 AI 제품 언어로 다시 묶었다. 애플은 글쓰기 보조, 알림 요약, 이미지 생성, 앱 안 작업 실행을 설명하면서 기기 안 모델과 프라이빗 클라우드 컴퓨트를 함께 제시했다. 2025년 기술 보고서는 약 30억 개 매개변수를 가진 온디바이스 모델과 서버 모델을 나눠 설명했다.

구글 Gemini Nano와 AICore

구글 Gemini Nano는 스마트폰 안에서 돌아가도록 만든 제미나이 계열의 작은 모델이다. 구글은 Pixel 8 Pro를 Gemini Nano에 맞춰 설계한 첫 스마트폰으로 설명했고, 녹음 앱 요약과 Gboard 스마트 답장에 적용했다.

안드로이드 AICore는 Gemini Nano를 기기 안에서 관리하는 시스템 서비스다. AICore는 모델 업데이트와 실행 환경을 맡고, 앱은 API를 통해 요약, 교정, 문장 재작성, 이미지 설명, 음성 인식 같은 기능을 쓴다.

2026년 구글은 AICore 개발자 프리뷰에서 Gemma 4와 Gemini Nano 4 계열을 다루기 시작했다. 이 흐름은 온디바이스 AI가 단일 제품 기능에서 개발자용 플랫폼으로 넓어지고 있다는 점을 보여준다.

삼성 갤럭시 AI

삼성 갤럭시 AI는 온디바이스 AI와 클라우드 AI를 섞어 쓰는 대표 사례다. 2024년 갤럭시 S24 시리즈에서 통화 실시간 통역, 채팅 보조, 노트 요약, 사진 편집 기능이 전면에 나왔다.

삼성전자는 통화가 사적인 기능이라는 점 때문에 실시간 통역을 온디바이스 AI 기반으로 만들었다고 설명했다. 이 사례는 온디바이스 AI가 단순한 속도 개선보다 개인정보와 기능 배치를 함께 다루는 기술임을 보여준다.

갤럭시 AI는 데이터 처리 방식과 보안 설정도 함께 강조한다. AI 기능을 제품 화면 안에 넣는 동시에, 사용자가 데이터 사용 방식을 조절할 수 있는 구조를 마련한 사례다.

마이크로소프트 Copilot+ PC와 Recall

Copilot+ PC는 온디바이스 AI를 PC 사양의 일부로 만든 사례다. 마이크로소프트는 2024년 Copilot+ PC를 발표하며 40 TOPS 이상 NPU를 주요 기준으로 내세웠다.

Recall, Cocreator, Live Captions, Windows Studio Effects 같은 기능은 로컬 AI 처리를 전제로 한다. 이 중 Recall은 사용자가 본 화면을 기기 안에 저장하고 검색한다는 점 때문에 온디바이스 AI의 장점과 불안을 동시에 보여줬다.

마이크로소프트는 이후 Recall을 사용자가 직접 켜는 방식으로 운영하고, Windows Hello 인증과 로컬 암호화를 강조했다. 이 사례는 온디바이스 AI에서 처리 위치뿐 아니라 저장 여부와 접근 권한이 함께 설계돼야 한다는 점을 보여준다.

퀄컴 Snapdragon X

퀄컴 Snapdragon X Elite와 Snapdragon X Plus는 Copilot+ PC 초기 확산의 핵심 칩으로 쓰였다. Snapdragon X Elite는 최대 45 TOPS NPU 성능을 내세웠고, Copilot+ PC의 온디바이스 AI 기능을 실행하는 대표 플랫폼이 됐다.

이 사례는 TOPS가 PC 판매 문구로 쓰이기 시작한 흐름을 보여준다. 다만 실제 사용자는 숫자보다 라이브 캡션의 지연 시간, 이미지 생성 대기 시간, 배터리 지속 시간, 팬 소음, 앱 호환성을 더 크게 체감한다.

Snapdragon X 계열은 온디바이스 AI가 모바일 칩의 언어를 PC 시장으로 옮긴 사례이기도 하다. 노트북은 배터리로 오래 작동해야 하므로, AI 연산을 낮은 전력으로 처리하는 NPU의 가치가 커진다.

LG전자 DQ-C

LG전자는 2023년 7월 가전용 온디바이스 AI 칩 DQ-C와 새 가전 운영체제를 공개했다. 이 칩은 ThinQ UP 2.0 가전에서 맞춤 기능과 음성 인식, 터치 디스플레이, 앱 연동을 지원하는 기반으로 설명됐다.

가전에서 온디바이스 AI가 중요한 이유는 반응 속도보다 지속성이다. 냉장고, 세탁기, 에어컨은 매일 켜져 있고, 사용자가 매번 설정을 세밀하게 바꾸지 않는다. 기기 안에서 패턴을 처리하면 서버 연결이 불안정해도 기본 기능을 유지할 수 있고, 제품군별로 다른 센서 데이터를 빠르게 다룰 수 있다.

DQ-C는 온디바이스 AI가 스마트폰과 PC만의 기술이 아니라는 점을 보여준다. 가전에서는 큰 화면보다 센서, 모터, 사용 패턴, 에너지 제어가 더 중요하다.

삼성 UFS 5.0

2026년 삼성전자는 차세대 모바일 저장 장치 UFS 5.0을 공개하며 온디바이스 AI 애플리케이션을 전면에 내세웠다. 발표 자료는 최대 10.8GB/s 데이터 전송 속도, 전력 효율 개선, 더 작은 패키지를 강조했다.

이 사례는 온디바이스 AI가 NPU만으로 설명되지 않는다는 점을 보여준다. 모델은 저장 장치에 들어 있고, 실행할 때는 메모리와 칩을 오간다. 모델이 커질수록 저장 장치 속도와 전력 효율도 제품 체감에 영향을 준다.

UFS 5.0은 온디바이스 AI에서 저장 장치가 단순한 파일 보관 공간을 넘어, 모델 실행을 받치는 인프라로 바뀌고 있음을 보여주는 사례다.

장단점·한계

빠른 응답

온디바이스 AI는 서버 왕복 시간을 줄인다. 키보드 답장 추천, 통화 자막, 카메라 미리보기 보정처럼 짧은 순간에 결과가 필요한 기능에서 차이가 크다.

사용자가 기다린다고 느끼기 전에 결과가 떠야 하는 기능은 기기 안 처리가 유리하다. AI가 빠르게 작동하면 별도 기능처럼 보이지 않고 기본 조작의 일부가 된다.

오프라인 작동

온디바이스 AI는 네트워크가 없거나 불안정한 장소에서도 일부 기능을 쓸 수 있다. 비행기 안에서 녹음 요약을 만들거나, 해외에서 통역 기능을 쓰거나, 지하 주차장에서 음성 명령을 처리하는 장면이 여기에 해당한다.

단, 모든 기능이 오프라인으로 작동하는 것은 아니다. 모델이 기기에 들어 있어야 하고, 해당 기능이 온디바이스 실행을 지원해야 한다. 일부 기능은 온디바이스 AI를 쓰더라도 계정 로그인, 언어팩 다운로드, 네트워크 연결이 필요할 수 있다.

개인정보 보호

기기 안에서 계산하면 입력 데이터가 서버로 전송되지 않는다. 통화, 메시지, 녹음, 사진, 건강 정보처럼 민감한 데이터에서 중요하다.

다만 개인정보 보호는 기기 안 처리만으로 끝나지 않는다. 로컬 저장 데이터의 암호화, 접근 권한, 삭제 기능, 기능별 켜고 끄기, 민감 정보 필터링이 함께 필요하다.

온디바이스 AI는 개인정보 보호 기술이면서 동시에 개인 데이터를 더 깊게 쓰는 기술이다. 데이터가 서버로 가지 않는다는 점은 장점이지만, 기기 안에 무엇이 남는지도 함께 봐야 한다.

기기 성능 격차

온디바이스 AI는 기기 성능에 크게 묶인다. 최신 플래그십 스마트폰과 보급형 스마트폰은 NPU, 메모리, 저장 공간, 냉각 구조가 다르다. 같은 운영체제를 쓰더라도 AI 기능 지원 범위가 달라질 수 있다.

이 문제는 제품 커뮤니케이션을 어렵게 만든다. 갤럭시 AI, 애플 인텔리전스, Gemini Nano 지원 같은 이름이 있어도, 실제로 어떤 기기에서 어떤 기능이 되는지는 따로 확인해야 한다.

온디바이스 AI는 기능 이름보다 지원 기기 목록이 더 중요해지는 영역이다. 사용자는 제품명뿐 아니라 칩, 메모리, 운영체제 버전, 지역, 언어 지원까지 확인해야 한다.

저장 공간 부담

로컬 모델은 기기 저장 공간을 차지한다. 생성형 AI 모델은 작게 줄여도 크기가 작지 않다. 모델 업데이트 때는 이전 버전과 새 버전을 함께 보관해야 하는 경우도 있다.

이 때문에 온디바이스 AI는 고성능 칩만의 문제가 아니다. 저장 공간, 메모리, 배터리, 발열, 업데이트 정책이 함께 맞아야 한다.

사용자에게는 AI 기능 때문에 저장 공간이 늘어나는 이유를 설명하는 화면도 필요하다. 모델이 기기 안에 남는다면, 사용자는 모델 다운로드와 삭제 상태를 확인할 수 있어야 한다.

발열과 배터리

AI 모델은 많은 연산을 요구한다. 짧은 답장 추천이나 사진 보정은 부담이 작지만, 긴 문서 요약, 다중 턴 대화, 이미지 생성, 실시간 번역을 오래 실행하면 발열과 배터리 소모가 커진다.

NPU는 CPU보다 전력 효율이 좋을 수 있지만, 모든 작업에서 항상 빠른 것은 아니다. 모델 구조와 런타임이 맞지 않으면 NPU를 쓰는 과정에서 오히려 지연이 생길 수 있다.

얇은 노트북은 NPU 성능을 넣어도 발열을 오래 견디기 어렵고, 작은 스마트폰은 배터리와 방열 면적이 제한된다. 온디바이스 AI 기능은 하드웨어 설계와 직접 연결된다.

모델 품질 제한

작은 모델은 빠르고 가볍지만, 큰 모델보다 답의 폭이 좁다. 기기 안 모델은 짧고 정해진 작업에 강하다. 문장 다듬기, 요약, 번역, 이미지 설명, 음성 인식처럼 범위가 좁으면 품질을 끌어올리기 쉽다.

반대로 긴 추론, 최신 정보 검색, 대형 문서 분석, 복잡한 창작 작업은 클라우드 모델이 유리하다. 온디바이스 AI는 클라우드 AI를 완전히 대체하기보다, 자주 쓰는 작은 작업을 빠르고 조용하게 처리하는 쪽에서 강하다.

기능 과잉

AI 기능이 기본 화면으로 들어오면 조작은 줄지만, 제안이 너무 많아질 수 있다. 키보드, 알림, 사진, 통화, 브라우저, 파일 탐색기에 AI 버튼과 추천문이 계속 뜨면 사용자는 편리함보다 피로를 느낀다.

좋은 온디바이스 AI 디자인은 기능을 많이 보여주는 것이 아니다. 사용자가 이미 하려던 일을 더 빠르게 끝내게 해야 한다. 추천이 필요한 순간과 조용히 사라져야 하는 순간을 구분하지 못하면, AI는 제품의 장점이 아니라 방해 요소가 된다.

검증과 책임

온디바이스 AI는 모델이 기기 안에서 실행되기 때문에 결과를 중앙 서버에서 모두 통제하기 어렵다. 모델 버전, 기기 성능, 운영체제 업데이트, 언어 설정, 앱 권한에 따라 결과가 달라질 수 있다.

같은 기능 이름을 쓰더라도 사용자마다 실제 품질이 다르게 느껴질 수 있다. AI가 요약한 내용이 틀렸을 때 어느 화면에서 원문을 확인할 수 있는지, 번역이 어색할 때 사용자가 쉽게 수정할 수 있는지, 사진 편집 결과가 생성물임을 알 수 있는지 같은 장치가 필요하다.