생성형 AI가 클라우드에서 기기로 내려오고 있습니다. 더 낮은 지연, 더 강한 프라이버시, 오프라인 동작, 더 개인화된 경험 — 이유는 분명합니다.
매 상호작용을 클라우드로 보내지 않고도 관련성 높은 경험을 제공하려는 흐름입니다. 그런데 이 이동은 보안 모델을 근본적으로 바꿉니다. 추론·프롬프트·의사결정 로직이 기기로 내려오는 순간, 모바일 앱은 더 이상 프런트엔드가 아니라 지능 그 자체의 실행 환경이 되기 때문입니다.
왜 '클라우드에서 기기로'가 보안 지형을 바꾸는가
클라우드 추론 시대의 보안 모델은 단순했습니다 — 핵심 지능(모델)은 서버에 있고, 앱은 그 결과를 표시하는 창일 뿐이었습니다. 공격자가 앱을 아무리 뜯어봐도 모델 자체에는 닿을 수 없었습니다.
온디바이스 AI는 이 전제를 깹니다. 추론·프롬프트·의사결정 로직이 기기로 내려오면, 앱은 지능의 실행 환경 그 자체가 됩니다. 그리고 모바일 앱은 신뢰할 수 없는 환경에서 실행됩니다 — 기기는 루팅·탈옥될 수 있고, 앱은 계측·변조·리패키징·에뮬레이션될 수 있습니다. 지능이 이 적대적 환경 안으로 들어오는 순간, 그 지능은 관찰과 조작의 대상이 됩니다.
더 읽어 보기: 모바일 AI 의 새로운 보안위협: 비즈니스가 알아야 할 것들
무엇이 직접 노출되는가
온디바이스 AI가 앱 안으로 들어오면 다음이 직접 노출됩니다.
- 모델 가중치(weights): 학습에 막대한 비용이 든 핵심 IP가 앱 바이너리 안에 존재합니다. 추출되면 그대로 복제·재사용됩니다.
- 프롬프트·정책·의사결정 로직: 서비스의 차별화를 만드는 시스템 프롬프트, 가드레일 정책, 라우팅 로직이 담깁니다.
- 입력 경로(프롬프트 인젝션): 입력을 조작해 모델을 의도와 다르게 동작시키는 공격이 가능합니다.
- 출력 경로: 민감한 추론 결과나 내부 로직이 출력으로 유출될 수 있습니다.
즉 온디바이스 AI의 미래는 모델 품질만으로 결정되지 않습니다. 아무리 뛰어난 모델도, 적대적 기기 위에서 추출·조작될 수 있다면 그 경쟁 우위는 위태롭습니다. 실제로 보안은 온디바이스 AI 도입의 차별화 요소이자 기본 요건이 되어 가고 있습니다.
Learn more: AI security threat model: A comprehensive approach
'모델을 IP로, 런타임을 적대적 환경으로' 다루기
필요한 것은 모바일 앱의 실제 동작 방식에 맞춘 보안 모델입니다. 세 가지 원칙으로 정리됩니다.
- 모델을 IP로 취급하라. 가중치와 의사결정 로직을 난독화·암호화하고, 정적 추출을 어렵게 만든다.
- 런타임을 경합 상태로 가정하라. 앱이 실행되는 순간의 후킹·계측·변조·리패키징을 실시간 탐지·차단한다.
- 입력·출력·무결성을 보호하라. 프롬프트 인젝션 등 입력 조작과 출력 유출을 방어하고, 그 사이 앱의 무결성을 지킨다.
핵심 실행 원칙은 **"비즈니스 임팩트가 가장 큰 곳에서 시작해 확장하라"**입니다. 전면 롤아웃 전에, 모델·IP 하드닝과 입력 조작 방어를 릴리스 계획 초기에 포함시키는 것이 정석입니다. 나중에 얹는 것보다 처음부터 설계하는 편이 비용도 낮고 효과도 큽니다.
왜 '웹 보안 플레이북'을 그대로 쓰면 안 되는가
여기서 흔한 실수는 웹 시대의 보안 사고방식을 모바일·온디바이스 AI에 그대로 적용하는 것입니다. 웹 보안은 대개 서버를 지키는 것에서 출발합니다. 그러나 모바일은 다릅니다 — 방어자는 백엔드뿐 아니라, 다운로드 가능하고, 관찰 가능하고, 변조 가능한 클라이언트 환경으로 실행 로직을 실어 보냅니다. 온디바이스 AI는 이 클라이언트 환경에 '지능'까지 실어 보내는 것이므로, 클라이언트가 이미 관찰·조작될 수 있다는 전제하에 보안을 설계해야 합니다.
자동차 및 OEM 산업에 적용되는 온디바이스 AI
온디바이스 AI는 국내에서 자동차·OEM·금융 영역에서 특히 빠르게 확산되고 있습니다. 차량 내 인포테인먼트 앱, 온디바이스 개인화, 엣지 추론이 늘어날수록 모델 IP와 실행 무결성 보호는 선택이 아니라 기본 요건이 됩니다. 특히 규제 산업에서는 "AI 모델이 기기에서 어떻게 보호되는가"가 곧 컴플라이언스 질문으로 이어집니다 — 개인정보가 온디바이스에서 처리된다면, 그 처리 환경의 무결성 증빙이 요구될 수 있습니다.
온디바이스 AI 확산과 규제 접점
국내에서 온디바이스 AI는 이미 대중화 국면에 들어섰습니다. 삼성 갤럭시의 온디바이스 AI, 국내 완성차 그룹의 차량 내 AI, 그리고 핀테크·플랫폼의 온디바이스 개인화가 대표적입니다. 여기서 규제 접점이 생깁니다 — **개인정보보호법(PIPA)**은 개인정보의 안전한 처리를 요구하는데, 추론이 기기에서 일어난다면 그 처리 환경(앱·기기)의 무결성이 사실상 컴플라이언스 질문이 됩니다. 마이데이터(본인신용정보관리업) 맥락에서도 온디바이스 처리의 신뢰성이 쟁점입니다.
지금 AI 보안, 어디서부터 시작할까?
대부분의 팀은 본격적인 활동을 시작하기 위해 거창한 프로그램이 필요한 것이 아닙니다. 그들에게 필요한 것은 현재 조직 내 어디에서 AI로 인한 리스크(노출)가 발생하고 있는지에 대해 더 명확하게 파악하는 것입니다.
- 기기에서 실행되는 모든 것을 목록화하세요. 로컬 추론, 내장 프롬프트, 정책 로직 및 기기 측 의사 결정 과정을 매핑하세요. 로컬에서 실행되는 부분과 클라우드에 저장되는 부분을 구분하세요.
- 비즈니스 위험을 수반하는 출력을 표시하세요. 특히 자금, 신원, 접근 권한, 개인 정보 보호, 보안, 콘텐츠 검열 또는 민감한 사용자 데이터와 관련된 흐름에 집중하세요.
- 보호 대상 IP를 정의하세요. 모델, 프롬프트 디자인, 정책 계층, 캐시, 엔진 또는 AI 출력이 비즈니스 로직에 반영되는 방식 등이 될 수 있습니다.
- 앱을 대상으로 하는 모바일 런타임 위협을 모니터링하세요. 루팅 및 탈옥된 기기, 변조, 계측, 후킹 프레임워크, 에뮬레이터, 봇 및 자동화된 악용 행위 등을 모두 모니터링 범위에 포함해야 합니다.
- 광범위한 배포 전에 앱 내 보호 기능을 추가하세요. 런타임 방어, 모델 및 IP 강화, 프롬프트 주입 공격을 포함한 입력 조작 방지 기능을 배포 계획 초기 단계에 통합하세요.
핵심은 비즈니스 영향이 가장 높은 곳에서 시작한 다음 거기에서 확장하는 것입니다.
온디바이스 생성형 AI의 미래는 런타임에서 결정
온디바이스 GenAI는 가치 제안이 확실하기 때문에 계속 성장할 것입니다.
더 빠른 응답 시간, 향상된 개인정보 보호 기능, 오프라인 기능, 그리고 더욱 관련성 높은 경험은 모두 같은 방향으로 나아가고 있습니다. 하지만 인텔리전스가 모바일 앱으로 더 많이 이동함에 따라 공격 표면 또한 함께 증가합니다.
따라서 모바일 앱이 실제로 작동하는 방식, 즉 적대적인 환경 내에서 다양한 실행 경로를 거치며 사용자에게 가까운 곳에 중요한 로직이 내장된 상황을 고려한 보안 모델이 필요합니다. 팀은 모델을 지적 재산으로 취급하고, 런타임을 경쟁 상황으로 간주하며, 앱의 입력, 출력 및 무결성을 보호하는 보안 체계를 갖춰야 합니다.
이러한 변화는 시장 전반에서 점점 더 주목받고 있습니다. 다음 단계를 계획하는 팀을 위해 아래 Gartner 보고서는 온디바이스 GenAI의 미래 방향과 보안 팀이 대비해야 할 사항에 대한 유용한 외부 정보를 제공합니다. 인텔리전스가 앱에 있다면, 보안 또한 앱에 있어야 합니다.
더 알아보기: 차세대 공격에 대비하여 AI 모바일 앱 보안을 강화하세요
프로몬은 이 문제를 어떻게 다루는가
프로몬은 앱 안에 내장되는 런타임 보호로 모델을 IP로 보호하고, 런타임을 경합 상태로 전제하며, 그 사이의 입력·출력·무결성을 지킵니다. 이것은 새로운 제품군이 아니라, 20년간 축적된 런타임 앱 보호를 온디바이스 AI라는 새로운 실행 환경에 적용하는 것입니다. 모델을 IP처럼 다루고, 런타임을 적대적 환경으로 가정하며, 입력·출력·무결성을 함께 보호하는 접근입니다.
