우리는 고객 대상 어시스턴트부터 지능형 자동화에 이르기까지, AI가 모바일 애플리케이션에 빠르게 통합되는 현상을 목격하고 있습니다. AI 기반 모바일 앱은 모바일 사용자 경험(UX)과 비즈니스 로직의 핵심 요소로 자리 잡고 있습니다. 하지만 이러한 앱들은 종종 간과되곤 하는 새로운 공격 표면도 함께 가져옵니다.

AI가 점점 더 깊이 통합됨에 따라, 모바일 앱의 위협 범위는 기존 모바일 보안이 처리하도록 설계된 범위를 훨씬 넘어 확장되고 있습니다. 이 블로그 게시물에서는 보안 책임자들이 기기 내 AI를 도입할 때 고려해야 할 사항과, 새로운 AI 보안 위협에 대응하기 위해 모바일 AI 보안이 진화해야 하는 이유를 자세히 살펴봅니다.

 

모바일 AI가 부상하고 있는 이유 

AI는 더 이상 클라우드에만 국한되지 않습니다. 기업들은 AI를 모바일 앱에 직접 내장하는 방향으로 나아가고 있습니다. 클라우드 기반 AI에서 온디바이스 AI 보안(소형 언어 모델(SLM), 의사결정 엔진, 다중 모달 AI, 연합 학습 등 포함)으로의 전환은 다음과 같은 요인에 의해 주도되고 있습니다:

  • 실시간 의사 결정과 저지연 성능에 대한 필요성 
  • 강화된 개인정보 보호 요구와 오프라인 기능 
  • 클라우드 처리 비용 절감 및 데이터 전송량 감소

더 읽어보기: 사이버 보안 분야에서 AI의 미래: 왜 실제로는 아무것도 변하지 않는가

은행, 의료, 게임 분야의 AI 기반 모바일 앱부터 스마트 기기 내 AI 어시스턴트의 보안에 이르기까지, 임베디드 AI는 산업 전반에 걸쳐 모바일 워크플로우를 변화시키고 있습니다. 하지만 이러한 진화는 완전히 새로운 모바일 앱 AI 위험을 초래합니다. 대부분의 위협 모델이 이러한 현실을 제대로 반영하지 못하고 있어, 오늘날 많은 앱이 AI 특유의 런타임 위협으로부터 보호받지 못하고 있습니다. 또한 AI가 디바이스 에지에 가까워질수록 조작, 정보 추출, 오용의 위험에 더욱 노출됩니다.

“전 세계 기기 내 AI 시장 규모는 2024년 86억 달러로 추산되었으며, 2025년부터 2030년까지 연평균 성장률(CAGR) 27.8%를 기록하며 2030년에는 366.4억 달러에 달할 것으로 전망됩니다. 이 산업은 AI 기술의 발전, 실시간 데이터 처리 수요 증가, 그리고 개인정보 보호 및 보안에 대한 우려 고조 등에 힘입어 성장하고 있습니다.” [1] 

새로운 위협의 등장: 무엇이 위험에 처해 있는가 

기업과 기관이 모바일 앱에 AI를 도입함에 따라, 이에 수반되는 새로운 위협과 위험 요소를 반드시 이해해야 합니다.

런타임 조작 및 동작 변조

공격자는 런타임 시 앱 메모리를 조작하여 AI 로직을 변경하거나 내부 안전 장치를 우회할 수 있습니다. 예를 들어, 의료 앱에서 공격자는 악의적이거나 편향된 이유로 특정 치료법을 우선시하도록 AI 로직을 수정할 수 있습니다. 대출 앱의 경우, AI 런타임 조작을 통해 고위험 또는 사기성 대출 신청에 대한 승인을 강제로 이끌어낼 수 있습니다.

AI 모델 탈취 및 리버스 엔지니어링 

모바일 앱 내에 저장된 AI 모델은 귀중한 지적 재산입니다. 적절한 AI 지적 재산권 보호 조치가 없다면, 공격자는 이러한 모델을 추출, 복제 또는 재판매할 수 있습니다. 이는 경쟁 우위의 상실로 이어질 뿐만 아니라 라이선스 위반이나 규정 준수 위험을 초래할 수도 있습니다.

추가 자료: 모바일 앱 침투 및 방어: AI 시대의 리버스 엔지니어링 방지

프롬프트 주입 공격 및 데이터 오용 

언어 모델이나 동적 입력을 사용하는 앱은 특히 프롬프트 주입 공격에 취약합니다. 악의적인 사용자는 입력/출력 흐름을 탈취하여 모델의 동작을 왜곡하거나, 데이터를 유출하거나, 의도하지 않은 결정을 유발할 수 있습니다. 이는 AI 데이터의 무결성과 사용자의 신뢰를 훼손합니다. 

앱 내 데이터 조작 

많은 임베디드 AI 시스템은 로컬 구성 파일이나 의사결정 트리에 의존합니다. 이러한 내부 데이터 소스가 적절히 보호되지 않으면, 공격자가 이를 변조하여 AI의 동작을 조작하거나 무단 액세스를 얻을 수 있습니다. 

AI 런타임 내 악성 코드 실행 

AI 런타임 환경이 충분히 강화되지 않은 경우, 공격자는 악성 코드를 주입하거나 실행하여 지속적인 접근 권한을 얻거나 시스템을 더 광범위하게 침해할 수 있습니다. 이는 오프라인이나 신뢰할 수 없는 환경에서 작동하는 AI 기반 모바일 앱에서 점점 더 큰 우려 사항으로 대두되고 있습니다. 

이러한 위험 요소들은 종합적으로 볼 때 급속히 확대되고 있는 AI 위협 환경을 나타내며, 새로운 방어 전략이 필요합니다. 

 

산업별 고위험 사용 사례 

일부 산업 분야에서는 모바일 개발자와 앱 보안 팀을 위한 AI 모델 보호가 특히 시급한 과제로 대두되고 있습니다. 

금융 및 의료 

AI 기반 자문 서비스, 진단 도구, 사기 탐지 엔진, 위험도 계산기 등이 더 빠르고 개인정보 보호가 강화된 의사결정을 가능하게 하기 위해 기기 내에 배포되고 있습니다. 하지만 이로 인해 다음과 같은 중대한 위험도 초래됩니다: 

  • 금융 AI 로직을 조작하면 사기 거래가 승인될 수 있습니다 
  • 의료 분류 모델을 변경하면 위험하거나 편향된 권고가 나올 수 있습니다 
  • 두 분야 모두에서 규제 당국의 감시와 정보 유출에 대한 법적 책임이 중요한 문제입니다

“소프트웨어 솔루션 부문은 예측 기간 동안 가장 빠른 성장률을 기록하며 가장 수익성이 높은 구성 요소 부문입니다.” [2]

더 읽어보기: 2025년 금융 앱 보안: 기존 악성코드와 새롭게 대두되는 AI 위협에 대응하기

게임 및 부정행위 방지 

게임 내 로직을 제어하거나 부정행위를 탐지하는 AI 모델은 빈번히 공격 대상이 됩니다: 

  • 플레이어들은 제재 조치를 우회하기 위해 모델을 리버스 엔지니어링합니다 
  • NPC 로직을 수정하여 부당한 이득을 얻기도 합니다 
  • 게임 개발사는 독점적인 혁신 기술을 경쟁사에 빼앗기게 됨 

스마트 기기 및 IoT 도입 

스마트폰의 AI 기반 앱에 대한 위협이 엣지 기기로 확대되고 있다. 예를 들어: 

  • 음성 인식 AI를 사용하는 스마트 잠금 장치는 악용되어 무단 접근이 가능해질 수 있습니다 
  • 스마트 센서나 가전제품에 탑재된 AI가 조작되어 상태를 잘못 보고할 수 있습니다 
  • 로컬 보호 기능이 없다면, 이러한 시스템은 모바일 AI 배포 환경에서 보안 위험에 노출될 수 있습니다 

AI 배포에 대한 규제 압박이 커지고 있다 

임베디드 AI 모델의 위험이 커짐에 따라 규제 당국의 관심도 높아지고 있습니다. 이제 오프라인에서 작동하는 모바일 앱조차도 새롭게 등장하는 법적 프레임워크를 준수해야 합니다. 

  • EU AI 법: 고위험 AI 시스템, 특히 금융, 보건 또는 안전에 영향을 미치는 시스템에 대해 변조 방지, 로그 기록 및 배포 후 모니터링을 의무화합니다. 
  • GDPR: 내장형 AI를 사용하여 개인 데이터를 처리하는 앱은 제25조(설계 단계에서의 데이터 보호)를 준수해야 합니다. 
  • NIST AI RMF/ISO/IEC 42001: 자율 AI 보안, 견고한 설계 및 위험 관리를 위한 모범 사례를 제시합니다. 

AI 기능이 비교적 단순해 보일지라도 많은 앱이 의도치 않게 ‘고위험’ 범주에 속하게 됩니다. 기업은 개발자, 규정 준수 팀, 제품 책임자 간에 AI 보안 전략을 조기에 그리고 단호하게 조율해야 합니다.

 

기존 앱 보안이 미흡한 이유 

기존의 모바일 앱 보호 도구는 내장된 AI 위험을 처리하도록 설계되지 않았습니다. 다음은 기존의 모바일 보안 도구가 오늘날의 모바일 AI 위협을 해결하지 못하는 몇 가지 이유입니다: 

  • 이러한 도구들은 AI 모델의 무결성, 보호 또는 동작보다는 앱의 논리나 구조에 초점을 맞추는 경향이 있습니다. 
  • 이러한 도구들은 메모리 수준의 AI 조작을 감지하지 못하며, 로컬 AI 에이전트의 오용을 방지할 수 없습니다. 
  • 이러한 정적 보호 수단만으로는 AI 앱 내의 동적인 런타임 위협을 막을 수 없습니다. 
  • 내부 AI 논리나 데이터에 대한 미묘한 조작을 탐지하지 못합니다. 
  • 이들의 애플리케이션 강화 도구는 AI 모델, 의사결정 경로, 또는 입출력 흐름을 보호하지 못합니다. 
  • 이로 인해 AI 모델 변조, 쿼리 수준의 프롬프트 주입, 데이터 유출의 여지가 남게 됩니다. 쿼리를 작성하거나 응답을 확인할 수 있다면, 적절한 런타임 보호 조치가 없는 한 이를 조작하거나 가로챌 수 있습니다. 

그 결과, 많은 팀이 여전히 강력한 AI 기반 모바일 앱을 개발하고 있지만, 충분한 보호 장치는 갖추지 못하고 있습니다. 

 

모바일 AI를 위한 새로운 위협 모델 

선두를 유지하고 안전을 확보하기 위해 기업들은 보안 사고방식을 전환하고, 기존의 앱 보안 방식을 넘어 진화해야 합니다. AI는 모바일 앱의 작동 방식과 공격 방식, 그리고 결과적으로 보호 방식을 변화시킵니다. AI가 앱 내에서 실행된다면 위험도 함께 실행되며, 공격자도 마찬가지로 앱 내부에 침투할 수 있습니다. 모바일 AI 보안에는 내부 위협을 가정한 업데이트된 위험 모델이 필요합니다. 

모바일 기기에서 AI 위협에 대한 보호는 앱 수준에서 이루어져야 합니다. 정적 제어 수단이나 클라우드 측의 보호 조치만으로는 더 이상 충분하지 않습니다. 즉, 현대적인 AI 모델 보안에는 이제 다음이 포함되어야 합니다: 

  • 데이터 변조 또는 탈취를 차단하기 위한 입출력 강화
  • AI 기반 앱에서 무단 모델 수정을 방지하는 무결성 검사, 변조 방지 및 난독화

더 읽어보기: AI 난독화 해제 도구: AI가 (아직은) 해커들의 코드 난독화 해제에 도움이 되지 않는 이유

이는 단순한 미래 예측이 아닙니다. 현대 모바일 앱에서 신뢰, 규정 준수 및 지적 재산권을 보호하기 위해 오늘날 기업들이 반드시 갖춰야 할 필수 요소입니다. 

 

다음은 비즈니스입니다 

AI 보안 위협이 진화함에 따라 애플리케이션 보호 수단도 함께 진화하고 있습니다. Promon은 AI 위험을 완화하는 혁신적인 방법을 제시하며 , 이를 통해 모바일 앱 팀이 사용자 경험(UX), 규정 준수, 시장 출시 속도를 유지하면서도 내장된 AI를 보호하는 검증된 다층 방어 체계를 구축할 수 있도록 지원합니다. 

모바일 앱에 AI를 탑재하는 기업들은 지금 당장 위협 모델을 재고해야 합니다. 다음 게시물에서는 다층적인 모바일 앱 보호 기술을 활용해 모바일 앱 내 AI를 보안하는 방법을 살펴보겠습니다. AI 기반 제품에 신뢰성, 규정 준수, 복원력을 구축하면서 내장된 AI를 안전하게 보호할 수 있는 방법을 제시해 드리겠습니다.

 

Ready to secure AI features in your mobile apps?
Start a conversation with our Promon experts to discuss the next steps in securing your business.
Book a meeting

출처 

[1] https://www.grandviewresearch.com/industry-analysis/on-device-ai-market-report 

[2] https://www.grandviewresearch.com/horizon/outlook/ai-in-healthcare-market-size/global