로컬 LLM 기반 민감정보 필터링: 클라우드 AI 활용 시 보안 위험 최소화 가이드

클라우드 AI 활용 시 민감정보 유출 위험과 로컬 LLM의 역할

최근 ChatGPT나 Claude 같은 클라우드 기반의 대규모 언어 모델(LLM)은 코드를 분석하거나 복잡한 로그를 정리하는 데 매우 유용합니다. 하지만 이러한 강력한 도구를 사용할 때, 우리가 무심코 붙여넣는 텍스트 안에 API 키, 내부 서버 주소, 사용자 이메일, 또는 민감한 로컬 경로와 같은 개인 식별 정보(PII)가 포함되어 있을 수 있다는 점은 심각한 보안 문제입니다. 사용자는 단순히 ‘전송’ 버튼을 누르기 전에도 어떤 정보가 남아 있는지 직접 확인하는 수고를 거쳐야 합니다. 특히, 형식적으로는 감지하기 쉬운 정보(예: 이메일 주소) 외에도, ‘프로젝트 오로라를 금요일 자정에 전환한다’와 같이 문맥에 의존하는 내부 프로젝트명이나 일정이 보안 위협이 될 수 있습니다.

이러한 확인 작업을 줄이고자, 연구진은 정규표현식과 세 종류의 로컬 LLM 민감정보 필터링 기술을 결합한 작은 보조 필터를 개발하고 그 효용성을 검증했습니다. 이 필터의 궁극적인 목표는 보안 프로세스를 완전히 자동화하는 것이 아니라, 사용자가 마지막으로 한 번 더 의심하고 확인해야 할 지점을 명확히 보여주는 ‘보조 장치’의 실효성을 측정하는 데 초점이 맞추어져 있습니다.

※ AI로 생성된 이미지입니다

정규표현식과 로컬 LLM 결합 필터의 작동 원리 분석

개발된 필터는 단계적인 접근 방식을 취합니다. 첫 번째 단계에서는 규칙 기반의 필터링을 통해 이메일, 사설 IP 주소, 사용자 홈 경로, 그리고 키나 토큰과 같이 형식이 명확한 민감 정보를 자동으로 찾아내어 `[EMAIL_1]`과 같은 표식으로 대체합니다. 이때 중요한 점은, 동일한 값에는 동일한 표식을 사용하여 문장 내에서 정보 간의 논리적 관계가 깨지지 않도록 설계했다는 점입니다. 두 번째 단계가 핵심으로, 이렇게 규칙 필터링된 원문과 그 탐지 결과를 로컬 LLM에 전달합니다. 이 과정에서 모델에게는 단순히 ‘안전하다’고 선언하거나 문장을 다시 쓰도록 하는 권한을 주지 않고, 오직 ‘후보 문자열’, ‘분류’, 그리고 ‘판단 이유’만을 JSON 형식으로 반환하도록 제한했습니다. 즉, LLM은 검토 목록을 제시하는 ‘검열관’ 역할에 머물게 한 것입니다. 실험은 합성 데이터를 사용하여 진행되었으며, 실제 회사 정보 대신 가짜 이메일이나 합성 키 등을 활용하여 통제된 환경에서 다양한 시나리오를 검증했습니다. 이러한 방식으로, 모델이 자동 마스킹을 시도하기보다 어떤 부분을 사람이 직접 검토해야 할지 목록화하는 것이 주된 목적입니다.

※ AI로 생성된 이미지입니다

다양한 로컬 LLM 모델 간의 성능 비교 및 검증 과정

실험 환경은 Apple M5 Pro와 같은 특정 하드웨어와 Ollama 같은 도구를 사용하여 구축되었으며, gpt-oss:20b, qwen3.6:27b, gemma4:26b 등 세 가지 로컬 LLM 모델을 비교 대상으로 삼았습니다. 데이터를 구성할 때는 총 50개의 입력 샘플을 사용했는데, 이는 코드 15개, 오류 로그 20개, 업무 문서와 메모 15개로 구성되어 있습니다. 특히 민감정보가 포함된 35개와 민감정보가 없는 15개의 대조 입력이 균형 있게 포함되어 모델의 일반화 성능을 측정하려 했습니다. 성능 지표로는 재현율, 낮은 오탐률, JSON 출력 실패율, 그리고 예열 후 처리 시간이 중요하게 고려되었습니다. 분석 결과, 모델별로 결과의 일관성이나 후보 문자열의 종류에서 차이를 보였습니다. 예를 들어, 어떤 모델은 형식적으로는 정확했으나 문맥적 추론이 부족했고, 또 다른 모델은 지나치게 보수적으로 반응하여 대조 입력마저 내부 정보로 오인하는 경향을 보이기도 했습니다. 이처럼 비교 과정은 어느 단일 모델도 완벽하지 않으며, 각 모델의 강점과 약점을 명확히 파악하는 것이 중요함을 시사했습니다.

※ AI로 생성된 이미지입니다

민감정보 탐지 과정에서 나타나는 문맥 이해의 중요성

이번 실험 결과는 단순히 ‘어떤 모델이 가장 빠르냐’의 차원을 넘어, 로컬 LLM 민감정보 필터링이 가지는 근본적인 한계와 가능성을 보여줍니다. 규칙 기반 필터링은 이메일이나 특정 포맷의 IP 주소 같은 ‘형식이 일정한 값’을 매우 높은 정확도로 잡아냅니다. 이는 자동화에 매우 유리합니다. 반면, ‘프로젝트 오로라’와 같은 고유명사나 ‘금요일 자정’과 같은 특정 일정은 규칙만으로는 포착하기 어렵습니다. 이 지점에서 LLM의 문맥 이해 능력이 보완 역할을 수행하는 것이 확인되었습니다. 다만, 모델들이 같은 프롬프트를 받았음에도 결과가 상이하거나, 후보 목록의 일치율이 100%가 아닐 때도 있다는 점은 자동 승인(Auto-approve) 시스템에 바로 적용하기에는 여전히 불안정성이 존재함을 의미합니다. 따라서 이 기술은 인간 검토자의 판단을 대체하는 것이 아니라, 검토자가 놓칠 수 있는 부분을 ‘강력하게 상기시켜주는’ 수준의 보조 도구로 이해하는 것이 합리적입니다.

※ AI로 생성된 이미지입니다

결론 및 향후 보안 시스템 구축 방향 제언

종합해 보면, 로컬 LLM과 규칙 기반 필터링을 결합하는 방식은 클라우드 AI 사용 시 발생할 수 있는 잠재적 민감정보 유출 경로를 체계적으로 점검할 수 있는 유의미한 방법론을 제시했습니다. 특히, 표식(Placeholder)을 통해 정보의 ‘존재 여부’와 ‘문장 내 관계’를 유지하면서 전송 범위를 줄이는 설계적 장점은 명확합니다. 하지만 특정 프로젝트명이나 비정형적인 문맥 표현을 완벽하게 커버하기 위해서는 지속적인 데이터셋 보강과 함께, 모델의 판단 근거(판단 이유)를 사람이 검토하는 ‘인간 중심의 검증 루프(Human-in-the-Loop)’를 유지하는 것이 가장 중요합니다. 조직에서 AI 활용을 확대하고자 한다면, 이 필터링 시스템을 ‘1차 경고 시스템’으로 도입하고, 모든 민감 정보 전송 요청에 대해 최종 사용자 승인을 거치도록 프로세스를 설계하는 것을 권장합니다. 여러분의 업무 환경에서 LLM을 활용할 때, 이와 같은 선제적 보안 검토 단계를 필수적으로 추가하는 것이 현명합니다.