“기술 이전에, 설계가 먼저입니다.”
왜 ‘조치’가 아니라 ‘설계’부터 시작해야 하는가?
많은 기업이 “AI 보안을 어떻게 구축해야 하나요?”라는 질문에 대해,
암호화 기술, 탐지 도구, 인증 방식 같은 기술 리스트부터 생각합니다.
그러나 실제 사고는 ‘무엇을 어떻게 설계했는가’의 부재에서 출발하는 경우가 대부분입니다.
이번 글에서는 실무 기준에서 꼭 필요한 5가지 조치 항목을 선정해,
어떤 흐름으로 우선 적용하고 체계화할 수 있을지 그 기준을 제시합니다.
AI 보안을 위한 5가지 핵심 조치
AI를 보안 위협으로 만드는 건 기술 자체가 아니라,
‘무방비 상태로 적용되는 사용 방식’입니다.
다음은 기업이 가장 우선적으로 점검하고 개선해야 할 핵심 조치들입니다.
1. 입력 필터링
“AI가 민감정보를 기억하기 전에 차단하세요.”
AI 유출 사고의 절반 이상은 출력 오류가 아니라 입력 시점의 무방비 때문에 발생합니다.
특히 LLM이나 챗봇 시스템은 입력된 내용을 저장하거나,
추후 학습에 사용할 수 있기 때문에 입력 단계에서 차단하는 것이 가장 중요합니다.
🔸 어떻게?
- 주민번호, 연락처 등은 정규표현식으로 즉시 차단
- “초등학교 3학년”, “우리 아버지가 치매라…” 와 같은 문맥형 개인정보는 AI 기반 탐지 모델을 통해 식별
📌 입력 차단은 단순한 필터링이 아니라,
AI가 민감정보를 ‘기억하지 않게 하는 유일한 사전 조치’입니다.
2. 로그 관리 체계화
“암호화와 접근 제한이 기본입니다.”
대화기록, 프롬프트 로그, 검토 데이터 등은 모두 잠재적인 유출 경로가 됩니다.
특히 로그는 정책 없이 축적되기 쉽고, 많은 인력이 접근 가능하다는 특성이 있어 가장 취약하게 다루는 영역입니다.
🔸 왜 위험한가?
- 자동으로 저장되지만, 삭제 정책은 없음 (히스토리 유지 명목)
- 여러 부서가 공유 폴더나 S3에 접근하면서 복사·이관 이력이 남지 않음
🔸 그래서 필요한 것은?
- 로그는 저장할 때부터 암호화 (AES-256 이상)
- 접근 권한 최소화 + 이관/다운로드 이력 자동 기록
📌 로그는 쌓이는 게 문제가 아닙니다. 누가, 언제, 무엇을 조회하고 복사했는지를 확인할 수 있어야 합니다.
“잘 저장된 로그”보다 중요한 것은“적절히 통제되고, 불필요하면 지워지는 로그”입니다.
3. 사용자 가이드라인
“입력 실수를 막는 최소한의 장치입니다.”
보안 솔루션을 아무리 잘 깔아도,
사용자 스스로 개인정보를 입력하는 구조라면 막기 어렵습니다.
따라서 고객과 직원 모두에게 입력 규칙을 고지하고 유도하는 것이 필요합니다.
🔸 무엇을 해야 할까?
- 챗봇 시작 시 민감정보 입력 금지 문구를 자동 안내
- 프롬프트 설계 시 개인정보 유도 질문 제거 (ex. “성함/계좌 알려주세요”)
- 내부 테스트 시 실명/실전화번호 사용 금지 명시
📌 특히 내부 테스트나 개발자의 입력 실수로 유출이 발생한 경우,
이는 단순 사고가 아닌 ‘내부자 과실’로 간주되어 법적 책임이 더 무겁게 적용될 수 있습니다.
4. AI 사용 정책 수립
“데이터 책임과 권한을 명확히 하세요.”
많은 기업이 AI 시스템을 기술 부서 단독으로 도입하지만,
실제 AI가 다루는 정보는 보안, 법무, 개인정보 보호팀의 관리 대상일 수 있습니다.
운영 책임과 데이터 권한이 명확히 구분되어야 사고를 예방할 수 있습니다.
🔸 무엇을 점검해야 할까?
- AI 시스템은 어떤 부서가 운영하고 있는가
- 누가 어떤 데이터를 입력·검토·저장할 수 있는가
- AI가 생성한 결과가 보안 검토 없이 서비스에 노출되고 있지는 않은가
📌 AI 보안은 기술만으로 이뤄지지 않습니다. 기술보다 먼저 필요한 건,
조직 내부에서 AI 운영 범위, 책임 주체, 검증 기준을 정의한 정책 수립입니다.
5. 보안 점검 자동화
“사람이 반복하는 건 시스템이 하게 하세요.”
보안 점검을 사람이 직접 하고 있다면, 이미 누락되고 있다는 뜻입니다.
AI 시스템은 입력부터 출력까지 수많은 로그와 데이터가 오가기 때문에,
자동화된 점검 체계 없이는 보안 통제가 불가능합니다.
🔸 어떤 항목을 자동화해야 할까?
- 프롬프트 입력 시 민감정보 필터링
- 로그 파일 내 개인정보 정기 스캔
- 응답 결과물의 사전 검열 및 블러링 처리
- 정책 위반 발생 시 자동 알림 및 이력 기록
📌 모든 프롬프트와 로그를 수작업으로 검토한다는 체계는 이미 위험합니다.
반복되는 점검은 사람이 하지 않습니다. 보안 점검은 사람이 설계하고, 시스템이 반복해야 합니다.
보안은 도구보다 흐름으로 시작됩니다.
AI 보안은 기술을 얼마나 갖췄느냐보다,
정보가 시스템 내에서 어떻게 흐르고, 누가 그것을 보고 다룰 수 있느냐를 먼저 따져야 합니다.
✔️ “유입단에서 걸러졌는가?”
✔️ “저장되는가? 암호화되는가?”
✔️ “기록이 남는가? 삭제되는가?”
✔️ “누가 그것을 검토하고 접근하는가?”
이 4단계 흐름 중 하나라도 빠져 있다면,
어떤 고급 기술도 실효성 없는 보안으로 전락할 수 있습니다.
기업이 지금 바로 해야 할 것
✅ 프롬프트 입력→로그 저장→응답 출력까지 흐름을 시각화하고 보안 맵으로 정리하세요.
✅ “누가 어떤 데이터를 입력·검토·저장·삭제할 수 있는가”를 권한 체계로 구분하세요.
✅ 내부 테스트, 고객응대 등 AI 사용 목적별로 개인정보 허용 수준을 명확히 구분하세요.
✅ 점검 도구 도입 전, 지금 어떤 방식으로 점검하고 있는지 현실 상태를 진단하세요.
✅ 기술팀뿐 아니라 보안팀·법무팀과 함께 AI 사용 정책 초안을 마련하세요.
다음 예고
이제 어떤 정보를 지켜야 하고, 어떻게 대응할지 알게 됐다면
다음 질문은 “그 정보를 실제로 어떻게 보호할 수 있을까”입니다.
다음 편 “개인정보 마스킹이란? 왜 중요한가?”에서는
이름, 주민번호처럼 정형화된 정보는 물론,
문맥상 드러나는 민감정보까지 포함해
AI 시스템에서 개인정보를 어떻게 ‘가명화’하거나 ‘가려야’ 하는지를 살펴봅니다.
특히 기존의 정적 마스킹 방식과,
LLM 환경에서 요구되는 동적 탐지 기반 마스킹의 차이를
규제 대응 관점과 실무 적용 예시를 중심으로 설명드릴 예정입니다.
본 포스팅은 아래 자료를 기반으로 분석 및 재구성하였습니다.
해당 내용의 해석은 보안 정책 적용 사례 및 공개 문헌 기준에 따라 작성자의 판단을 반영하여 정리하였습니다.
[보도자료] 금융분야 인공지능의 신뢰를 높인다(2023)
한국인터넷진흥원 – 개인정보보호 동향 보고서 (2023)
금융보안원, 금융 AI의 안전망을 설계하다
금융감독원 – 금융분야 AI보안 가이드라인
NIST – AI Risk Management Framework