제한 사항과 IDS

방화벽만으로는 부족하다

방화벽은 네트워크 보안의 첫 번째 방어선이다. 하지만 방화벽에는 근본적인 한계가 있다.

방화벽은 패킷의 헤더 정보(IP 주소, 포트 번호 등)를 기반으로 허용/차단을 결정한다. 허용된 포트로 들어오는 트래픽의 내용까지는 검사하지 않는다. 웹 서버가 80번 포트를 열어두면, 그 포트를 통한 모든 HTTP 트래픽이 통과한다. 정상적인 웹 요청인지 SQL 인젝션 공격인지 구분하지 못한다.

또한 방화벽은 내부에서 발생하는 위협을 탐지할 수 없다. 이미 내부 네트워크에 침입한 공격자나 악의적인 내부자의 활동은 방화벽을 거치지 않는다.

IDS란 무엇인가

IDS(Intrusion Detection System, 침입 탐지 시스템)는 네트워크 트래픽이나 시스템 활동을 모니터링해서 악의적인 행위를 탐지하는 시스템이다. 방화벽이 "문지기"라면 IDS는 "감시 카메라"에 비유할 수 있다.

IDS는 트래픽을 차단하지 않고 복사본을 분석한다. 의심스러운 활동이 발견되면 관리자에게 경고를 보낸다. 트래픽 흐름에 직접 개입하지 않기 때문에 네트워크 성능에 영향을 주지 않는다.

IPS(Intrusion Prevention System)는 IDS의 확장으로, 탐지뿐만 아니라 자동으로 차단까지 수행한다. 하지만 오탐(false positive)으로 정상 트래픽을 차단할 위험이 있어서 신중하게 설정해야 한다.

IDS의 두 가지 접근법

IDS는 크게 두 가지 방식으로 침입을 탐지한다.

시그니처 기반 탐지

알려진 공격 패턴의 데이터베이스를 유지하고, 트래픽에서 이 패턴과 일치하는 것을 찾는다. 바이러스 백신이 악성코드 시그니처를 매칭하는 것과 유사하다.

예를 들어 특정 문자열이 포함된 HTTP 요청, 알려진 악성코드의 바이트 패턴, 비정상적인 TCP 플래그 조합 등을 탐지한다.

장점은 오탐률이 낮고 탐지가 빠르다는 것이다. 단점은 새로운 공격(zero-day)을 탐지하지 못한다는 것이다. 시그니처가 데이터베이스에 없으면 놓친다.

이상 탐지(Anomaly Detection)

"정상" 상태의 기준선(baseline)을 먼저 학습한다. 그 후 기준선에서 벗어나는 활동을 탐지한다.

예를 들어 평소 트래픽 양이 100Mbps인데 갑자기 10Gbps로 증가하면 DDoS 공격일 수 있다. 업무 시간 외에 대량의 데이터가 외부로 전송되면 데이터 유출일 수 있다.

장점은 새로운 공격도 탐지할 수 있다는 것이다. 단점은 오탐률이 높고, 정상 기준선을 설정하기 어렵다는 것이다. 정상적인 트래픽 급증(예: 마케팅 이벤트)도 공격으로 오인할 수 있다.

현대 IDS는 두 방식을 조합해서 사용한다.

IDS 배치 위치

IDS를 어디에 배치하느냐에 따라 탐지 범위가 달라진다.

네트워크 기반 IDS(NIDS)는 네트워크 경계에 배치해서 들어오고 나가는 모든 트래픽을 모니터링한다. 하나의 센서로 많은 호스트를 보호할 수 있지만, 암호화된 트래픽은 내용을 볼 수 없다.

호스트 기반 IDS(HIDS)는 개별 서버나 워크스테이션에 설치된다. 시스템 로그, 파일 변경, 프로세스 활동 등을 모니터링한다. 암호화 해제 후의 트래픽도 볼 수 있지만, 각 호스트마다 설치해야 하므로 관리 부담이 크다.

일반적으로 NIDS를 기본으로 하고, 중요한 서버에는 HIDS를 추가로 배치하는 전략을 사용한다.

IDS의 한계와 과제

IDS도 만능은 아니다.

암호화된 트래픽이 늘어나면서 NIDS의 효과가 떨어지고 있다. HTTPS가 보편화되면서 트래픽 내용을 검사하기 어려워졌다. TLS 복호화 프록시를 사용하면 해결할 수 있지만, 프라이버시와 성능 문제가 있다.

오탐과 미탐의 균형도 어렵다. 민감도를 높이면 오탐이 늘어나서 관리자가 경고 피로(alert fatigue)를 겪는다. 민감도를 낮추면 실제 공격을 놓칠 수 있다.

최근에는 머신러닝을 적용한 차세대 IDS가 등장하고 있다. 더 정교한 이상 탐지와 자동화된 대응을 목표로 하지만, 여전히 연구 단계인 부분이 많다.