루트킷과 커널 조작 기본은 윈도우 보안의 핵심이자 치명적인 위협입니다. 본 글에서는 Ring 0와 SSDT 후킹 등 커널 레벨 공격의 원리를 파헤치고, 네트워크 통신의 최전선인 미니포트 드라이버 아키텍처를 심층 분석합니다. 또한, NDIS 함수 후킹 및 DKOM과 같은 고도화된 공격 기법에 대응하기 위한 HVCI, Rust 도입 등 2026년 최신 방어 전략을 제시합니다.
목차
- 1. 도입 (Introduction)
- 2. 윈도우 커널 모델과 루트킷의 정의
- 3. NDIS와 미니포트 드라이버 아키텍처 심층 분석
- 4. 루트킷의 네트워크 공격: 미니포트 조작 기법
- 5. 최신 방어 기술 및 탐지 전략 (2026 트렌드 반영)
- 6. 결론 (Conclusion)
- 자주 묻는 질문 (FAQ)
1. 도입 (Introduction)
루트킷과 커널 조작 기본은 현대 사이버 보안 위협 중 가장 탐지하기 어렵고 치명적인 공격 형태인 커널 레벨 공격을 이해하는 핵심 열쇠입니다.
오늘은 2026년 2월 24일입니다. 보안 기술은 비약적으로 발전했지만, 공격자들은 여전히 운영체제의 심장부인 ‘Ring 0(커널 모드)’를 장악하기 위해 끊임없이 새로운 방식을 시도하고 있습니다. 여러분이 사용하는 PC가 아무리 강력한 백신을 갖추고 있어도, 커널 레벨이 뚫리면 보안 소프트웨어는 공격자의 손바닥 위에서 놀아나는 장난감에 불과합니다. 이는 마치 도둑이 경찰서장의 무전기를 훔쳐 모든 출동 명령을 조작하는 것과 같습니다.
이 글에서는 단순한 커널 이론을 넘어, 실제 네트워크 트래픽이 오고 가는 최전선인 미니포트 드라이버 아키텍처를 해부합니다. 그리고 루트킷이 어떻게 네트워크 스택을 조작해 자신의 통신을 은폐하고 데이터를 빼돌리는지 기술적으로 깊이 있게 분석하겠습니다.
2. 윈도우 커널 모델과 루트킷의 정의
먼저 공격자가 왜 그토록 커널을 노리는지, 그리고 루트킷과 커널 조작 기본 원리가 무엇인지 명확히 이해해야 합니다.
커널 모드(Ring 0) vs 유저 모드(Ring 3)
윈도우 운영체제는 안정성을 위해 실행 권한을 계층(Ring)으로 나눕니다. 우리가 쓰는 웹브라우저나 게임은 ‘Ring 3(유저 모드)’에서 실행되는데, 이곳에서는 하드웨어를 직접 건드릴 수 없습니다. 반면, ‘Ring 0(커널 모드)’는 CPU의 모든 명령을 실행하고 메모리와 하드웨어를 직접 제어하는 ‘신(God)’과 같은 권한을 가집니다. 드라이버(Driver)는 바로 이 커널 모드에서 하드웨어와 운영체제 사이를 통역해 주는 역할을 합니다.
루트킷(Rootkit)의 기술적 정의
루트킷은 단순한 바이러스가 아닙니다. 관리자 권한을 획득한 뒤, 시스템 깊숙한 곳에 숨어 자신의 파일, 프로세스, 네트워크 연결을 완벽하게 은폐하는 도구의 모음입니다.
기본 조작 원리 (Basics)
공격자는 커널의 눈을 속이기 위해 다음과 같은 기법을 주로 사용합니다.
- SSDT 후킹: 시스템 호출 테이블(SSDT)은 운영체제가 제공하는 기능들의 ‘전화번호부’와 같습니다. 공격자는 이 전화번호부의 번호를 바꿔치기하여, 특정 기능을 호출할 때 자신의 악성 코드가 먼저 실행되도록 만듭니다.
- DKOM (Direct Kernel Object Manipulation): 이것은 매우 교묘한 방식입니다. 커널 메모리에는 현재 실행 중인 프로그램 목록이 적힌 ‘리스트’가 있습니다. 공격자는 이 리스트를 직접 수정(조작)하여, 자신의 악성 프로그램 이름만 쏙 지워버립니다. 프로그램은 실제로 실행 중이지만, 작업 관리자나 보안 도구에는 보이지 않게 되는 것입니다.
전문가 노트: DKOM은 운영체제의 감시 시스템(API)을 거치지 않고 메모리 데이터 구조체(예: EPROCESS)를 직접 수정하기 때문에, 전통적인 보안 도구로는 탐지하기가 매우 까다롭습니다.
3. NDIS와 미니포트 드라이버 아키텍처 심층 분석
이제 네트워크 보안의 핵심인 미니포트 드라이버 아키텍처를 살펴보겠습니다. 윈도우에서 네트워크 통신은 NDIS(Network Driver Interface Specification)라는 표준 규격을 따릅니다.
NDIS 계층 구조
NDIS는 효율적인 통신을 위해 계층 구조로 되어 있습니다. 이를 표로 정리하면 다음과 같습니다.
| 계층 (Layer) | 드라이버 종류 | 역할 및 특징 |
|---|---|---|
| 상위 | 프로토콜 드라이버 | TCP/IP와 같은 통신 규약을 처리하고 패킷을 생성합니다. (예: tcpip.sys) |
| 중간 | 중간 드라이버 | 위아래 계층 사이에서 패킷을 필터링하거나 보안 검사를 수행합니다. |
| 하위 | 미니포트 드라이버 | NIC(랜카드) 하드웨어를 직접 제어하고, 물리적으로 패킷을 송수신합니다. |
미니포트 드라이버 핵심 핸들러 분석
미니포트 드라이버 아키텍처의 핵심은 NDIS가 호출하는 특정 함수(핸들러)들에 있습니다. 공격자들은 바로 이 함수들을 노립니다.
- MiniportInitializeEx: 네트워크 어댑터가 처음 시작될 때 호출됩니다. 메모리 자원을 할당하고 하드웨어를 사용할 준비를 마칩니다.
- MiniportSendNetBufferLists (중요): 상위 계층에서 내려온 데이터를 실제로 전송하는 함수입니다. 이 함수는 NET_BUFFER_LIST라는 구조체를 통해 패킷 데이터를 전달받습니다. 공격자가 이 함수를 장악하면, 나가는 모든 데이터를 훔쳐보거나 조작할 수 있습니다.
- MiniportReturnNetBufferLists: 전송이 끝난 데이터 버퍼를 시스템에 반환하여 메모리 누수를 막습니다.
전문가 노트: 최근 2026년 환경에서는 CPU 부하를 줄이기 위해 인터럽트 방식 대신 NDIS Poll Mode가 도입되었습니다. 이는 드라이버가 주기적으로 데이터를 확인하는 방식인데, 최신 루트킷은 이러한 Poll 핸들러까지 공격 대상으로 삼고 있어 더욱 깊은 주의가 필요합니다.
4. 루트킷의 네트워크 공격: 미니포트 조작 기법
앞서 살펴본 루트킷과 커널 조작 기본 지식을 활용해, 공격자가 어떻게 미니포트 드라이버 아키텍처를 무너뜨리는지 구체적인 시나리오를 통해 알아보겠습니다.
공격 시나리오
해커가 여러분의 PC에 침투해 중요 데이터를 외부 서버(C2 서버)로 빼돌리려 합니다. 하지만 방화벽이 이를 감시하고 있습니다. 해커는 방화벽보다 더 낮은 단계인 미니포트 드라이버를 조작해 통신을 숨기기로 결정합니다.
1. NDIS 함수 포인터 후킹
윈도우 커널 내부에는 각 미니포트 드라이버의 정보를 담고 있는 NDIS_MINIPORT_BLOCK이라는 비공개 구조체가 있습니다. 이 안에는 위에서 설명한 MiniportSendNetBufferLists 함수의 주소(위치)가 적혀 있습니다.
- 공격: 루트킷은 이 주소를 자신의 악성 함수 주소로 덮어씁니다.
- 결과: 이제 사용자가 네이버에 접속하거나 메일을 보낼 때마다, 그 데이터는 랜카드로 가기 전에 해커의 악성 함수를 먼저 거치게 됩니다. 해커는 여기서 특정 패킷을 숨기거나 내용을 바꿔치기합니다.
2. DKOM을 이용한 드라이버 은폐
공격자는 자신의 악성 드라이버가 보안 담당자에게 들키지 않도록 숨겨야 합니다.
- 공격: 로드된 드라이버들의 목록(Linked List)에서 자신의 드라이버 객체(Driver Object) 연결을 끊어버립니다(Unlink).
- 결과: 드라이버는 메모리에 남아 정상적으로 작동하지만, ‘장치 관리자’나 시스템 도구로 조회했을 때는 리스트에 나타나지 않아 투명 인간처럼 변합니다.
3. 인라인 후킹 (Inline Hooking)
함수 주소를 바꾸는 대신, 함수 코드 자체를 변조합니다.
- 공격: 정상적인 MiniportSendNetBufferLists 함수의 첫 5바이트를 JMP(점프) 명령어로 덮어씁니다.
- 결과: 함수가 실행되자마자 강제로 해커의 코드로 이동하게 됩니다. 이는 백신이 함수 주소 테이블을 검사해도 정상이니 탐지하기 어렵게 만듭니다.
전문가 노트: 이 단계에서의 방어는 매우 어렵습니다. 공격자가 이미 시스템의 가장 밑바닥인 하드웨어 제어 계층을 장악했기 때문입니다. 따라서, 애초에 드라이버가 로드되지 않게 하는 것이 최선입니다.
5. 최신 방어 기술 및 탐지 전략 (2026 트렌드 반영)
2026년 현재, 마이크로소프트와 보안 업계는 이러한 커널 공격을 막기 위해 강력한 기술들을 도입했습니다. 미니포트 드라이버 아키텍처를 보호하는 최신 전략은 다음과 같습니다.
- HVCI (Hypervisor-Protected Code Integrity): 가상화 기술을 이용해 커널 메모리를 철통같이 보호합니다. 예전에는 커널 메모리를 맘대로 수정할 수 있었지만, HVCI가 적용된 시스템에서는 서명되지 않은 코드가 커널에서 실행되거나 기존 코드가 변조되는 것을 원천적으로 차단합니다.
- Rust 기반 커널 보안: 2024년 윈도우 11 24H2 업데이트부터 커널의 일부가 ‘Rust’라는 언어로 교체되기 시작했습니다. Rust는 메모리 안전성이 뛰어나, 공격자가 메모리 버그를 이용해 침투하는 것을 언어 차원에서 방지합니다.
- PatchGuard (Kernel Patch Protection): 시스템이 주기적으로 SSDT, IDT, 중요 커널 구조체가 변경되었는지 감시합니다. 만약 누군가 몰래 수정한 흔적이 발견되면, 즉시 ‘블루스크린(BSOD)’을 띄워 시스템을 멈추고 추가 피해를 막습니다.
- 드라이버 서명 강제 (DSE): 유효한 디지털 서명이 없는 미니포트 드라이버는 아예 로드될 수 없도록 차단합니다. 이는 출처가 불분명한 루트킷 드라이버의 설치를 막는 가장 기본적이고 강력한 방벽입니다.
- 메모리 포렌식 탐지: 이미 감염된 시스템을 분석할 때는 Volatility와 같은 도구를 사용합니다. 메모리를 덤프 떠서 NDIS_MINIPORT_BLOCK 구조체를 스캔하고, 함수 포인터가 정상적인 모듈 범위(Range)를 벗어나 엉뚱한 곳을 가리키고 있는지 확인하여 후킹 여부를 판별합니다.
전문가 노트: HVCI와 VBS(가상화 기반 보안) 기능은 최신 PC 성능에 영향을 거의 주지 않으므로, 반드시 활성화하여 커널 무결성을 유지해야 합니다.
6. 결론 (Conclusion)
오늘 우리는 루트킷과 커널 조작 기본 원리부터, 네트워크 통신의 심장인 미니포트 드라이버 아키텍처가 어떻게 공격받고 방어되는지 깊이 있게 살펴보았습니다.
핵심을 요약하자면 다음과 같습니다.
- 미니포트 드라이버 아키텍처는 하드웨어와 맞닿아 있어, 이곳이 뚫리면 모든 네트워크 통신이 감시당할 수 있습니다.
- 루트킷과 커널 조작 기본 공격은 SSDT 후킹, DKOM 등 운영체제의 눈을 속이는 고도화된 기술을 사용합니다.
- HVCI, Rust 도입 등 최신 방어 기술이 발전하고 있지만, 공격자는 항상 OS의 가장 낮은 곳(Low Level)을 노립니다.
보안은 끝이 없는 창과 방패의 싸움입니다. 2026년의 보안 전문가라면 윈도우 내부 구조(Internals)에 대한 지속적인 연구와 함께, 시스템이 제공하는 하드웨어 기반 보안 기능을 적극적으로 활용해야 합니다. 여러분의 시스템이 ‘Ring 0’부터 안전할 때, 비로소 진정한 보안이 시작됩니다.
자주 묻는 질문 (FAQ)
Q: 루트킷 감염 여부를 일반 백신으로 확인할 수 있나요?
A: 일반적인 백신은 알려진 서명을 기반으로 탐지하지만, 커널 레벨에서 자신을 숨기는 고도화된 루트킷은 탐지하기 어렵습니다. 따라서 메모리 포렌식이나 전용 루트킷 탐지 도구(GMER 등)를 병행해야 합니다.
Q: 미니포트 드라이버 후킹을 예방하는 가장 좋은 방법은 무엇인가요?
A: 윈도우의 HVCI(메모리 무결성 보호) 기능을 활성화하는 것이 가장 강력한 예방책입니다. 또한, 드라이버 서명 강제 정책을 유지하여 검증되지 않은 드라이버가 로드되지 않도록 해야 합니다.
Q: Ring 0와 Ring 3의 가장 큰 차이점은 무엇인가요?
A: Ring 3는 사용자 애플리케이션이 실행되는 제한된 권한의 공간인 반면, Ring 0는 하드웨어와 메모리에 직접 접근할 수 있는 최고 권한의 커널 모드입니다. 루트킷은 바로 이 Ring 0 권한을 탈취하여 시스템을 장악합니다.