Windows의 보안 기능은 지난 수년간 비약적인 발전을 이루었습니다. 기본 보안 설정만으로도 대부분의 악성 코드로부터 PC를 보호하기에 충분합니다. 하지만 많은 사용자가 알지 못하거나, 혹은 알고 있더라도 성능 향상을 위해 비활성화하라는 웹상의 글을 보고 무시해 버리는 중요한 설정이 하나 있습니다. Windows가 사용자에게 알리지 않고 이 기능을 비활성화하는 경우도 많다는 점이 문제입니다. 제가 말씀드리는 기능은 Windows 10의 2018년 4월 업데이트에서 도입되어 Windows 11 출시 이후부터 기본으로 포함된 ‘코어 격리(Core isolation)’입니다.
코어 격리는 Windows Defender가 할 수 없는 일을 수행합니다
백신을 위한 백신
Windows Defender를 비롯한 모든 백신 프로그램은 표면적인 수준에서 작동합니다. 파일과 프로그램을 모니터링하고 의심스러운 동작을 감지하여 차단하는 방식입니다. 일부 백신 앱은 커널 및 루트킷 보호 기능을 통해 더 깊은 수준의 보안을 제공하기도 하지만, 이들 역시 커널 수준에서 작동한다는 점은 같습니다. 커널은 모든 핵심 기능이 수행되는 OS의 뇌와 같습니다. 커널에 침투한 바이러스는 백신을 무력화하거나, PC가 마치 아무 문제 없는 것처럼 보이게 하면서 실제로는 뇌를 파먹는 아메바와 같은 사이버 위협에 감염되게 만들 수 있습니다.
코어 격리는 가상화 기반 보안(VBS)을 사용하여 PC를 보호하는 기능 모음입니다. 핵심 시스템 및 보안 프로세스를 가상 환경에서 실행하여 시스템의 나머지 부분과 격리하는 것이 핵심입니다. 따라서 악성 코드가 PC를 감염시키더라도 이러한 핵심 프로세스는 안전하게 보호됩니다. 특히 ‘메모리 무결성(Memory integrity)’ 기능(하이퍼바이저 보호 코드 무결성, HVCI라고도 함)은 악성 코드가 커널 수준에서 작동하기 어렵게 만듭니다. 커널 모드 코드를 실행해야 하는 모든 프로그램은 커널 모드에서 실행되기 전에 메모리 무결성의 암호화 검증을 통과해야 하며, 메모리 무결성 자체도 가상 환경 내부에서 작동합니다.
관련 글
메모리 무결성이 코어 격리의 가장 중요한 구성 요소이긴 하지만, 이것이 전부는 아닙니다. 하드웨어와 Windows 라이선스에 따라 코어 격리가 제공하는 다른 보호 계층도 존재합니다. 메모리 액세스 보호 기능은 PCI 포트(Thunderbolt 포트 등)에 연결된 장치가 시스템 메모리에 직접 액세스하는 것을 차단하여 악성 코드 주입을 방지합니다. 펌웨어 보호(Secured-core PC에서 사용 가능)는 OS보다 하위 계층에서 발생하는 펌웨어 수준의 공격을 방어합니다. Windows 11 Enterprise 또는 Education 에디션을 사용 중이라면, 동일한 가상화 기반 격리를 사용하여 로그인 자격 증명을 보호하는 Credential Guard를 사용할 수 있습니다.
코어 격리는 사용자의 동의 없이 비활성화될 수 있습니다
필요한 하드웨어를 갖추고 있어도 켜지지 않을 수 있습니다
코어 격리를 켜는 방법은 간단합니다. 설정 -> 개인 정보 및 보안 -> Windows 보안 -> 장치 보안으로 이동한 뒤, ‘코어 격리 세부 정보’를 클릭하면 됩니다. 하지만 이는 민감한 보안 기능이기 때문에 메모리 무결성 토글 스위치가 회색으로 비활성화되어 있거나, 켜지지 않거나, 오류 메시지가 표시되는 경우가 많습니다. 주범은 보통 호환되지 않는 드라이버입니다. ‘호환되지 않는 드라이버 검토’를 클릭하면 어떤 드라이버가 문제인지 확인할 수 있습니다. 가장 좋은 방법은 메모리 무결성과 호환되는 업데이트된 드라이버 버전을 찾는 것입니다. 호환되는 드라이버가 없다면 장치 관리자나 PowerShell을 사용하여 해당 드라이버를 제거하는 것이 메모리 무결성을 복구하는 유일한 방법입니다.
일부 시스템에서는 올바른 하드웨어를 갖추고 있음에도 코어 격리 세부 정보 페이지 자체가 누락될 수 있습니다. 이는 거의 항상 UEFI/BIOS 설정에서 하드웨어 가상화가 비활성화되어 있기 때문에 발생합니다. Intel 프로세서를 사용하는 경우 UEFI/BIOS 설정의 CPU 구성 페이지에서 Intel (VMX) Virtualization Technology 기능을 찾으십시오. AMD의 경우 하드웨어 가상화 기능은 SVM Mode로 표시됩니다.
관련 글
이 Windows 설정의 중요성은 너무 늦은 후에야 깨닫게 됩니다
이 기능을 켜지 않은 상태에서 노트북을 분실하면, 미리 켜둘 걸 그랬다는 후회를 하게 될 것입니다.
코어 격리는 기본적으로 활성화되어 있지만, 위에서 언급한 이유들로 인해 Windows가 이를 켜지 못하는 경우가 많습니다. 예전에는 Windows가 메모리 무결성이 꺼져 있다는 알림조차 주지 않았습니다. 지금도 놓치기 쉬운 작은 알림만 표시될 뿐입니다. Windows 10에서 Windows 11로 업그레이드했다면 메모리 무결성이 비활성화되어 있을 가능성이 높습니다. Windows 11을 새로 설치했을 때만 기본적으로 활성화되기 때문입니다. 확실하게 확인하는 유일한 방법은 Windows 보안에 직접 들어가 확인하는 것입니다.
코어 격리를 활성화하면 PC 성능이 저하됩니다
많은 Windows 성능 최적화 가이드, 특히 게임 관련 가이드에서는 성능 저하를 이유로 코어 격리를 비활성화할 것을 권장하곤 합니다. 맞습니다. 메모리 무결성과 같은 코어 격리 기능을 활성화하면 CPU 사용량이 증가하여 다른 작업에 할당될 자원이 줄어들 수 있습니다. 하지만 대부분의 최신 컴퓨터에서 이러한 성능 저하는 미미하며, 보안상의 이점을 포기할 만큼 크지 않습니다. 구형 프로세서(Intel Kabylake 이전, AMD Zen 2 이전)의 경우 성능 저하가 더 크게 나타날 수 있어 메모리 무결성을 끄는 것이 나을 수도 있습니다.