기밀 컴퓨팅 뜻: 처리 중인 데이터와 모델 가중치를 하드웨어에서 격리하는 방식

공공기관이나 금융사가 클라우드 AI를 검토할 때 보안 담당자는 먼저 데이터가 암호화되는지 묻습니다. 벤더는 저장할 때도, 네트워크로 보낼 때도 암호화한다고 답합니다.

그런데 AI 모델이 그 데이터로 계산하는 순간에는 데이터가 서버 메모리에서 풀린 상태가 됩니다. 서버 관리자 권한이 있으면 이 데이터를 볼 수 있어서, 그동안은 클라우드 회사의 접근 통제 정책과 계약에 맡겨 왔습니다.

기밀 컴퓨팅(Confidential Computing)은 처리 중인 데이터를 하드웨어가 만든 격리 영역 안에 두는 기술입니다. 격리 영역의 메모리는 하드웨어가 암호화하고, 서버의 운영체제나 가상화 소프트웨어, 클라우드 관리자도 그 안의 내용을 읽지 못하게 합니다. 컨피덴셜 컴퓨팅이라고 그대로 부르기도 합니다.

---

저장 중, 전송 중, 사용 중 데이터의 보호 방법

보안에서는 데이터가 있는 상태를 저장 중, 전송 중, 사용 중으로 나눠 봅니다. 앞의 두 상태는 오래전부터 암호화로 보호해 왔고, 기밀 컴퓨팅은 마지막 상태를 다룹니다.

표에서 가장 크게 다른 줄은 '신뢰해야 하는 대상'입니다. 사용 중 데이터를 기존 방식으로 처리하면 그 서버를 운영하는 클라우드 회사와 관리자 권한을 가진 사람을 신뢰해야 합니다. 기밀 컴퓨팅은 신뢰해야 하는 범위를 칩과 그 칩이 내놓는 증명으로 줄입니다.

---

왜 지금 AI에서 다시 이야기될까요?

AI에서는 보호할 대상이 하나 더 늘었습니다. 고객 데이터와 함께, 기업이 비용을 들여 미세조정한 모델의 가중치도 추론하는 동안 메모리에 올라갑니다. 데이터는 넘기고 싶지 않고 모델도 노출하고 싶지 않은 규제 산업에서는 데이터와 가중치를 함께 보호해야 클라우드 GPU를 쓸 수 있습니다.

구글은 2026년 11월 9일 새 TPU 8tx를 발표하며 이 점을 앞에 내세웠습니다. 구글 블로그는 이 칩이 하드웨어 계층에서 보안을 적용해 민감한 데이터와 모델 가중치를 사용 중에도 격리한다고 설명합니다.

keeping sensitive data and model weights protected and isolated even while in active use

구글은 TPU 8tx가 규제 산업과 정부를 위한 칩이고, 5세대 AMD EPYC 호스트 CPU와 함께 쓰며, 보안 기능으로 생기는 성능 손실이 거의 없다고 밝혔습니다. 다만 성능 손실 수치는 구글의 자체 설명이고, 발표 글에는 출시 시점과 제공 리전이 나와 있지 않습니다. 실제 도입을 검토한다면 정식 제공 일정과 독립 측정 결과를 따로 확인해야 합니다.

GPU 쪽에서도 같은 흐름이 이어집니다. NVIDIA는 기밀 컴퓨팅 문서에서 기밀 가상 머신의 경계가 관리자 권한을 가진 호스트 소프트웨어로부터 작업을 격리한다고 설명하고, 지원하는 GPU와 드라이버 조합을 별도 표로 공개합니다.

---

기밀 컴퓨팅을 이루는 요소

격리 실행 환경

CPU나 GPU 안에 만든 보호 영역입니다. 흔히 TEE(Trusted Execution Environment)라고 부릅니다. 이 영역에 올라간 코드와 데이터는 메모리에서 암호화된 상태로 있고, 같은 서버의 다른 프로그램이나 운영체제가 들여다볼 수 없습니다.

예를 들어 병원이 환자 영상으로 진단 보조 모델을 돌린다면, 클라우드 서버 관리자가 메모리를 덤프해도 암호화된 값만 보게 됩니다. 처음에는 CPU에서 쓰던 기술인데, AI 작업은 주로 GPU에서 처리하다 보니 GPU 메모리까지 격리하는 제품이 나오고 있습니다.

원격 증명

격리 영역이 실제 하드웨어 위에서, 승인된 코드로 돌고 있는지 외부에서 확인하는 절차입니다. 칩이 자기 상태와 실행 중인 코드의 측정값을 서명해 내놓으면, 데이터를 보내는 쪽은 이 값을 확인한 뒤에만 데이터를 넘깁니다. 기밀 컴퓨팅 컨소시엄도 데이터 주권을 지키려면 증명으로 확인할 수 있어야 한다고 설명합니다.

키 관리

데이터를 풀 수 있는 키를 증명이 통과한 격리 영역에만 내주는 구조입니다. 예를 들어 금융사가 고객 거래 데이터를 클라우드에서 분석한다면, 키 관리 서버는 증명 결과가 기준과 맞는 경우에만 복호화 키를 보내고, 기준이 맞지 않으면 데이터는 암호화된 채로 남습니다.

---

도입 과정에서 자주 생기는 문제

기밀 컴퓨팅만으로 망분리 요건을 충족한다고 보는 경우

기밀 컴퓨팅은 연산 중인 데이터를 클라우드 운영자로부터 보호하는데, 어떤 데이터를 외부 클라우드에서 처리해도 되는지는 별개의 판단입니다. 공공기관이라면 국가망보안체계(N2SF)의 등급 분류가 먼저이고, 기밀 등급 정보는 여전히 격리해야 합니다. 등급 분류 절차는 N2SF 뜻 글에서 설명했습니다.

증명 결과를 확인하지 않는 경우

격리 기능이 켜진 인스턴스를 빌려도, 데이터를 보내기 전에 증명 결과를 확인하는 절차가 없으면 실제로 격리된 환경인지 알 수 없습니다. 증명 확인을 누가 어느 시스템에서 하는지, 실패하면 어떻게 처리하는지 운영 절차로 정해 두어야 합니다. 하드웨어 펌웨어가 업데이트되면 측정값도 바뀌므로, 기준값을 언제 누가 갱신하는지도 함께 정하면 됩니다.

격리 영역 밖에 남는 기록을 놓치는 경우

격리 영역은 연산 중인 메모리를 보호할 뿐, 애플리케이션이 남기는 로그까지 막아 주지는 못합니다. AI 서비스가 프롬프트와 응답을 디버깅용 로그에 그대로 적거나 외부 모니터링 도구로 보내면, 그 기록은 격리 영역 밖에 평문으로 남습니다. 무엇을 기록하고 누가 볼 수 있는지는 기존처럼 운영 통제로 관리해야 합니다.

---

하이퍼이지의 접근

하이퍼이지가 공공, 금융 고객과 AI 도입을 논의할 때 먼저 정하는 것은 데이터 등급입니다. 어떤 업무 데이터가 외부로 나가면 안 되는지, 어떤 데이터는 보호 조치를 거쳐 클라우드에서 처리해도 되는지를 나눈 뒤에 배포 형태를 고릅니다.

외부로 나가면 안 되는 데이터를 다루는 업무는 Skein OS를 고객사 내부망에 설치하는 방식을 검토합니다. 폐쇄망에서 시작하는 방법은 망분리 AI 도입 글에 정리했습니다. 기밀 컴퓨팅은 그 중간에 있는 데이터, 즉 클라우드 GPU가 필요하지만 운영자에게 내용을 보여 주기는 어려운 데이터를 처리할 때 검토할 수 있는 선택지로 보고 있습니다.

---

자주 묻는 질문

기밀 컴퓨팅을 쓰면 클라우드 벤더를 전혀 신뢰하지 않아도 될까요?

신뢰해야 하는 범위가 줄어들 뿐 없어지지는 않습니다. 칩 제조사의 하드웨어와 증명 체계는 여전히 신뢰해야 하고, 하드웨어 격리 기술을 겨냥한 연구 공격도 꾸준히 발표됩니다.

성능이 많이 떨어질까요?

메모리 암호화와 증명 절차 때문에 추가 부담이 생길 수 있고, 그 크기는 하드웨어와 작업 종류에 따라 다릅니다. 벤더가 밝힌 수치보다 실제 업무 데이터로 같은 작업을 돌려 비교해 보는 편이 정확합니다.

온프레미스 서버에도 필요할까요?

서버를 직접 운영하면 클라우드 운영자를 신뢰해야 하는 문제는 없습니다. 다만 같은 서버를 여러 부서나 외부 협력사가 함께 쓰고, 그 관리자에게도 데이터를 보여 주면 안 되는 경우에는 온프레미스에서도 검토할 만합니다.

---

처리 중인 데이터를 보호하는 마지막 구간

기밀 컴퓨팅은 저장과 전송 다음에 남아 있던 사용 중 구간을 하드웨어로 보호하는 기술이고, AI에서는 데이터와 모델 가중치를 함께 격리하는 방법으로 쓰입니다. 어떤 데이터를 어디서 처리할지 정하는 등급 분류와 로그 관리 같은 운영 통제는 그 앞뒤에서 여전히 기업이 직접 해야 합니다.