Role

AI Engineer

이론 수립, 구현 시도

Date

2025.03 - 2025.11

Github

https://github.com/reo91004/QuAP-FL

시작하며

2024년 이후 생성형 AI의 급속한 발전과 함께 데이터 프라이버시 문제는 더 이상 미룰 수 없는 핵심 과제가 되었다고 생각한다. 연합학습(Federated Learning)은 데이터를 중앙 서버로 모으지 않고도 AI 모델을 학습시킬 수 있는 혁신적인 패러다임이다. 구글이 2016년 처음 제안한 이후, 의료, 금융, IoT 등 민감한 데이터를 다루는 분야에서 주목받고 있다. 하지만 연합학습도 완벽하지 않다. 모델 업데이트(그래디언트)를 통한 간접적인 정보 유출, 모델 역전 공격, 멤버십 추론 공격 등 다양한 프라이버시 위협이 존재한다.

차분 프라이버시(Differential Privacy)는 이러한 위협에 대한 수학적으로 증명 가능한 해결책을 제시한다. 통계적 노이즈를 추가하여 개인의 참여 여부가 결과에 미치는 영향을 제한함으로써, 프라이버시 보호 수준을 정량적으로 보장한다. 특히 프라이버시 예산 $\epsilon$이라는 명확한 지표로 보호 수준을 조절할 수 있다.

프라이버시 예산이란, ‘정보 유출 허용량’을 의미한다. → 예산이 낮다는 것은 정보 유출을 작게 허용하겠다는 뜻이므로, 보호 수준이 강해진다.

그러나 기존 연구들의 한계로, 대부분의 차분 프라이버시 연합학습 연구들은 모든 클라이언트에게 동일한 프라이버시 예산을 할당한다. 하지만 현실의 연합학습 환경을 생각해보면 클라이언트들의 참여 패턴은 매우 이질적이다.

어떤 클라이언트는 안정적인 네트워크와 충분한 배터리를 가지고 거의 매 라운드마다 참여하는 반면, 다른 클라이언트는 간헐적으로만 참여한다. 자주 참여하는 클라이언트는 반복적인 모델 업데이트로 인해 누적 프라이버시 손실이 증가하고, 간헐적으로 참여하는 클라이언트는 과도한 노이즈로 인해 기여도가 감소한다. 이는 명백한 자원 낭비이자 불공평한 처우다.

가설 설정: 참여 패턴 기반 적응형 할당

이러한 관찰에서 출발한 핵심 가설은 다음과 같다.

“클라이언트의 참여 이력을 추적하여 참여 빈도에 반비례하는 프라이버시 예산을 동적으로 할당하면, 전체적인 프라이버시-유틸리티 균형을 최적화할 수 있다.”

구체적으로, 자주 참여하는 클라이언트에게는 더 적은 프라이버시 예산(강한 보호, 많은 노이즈)을, 간헐적으로 참여하는 클라이언트에게는 더 많은 프라이버시 예산(약한 보호, 적은 노이즈)을 할당하는 것이다. 이를 통해 누적 프라이버시 손실의 균형을 맞추면서도 각 클라이언트의 기여도를 극대화할 수 있을 것으로 예상했다.

---

이 아이디어를 구체화한 것이 QuAP-FL(Quantile-based Adaptive Privacy for Federated Learning) 프레임워크다. 세 가지 핵심을 통해 가설을 검증하고자 했다.

1. 참여 이력 추적 메커니즘: 각 클라이언트의 참여 횟수를 단순 카운터로 추적하여 참여율 계산

2. 적응형 프라이버시 예산 함수: $\varepsilon_i(t) = \varepsilon_{\text{base}} \times \Bigl( 1 + \alpha \, e^{-\beta \, p_i(t)} \Bigr)$ 수식으로 참여율에 반비례하는 예산 할당

3. 분위수 기반 적응형 클리핑: 90th percentile 기반으로 그래디언트 분포 변화에 동적 대응

중요한 것은 이 모든 것을 추가 통신 오버헤드 없이 서버 측에서만 관리할 수 있다는 점이다. 복잡한 예측 모델이나 클라이언트 간 협상 메커니즘이 필요 없다.