의료 분야 딥러닝 모델의 신뢰성 검증을 위한 적대적 공격 알고리즘(JSMA) 구현 및 취약성 분석 연구 본 프로젝트는 의료 영상 판독 보조 AI 모델이 적대적 공격(Adversarial Attack)에 얼마나 취약한지 분석하기 위해 수행되었습니다. 특히 JSMA 공격 기법을 프레임워크 도움 없이 직접 구현하여 앙상블 모델에 적용하고, 섭동량(Perturbation)과 공격 성공률 간의 상관관계를 심층 분석했습니다.
- 의료 AI의 위험성: 전문의 진단 보조에 널리 쓰이는 의료 Vision 기술이 악의적인 데이터 변조(적대적 공격)에 노출될 경우, 오진이나 보험 사기 등의 심각한 사회적 문제를 야기할 수 있습니다.
- 연구 목표: 자연 영상 위주의 기존 연구를 넘어 의료 CT 영상 환경에서 주요 공격 기법들의 성능을 비교하고, 최소한의 픽셀 변조로 모델을 기만할 수 있는 범위를 확인하여 향후 방어 기술 연구의 근거를 마련합니다.
- 기반 모델: Kaggle의 Chest CT-Scan images Dataset을 활용하여 학습된 앙상블 분류기입니다.
- 아키텍처: EfficientNetB3, ResNet50, InceptionV3를 결합한 Average Ensemble 모델을 타겟으로 설정하여 개별 모델보다 강력한 분류 성능을 가진 대상에 대해 공격 강인성을 테스트했습니다.
- 데이터 전처리: ImageGenerator를 활용한 데이터 증강(Data Augmentation)을 통해 학습 데이터의 다양성을 확보했습니다.
-
JSMA (Jacobian-based Saliency Map Attack):
-
모델의 그레이디언트 정보를 활용하여 클래스 확률 변화에 가장 민감한 픽셀 쌍을 찾아내는 알고리즘을 스크래치(From Scratch)로 구현했습니다.
-
텐서플로우/케라스의 로직을 직접 분석하여 자코비안 행렬(Jacobian Matrix) 계산 및 살리언시 맵 생성을 구현했습니다.
-
공격 기법 비교 분석: JSMA 외에도 FGSM, C&W, DeepFool 등의 기법을 적용하여 공격의 정교함과 성공률을 다각도로 비교했습니다.
| 기법 | 공격 성공률 (ASR) | 평균 투입 섭동량 (L2 Norm) | 특징 |
|---|---|---|---|
| JSMA | 90% | 0.382 | 평균 2.94개의 극소수 픽셀 변조로 성공 |
| C&W | 90% | 0.052 | 가장 정교하며 육안 구분이 거의 불가능 |
| FGSM | 상대적 낮음 | 높음 | 빠른 속도 대비 노이즈가 시각적으로 두드러짐 |
- FGSM은 섭동 차분 영상에서 사람의 눈으로도 변조를 느낄 수 있었으나, 구현한 JSMA와 C&W는 원본과 거의 차이가 없는 고품질의 적대적 예제를 생성했습니다.
- 🏅 Best Paper Award: 사단법인 한국정보처리학회 주최 ICT 멘토링 학술대회(ACK 2024) 최우수상 수상.
- 📄 논문 게재: "의료 영상에 대한 적대적 공격 기술의 연구" (공동 제1저자).
- Language: Python
- ML Framework: TensorFlow 2.x, Keras
- Analysis: NumPy, Matplotlib (차분 영상 및 살리언시 맵 시각화), Pandas
- Environment: Google Colab / Kaggle Notebook
- 한계: 특정 데이터셋(Chest CT)에 국한된 실험으로, 다양한 의료 도메인에 대한 일반화 성능 확인이 추가로 필요합니다.
- 향후 계획: GAN을 활용한 적대적 예제 정화(Defense-GAN) 및 모델의 그레이디언트를 매끄럽게 하는 Defensive Distillation 기법을 연구하여 의료 AI의 강인성을 높이는 방어 전략을 구축할 예정입니다.