양자화하면 빨라진다는 통념의 반증
의료영상 분류 모델을 FP32, INT8, ONNX 3종으로 변환해 같은 테스트셋에서 비교. INT8 3.64배 압축, ONNX 2.15배 단축, 위음성 0 유지
2026
PyTorchONNXQuantizationOn-Device AI
Summary요약
2026
문제
의료영상 분류 모델(MobileNetV3-Large)을 단말에 올리려면 용량과 추론 지연을 줄여야 하지만, 의료 도메인에서는 위음성(놓친 환자)이 늘어나면 안 됩니다. accuracy 한 숫자가 아니라 무엇을 지킬지를 먼저 정해야 했습니다.
역할
PyTorch FP32, PTQ 정적 양자화 INT8, ONNX(opset 17) 3종 포맷으로 변환하고 같은 테스트셋에서 용량, CPU 단건 추론 지연, 예측 변화를 측정했습니다. 체크포인트 선택 기준을 accuracy 대신 위음성 최소화로 두어, val accuracy가 3.4%p 낮지만 FN 0인 쪽을 채택했습니다.
성과
INT8로 용량 16.24MB에서 4.47MB로 압축(3.64배), ONNX 변환으로 지연 20.20ms에서 9.40ms로 단축(2.15배). 양자화 후 예측 변화 26/624건이 전부 위양성 방향임을 확인해 Recall 1.0과 FN 0을 유지했습니다. ONNX(FP32)가 INT8보다 빠른 역전 현상을 측정하고 런타임 최적화 수준의 차이로 원인을 분해했습니다. 양자화의 확실한 이득은 용량이고, 속도는 런타임에 좌우된다는 결론입니다.
Key Numbers
3.64배
용량 압축 (INT8)
2.15배
지연 단축 (ONNX)
0 유지
위음성 (FN)
신호정 / seenjeonga@gmail.com
양자화하면 빨라진다는 통념의 반증