成學

This is a Korean review of "What Makes a Good Dataset for Knowledge Distillation?" presented at CVPR 2025. TL;DR일반적인 KD는 학생 모델을 학습할 때, 선생 모델이 학습한 원본 데이터셋을 사용할 수 있다는 가정이 있지만, 실제 application에서는 항상 가능한 것이 아님.이를 극복하기 위해, 'supplemental data'를 사용하는 것을 고려할 수 있음. 그렇다면, 어떤 데이터셋이 지식을 전달할 때에 좋은 데이터셋일까?Real하고, In-domain dataset 만이 유일한 방법이라고 생각할 수 있지만, 본 연구를 통해, unnatural synthetic dataset도 대안이 될 수 있음을 보임. ..

This is a Korean review of "ShiftKD: Benchmarking Knowledge Distillation underDistribution Shift" published in arXiv 2025. TL;DRReal-world에서는 훈련 데이터와 테스트 데이터 간의 분포 차이가 빈번하게 발생함. 따라서, Domain Shift에서 기존 KD 방법들의 신뢰성과 강건성을 확인해야 함.두 가지의 일반적인 분포 변화 유형(Diversity shift, Correlation shift)에서 다양한 KD 기법들을 평가하며, 이외에도 데이터 증강, 프루닝, 최적화 알고리즘에 따른 성능 변화를 분석함. Introduction잘 학습된 대형 모델이 주어졌을 때, 분포 이동 상황에서도 성능 저하 없..

This is a Korean review of "Dataset Condensation with Distribution Matching" presented at WACV 2023. TL;DRDD를 통해 합성된 이미지로 모델을 빠르게 학습할 수 있지만, 이미지 생성 과정은 복잡한 bi-level optimization과 second-order derivatives computation 때문에 계산 비용이 매우 큼.본 논문은 many sampled embedding spaces에서 합성 이미지와 원본 이미지의 feature distribution을 일치시키는 방식으로 이미지를 합성하는, 최초의 distribution matching 기반 dataset distillation 방법을 제안함. Introduc..

This is a Korean review of "Dataset Distillation by Matching Training Trajectories" presented at CVPR 2022. TL;DR합성데이터를 학습할 때, 모델의 파라미터가 실제 데이터로 학습했을 때의 파라미터 궤적과 유사한 경로를 따르도록 설계함.이를 위해, 실제 데이터로 사전 학습된 전문가 네트워크의 학습 궤적(trajectory)을 미리 계산하고 저장함. Introduction기존 연구는 주로 낮은 해상도의 데이터셋 (e.g., MNIST, CIFAR)에만 국한되고, 다음의 한계가 존재함.여러 반복을 unroll하는 과정에서 학습 불안정성 발생막대한 연산 및 메모리 자원이 요구실제 데이터의 한 학습 스텝을 합성 데이터의 한 스..

This is a Korean review of "Dataset condensation with gradient matching" presented at ICLR 2021. TL;DRDataset Distillation을, 전체 학습 데이터와 소수의 합성 데이터에서 학습된 신경망 가중치의 gradient 간의 일치 문제(gradient matching problem)로 정식화함. Introduction대규모 데이터를 효과적으로 처리하는 전통적인 방법은 coreset construction이며, 이는 *클러스터링 기반의 접근법을 사용함. 또한, continual learning이나 active learning을 통해 대규모 데이터를 효율적으로 다루려는 연구도 활발히 진행되고 있음.이러한 방법들은 일반적으..

This is a Korean review of "Dataset Distillation" presented at arXiv 2018. TL;DR전체 학습 데이터의 지식을 소수의 합성 데이터로 압축하는 Dataset Distillation 방법을 최초로 제안 Intoduction본 논문은 고정된 모델에 대해 전체 훈련 데이터셋을 몇 장의 합성 이미지로 압축하는 Dataset Distillation이라는 새로운 과제를 제안함.일반적으로 합성 데이터는 실제 데이터와 분포가 달라 학습에 부적합하다고 여겨지지만, 본 연구는 소수의 synthetic data만으로도 이미지 분류 모델을 효과적으로 학습시킬 수 있음을 보여줌.이를 위해 *모델의 파라미터를 합성 이미지의 미분 가능한 함수로 표현하고, 가중치를 직접 최..

This is a Korean review of"CRKD: Enhanced Camera-Radar Object Detection with Cross-modality Knowledge Distillation"presented at CVPR 2024. TL;DRLiDAR-Camera (LC) fusion이 가장 높은 성능을 기록하지만, 높은 비용이 요구되므로 기술 도입이 어려움. 반면, Camera-Radar (CR) fusion은 일반적으로 쉽게 적용할 수 있지만, LC fusion보다 낮은 성능을 기록함.본 연구는 LC fusion을 teacher model로, CR fusion을 student model로 사용하는 CRKD를 제안함. 이 때, 공유된 특징 공간으로 Bird's-Eye-View (BEV)..

This is a Korean review of"Exploiting Inter-sample and Inter-feature Relations in Dataset Distillation"presented at CVPR 2024.TL;DR기존 dataset distillation 기법 중 하나인, distribution matching-based distillation은 두 가지 주요 문제를 가지고 있음.동일한 클래스 안에서의 dispersed feature distribution으로 인해 낮은 class discrimination를 가짐. Mean feature consistency에 대한 exclusive focus로 인해 부족한 precision과 comprehensiveness를 가짐.이를 해결하기 ..

This is a Korean review of"Efficient Dataset Distillation via Minimax Diffusion"presented at CVPR 2024.TL;DROriginal large-scale dataset을 대체할 수 있는 small dataset을 만드는 기법인 dataset distillation의 기존 방법들은 sample-wise iterative optimization 기법에 크게 의존함.따라서, images-per-class $($IPC$)$ setting 또는 image resolution이 커지게 되면, 과도한 시간과 자원이 요구됨.Generatvie diffusion 기법을 활용하며, 효과적인 small dataset의 핵심요소가 대표성$($repr..

This is a Korean review of"Scale Decoupled Distillation"presented at CVPR 2024.TL;DR기존 logit-based KD는 multiple semantic knowledge가 couple 되어 있는 global logit ouput을 활용하기 때문에 ambigous knowledge를 전달하며, sub-optimal 함.Scale Decoupled Distillation $($SDD$)$ 를 통해 global logit을 multiple local logit으로 분리하여, fine-grained 하고 unambiguous logit을 전달하도록 함.더 나아가, decoupled knowledge를 consistent logit과 compleme..