成學

This is a Korean review of"CRKD: Enhanced Camera-Radar Object Detection with Cross-modality Knowledge Distillation"presented at CVPR 2024. TL;DRLiDAR-Camera (LC) fusion이 가장 높은 성능을 기록하지만, 높은 비용이 요구되므로 기술 도입이 어려움. 반면, Camera-Radar (CR) fusion은 일반적으로 쉽게 적용할 수 있지만, LC fusion보다 낮은 성능을 기록함.본 연구는 LC fusion을 teacher model로, CR fusion을 student model로 사용하는 CRKD를 제안함. 이 때, 공유된 특징 공간으로 Bird's-Eye-View (BEV)..

This is a Korean review of"Exploiting Inter-sample and Inter-feature Relations in Dataset Distillation"presented at CVPR 2024.TL;DR기존 dataset distillation 기법 중 하나인, distribution matching-based distillation은 두 가지 주요 문제를 가지고 있음.동일한 클래스 안에서의 dispersed feature distribution으로 인해 낮은 class discrimination를 가짐. Mean feature consistency에 대한 exclusive focus로 인해 부족한 precision과 comprehensiveness를 가짐.이를 해결하기 ..

This is a Korean review of"Efficient Dataset Distillation via Minimax Diffusion"presented at CVPR 2024.TL;DROriginal large-scale dataset을 대체할 수 있는 small dataset을 만드는 기법인 dataset distillation의 기존 방법들은 sample-wise iterative optimization 기법에 크게 의존함.따라서, images-per-class $($IPC$)$ setting 또는 image resolution이 커지게 되면, 과도한 시간과 자원이 요구됨.Generatvie diffusion 기법을 활용하며, 효과적인 small dataset의 핵심요소가 대표성$($repr..

This is a Korean review of"Scale Decoupled Distillation"presented at CVPR 2024.TL;DR기존 logit-based KD는 multiple semantic knowledge가 couple 되어 있는 global logit ouput을 활용하기 때문에 ambigous knowledge를 전달하며, sub-optimal 함.Scale Decoupled Distillation $($SDD$)$ 를 통해 global logit을 multiple local logit으로 분리하여, fine-grained 하고 unambiguous logit을 전달하도록 함.더 나아가, decoupled knowledge를 consistent logit과 compleme..

보호되어 있는 글입니다.

This is a Korean review of"Logit Standardization in Knowledge Distillation"presented at CVPR 2024.TL;DRKD에서 teacher와 student의 soft label $($i.e., prediction$)$을 얻을 때 사용하는 shared temperature은 teacher와 student logits의 range와 variance의 mandatory exact match를 전제로 함. $($in fact, relation is important.$)$기존 방법의 한계를 극복하기 위해, adaptive temperature로 weighted logit standard deviation을 사용함.이를 활용해, softmax를 ..

This is a Korean review of "Instance-conditional knowledge distillation for object detection" presented at NeurIPS 2021.Introduction High performance의 Deep Learning Networks의 성능을 얻기 위해서는, 불가피하게 많은 양의 parameters를 수반하게 되며, 이는 high computational cost와 memory를 요구함.따라서, Resource-limited devices에서 object detection과 같은 실용적인 application을 사용하기 위해, network pruning, quantization, mobile architecture design..

This is a Korean review of"CrossKD: Cross-Head Knowledge Distillation for Object Detecton"presented at CVPR 2024.TL;DRCrossKD라는 효과적인 prediction mimicking distillation scheme을 제안하여, student의 dtection head의 중간 feature를 teacher의 detection head에 전달함. 이러한 cross-head prediction은 teacher의 prediction을 모방하게 됨.본 방식은 student head의 annotation과 teacher prediction으로부터의 contradictory supervision signal 전달을 완화하..

This is a Korean review of "ScaleKD: Distilling Scale-Aware Knowledge in Small Object Detectors" presented at CVPR 2023.TL;DRScale-decoupled feautre distllation module을 통해 teacher의 feature를 multi-scale embedding에 disentangled하여, small object에 대한 학생의 feature mimicking을 용이하게 함.Cross-scale assistant를 통해, student에게 부정적인 결과를 초래하는 noisy하고 uninformative한 bounding box prediction을 refine함.Multi-scale cro..

This is a review of "Cross-Image Relational Knowledge Distillation for Semantic Segmentation" presented at CVPR 2022.