기존 PointCLIP 모델의 성능 개선뿐만 아니라, task를 확장하여 3D point cloud data의 다양한 활용을 가능하게 하는 통합 프레임워크를 제안한 논문 PointCLIPv2입니다.[논문의 기여]CLIP과 GPT를 통합하여 3D point cloud data에 대한 zero-shot 학습 능력을 향상3D classification, part segmentation, object detection 등 다양한 태스크에 적용 가능한 통합 프레임워크 제안1. Introduction & Background CLIP과 LLM을 적절히 활용하여 통합된 3D 데이터를 활용해 open-world understanding을 달성할 수 있을까?[기존 PointCLIP의 문제점]Sparse projection..

2D image를 학습한 CLIP-based model을 3D domain으로 전이시켜, unseen 3D object를 zero-shot으로 추론시킬 수 있을까?라는 질문에서 시작된, "PointCLIP"에 대한 논문입니다. [논문의 기여]CLIP을 확장하여 3D 포인트 클라우드 데이터를 처리할 수 있는 PointCLIP을 제안 - 2D pre-trained knowledge를 3D로 전이하여 multimodal zero-shot 탐지 방법 제시multi-view 간의 feature interaction을 활용하는 Inter-view adapter 제안 - few-shot fine tuning 성능 개선기존의 fully-trained 3D model의 성능을 높이기 위한 ensemble module 제..