기존 PointCLIP 모델의 성능 개선뿐만 아니라, task를 확장하여 3D point cloud data의 다양한 활용을 가능하게 하는 통합 프레임워크를 제안한 논문 PointCLIPv2입니다.[논문의 기여]CLIP과 GPT를 통합하여 3D point cloud data에 대한 zero-shot 학습 능력을 향상3D classification, part segmentation, object detection 등 다양한 태스크에 적용 가능한 통합 프레임워크 제안1. Introduction & Background CLIP과 LLM을 적절히 활용하여 통합된 3D 데이터를 활용해 open-world understanding을 달성할 수 있을까?[기존 PointCLIP의 문제점]Sparse projection..

2D image를 학습한 CLIP-based model을 3D domain으로 전이시켜, unseen 3D object를 zero-shot으로 추론시킬 수 있을까?라는 질문에서 시작된, "PointCLIP"에 대한 논문입니다. [논문의 기여]CLIP을 확장하여 3D 포인트 클라우드 데이터를 처리할 수 있는 PointCLIP을 제안 - 2D pre-trained knowledge를 3D로 전이하여 multimodal zero-shot 탐지 방법 제시multi-view 간의 feature interaction을 활용하는 Inter-view adapter 제안 - few-shot fine tuning 성능 개선기존의 fully-trained 3D model의 성능을 높이기 위한 ensemble module 제..

semantic segmentation을 위한 object-level의 데이터 증강 논문에 대한 리뷰입니다. 1. Intro semantic segementation은 인공지능에 학습시키기 위한 데이터를 충분히 마련하기가 쉽지 않습니다. 전통적으로 data augmentation을 위해 random rotation, random scaling, random cropping 등이 사용되고 이런 방법들은 vision task를 위한 모델 성능을 개선시켜 줍니다. 하지만 cutout 같은 방법의 경우, 이미지와 배경이 결합됩니다. 아래 사진처럼 처리한 이미지는 데이터를 증강하더라도 정확한 GT를 가지고 있다고 보기 어려울 수 있겠죠. 이 논문에서는, 이미지에서 object 과 background를 분리시켜 o..

원문 : A generalized deep learning framework for whole-slide image segmentation and analysis 10월 31일부터 시작된 데이콘 유방암 전이 예측 대회에 참가했는데, domain이 의료 분야다보니 어려운 용어도 많고 task와 관련해 읽어보면 좋을 자료들이 많아 하나씩 리뷰해보려고 합니다! 논문 리뷰의 포스팅이라는 이름을 하고 있지만 아직까지는 이해를 위한 해석에 가까운 것 같습니다 ㅎㅎ 1. Abstract 논문의 목적은 Whole-slide image (WSI)의 조직학적 분석을 통해 일반화된 딥러닝 프레임워크를 제안하는 것입니다. 기존의 WSI 이미지를 사용한 segmentation에는 아래와 같은 몇 가지 어려움이 있습니다. WSI..

기업연계 프로젝트 주제 중 Image 의 Mid-level feature 모델 구상 및 구현을 위해 사용했던 reference 인 deepgaze IIE 모델에 대한 논문 읽어보고 한 박자 늦게나마 포스팅해 보겠습니다. 이미지에 관해 백그라운드가 생각보다 많이 필요한 프로젝트였고, 모델을 그대로 가져다 쓴다고 해도 한번에 구현하기 쉽지 않았지만 구현된 모델을 어떻게 특정 상황에 맞게 수정하고, 옵션을 바꿔가며 시도하며 효과적인 이미지 전처리 방법에 대해 고민하는 등 배운게 많은 프로젝트였습니다! DeepGaze IIE: Calibrated prediction in and out-of-domain for state-of-the-art saliency modeling (원문 링크) 논문 주제 : 확률 예측을..

최근 Image의 mid-level 과 관련한 프로젝트를 진행 중에 있습니다. 이미지의 low-, mid-, high-level feature들이란 무엇인가부터 시작해 사용성이 높은 mid-level feature를 찾아보던 중 saliency 라는 개념과 deepgaze 라는 모델을 발견하게 되었습니다! Deep saliency model에 대한 article 리뷰와 함께 pytorch 위주의 DeepGaze 모델에 대해서 알아보겠습니다. (Tensorflow와 Pytorch 두 가지 모두 구현되어있지만, TF의 경우 1.0 버전이기 때문에..) 1. Deep saliency models learn low-, mid-, and high-level features to predict scene atten..