Study
-
원격 서버에서 모델을 테스트 겸 돌려보려다 발생한 에러입니다. pytorch와 CUDA가 충돌을 일으킨다고 합니다. 제가 이해가 안 되는 점은.. 지난주에는 멀쩡하게 잘만 되던 cuda가 오늘 말썽인 건지... 아마 이번 모델을 돌리기 전에 필요한 패키지들을 설치하는 중간에 pytorch가 재설치되는 과정에서 뭔가 꼬인 듯합니다. pytorch를 삭제하고 운영체제와 쓰려는 CUDA 버전에 맞추어 재설치하니까 해결이 되긴 했습니다. # 파이토치 uninstall conda uninstall pytorch # linux, cuda 11.8 설치 conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia 아래 홈페이지에..
[해결] CUDA capability sm_86 is not compatible with the current PyTorch installation.원격 서버에서 모델을 테스트 겸 돌려보려다 발생한 에러입니다. pytorch와 CUDA가 충돌을 일으킨다고 합니다. 제가 이해가 안 되는 점은.. 지난주에는 멀쩡하게 잘만 되던 cuda가 오늘 말썽인 건지... 아마 이번 모델을 돌리기 전에 필요한 패키지들을 설치하는 중간에 pytorch가 재설치되는 과정에서 뭔가 꼬인 듯합니다. pytorch를 삭제하고 운영체제와 쓰려는 CUDA 버전에 맞추어 재설치하니까 해결이 되긴 했습니다. # 파이토치 uninstall conda uninstall pytorch # linux, cuda 11.8 설치 conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia 아래 홈페이지에..
2023.04.16 -
semantic segmentation을 위한 object-level의 데이터 증강 논문에 대한 리뷰입니다. 1. Intro semantic segementation은 인공지능에 학습시키기 위한 데이터를 충분히 마련하기가 쉽지 않습니다. 전통적으로 data augmentation을 위해 random rotation, random scaling, random cropping 등이 사용되고 이런 방법들은 vision task를 위한 모델 성능을 개선시켜 줍니다. 하지만 cutout 같은 방법의 경우, 이미지와 배경이 결합됩니다. 아래 사진처럼 처리한 이미지는 데이터를 증강하더라도 정확한 GT를 가지고 있다고 보기 어려울 수 있겠죠. 이 논문에서는, 이미지에서 object 과 background를 분리시켜 o..
[IJCNN] ObjectAug: Object-level Data Augmentation for Semantic Image Segmentation 논문 리뷰semantic segmentation을 위한 object-level의 데이터 증강 논문에 대한 리뷰입니다. 1. Intro semantic segementation은 인공지능에 학습시키기 위한 데이터를 충분히 마련하기가 쉽지 않습니다. 전통적으로 data augmentation을 위해 random rotation, random scaling, random cropping 등이 사용되고 이런 방법들은 vision task를 위한 모델 성능을 개선시켜 줍니다. 하지만 cutout 같은 방법의 경우, 이미지와 배경이 결합됩니다. 아래 사진처럼 처리한 이미지는 데이터를 증강하더라도 정확한 GT를 가지고 있다고 보기 어려울 수 있겠죠. 이 논문에서는, 이미지에서 object 과 background를 분리시켜 o..
2023.04.02 -
패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 1. 개념 데이터베이스 넓은 의미: 일상적인 정보들을 모아놓은 것 자체 특정 기업이나 조직 혹은 개인이 필요에 의해 발생한 데이터를 일정한 형태로 저장해 놓은 것 DBMS : 효율적인 데이터 관리뿐만 아니라 사고로 인한 데이터의 손상을 피하고, 필요시 데이터를 복구하기 위한 소프트웨어 데이터베이스의 종류 계층형/네트워크형/관계형 관계형 데이터베이스 Relational database 1970년대 E.F. Codd 박사의 논문에서 처음 소개 Relation(릴레이션)과 릴레이션의 조인 연산을 통해 합집합, 교집합, 차집합을 만들 수 있음 정규화를 통한 합리적인 테이블 모델링 → 이상 현상 제거, 데이터 중복 피하기, 병행 제어를 통해 사용자들이 동시..
[SQLD] 3-1. SQL 기본 / Relational database 관계형 데이터베이스패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 1. 개념 데이터베이스 넓은 의미: 일상적인 정보들을 모아놓은 것 자체 특정 기업이나 조직 혹은 개인이 필요에 의해 발생한 데이터를 일정한 형태로 저장해 놓은 것 DBMS : 효율적인 데이터 관리뿐만 아니라 사고로 인한 데이터의 손상을 피하고, 필요시 데이터를 복구하기 위한 소프트웨어 데이터베이스의 종류 계층형/네트워크형/관계형 관계형 데이터베이스 Relational database 1970년대 E.F. Codd 박사의 논문에서 처음 소개 Relation(릴레이션)과 릴레이션의 조인 연산을 통해 합집합, 교집합, 차집합을 만들 수 있음 정규화를 통한 합리적인 테이블 모델링 → 이상 현상 제거, 데이터 중복 피하기, 병행 제어를 통해 사용자들이 동시..
2023.03.12 -
패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 1. 개요 중앙 집중형 데이터베이스: 한 대의 물리적 시스템에 DB 관리 시스템을 설치, 여러 명의 사용자가 사용 분산 데이터베이스: 물리적으로 떨어져 있는 데이터베이스를 네트워크로 연결하여 하나의 가상 시스템으로 사용할 수 있도록 한 DB 분산 데이터베이스의 투명성 분할 투명성 단편화. 하나의 논리적 사용자 입장에서 고객에 대한 데이터가 나누어 저장되어있더라도 한 개의 테이블로 인식 위치 투명성 데이터의 저장 장소 명시 불필요 고객은 데이터가 어느 위치에 있더라도 같은 명령을 이용해 데이터에 접근 가능 위치 정보가 system catalog에 유지 지역 사상 투명성 지역 DBMS와 물적 데이터베이스 사이의 사상(mapping)이 보장됨 각 지역 ..
[SQLD] 2-4. 분산 데이터베이스와 성능패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 1. 개요 중앙 집중형 데이터베이스: 한 대의 물리적 시스템에 DB 관리 시스템을 설치, 여러 명의 사용자가 사용 분산 데이터베이스: 물리적으로 떨어져 있는 데이터베이스를 네트워크로 연결하여 하나의 가상 시스템으로 사용할 수 있도록 한 DB 분산 데이터베이스의 투명성 분할 투명성 단편화. 하나의 논리적 사용자 입장에서 고객에 대한 데이터가 나누어 저장되어있더라도 한 개의 테이블로 인식 위치 투명성 데이터의 저장 장소 명시 불필요 고객은 데이터가 어느 위치에 있더라도 같은 명령을 이용해 데이터에 접근 가능 위치 정보가 system catalog에 유지 지역 사상 투명성 지역 DBMS와 물적 데이터베이스 사이의 사상(mapping)이 보장됨 각 지역 ..
2023.03.10 -
원격 연구 환경을 사용하는 것도 처음이고, 도커 사용도 처음이라 시행착오가 많습니다. 원격 딥러닝 서버에서 도커를 run시켰을 때 permission denied가 발생했을 때 해결 방법을 알아보았습니다. permision denied가 뜬 이유는, 원격 서버에서 root 계정이 아니라 사용자마다 계정을 만들어 사용할 때 해당 사용자가 권한이 없기 때문입니다. 아래 코드를 그대로 실행시켜 user에 현재 접속하고 있는 계정을 추가해줍니다. $USER 는 현재 접속해있는 계정을 뜻하기 때문에 따로 수정하지 않아도 됩니다. $ sudo usermod -aG docker $USER 명령어를 적용한다고 바로 docker run이 실행되지는 않고, 아래 코드로 적용해주어야 합니다. $ newgrp docker
[해결] 원격 서버에서 도커 실행이 안될 때원격 연구 환경을 사용하는 것도 처음이고, 도커 사용도 처음이라 시행착오가 많습니다. 원격 딥러닝 서버에서 도커를 run시켰을 때 permission denied가 발생했을 때 해결 방법을 알아보았습니다. permision denied가 뜬 이유는, 원격 서버에서 root 계정이 아니라 사용자마다 계정을 만들어 사용할 때 해당 사용자가 권한이 없기 때문입니다. 아래 코드를 그대로 실행시켜 user에 현재 접속하고 있는 계정을 추가해줍니다. $USER 는 현재 접속해있는 계정을 뜻하기 때문에 따로 수정하지 않아도 됩니다. $ sudo usermod -aG docker $USER 명령어를 적용한다고 바로 docker run이 실행되지는 않고, 아래 코드로 적용해주어야 합니다. $ newgrp docker
2023.03.08 -
패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 슈퍼/서브타입 논리 데이터 모델 Worker=직원이라는 엔터티는 슈퍼 타입 worker의 하위분류인 관리/교사/스탭은 서브타입 부모 자식 관계가 나타남 슈퍼-서브타입간 관계는 배타적 관계 or 포괄적 관계 공통의 부분을 슈퍼타입 엔터티로 모델링 공통으로부터 상속받지만 차이가 있는 부분에 대해서는 서브타입 엔터리로 구성 분류는 데이터 양과 트랜잭션 유형에 따라 달라짐 슈퍼타입 single type / all in one type 테이블 한 개 슈퍼 타입과 서브 타입을 한 개의 테이블로 도출 테이블 개수가 제일 적음 - 조인 성능이 좋고 관리가 편리 확장성 나쁨 입출력 성능이 나쁨 서브타입 plus type / super+sub type 각각의 서브타..
[SQLD] 2-3. 데이터베이스 구조와 성능패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 슈퍼/서브타입 논리 데이터 모델 Worker=직원이라는 엔터티는 슈퍼 타입 worker의 하위분류인 관리/교사/스탭은 서브타입 부모 자식 관계가 나타남 슈퍼-서브타입간 관계는 배타적 관계 or 포괄적 관계 공통의 부분을 슈퍼타입 엔터티로 모델링 공통으로부터 상속받지만 차이가 있는 부분에 대해서는 서브타입 엔터리로 구성 분류는 데이터 양과 트랜잭션 유형에 따라 달라짐 슈퍼타입 single type / all in one type 테이블 한 개 슈퍼 타입과 서브 타입을 한 개의 테이블로 도출 테이블 개수가 제일 적음 - 조인 성능이 좋고 관리가 편리 확장성 나쁨 입출력 성능이 나쁨 서브타입 plus type / super+sub type 각각의 서브타..
2023.03.07 -
패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 1. 대량 데이터 발생에 따른 테이블 분할 대량의 데이터가 존재하는 테이블에 많은 트랜잭션이 발생함 수평/수직분할 설계를 통해 성능 저하 예방 가능 테이블의 데이터는 block 단위로 디스크에 저장됨 - 오라클 기준 block 하나에는 8192 byte (8k) 수직분할: column 단위로 분할하여 I/O 감소 수평분할: row 단위로 분할하여 I/O 감소 대용량 테이블에서 발생할 수 있는 현상 로우 체이닝 Row Chaining: row 길이가 너무 길어서 두 개 이상의 블록에 걸쳐 하나의 row가 저장된 형태 로우 마이그레이션 Row Migration: 데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른..
[SQLD] 2-2. 대량 데이터에 따른 성능패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 1. 대량 데이터 발생에 따른 테이블 분할 대량의 데이터가 존재하는 테이블에 많은 트랜잭션이 발생함 수평/수직분할 설계를 통해 성능 저하 예방 가능 테이블의 데이터는 block 단위로 디스크에 저장됨 - 오라클 기준 block 하나에는 8192 byte (8k) 수직분할: column 단위로 분할하여 I/O 감소 수평분할: row 단위로 분할하여 I/O 감소 대용량 테이블에서 발생할 수 있는 현상 로우 체이닝 Row Chaining: row 길이가 너무 길어서 두 개 이상의 블록에 걸쳐 하나의 row가 저장된 형태 로우 마이그레이션 Row Migration: 데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른..
2023.03.06 -
패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 1. 성능 데이터 모델링의 정의 데이터 베이스 성능 향상이 목적 설계 단계의 데이터 모델링부터 정규화, 반정규화, 테이블 통합, 테이블 분할, 조인구조, PK, FK 등 여러 가지 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것 수행 시점 분석/설계 - 구현 - 테스트 - 운영의 단계 중에서, 사전에 할수록 비용이 들지 않음 분석/설계 단계에서 데이터베이스 처리 성능을 향상시킬 수 있는 방법을 고려해야 함 2. 성능 데이터 모델링 고려사항 정규화를 정확하게 수행 정규화된 모델은 데이터를 주요 관심사별로 분산시키는 효과가 있음 데이터베이스 용량 산정 데이터베이스에 발생되는 트랜잭션의 유형 파악 CRUD 메트릭스 혹은 시퀀스 다이어그램..
[SQLD] 2-1. 성능 데이터 모델링 - 정규화, 반정규화패스트캠퍼스 강의와 이기적 기본서를 기반으로 공부합니다. 1. 성능 데이터 모델링의 정의 데이터 베이스 성능 향상이 목적 설계 단계의 데이터 모델링부터 정규화, 반정규화, 테이블 통합, 테이블 분할, 조인구조, PK, FK 등 여러 가지 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것 수행 시점 분석/설계 - 구현 - 테스트 - 운영의 단계 중에서, 사전에 할수록 비용이 들지 않음 분석/설계 단계에서 데이터베이스 처리 성능을 향상시킬 수 있는 방법을 고려해야 함 2. 성능 데이터 모델링 고려사항 정규화를 정확하게 수행 정규화된 모델은 데이터를 주요 관심사별로 분산시키는 효과가 있음 데이터베이스 용량 산정 데이터베이스에 발생되는 트랜잭션의 유형 파악 CRUD 메트릭스 혹은 시퀀스 다이어그램..
2023.03.06