안녕하세요, 이번에 대용량 시계열 데이터를 분석하기 시작하면서 겪었던 문제점과 해결 방안에 대해 남기기 위한 로그입니다. 저와 같은 문제를 겪은 국내/외 개발자들은 많았으나 에러가 왜 생겼는지, 해결 방법은 무엇인지 한 군데에서 깔끔하게 볼 수 있는 페이지는 없어 정리합니다.Environment* 사내 보안망으로 분리된 원격 서버 위에서 데이터 로딩이 필요했고, mongoDB는 사내 타 서버에 구축되어있는 상황Ubuntu 20.04python 3.10으로 셋팅한 Docker container 내부에서 작업 (다운그레이드한 3.8 환경 추가로 구축)pyspark 3.5.4mongo-spark-connector 2.12-10.2.2bson 4.8.2mongo-driver 4.8.2Problems&Result..

안녕하세요, 럼지입니다. 이번에 로우파일 키보드를 샀는데 맥 전용이 아니어서 키보드 셋팅을 하느라 좀 애먹었는데요. 캡쳐와 같이 좌상단의애플 로고 - 시스템 환결 설정 - 키보드 - (우하단) 보조 키메뉴에서 사진과 같이 설정하면 맥 기본 키 설정과 동일하게 사용하실 수 있습니다. 저처럼 예쁜 거 , 혹은 색감 하나 보고 키보드 구입하시는 분들을 위해 기록해보는 설정이었습니다 (๑･◡･๑)

Error message ImportError: cannot import name 'NDArray' from 'numpy.typing' (/opt/conda/lib/python3.7/site-packages/numpy/typing/init.py)환경: Ubuntu 20.04, python 3.7, numpy 1.20.2사용 목적: mmdetection 프레임워크에서 모델 추론 전달 받은 모델을 추론만 돌려보려고 해서 mmdetection 내 환경 설정을 하고 모델을 돌리려니 이런 에러가 뜹니다. ImportError: cannot import name 'NDArray' from 'numpy.typing' (/opt/conda/lib/python3.7/site-packages/numpy/typi..

You can find out english explanation on below! 3일 동안 이거 생각만 하다가 결국 해결해 버린.. 멀티 GPU에서 큰 데이터셋으로 학습시킬 때 뜨는 timeout 에러입니다. 에러 메세지 끝부분만 보면 subprocess.run()에서 뭔가 이상한 값을 리턴 받았다는 내용이라 파라미터 설정을 잘못했나 싶지만, 에러가 난 시점을 살펴보면 아래와 같은 메시지들을 찾아볼 수 있습니다. Watchdog caught collective operation timeout: WorkNCCL(SeqNum=6, OpType=ALLREDUCE, Timeout(ms)=1800000) ran for 1806474 milliseconds before timing out. torch.distr..

상황 VSC에서 git push 할 때 키체인 암호 입력이 자꾸 뜸.. 웃긴 건 거부하면 그냥 push 가 됨 🤔 원인 계정 이름을 바꾸어서 발생하는 에러로 추측된다. 문제는 어떤 암호를 넣어줘야 하는지 모르겠다는 점.. developers setting에서 토큰을 재발급받아서 붙여 넣어도 소용없었다. 키체인 암호를 다 지워도 다시 생긴다.

원격 서버에서 모델을 테스트 겸 돌려보려다 발생한 에러입니다. pytorch와 CUDA가 충돌을 일으킨다고 합니다. 제가 이해가 안 되는 점은.. 지난주에는 멀쩡하게 잘만 되던 cuda가 오늘 말썽인 건지... 아마 이번 모델을 돌리기 전에 필요한 패키지들을 설치하는 중간에 pytorch가 재설치되는 과정에서 뭔가 꼬인 듯합니다. pytorch를 삭제하고 운영체제와 쓰려는 CUDA 버전에 맞추어 재설치하니까 해결이 되긴 했습니다. # 파이토치 uninstall conda uninstall pytorch # linux, cuda 11.8 설치 conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia 아래 홈페이지에..

원격 연구 환경을 사용하는 것도 처음이고, 도커 사용도 처음이라 시행착오가 많습니다. 원격 딥러닝 서버에서 도커를 run시켰을 때 permission denied가 발생했을 때 해결 방법을 알아보았습니다. permision denied가 뜬 이유는, 원격 서버에서 root 계정이 아니라 사용자마다 계정을 만들어 사용할 때 해당 사용자가 권한이 없기 때문입니다. 아래 코드를 그대로 실행시켜 user에 현재 접속하고 있는 계정을 추가해줍니다. $USER 는 현재 접속해있는 계정을 뜻하기 때문에 따로 수정하지 않아도 됩니다. $ sudo usermod -aG docker $USER 명령어를 적용한다고 바로 docker run이 실행되지는 않고, 아래 코드로 적용해주어야 합니다. $ newgrp docker

화소가 엄청나게 높고 최소한 3000*3000 pixel의 사이즈인 이미지를 모델에 넣다보니 메모리가 버텨내질 못해서 Kaggle notebook을 활용하고 있는 중입니다. Mac M1 local에서 한 Epoch 에 3시간씩 걸리던게 7분밖에 안걸려서 좋긴 한데, 아래와 같은 에러가 반복적으로 뜹니다. 메시지를 보면 데이터를 로드하는 과정에서 뭔가 문제가 있는게 아닌가 싶습니다..