딥러닝
-
1. 목차 별 간단 요약 A. 미분 자동계산 첫 챕터(제1고지라는 말은 너무 번역투인 것 같다..)에서는 딥러닝 프레임워크를 구현하기 위해 가장 기본적인 지식들부터 짚고 넘어간다. 변수, 함수, 미분, 역전파, 테스트 등 비교적 가볍게 읽고 구현하고 넘어갈 수 있는 챕터. B. 자연스러운 코드로 여기서부터는 기본적인 기능을 위한 클래스들을 구현한다. 파이썬을 처음 접했을 때는 굳이 함수화를 하고 나서 왜 한 번 더 클래스로 감싸(?) 주는지 이유가 와닿지 않았는데, 클래스로 감싼다기보다는 클래스 자체만의 목적이 함수와는 다르다는 것을 느낄 수 있었다. 이 챕터에서는 클래스를 구현하면서 각 인수에 대한 설명뿐만 아니라 동작 방식, 예외 케이스에 대한 처리, 메모리를 효율적으로 쓰는 방법, import 방법..
[한빛미디어] 밑바닥부터 시작하는 딥러닝31. 목차 별 간단 요약 A. 미분 자동계산 첫 챕터(제1고지라는 말은 너무 번역투인 것 같다..)에서는 딥러닝 프레임워크를 구현하기 위해 가장 기본적인 지식들부터 짚고 넘어간다. 변수, 함수, 미분, 역전파, 테스트 등 비교적 가볍게 읽고 구현하고 넘어갈 수 있는 챕터. B. 자연스러운 코드로 여기서부터는 기본적인 기능을 위한 클래스들을 구현한다. 파이썬을 처음 접했을 때는 굳이 함수화를 하고 나서 왜 한 번 더 클래스로 감싸(?) 주는지 이유가 와닿지 않았는데, 클래스로 감싼다기보다는 클래스 자체만의 목적이 함수와는 다르다는 것을 느낄 수 있었다. 이 챕터에서는 클래스를 구현하면서 각 인수에 대한 설명뿐만 아니라 동작 방식, 예외 케이스에 대한 처리, 메모리를 효율적으로 쓰는 방법, import 방법..
2023.08.12 -
semantic segmentation을 위한 object-level의 데이터 증강 논문에 대한 리뷰입니다. 1. Intro semantic segementation은 인공지능에 학습시키기 위한 데이터를 충분히 마련하기가 쉽지 않습니다. 전통적으로 data augmentation을 위해 random rotation, random scaling, random cropping 등이 사용되고 이런 방법들은 vision task를 위한 모델 성능을 개선시켜 줍니다. 하지만 cutout 같은 방법의 경우, 이미지와 배경이 결합됩니다. 아래 사진처럼 처리한 이미지는 데이터를 증강하더라도 정확한 GT를 가지고 있다고 보기 어려울 수 있겠죠. 이 논문에서는, 이미지에서 object 과 background를 분리시켜 o..
[IJCNN] ObjectAug: Object-level Data Augmentation for Semantic Image Segmentation 논문 리뷰semantic segmentation을 위한 object-level의 데이터 증강 논문에 대한 리뷰입니다. 1. Intro semantic segementation은 인공지능에 학습시키기 위한 데이터를 충분히 마련하기가 쉽지 않습니다. 전통적으로 data augmentation을 위해 random rotation, random scaling, random cropping 등이 사용되고 이런 방법들은 vision task를 위한 모델 성능을 개선시켜 줍니다. 하지만 cutout 같은 방법의 경우, 이미지와 배경이 결합됩니다. 아래 사진처럼 처리한 이미지는 데이터를 증강하더라도 정확한 GT를 가지고 있다고 보기 어려울 수 있겠죠. 이 논문에서는, 이미지에서 object 과 background를 분리시켜 o..
2023.04.02 -
[한겨레] 챗GPT와 살아갈 방향 3가지, 한겨레 챗GPT와 살아갈 방향 3가지 [왜냐면] 김해식 | 핀란드 국립과학기술원 박사 요즘 챗지피티(ChatGPT)라는 인공지능 기술이 뜨겁다. 사용해보면 성능이나 ... www.hani.co.kr GPT-3가 나온 게 엊그제 같은데, 성능이 훨씬 개선된 GPT-4가 등장했다. 사람들은 인공지능의 발전에 대해 놀라워하기도 하고, 말도 안되는 대답을 내놓는 케이스를 공유하면서 밈을 만들기도 한다. 평가가 긍정적이든, 부정적이든 마이크로소프트나 구글에서 뒤따라 대화형 챗봇을 서비스하기 시작하는 걸 보면서 대기업조차 따르는 트렌드를 만든 openAI의 기술력에 감탄할 수밖에 없다. 인공지능 산업에 발을 막 들인 나로서는 이렇게 빠르게 바뀌는 판에서 내가 과연 살아남을..
[기사] 230326 딥러닝/자율주행 관련[한겨레] 챗GPT와 살아갈 방향 3가지, 한겨레 챗GPT와 살아갈 방향 3가지 [왜냐면] 김해식 | 핀란드 국립과학기술원 박사 요즘 챗지피티(ChatGPT)라는 인공지능 기술이 뜨겁다. 사용해보면 성능이나 ... www.hani.co.kr GPT-3가 나온 게 엊그제 같은데, 성능이 훨씬 개선된 GPT-4가 등장했다. 사람들은 인공지능의 발전에 대해 놀라워하기도 하고, 말도 안되는 대답을 내놓는 케이스를 공유하면서 밈을 만들기도 한다. 평가가 긍정적이든, 부정적이든 마이크로소프트나 구글에서 뒤따라 대화형 챗봇을 서비스하기 시작하는 걸 보면서 대기업조차 따르는 트렌드를 만든 openAI의 기술력에 감탄할 수밖에 없다. 인공지능 산업에 발을 막 들인 나로서는 이렇게 빠르게 바뀌는 판에서 내가 과연 살아남을..
2023.03.26 -
원문 : A generalized deep learning framework for whole-slide image segmentation and analysis 10월 31일부터 시작된 데이콘 유방암 전이 예측 대회에 참가했는데, domain이 의료 분야다보니 어려운 용어도 많고 task와 관련해 읽어보면 좋을 자료들이 많아 하나씩 리뷰해보려고 합니다! 논문 리뷰의 포스팅이라는 이름을 하고 있지만 아직까지는 이해를 위한 해석에 가까운 것 같습니다 ㅎㅎ 1. Abstract 논문의 목적은 Whole-slide image (WSI)의 조직학적 분석을 통해 일반화된 딥러닝 프레임워크를 제안하는 것입니다. 기존의 WSI 이미지를 사용한 segmentation에는 아래와 같은 몇 가지 어려움이 있습니다. WSI..
WSI image segmentation과 분석을 위한 general DL framework원문 : A generalized deep learning framework for whole-slide image segmentation and analysis 10월 31일부터 시작된 데이콘 유방암 전이 예측 대회에 참가했는데, domain이 의료 분야다보니 어려운 용어도 많고 task와 관련해 읽어보면 좋을 자료들이 많아 하나씩 리뷰해보려고 합니다! 논문 리뷰의 포스팅이라는 이름을 하고 있지만 아직까지는 이해를 위한 해석에 가까운 것 같습니다 ㅎㅎ 1. Abstract 논문의 목적은 Whole-slide image (WSI)의 조직학적 분석을 통해 일반화된 딥러닝 프레임워크를 제안하는 것입니다. 기존의 WSI 이미지를 사용한 segmentation에는 아래와 같은 몇 가지 어려움이 있습니다. WSI..
2022.12.30 -
tf.keras 를 활용해 1.x에서 사용했던 데이터셋인 MNIST를 사용하여 같은 classification이지만 훨씬 간단하게 구현할 수 있었습니다. 특히 사용자가 일일이 tf.Session() 을 통해 실행 후 종료시켜줘야했던 것과 달리 2.x에서는 간단하게 실행한 후 신경쓰지 않아도 됩니다. keras에서 구현할 수 있는 모델에는 두 가지 종류가 있습니다. sequential : 레이어를 순차적으로 구현할 수 있어 이해하기에 직관적이고 따라서 에러가 적습니다. functional : 함수형 API에서는 레이어가 중간에 두 개로 갈라진다거나 하는 등 모델이 복잡할 때 활용할 수 있습니다. 복습 코드 링크 1. 데이터 전처리 - keras에서 datasets에서 불러올 수 있는 MNIST set을 각..
[딥러닝] Tensorflow 2.x 실습tf.keras 를 활용해 1.x에서 사용했던 데이터셋인 MNIST를 사용하여 같은 classification이지만 훨씬 간단하게 구현할 수 있었습니다. 특히 사용자가 일일이 tf.Session() 을 통해 실행 후 종료시켜줘야했던 것과 달리 2.x에서는 간단하게 실행한 후 신경쓰지 않아도 됩니다. keras에서 구현할 수 있는 모델에는 두 가지 종류가 있습니다. sequential : 레이어를 순차적으로 구현할 수 있어 이해하기에 직관적이고 따라서 에러가 적습니다. functional : 함수형 API에서는 레이어가 중간에 두 개로 갈라진다거나 하는 등 모델이 복잡할 때 활용할 수 있습니다. 복습 코드 링크 1. 데이터 전처리 - keras에서 datasets에서 불러올 수 있는 MNIST set을 각..
2022.07.16 -
3편까지 쓰게 될 줄 몰랐던 딥러닝 핵심개념 수업 정리입니다! 딥러닝의 최대 적수인 overfitting을 피하는 방법에 대해 알아보겠습니다. 1) Dropout 신경망 training을 진행하면서, dropout은 매 batch마다 레이어 단위에서 일정 비율만큼의 신경망 Neuron을 꺼뜨리는 방식입니다. 그림의 맨 아래는 input layer, 맨 위는 output 입니다. 오른쪽의 dropout을 적용한 신경망을 나타낸 그림의 첫 번째와 세 번째 레이어에서는 40% 의 dropout을 적용하였고, 두 번째 레이어에서는 60%가 적용되었습니다. 주의할 점은 test 및 inference 단계에서는 dropout 을 적용하지 않고, 전체 neuron이 살아있는 채로 진행해야 한다는 점입니다. 아래 코드..
[딥러닝] 핵심개념(3) Overfitting 피하기3편까지 쓰게 될 줄 몰랐던 딥러닝 핵심개념 수업 정리입니다! 딥러닝의 최대 적수인 overfitting을 피하는 방법에 대해 알아보겠습니다. 1) Dropout 신경망 training을 진행하면서, dropout은 매 batch마다 레이어 단위에서 일정 비율만큼의 신경망 Neuron을 꺼뜨리는 방식입니다. 그림의 맨 아래는 input layer, 맨 위는 output 입니다. 오른쪽의 dropout을 적용한 신경망을 나타낸 그림의 첫 번째와 세 번째 레이어에서는 40% 의 dropout을 적용하였고, 두 번째 레이어에서는 60%가 적용되었습니다. 주의할 점은 test 및 inference 단계에서는 dropout 을 적용하지 않고, 전체 neuron이 살아있는 채로 진행해야 한다는 점입니다. 아래 코드..
2022.07.01 -
핵심 개념 둘째날은 모델의 최적화 방법에 대해 공부했습니다. 하루하루 복습이 밀리고 있지만.. 최선을 다하는 중 3. 다층 퍼셉트론 Multi-layer perceptron Single layer perceptron을 통해서는 OR 혹은 AND 문제를 선형 함수 1개로 분류하여 풀 수 있었지만, XOR 문제는 풀 수 없었습니다. 하지만 2중 perceptron을 이용한다면 다음과 같이 구분이 가능합니다. X1 X2 and(~X1, X2) and(X1, ~X2) Y (predict) 0 0 0 0 0 0 1 1 0 1 1 0 0 1 1 1 1 0 0 0 이처럼 퍼셉트론을 모은 layer들의 다층으로 구성하면 보다 복잡한 모델이 되면서, 어려운 모델을 풀 수 있도록 발전하였습니다. 다층 퍼셉트론 또한 일종의..
[딥러닝] 핵심개념(2) - 모델의 최적화핵심 개념 둘째날은 모델의 최적화 방법에 대해 공부했습니다. 하루하루 복습이 밀리고 있지만.. 최선을 다하는 중 3. 다층 퍼셉트론 Multi-layer perceptron Single layer perceptron을 통해서는 OR 혹은 AND 문제를 선형 함수 1개로 분류하여 풀 수 있었지만, XOR 문제는 풀 수 없었습니다. 하지만 2중 perceptron을 이용한다면 다음과 같이 구분이 가능합니다. X1 X2 and(~X1, X2) and(X1, ~X2) Y (predict) 0 0 0 0 0 0 1 1 0 1 1 0 0 1 1 1 1 0 0 0 이처럼 퍼셉트론을 모은 layer들의 다층으로 구성하면 보다 복잡한 모델이 되면서, 어려운 모델을 풀 수 있도록 발전하였습니다. 다층 퍼셉트론 또한 일종의..
2022.06.29 -
22.06.23~24 이틀간 진행된 딥러닝 핵심 개념 수업 내용정리 part 1 입니다. 1. ML (machine learning) vs DL (deep learning) 아래 그림의 파란 음영으로 표시된 부분과 같이, 머신러닝과 딥러닝의 차이는 feature engineering (feature selection, feature extraction 등의 작업)을 누가 하느냐에 따라 결정됩니다. 전통적인 머신러닝 : 사람이 직접 데이터에서 중요한 점을 찾아 feature로 정해줌 딥러닝 : 신경망 내부에서 자체적으로 데이터의 중요한 feature를 찾거나 구성함 (새 컬럼 생성, 이미지/텍스트의 특징 발견 등) - 장점: 사람에 의한 선입견 혹은 주관적 의견을 배제할 수 있고, 사람이 발견하지 못한 중..
[딥러닝] 핵심개념 (1)22.06.23~24 이틀간 진행된 딥러닝 핵심 개념 수업 내용정리 part 1 입니다. 1. ML (machine learning) vs DL (deep learning) 아래 그림의 파란 음영으로 표시된 부분과 같이, 머신러닝과 딥러닝의 차이는 feature engineering (feature selection, feature extraction 등의 작업)을 누가 하느냐에 따라 결정됩니다. 전통적인 머신러닝 : 사람이 직접 데이터에서 중요한 점을 찾아 feature로 정해줌 딥러닝 : 신경망 내부에서 자체적으로 데이터의 중요한 feature를 찾거나 구성함 (새 컬럼 생성, 이미지/텍스트의 특징 발견 등) - 장점: 사람에 의한 선입견 혹은 주관적 의견을 배제할 수 있고, 사람이 발견하지 못한 중..
2022.06.27