BatchNormalization

배치 정규화-속도 향상 미세조정|Neural Network

이전 투고에서는 Batch Norm(배치 정규화)이 어떻게 동작하는지 설명하고, Tensor flow에서 어떻게 사용될 수 있는지를 알아보았습니다. 이번에는 Batch Normalization에 관한 이 시리즈를 완료하기 위해서 기억해야 할 코드를 통해 알아보도록 합시다. 디폴트 상태로 실행했다면 모델의 정확도가 올라가지 않아 BN이 무용지물이 되었을 것인데요. 중요한 하이퍼 파라미터인 BN의 모멘텀을 설정하지 않았기 때문입니다. Momentum 앞서 설명한 바와 같이, Momentum은 추론을 위한 밀집된 부분의 평균을 계산할 때 이전 이동평균에 주어진 중요성 중요도이다. Momentum이 어떤 건지 모를 경우 Tensorboard에서 조정할 수 있는 것은 Smoothing 뿐이고요. 운동량은 학습 평..

Segmentation map-도로 이미지 만들기|Pix2Pix

프로젝트 수행 프로젝트를 진행하면서 필수로 수행해야 할 사항은 아래와 같다. 데이터에 한 가지 이상의 augmentation 방법을 적용하여 학습(어떠한 방법을 사용했는지 기재.) 이전에 구현했던 두 개의 Generator 중 Encoder와 Decoder 간에 skip connection이 있는 U-Net Generator를 사용 모델 학습 후, 학습된 Generator를 이용해 테스트한다. 테스트 데이터는 다운로드했던 "val" 폴더 내 이미지를 사용. 1개 이상의 이미지에 대해 테스트 과정을 거친 후 그 결과를 스케치, 생성된 사진, 실제 사진 순서로 나란히 시각화. 모델을 충분히 학습하기에 시간이 부족할 수 있다. 적어도 10 epoch 이상 학습하며 중간 손실 값에 대한 로그를 남기기. 1. S..

[Part3]Sketch2Pokemon-UNet Generator|Pix2Pix

데이터 준비하기 Generator 구성하기 Generator 재구성하기(현재 page) Discriminator 구성하기 학습 및 테스트하기 Generator 재구성하기 이전 스탭에서 Encoder와 Decoder를 연결시켜 Generator를 만들어 보았습니다. 하지만 앞서 설명드린 것처럼 Pix2Pix의 Generator 구조는 아래 그림처럼 두 가지를 제안하였는데, 아래 그림을 한번 살펴봅시다. 위 그림에서 각 구조 아래에 표시된 이미지는 해당 구조를 Generator로 사용했을 때의 결과입니다. 단순한 Encoder-Decoder 구조에 비해 Encoder와 Decoder 사이를 skip connection으로 연결한 U-Net 구조를 사용한 결과가 훨씬 더 실제 이미지에 가까운 품질을 보이는 것..

[Part2]Sketch2Pokemon-Generator 구성하기|Pix2Pix

데이터 준비하기 Generator 구성하기(현재 page) Generator 재구성하기 Discriminator 구성하기 학습 및 테스트하기 Generator 구성하기 이제부터 본격적으로 Pix2Pix 구조를 구현해보고자 한다. 앞서 cGAN과 같이 Tensorflow의 Subclassing 방법을 이용해 모델을 만들어볼 것이다. Generator의 구성요소 알아보기 먼저, 아래의 사진은 Pix2Pix 논문에서 Generator를 구성하는데 필요한 정보인데, 한번 읽어보도록 하자. Question 논문에서 표기한 encoder의 "C64"는 어떠한 하이퍼 파라미터를 가진 레이어들의 조합을 나타내는 것일까??? 64개의 4 * 4 필터에 stride 2를 적용한 Convolution → 0.2 slope의..

[Part 2]CIFAR-10 을 활용한 이미지 생성기

루브릭¶ 제목 내용 1. GAN의 두 모델 구조를 통해 이미지를 성공적으로 생성하였다. 오브젝트 종류를 육안으로 구별할 수 있을 만한 이미지를 생성하였다. 2. 생성 이미지 시각화 및 학습 그래프를 통해 GAN 학습이 바르게 진행되었음을 입증하였다. gif를 통해 생성이미지 품질이 서서히 향상되는 것과, fake accuracy가 추세적으로 0.5를 향해 하향하고 있음을 확인하였다. 3. 추가적인 GAN 모델구조 혹은 학습과정 개선 아이디어를 제안하고 이를 적용하였다. 제출 아이디어를 제출 프로젝트에 반영하고, 그 결과가 아이디어 적용 이전보다 향상되었음을 시각적으로 입증하였다. 결과 정리¶ ▶ Model One generator training history ▶ Model Two generator tr..

[Part 1]CIFAR-10 을 활용한 이미지 생성기

⭐ DCGAN 을 활용한 CIFAR-10 이미지 생성하기 ⭐¶ ▶ 없던 데이터를 만들어 내는 생성 모델링¶✅ 생성 모델링은 지금까지 접해 보았던 기본적인 딥러닝 모델과는 조금 다르다고 하는데, 무엇이 다른 걸까❓❓❓ 만약 직접 가위, 바위, 보에 해당하는 사진을 찍어 데이터셋을 만들고, 각 이미지를 알맞는 카테고리로 분류 할 수 있도록 학습했다고 가정해보자. 이러한 모델은 판별 모델링(Discriminative Modeling) 이라고 부른다. 말 그대로 입력받은 데이터를 어떤 기준에 대해 판별하는 것이 목표인 모델링인 것 이다. 반면, 생성 모델링(Generative Modeling) 은 말 그대로 없던 데이터를 생성 하는 것이 목표이다. 가위, 바위, 보에 대입해 본다면 다양한 가위, 바위, 보가 담..