인공지능

인공지능 퀴즈 풀기|KorQuAD_BERT

2018년 10월, SQuAD(Stanford Question Answering Dataset) 리더보드에 Human performance를 능가하는 점수로 1위 자리를 갱신한 모델이 나타나 엄청난 주목을 끌었다. 이른바, [사람보다 퀴즈를 잘 푸는 인공지능]이 나타났다는 소식은 딥러닝 자연어 처리 분야에 충격적인 뉴스였다. 구글에서 발표한 논문에 소개된 이 모델의 이름은 바로 BERT(Bidirectional Encoder Representations from Transformers) 이 모델은 340MB나 되는 엄청난 사이즈의 파라미터를 가진 모델을 수십 GB나 되는 코퍼스를 학습시켜 만든 pretrained model로서, SQuAD뿐 아니라 당시 거의 모든 자연어 처리 태스크의 SOTA(State..

트랜스포머로 만드는 대화형 챗봇|Transformer

In [2]: from IPython.core.display import display, HTML display(HTML("")) ⛳ 트랜스포머로 만드는 대화형 챗봇 ⛳¶ 대화형 챗봇이란❓❓❓¶인공지능이라고 할 때 처음 떠오르는 것은 인간의 언어를 이해하고 인간과 자연어로 대화할 수 있는 기계를 떠올릴 것이다. 이미 시리나 구글 어시스턴트 등을 사용하고 있지만 이런 챗봇은 모두 대화형은 아니다. 챗봇의 5가지 대표 유형 위 참고 자료를 읽어보면, 챗봇에는 인간과 자연어로 대화를 주고받는 대화형 챗봇 이외에도, 정해진 트리형 메뉴 구조를 따라가는 트리형(버튼) 챗봇, 추천형 챗봇, 시나리오형 챗봇, 이를 결합한 결합형 챗봇이 있다. 대화형을 제외하면 사실상 챗봇은 대화형 UX를 가졌지만 본질적으로는 검색엔..

[Part 2]CIFAR-10 을 활용한 이미지 생성기

루브릭¶ 제목 내용 1. GAN의 두 모델 구조를 통해 이미지를 성공적으로 생성하였다. 오브젝트 종류를 육안으로 구별할 수 있을 만한 이미지를 생성하였다. 2. 생성 이미지 시각화 및 학습 그래프를 통해 GAN 학습이 바르게 진행되었음을 입증하였다. gif를 통해 생성이미지 품질이 서서히 향상되는 것과, fake accuracy가 추세적으로 0.5를 향해 하향하고 있음을 확인하였다. 3. 추가적인 GAN 모델구조 혹은 학습과정 개선 아이디어를 제안하고 이를 적용하였다. 제출 아이디어를 제출 프로젝트에 반영하고, 그 결과가 아이디어 적용 이전보다 향상되었음을 시각적으로 입증하였다. 결과 정리¶ ▶ Model One generator training history ▶ Model Two generator tr..

[Part 1]CIFAR-10 을 활용한 이미지 생성기

⭐ DCGAN 을 활용한 CIFAR-10 이미지 생성하기 ⭐¶ ▶ 없던 데이터를 만들어 내는 생성 모델링¶✅ 생성 모델링은 지금까지 접해 보았던 기본적인 딥러닝 모델과는 조금 다르다고 하는데, 무엇이 다른 걸까❓❓❓ 만약 직접 가위, 바위, 보에 해당하는 사진을 찍어 데이터셋을 만들고, 각 이미지를 알맞는 카테고리로 분류 할 수 있도록 학습했다고 가정해보자. 이러한 모델은 판별 모델링(Discriminative Modeling) 이라고 부른다. 말 그대로 입력받은 데이터를 어떤 기준에 대해 판별하는 것이 목표인 모델링인 것 이다. 반면, 생성 모델링(Generative Modeling) 은 말 그대로 없던 데이터를 생성 하는 것이 목표이다. 가위, 바위, 보에 대입해 본다면 다양한 가위, 바위, 보가 담..

[Part 2]인공지능으로 새로운 패션을 만들 수 있다!

In [41]: from IPython.core.display import display, HTML display(HTML("")) ⛳ 새로운 패션 만들기 코드로 살펴보자 ⛳¶ 3-2. 코드로 살펴보자.¶사용할 데이터셋이 어떤 것인지 알았으니, 코드를 실행해보자. 필요한 패키지는 신경망 구성에 필요한 Tensorflow, 이미지와 GIF를 다루는 imageio, display, matplotlib, PIL 등 이 필요하다. In [1]: import os import glob import time import PIL import imageio import numpy as np import tensorflow as tf from tensorflow.keras import layers from IPython..

[Part 1]인공지능으로 새로운 패션을 만들 수 있다!

In [41]: from IPython.core.display import display, HTML display(HTML("")) ⛳ 인공지능으로 세상에 없던 새로운 패션 만들기 ⛳¶ ▶ 학습 전제¶ Convolution 의 padding, stride 등의 기본 개념을 알고 있다. 교차 엔트로피(Cross Entropy) 등의 손실 함수, 최적화 함수 등 딥러닝의 기본적인 학습 알고리즘을 알고 있다. Tensorflow 를 활용해 신경망을 학습시키는 코드를 다뤄본 적이 있다. 간단한 판별 모델링(분류, 회귀 등) 의 개념을 알고, 실습해 본 적이 있다. ▶ 학습 목표¶ 생성 모델링 개념을 이해하며 판별 모델링과의 차이 알기 Pix2Pix, CycleGAN 등의 이미지 관련 다양한 생성 모델링의 응용을..

Tensorflow(TF)_V2_API

In [1]: from IPython.core.display import display, HTML display(HTML("")) Tensorflow(TF)_V2_API🐍¶ 1. WHAT IS TF API??¶Tensorflow는 V2로 업데이트 되면서 pyTorch가 가진 장점을 가지게되었으며, keras라는 pyTorch와 유사한 API를 Tensorflow의 표준 API로 삼으면서, Google이 가진 분산 환경을 다루는 기술력과 결합하여 더욱 향상된 딥러닝 프레임워크로 발전되었다. Tensorflow(TF) V2 API의 구성상의 개요를 파악하고, 다양하고 깊이 있게 Tensorflow를 이해하고 활용할 수 있는 기본기를 갖추는 시간을 가졌으면 한다. 이를 통해 전문적인 딥러닝 엔지니어로 성장 할..

감성 분석[Emotional analysis]

In [1]: from IPython.core.display import display, HTML display(HTML("")) 🎥영화리뷰 텍스트 감성분석하기❣¶ 목차¶1. 데이터 준비 및 확인 2. 데이터로더 구성 3. 모델 구성을 위한 데이터 분석 및 가공 4. 모델구성 및 validation set 구성 5. 모델 훈련 개시 6. Loss, Accuracy 그래프 시각화 7. 학습된 Embedding 레이어 분석 8. 한국어 Word2Vec 임베딩 활용하여 성능 개선 9. Dropout, Bidirectional layer 회고 번외. 리뷰 예측해보기 1. 데이터 준비 및 확인¶ In [15]: import pandas as pd import urllib.request %matplotlib inl..