전체 글

오리역 발레학원 [더 그레이스 발레 학원]

제 와이프가 운영하는 구미동 오리역 근처의 더 그레이스 발레학원을 소개드립니다!! 강사님께서는 바가노바, RAD메소드 이수한 우수한 강사쌤이며 유아부터 성인까지 다양한 레벨 별 수업을 진행하고 있습니다. 또한 개인 성향이나 personal한 목표에 맞추어 수업해주십니다! 분당, 오리, 미금에 사시는 분들께 추천드립니다!! 이런 수업을 진행하고 있어요! 유아/ 초등/ 성인 발레 개인 레슨 소그룹 레슨 이런 분께 추천드려요! 다이어트 체형 교정 키 성장 유연성 향상 성인 발레 유아 발레 학원 내부 사진 지도

GPT-1: Improving Language Understanding by Generative Pre-Training 논문 리뷰

오늘은 OpenAI의 GPT-1 논문을 리뷰하겠습니다. 1. Introduction Natural Language Processing (NLP)를 포함한 대부분의 deep learning methods는 supervised learning을 통해 뛰어난 성능을 내는 모델을 만들었습니다. 뛰어난 성능을 내려면 기본적으로 많은 양의 labeled data을 필요로 합니다. 하지만 현실적으로 labeling은 사람이 하다 보니 정말~~ 많은 양의 labeled data는 구하기 힘들게 됩니다. 그에 비해 unlabeled data는 엄청 많습니다! 그래서, GPT-1은 수많은 unlabeled data로 unsupervised pre-training을 하고 labeled data로 supervised fine..

Per-shot Encoding 설명

※ 해당 블로그를 reference하였습니다. 1. Per-shot Encoding 이란? Conventional Encoding 방법은 하나의 video에 대하여 압축의 정도를 결정하는 Quantization Parameters(QPs)(e.g. CRF)값 '하나'을 인자로 encoding하는 방법을 취합니다. (CRF값이 클수록 compression을 많이 하게 되고 visual quality는 낮아집니다.) 하지만 이는 video내의 frame간의 특성을 고려하지 않은 채 단일한 QPs로 encoding하기 때문에 B(Bitrate)-D(Distortion) rate관계에서 최적의 성능을 뽑아내지 못합니다. 예를 들어, 한 video내의 초중반 frame들은 flat region이 많고 motion..

The Forward-Forward Algorithm: Some Preliminary Investigations 논문 리뷰

오늘은 Hinton님의 The Forward-Forward Algorithm: Some Preliminary Investigations 논문을 리뷰입니다! 해당 논문의 목적은 기존 deep learning model의 학습방법인 backpropagation에 대한 단점을 지적하고 새로운 학습방법인 Forward-Forward 알고리즘을 제안하였습니다. 1. What is wrong with Backpropagation Deep learning model의 backpropagation은 인간의 뇌가 학습하는 방법과 유사하게 설계되어있다고 알고 계신분들이 많은데요. 실제로 그렇지 않다고 하고 근거는 아래와 같습니다. Backward pass를 하기위해 neural activity를 저장하거나 error de..

ML/DL Experiments and Analysis

A. Model & Module Pyramid Pooling Module(PPM): 기존의 local feature(b)와 pooling을 통한 global feature(c의 색깔 있는 output들)을 모두 학습하기 위함 서로 다른 kernel size로 여러 차례 avg pooling(논문에서 1x1, 2x2, 3x3, 6x6 kernel size 사용) 1x1 size의 feature map은 가장 global feature이고 feature map size가 커질수록 local feature에 가까워짐 1x1 convolution을 통해 channel 수를 조정 pooling layer의 개수를 N이라고 할 때, 출력 channel 수 = 입력 채널 수 / N input size에 맞춰 feat..

Per-title Encoding 설명

※ 해당 블로그를 reference하였습니다. Per-title Encoding은 Netflix에서 제안한 video encoding방식입니다. 말 그대로 per-title encoding은 title에 따라 encoding을 다르게 하겠다라는 말입니다. 이는 video가 속한 title(category)에 따라 특성이 다르다는 것을 의미하며 title에 따라 encoding 압축율을 다르게 하겠다는 것입니다. 1. 기존의 Encoding 방식 Netflix에서는 2010년 후반부터 H.264/AVC를 사용하기 시작하면서 engineer들은 각 resolution에 따라 경험적으로 optimal한 bitrate를 찾는 데 수많은 실험을 하였습니다. Codec parameters(e.g. crf, QPs,..

PyTorch training/inference 성능 최적화 (2/2)

이전 글에서 Pytorch framework에서 성능 최적화하는 방법을 소개해드렸습니다. 이번 글에서는 설명드린 각 방법들이 얼마만큼 time cost 성능 최적화가 되는지 실험해보도록 하겠습니다. 실험 코드는 여기서 확인가능합니다. 실험해볼 최적화 방법 목록입니다. Data Loading 최적화 num worker 설정 pinned memory 사용 Data Operation 최적화 tensor.to(non_blocking=True) 사용 Training 최적화 Architecture design과 batch size를 8의 배수로 설정 Mixed Precision Training 사용 Optimizer로 weight를 update하기 전에 gradient을 None으로 설정 Gradient accum..