전체 글

VMAF Optimization과 VMAF NEG 이해

지난 글에서 VMAF(Video Multimethod Assessment Fusion)에 대해 알아보았습니다. 그리고 2020년에 기존 VMAF의 성능을향상시킨 방법들을 오늘 소개합니다. (해당 글을 참고하였습니다.) 목차 Speed Optimization New libvmaf API "No Enhancement Gain” Mode: VMAF NEG 1. Speed Optimization 기존의 VMAF을 사용하는 데 있어서 단점은 VMAF score를 구하는데 time cost가 크다는 것이었습니다. Time cost를 줄이기 위해 다음과 같은 방법을 개발해왔습니다. Low-level code optimization and vectorization (2016년): python + C에서 standal..

Rate-Perception Optimized Preprocessing for Video Coding 논문 리뷰

오늘 리뷰할 논문은 Rate-Perception Optimized Preprocessing for Video Coding으로 Bilibili 에서 나온 논문입니다. Bilibili는 동영상 플랫폼 회사로 유사한 회사로 유튜브가 있습니다. 논문 내용을 요약하면 다음과 같습니다. Video의 각 frame(image)에 대해 preprocessing을 적용하여 image quality는 그대로 유지하되 image size를 최대한 줄여서 최종적으로 video size를 줄이는 것을 목적 Preprocessing은 Rate-Perception Optimized Preprocessing (RPP) model을 통해 적용됨 1. Introduction HD 비디오는 고객 전체 internet traffic 중 8..

[NVIDIA] DALI multi-GPU 사용법 with PyTorch

※ 해당 글은 vision ai, classification task 관련된 내용만 다룹니다. 오늘은 이전 글에 이어서 DALI dataloader를 multi-gpu로 load하는 방법을 설명드리고 single-gpu와 multi-gpu간의 속도 차이를 확인해보겠습니다. 그리고 이전 글에서 추가된 부분만 설명드리도록 하겠습니다. 0. Experiment Setup DALI를 적용해볼 data type은 image와 video 이며 실험환경은 다음과 같습니다. PyPI PyTorch: 1.10.0 DALI: 1.6 decord: 0.6.0 OpenCV: 4.5.3.56 Hardware CPU: Intel(R) Xeon(R) Gold 5120 CPU @ 2.20GHz GPU: Tesla V100-PCIE..

[NVIDIA] DALI 사용법 with PyTorch

※ 해당 글은 vision ai, classification task 관련된 내용만 다룹니다. 오늘은 DALI를 사용하는 방법을 알아보고 DALI를 사용했을 때와 사용하지 않았을 경우의 time cost차이를 직접 측정해보도록 하겠습니다. 1. DALI 란? Data Loading Library (DALI)는 DNN을 training할때 data loading 및 pre-processing을 GPU을 사용할 수 있도록 하는 GPU-accelerated library 그래서 CPU를 사용할 때보다 훨씬 빠르게 training이 가능 DALI는 자체적인 execution engine을 가지며 input pipeline의 throughput을 최대화 시키기위해 설계됨 DALI는 portable하기 때문에 Py..

[BentoML] ML model serving 방법 (feat. YOLOv8)

오늘은 BentoML을 이용한 model serving 방법을 설명드리려고 합니다. 정확히는 BentoML을 사용하여 model serving을 위한 model prediction api를 생성하는 것을 목표로 하겠습니다. 1. BentoML이란? Model serving 방법을 설명드리기 전 BentoML에 대해 간단히 알아보죠. BentoML의 Bento는 일본어이며 한국어로는 도시락을 의미합니다. BentoML: ML-powered prediction service 생성을 쉽게 해주는 framework BentoML의 Bento는 일본어이며 한국어로는 도시락을 의미 도시락이 밥과 반찬이 모두 있는 것처럼 BentoML은 model serving에 필요한 요소들을 모아주기 때문에 이와 같이 nami..

LoRA: Low-Rank Adaptation of Large Language Models 논문 리뷰

Microsoft에서 나온 논문인 LoRA를 오늘 리뷰해 봅니다. LoRA는 GPT와 같은 Large Language Models(LLM)을 특정 task에 fine-tuning(adaptation)하는 데 있어서 time, resource cost가 너무 크다는 단점을 해결하기 위한 방법입니다. 1. Introduction LLM은 기본적으로 pre-trained model로부터 특정 task(e.g. summarization, question and answering, ...)에 adaptation하기 위해 fine-tuning을 해야 합니다. Fine-tuning을 하면서 LLM모델의 weight parameters를 모두 다시 학습하게 되는데 이게 엄청난 cost!!입니다. 예를 들어 GPT-2..

Segment Anything 논문 리뷰

오늘은 Meta AI의 Segment Anything논문을 리뷰합니다. 논문 이름이 목적과 내용을 뜻하는 논문이네요. 아래 사진과 같이 어떤 이미지든(zero-shot) segment할 수 있다는 것을 의미합니다. Zero-shot transfer이 가능하며 어떤 task에도 generalization될 수 있다는 점에서 ChatGPT와 같이 이러한 모델을 foundation model이라합니다. 1. Introduction ChatGPT와 같은 Large Language Models (LLM)은 (1) zero-shot generalization이 뛰어나고 (2) hand-crafted 질문 text을 입력으로 아주 적절한 대답(response)을 즉각적으로 출력할 수 있는 prompt enginee..