분류 전체보기

[NVIDIA] DeepStream 이해 및 설명

1. DeepStream이란? Deepstream은 SDK형태로 제공하며 Vision AI application과 service를 쉽고 빠르게 개발할 수 있게 해줍니다. 그리고 DeepStream은 multi-platform, scaleablity를 제공하며 on-premise, on-edge, cloud환경 모두에서 deploy가능합니다. Multi-platform: window, mac, linux 등의 다양한 플랫폼을 의미 Scaleability: 유저수나 트래픽이 많아져도 application이 잘 작동함을 의미 흠... 여기까지 들었을때는 그래서 DeepStream이 먼지 모르시겠죠? 쉽게 설명을 위해 NVIDIA 세계관(?)의 End-to-END AI Development는 아래와 같습니다. ..

VMAF score 란?

해당 글은 Netflix의 VMAF post를 참고 및 번역하였으며 VMAF의 이해와 사용 방법에 대해 적어보려 합니다. 목차는 다음과 같습니다. 목차 Video Quality Metric이란? 기존의 Video Quality Metric 방법들과 문제점 VMAF란? VMAF의 사용 방법 1. Video Quality Metric 이란? 우리는 .png, .jpg와.mp4와 같은 이미지/비디오 파일을 많이 봐왔을 것입니다. 해당 확장자를 가진 파일들은 원본 이미지/비디오 파일을 의미하는 것이 아닌 encoding된 파일을 의미합니다. 원본 파일의 모든 픽셀값을 그대로 local/cloud storage에 저장하는 것은 용량에 부하가 크기 때문에 해당 문제를 해결하기 위해 encoding이라는 압축방법을 ..

[Torch2TFLite] Torch 모델 TFLite 변환 (feat. yolov5)

AI 개발자라면 가장 많이 사용하는 framework는 Torch이나 TensorFlow일것입니다. 저는 Torch을 조금 더 주력으로 사용합니다. (대부분 연구자 분들도 Torch를 사용하시겠죠) 하지만 Torch 모델은 Arm cpu를 사용하는 device에서는 최적화되지않아 inference 속도가 다소 느립니다. 그래서 Torch모델을 Arm cpu 연산에 최적화된 TFLite 모델로 변환시키는 방법에 대해 말씀드리도록 하겠습니다. Torch모델을 TFLite로 변환시키는 과정은 다음과 같습니다. Torch 모델 → ONNX 모델 ONNX 모델 → OpenVINO 모델 OpenVINO모델 → TFLite 모델 Torch모델은 detection 모델 중 하나인 yolov5를 사용하겠습니다. 위의 과..

[MobileOne] An Improved One millisecond Mobile Backbone 논문 리뷰

2022년 6월 Apple에서 mobile friendly한 모델을 제안하는 논문인 An Improved One millisecond Mobile Backbone 을 리뷰해보도록 하겠습니다. 1. Introduction 저자들은 실제 mobile에서 latency(inference speed)를 최적화시키는 것을 목표로 하고 있으며 기존의 논문들이 제안했던 mobile-friendly하다는 모델들에 대해 아래와 같은 단점을 지적하였습니다. FLOPs와 parameter수가 (상대적으로) 작다고 하여 실제 latency가 빠르지 않음 skip-connection과 branching은 많은 memory access cost를 발생시키므로 latency가 최적화되지 않음 그래서 저자들은 (1) mobile d..

라인플러스 AI개발자 면접 및 이직 후기

1. 서론.. 저는 고려대에서 석사를 마치고 스타트업 노타에서 전문 연구요원 복무를 시작하게 되었습니다. (석사기간에는 Explainable AI주제로 논문을 썼었고 노타에서는 On-device 경량화 플랫폼 서비스 개발을 하였습니다.) 그러다가 시간이 지난 후... 여러 가지 이유로 인해 이직을 결심하게 되었고 LINE PLUS의 AI 개발자로 이직을 하게 되었습니다. 그래서 LINE PLUS의 면접 프로세스와 이직에 대한 후기를 적어 보려고 합니다. (아래 내용에서 문제가 될 만한 내용이 있다면 댓글로 알려주세요!) 저는 서류전형 > 온라인 코딩 테스트 > Pre-test+1차면접 > 2차 면접 > 레퍼 체크 및 처우 협의 > 최종 합격의 프로세스를 거쳤습니다. AI개발자 또는 전문 연구요원으로 이직..

EfficientFormer: Vision Transformers at MobileNet Speed 논문 리뷰

2022년 Snap Inc. 에서 게재한 논문인 EfficentFormer 논문을 리뷰합니다. 1. Introduction 해당 논문은 주요 내용은 다음과 같습니다. "Vision Transformer(ViT)가 high performance를 내면서 (mobile device에서) mobilenet만큼 빨라질 수 있을까"에 대한 의문점에서 시작 기본적으로 VIT는 accuracy 성능은 좋은데 lightweight CNN(e.g. MobileNet)보다 느리다는 단점을 가짐 그 의문점을 풀기 위해 기존 ViT의 inefficient한 구조에 대해 분석 Efficient한 구조를 갖는 dimension-consistent한 ViT 모델(EfficientFormer) 을 제안 특히나, 해당 논문은 FLO..