1. Quantization 내용은 python, Tensorflow-gpu 2.x, keras model 에 한정되어 있음을 알려드립니다. 이전 글에서 TFLite model로 Inference까지 해봤습니다. 이번에는 TFLite model을 경량화 시키는 방법을 알려드릴게요. 경량화 방법은 TFLite에서 제공하는 Quantization이며 경량화의 효과는 다음과 같습니다. Smaller storage size 모델 사이즈를 줄여 user의 device에 적은 storage을 occupy함. Less memory usage 작은 모델로 만들어 RAM memory를 적게 occupy함. Reducing latency 좀 더 빠르게 inference할 수 있게 함. 하지만 마냥 장점만 가져갈 수는 없죠..

1. TFLite Inference 내용은 python, Tensorflow-gpu 2.x, keras model 에 한정되어 있음을 알려드립니다. 이전 글로부터 만들어진 TFLite model로 이제 Inference을 해볼려고 합니다. 그 전에, Inference를 어디서 할 수 있는 지 알아야겠죠? Android Java 또는 C++ API를 사용하여 Inference iOS Swift 또는 Objective-C를 사용하여 Inference Linux C++ 또는 Python으로 제공되는 TFLite API를 사용하여 Inference 이번 글에서는 Linux부터 해볼게요.. 다시 돌아와서 Inference, 즉 prediction를 위해서는 TFLite API인 Interpreter을 주축으로 다..

1. TFLite 란? 해당 글은 python, Tensorflow-gpu 2.x, keras model 에 한정되어 있음을 알려드립니다. Tensorflow Lite (TFLite)는 mobile, embedding, IoT device에서 모델을 사용할 수 있도록 Tensorflow(keras) 모델을 변환해주는 tool입니다. 1.1 Tensorflow Lite convert 본격적으로 Keras model을 TFLite model을 변경하는 tool인 Tensorflow Lite convert 소개할게요. converter=tf.lite.TFLiteConverter.from_keras_model('your keras model') 위의 함수가 TFLite로 만드는 준비 compile과정이라고 생각..