tensorflow模型压缩

梦里梦外; 2021-09-23 06:20 463阅读 0赞

通常训练的模型存储为float32，如果可以转换为float16来进行存储的话，模型大小会减少一半

把已经训练好的模型使用TensorFlow Lite converter进行转换为float16即可

import tensorflow as tf  
converter = tf.lite.TFLiteConverter.from\_saved\_model(saved\_model\_dir)  
converter.optimizations = \[tf.lite.Optimize.DEFAULT\]  
converter.target\_spec.supported\_types = \[tf.lite.constants.FLOAT16\]  
Tflite\_quanit\_model = converter.convert()

实际上在CPU上是对float16进行了上采样到float32来计算的，原因是目前很多硬件不支持计算float16

TensorFlow Lite的GPU代理已经得到加强，能够直接获取并运行16位精度参数：

//Prepare GPU delegate.
    const TfLiteGpuDelegateOptions options = {
      .metadata = NULL,
      .compile_options = {
        .precision_loss_allowed = 1,  // FP16
        .preferred_gl_object_type = TFLITE_GL_OBJECT_TYPE_FASTEST,
        .dynamic_batch_enabled = 0,   // Not fully functional yet
      },
    };

官方指南：  
https://www.tensorflow.org/lite/performance/post\_training\_quantization

16位MNIST的Colab链接：  
https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/lite/g3doc/performance/post\_training\_float16\_quant.ipynb

发表评论取消回复

表情：

评论列表（有 0 条评论，463人围观）

还没有评论，来说两句吧...

相关阅读

相关 Keras tensorflow Resnet模型

Resnet相关文章整理 1、Keras大法（9）——实现ResNet-34模型 [https://blog.csdn.net/weixin\_42499236/a

小灰灰/ 2022年12月27日 07:26/ 0 赞/ 272 阅读

相关 tensorflow转onnx模型

一、准备相应的库 tensorflow当然是要的。试了下 python:3.6.13 tensorflow:1.14.0 python 3.7.

朱雀/ 2022年10月31日 00:47/ 0 赞/ 365 阅读

相关 TensorFlow模型持久化

> -------------------- > > 模型持久化的目的在于可以使模型训练后的结果重复使用，节省重复训练模型的时间。模型保存 train.Saver类

比眉伴天荒/ 2022年10月13日 12:32/ 0 赞/ 137 阅读

相关 Tensorflow：模型调参

Tensorflow中使用gridsearch 1 使用tf.contrib.learn.estimators 使用tf中自带的Estimator将自定义的

我就是我/ 2022年06月12日 14:13/ 0 赞/ 296 阅读

相关 Tensorflow：模型训练tensorflow.train

深度学习训练中的几个概念（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；一次Forword运算以

浅浅的花香味﹌/ 2022年06月12日 03:37/ 0 赞/ 401 阅读

相关 Tensorflow：分类模型评估

tf.keras.metrics.AUC tensorflow2.\常用 tf.keras.metrics.AUC( num\_thresholds=200

系统管理员/ 2022年06月12日 02:49/ 0 赞/ 478 阅读

相关 tensorflow模型导出

tf.train.Saver类负责保存和还原神经网络自动保存为三个文件：模型文件列表checkpoint，计算图结构model.ckpt.meta，每个变量的取

￡神魔★判官ぃ/ 2022年06月03日 08:19/ 0 赞/ 254 阅读

相关 TensorFlow模型实现：UNet模型

TensorFlow模型实现：UNet模型 -------------------- 1.UNet模型 --coding: utf-8 -- "

傷城~/ 2022年04月23日 05:42/ 0 赞/ 504 阅读

相关 tensorflow模型预测示例

tensorflow模型预测示例：循环读入图像，预测，并统计预测时间。 import tensorflow as tf import numpy as np

冷不防/ 2022年01月14日 23:27/ 0 赞/ 413 阅读

相关 tensorflow模型压缩

通常训练的模型存储为float32，如果可以转换为float16来进行存储的话，模型大小会减少一半把已经训练好的模型使用TensorFlow Lite converter进

梦里梦外;/ 2021年09月23日 06:20/ 0 赞/ 464 阅读