北京时间8月7日，TensorFlow官方在Medium博客上更新了一篇文章，宣布为模型优化工具包添加了一项新功能：半精度浮点量化工具，据介绍，该工具能够在几乎不损失精度的情况下，将训练模型缩小一半，还能改善CPU和硬件加速器延迟。

TensorFlow团队将训练后的半精度浮点量化作为模型优化工具包的一部分，这一套工具包括了混合量化，全整数量化和修剪等功能。

通过牺牲极少的精度，训练后的半精度浮点量化成功缩小了TensorFlow Lite模型的尺寸（高达50％），并将模型常数（如权重和偏差值）从全精度浮点（32位）为精度降低的浮点数据类型（IEEE FP16）。

训练后的半精度浮点是训练TensorFlow Lite模型的好工具，因为它对精度的影响极小并且模型尺寸显着减小。

感兴趣的读者可以点击这里查看相关文档，以便解不同的量化选项和方案。

降低精度的好处

降低精度有很多好处，特别是在部署到边缘时：

模型尺寸减少2倍。模型中的所有常量值都存储在16位浮点数而不是32位浮点数中。由于这些常数值通常在整个模型尺寸中占主导地位，因此通常会将模型的尺寸减小约一半。
精确度损失可忽略不计。深度学习模型经常能够在推理上产生良好的结果，同时使用比最初训练时更少的精度。在对几个模型的实验中，研发人员发现推理质量几乎没有损失（见下面的结果）。

尺寸缩小2倍，精度折衷可忽略不计

训练后的半精度浮点量化对精度的影响很小，但可以使深度学习模型的大小缩小约2倍。例如，以下是MobileNet V1和V2型号以及MobileNet SSD型号的一些结果。MobileNet v1和v2的准确度结果基于ImageNet图像识别任务。在COCO对象识别任务上评估SSD模型。

模型准确性

通过将标准Mobilenet float32模型和fp16变体分别在：ILSVRC 2012图像分类任务，以及COCO对象检测任务上进行了评估，研发人员得到了如下的结果：

如何启用后训练半精度浮点量化

开发者可以在TensorFlow Lite转换器上指定训练后的半精度浮点量化，方法是使用训练好的float32模型，将优化设置为DEFAULT，并将目标规范支持的类型设置为半精度浮点常量：

import tensorflow as tf 
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir) 
converter.optimizations = [tf.lite.Optimize.DEFAULT] 
converter.target_spec.supported_types = [tf.lite.constants.FLOAT16] 
Tflite_quanit_model = converter.convert()

转换模型后即可直接运行，就像任何其他TensorFlow Lite模型一样。默认情况下，模型将通过将16位参数“上采样”为32位，然后在标准32位浮点运算中执行操作来在CPU上运行。

开发者还可以在GPU上运行模型。研发团队已经增强了TensorFlow Lite GPU代理，以接收精简参数并直接运行（不需要像在CPU上那样转换为float32）。在应用程序中，开发者可以通过TfLiteGpuDelegateCreate功能创建GPU 代理。指定代理的选项时，请务必设置precision_loss_allowed为1：

//Prepare GPU delegate. 
 const TfLiteGpuDelegateOptions options = { 
   .metadata = NULL, 
   .compile_options = { 
     .precision_loss_allowed = 1, // FP16 
     .preferred_gl_object_type = TFLITE_GL_OBJECT_TYPE_FASTEST, 
     .dynamic_batch_enabled = 0, // Not fully functional yet 
   }, 
 };

有关GPU代理的概述，请参阅此链接：
https://medium.com/tensorflow/tensorflow-lite-now-faster-with-mobile-gpus-developer-preview-e15797e6dee7

查看使用半精度浮点量化的工作示例请点这里：
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/g3doc/performance/post_training_float16_quant.ipynb

创作场景

TensorFlow 模型优化工具包增加新功能，可将深度学习模型缩小一半