针对边缘/嵌入式部署中“算力有限”的问题需通过轻量化技术缩减模型体积、降低计算量同时保持精度。1. 知识蒸馏Knowledge Distillation1原理用“教师模型”大模型精度高但复杂指导“学生模型”小模型简单但精度低学习让小模型模仿大模型的输出分布如概率预测从而在体积缩小的同时保留核心能力。2典型案例TinyBERT基于BERT蒸馏的小模型参数减少70%速度提升9倍精度仅降1%~2%、Llama-2-1.1B基于Llama-2-7B蒸馏适合边缘设备的对话任务。2. 量化感知训练Quantization-Aware Training, QAT1原理在模型训练过程中模拟低精度计算如将32位浮点数FP32转换为8位整数INT8通过调整参数抵消量化误差最终模型体积减少75%计算速度提升2~4倍精度损失可控制在1%以内。2适用场景对延迟敏感的边缘设备如智能摄像头的实时目标检测。3常见量化方式PTQPost-training Quantization快速但精度损失大QAT精度接近原始模型适合关键任务。4支持框架TensorFlow的tf.quantization与PyTorch的torch.quantization。