大规模部署PyTorch模型需要额外的功能，如打包模型、配置运行时环境，公开API端点、记录和监控以及管理多个模型版本。
Python API执行快速原型设计、培训和实验；
程序 Python 运行时。TorchScript 提高性能和可移植性（例如，加载和运行 C ++中的模型）；编程非 Python 运行时或严格的延迟 和性能要求。TorchServe
一个快速的生产环境工具，具有模型存储、A/B 测试、监控
tensorRTnvidia ,GPU上做inferencelibtorch
的C++版本，支持CPU端和GPU端的部署和训练ONNX
部署到具有 ONNX 运行时或 FPGA 设备的系统
tengine阿里基于 nginx修改Mobile libraries
部署到 iOS 和 Android 设备
（1）app：
reference：
Original: https://blog.csdn.net/baye_DOA/article/details/126563281
Author: baye_DOA
Title: pytorch模型部署
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/711982/
转载文章受原作者版权保护。转载请注明原作者出处！