对于线上服务,线上响应速度很重要,最近发现了一个加速犹如上了火箭好的好工具,onnx
预测速度从20-30ms将至2-3ms,预测结果完全一致
简介:它是微软和Facebook提出的一种表示深度学习模型的开放格式,定义了一套独立于环境和平台的标准格式。
具体使用方法:
遇到的问题:
onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument: [ONNXRuntimeError] : 2 : INVALID_ARGUMENT : Invalid rank for input: user_id Got: 1 Expected: 2 Please fix either the inputs or the model
解决办法:
给报错的特征加上.reshape((-1, 1))