对于线上服务,线上响应速度很重要,最近发现了一个加速犹如上了火箭好的好工具,onnx

预测速度从20-30ms将至2-3ms,预测结果完全一致

简介:它是微软和Facebook提出的一种表示深度学习模型的开放格式,定义了一套独立于环境和平台的标准格式。

具体使用方法:

遇到的问题:

onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument: [ONNXRuntimeError] : 2 : INVALID_ARGUMENT : Invalid rank for input: user_id Got: 1 Expected: 2 Please fix either the inputs or the model

解决办法:

给报错的特征加上.reshape((-1, 1))