函数:create_exec_config_handle
函数:set_config_opt
| C函数原型 | aclError aclmdlSetConfigOpt(aclmdlConfigHandle *handle, aclmdlConfigAttr attr, const void *attrValue, size_t valueSize) |
|---|---|
| Python函数 | ret = acl.mdl.set_config_opt(config_handle, attr, attrValue) |
| 函数功能 | 设置模型加载的配置对象中的各属性的取值,包括模型执行的优先级、模型的文件路径或内存地址、内存大小等。 |
| 输入说明 | config_handle:int,指定模型加载的配置对象的指针地址。需提前调用acl.mdl.create_config_handle接口创建该对象的指针地址。 attr:int,指定需设置的属性,取值请参考aclmdlConfigAttr。 attrValue:int,指定设置的属性值。 |
| 返回值说明 | ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 按如下接口调用顺序可实现模型加载的功能: 1. 调用acl.mdl.create_config_handle接口创建模型加载的配置对象。 2. 多次调用acl.mdl.set_config_opt接口设置配置对象中每个属性的值。 3. 调用acl.mdl.load_with_config接口指定模型加载时需要的配置信息,并进行模型加载。 4. 模型加载成功后,调用acl.mdl.destroy_config_handle接口销毁。 |
| 相关接口 | 使用acl.mdl.set_config_opt接口、acl.mdl.load_with_config接口时,是通过配置对象中的属性来区分,在加载模型时是从文件加载,还是从内存加载,以及内存是由系统内部管理,还是由用户管理。 当前pyACL还提供了以下接口实现模型加载的功能,从使用的接口上区分从文件加载,还是从内存加载,以及内存是由系统内部管理,还是由用户管理。 - acl.mdl.load_from_file接口 - acl.mdl.load_from_mem接口 - acl.mdl.load_from_file_with_mem接口 - acl.mdl.load_from_mem_with_mem接口 |
父主题: 模型加载与执行
函数:load_with_config
| C函数原型 | aclError aclmdlLoadWithConfig(const aclmdlConfigHandle *handle, uint32_t *modelId) |
|---|---|
| Python函数 | model_id, ret = acl.mdl.load_with_config(config_handle) |
| 函数功能 | 指定模型加载时需要的配置信息,并进行模型加载。 |
| 输入说明 | config_handle:int,指定模型加载的配置对象。需提前调用acl.mdl.create_config_handle接口创建该对象,与acl.mdl.set_config_opt中的config_handle保持一致。 |
| 返回值说明 | model_id:int,系统完成模型加载后生成的模型ID。 ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | - 在加载前,请先根据文件的大小评估内存空间是否足够,内存空间不足,会导致应用程序异常。 - 按如下接口调用顺序可实现模型加载的功能: 1. 调用acl.mdl.create_config_handle接口创建模型加载的配置对象。 2. 多次调用acl.mdl.set_config_opt接口设置配置对象中每个属性的值。 3. 调用acl.mdl.load_with_config接口指定模型加载时需要的配置信息,并进行模型加载。 4. 模型加载成功后,调用acl.mdl.destroy_config_handle接口销毁。 |
| 相关接口 | 使用acl.mdl.set_config_opt接口、acl.mdl.load_with_config接口时,是通过配置对象中的属性来区分,在加载模型时是从文件加载,还是从内存加载,以及内存是由系统内部管理,还是由用户管理。 当前pyACL还提供了以下接口实现模型加载的功能,从使用的接口上区分从文件加载,还是从内存加载,以及内存是由系统内部管理,还是由用户管理。 - acl.mdl.load_from_file接口 - acl.mdl.load_from_mem接口 - acl.mdl.load_from_file_with_mem接口 - acl.mdl.load_from_mem_with_mem接口 |
父主题: 模型加载与执行
函数:get_tensor_real_name
| C函数原型 | const char *aclmdlGetTensorRealName(const aclmdlDesc *modelDesc, const char *name) |
|---|---|
| Python函数 | real_name = acl.mdl.get_tensor_real_name(model_desc, name) |
| 函数功能 | 根据指定名称获取Tensor的真实名称。同步接口。 acl.mdl.get_tensor_real_name接口需要与acl.mdl.get_input_dims/acl.mdl.get_input_dims_v2/acl.mdl.get_output_dims/acl.mdl.get_cur_output_dims接口配合使用。 |
| 输入说明 | model_desc:int,aclmdlDesc类型的指针地址。 需提前调用acl.mdl.create_desc接口创建aclmdlDesc类型的数据。 name:str,指定名称,用于根据该名称获取Tensor的真实名称。 |
| 返回值说明 | real_name:str,返回Tensor真实名称。 若“model_desc”或“name”为空,则返回0。 |
| 约束说明 | 无 |
父主题: 模型加载与执行
函数:create_exec_config_handle
| C函数原型 | aclmdlExecConfigHandle *aclmdlCreateExecConfigHandle() |
|---|---|
| Python函数 | handle = acl.mdl.create_exec_config_handle() |
| 函数功能 | 创建aclmdlExecConfigHandle类型的数据,表示一个模型执行的配置对象的指针地址。同步接口。 如需销毁aclmdlExecConfigHandle类型的数据,请参见函数:destroy_exec_config_handle。 |
| 输入说明 | 无 |
| 返回值说明 | handle:int,返回aclmdlExecConfigHandle类型的指针地址。 - 返回非0表示成功。 - 返回0表示失败。 |
父主题: 模型加载与执行
函数:destroy_exec_config_handle
| C函数原型 | aclError aclmdlDestroyExecConfigHandle(aclmdlExecConfigHandle *handle) |
|---|---|
| Python函数 | ret = acl.mdl.destroy_exec_config_handle(handle) |
| 函数功能 | 销毁通过acl.mdl.create_exec_config_handle接口创建的aclmdlExecConfigHandle类型数据。同步接口。 |
| 输入说明 | handle:int,待销毁的aclmdlExecConfigHandle数据类型的指针地址。 |
| 返回值说明 | ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
父主题: 模型加载与执行
函数:set_exec_config_opt
| C函数原型 | aclError aclmdlSetExecConfigOpt(aclmdlExecConfigHandle *handle, aclmdlExecConfigAttr attr, const void *attrValue, size_t valueSize) |
|---|---|
| Python函数 | ret = acl.mdl.set_exec_config_opt(handle, attr, attrValue) |
| 函数功能 | 设置模型执行的配置对象中的各属性的取值。 |
| 输入说明 | handle:int,模型执行的配置对象的指针地址。需提前调用acl.mdl.create_exec_config_handle接口创建该对象的指针地址。 attr:int,指定需设置的属性。具体请参见aclmdlExecConfigAttr。 attrValue:“attr”对应的属性取值。 |
| 返回值说明 | ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 本接口需要配合其它接口一起使用,实现模型执行,接口调用顺序如下: 1. 调用acl.mdl.create_exec_config_handle接口创建模型执行的配置对象。 2. 多次调用acl.mdl.set_exec_config_opt接口设置配置对象中每个属性的值。 3. 调用acl.mdl.execute_v2接口指定模型执行时需要的配置信息,并进行模型执行。 4. 模型加载成功后,调用acl.mdl.destroy_exec_config_handle接口销毁。 |
父主题: 模型加载与执行
函数:create_aipp
| C函数原型 | aclmdlAIPP *aclmdlCreateAIPP(uint64_t batchSize) |
|---|---|
| Python函数 | aipp_ptr = acl.mdl.create_aipp(batch_size) |
| 函数功能 | 动态AIPP场景下,根据模型支持的batch size创建aclmdlAIPP类型的数据,用于存放动态AIPP的参数。同步接口。 如需销毁aclmdlAIPP类型的数据,请参见函数:destroy_aipp。 |
| 输入说明 | batch_si****ze:int,模型的Batch数。 |
| 返回值说明 | aipp_ptr:int,aclmdlAIPP类型数据对象地址。 |
| 约束说明 | 无 |
父主题: aclmdlAIPP
在线提单