Skip to main content

函数:set_op_wait_timeout

函数:set_op_wait_timeout

C函数原型aclError aclrtSetOpWaitTimeout(uint32_t timeout)
Python函数ret = acl.rt.set_op_wait_timeout(timeout)
函数功能本接口用于设置等待Event完成的超时时间。同步接口。
输入说明timeout:设置超时时间,单位为秒。将该参数设置为0时,表示不超时。
返回值说明ret:int,错误码。
- 返回0表示成功。
- 返回其它值表示失败。
约束说明- 不调用本接口,则默认不超时;一个进程内多次调用本接口,则以最后一次设置的时间为准。
- 一个进程内,调用acl.init接口初始化pyACL后,调用本接口设置超时时间,本进程内后续调用acl.rt.stream_wait_event接口下发的任务支持在所设置的超时时间内等待。 由于acl.rt.stream_wait_event接口是异步接口,调用接口成功仅表示任务下发成功,不表示任务执行成功,因此若等待的时间超过所设置的超时时间,则在调用acl.rt.synchronize_stream接口后,会返回报错。

父主题: 同步等待

总体说明

  • 若涉及媒体数据处理功能,关于内存使用,有以下注意事项:
    1. 由于媒体数据处理功能对存放输入、输出数据的内存有更高的要求(例如,内存首地址128对齐),因此需调用专用的内存申请接口,如下。
    2. 调用上述接口申请出来的内存可以满足媒体数据处理的要求,也可以在其它任务中使用,例如,从性能角度,为了减少拷贝,媒体数据处理的输出作为模型推理的输入,实现内存复用。
    3. 但由于媒体数据处理访问的地址空间有限,为确保媒体数据处理时内存足够,除媒体数据处理功能外的其它功能(例如,模型加载),建议调用内存管理章节下的acl.rt.malloc接口、或acl.rt.malloc_host接口、或acl.rt.malloc_cached接口申请内存。

父主题: 内存管理

函数:malloc

C函数原型aclError aclrtMalloc(void **devPtr, size_t size, aclrtMemMallocPolicy policy)
Python函数dev_ptr, ret = acl.rt.malloc(size, policy)
函数功能在Device上申请size大小的线性内存,该接口对用户申请的size向上对齐成32字节整数倍后再多加32字节,并通过“dev_ptr”返回已分配内存的指针地址。同步接口。 通过该接口申请的Device内存都支持cache缓存,不需要用户处理CPU与NPU之间的cache一致性。 调用媒体数据处理的接口前,若需要申请Device上的内存存放输入或输出数据,需调用acl.media.dvpp_malloc申请内存。
输入说明size:int,申请内存的大小,单位Byte,size不能为0。 policy:int,内存分配规则。
- 0:ACL_MEM_MALLOC_HUGE_FIRST,当申请的内存小于等于1M时,即使使用该内存分配规则,也是申请普通页的内存。当申请的内存大于1M时,优先申请大页内存,如果大页内存不够,则使用普通页的内存。
- 1:ACL_MEM_MALLOC_HUGE_ONLY,仅申请大页,如果大页内存不够,则返回错误。
- 2:ACL_MEM_MALLOC_NORMAL_ONLY,仅申请普通页。
- 3:ACL_MEM_MALLOC_HUGE_FIRST_P2P,仅Device之间内存复制场景下申请内存时使用该选项,表示优先申请大页内存,如果大页内存不够,则使用普通页的内存。预留选项。
- 4:ACL_MEM_MALLOC_HUGE_ONLY_P2P,仅Device之间内存复制场景下申请内存时使用该选项,仅申请大页内存,如果大页内存不够,则返回错误。预留选项。
- 5:ACL_MEM_MALLOC_NORMAL_ONLY_P2P,仅Device之间内存复制场景下申请内存时使用该选项,仅申请普通页的内存。预留选项。
返回值说明dev_ptr:int,指向Device上已分配内存的指针地址。 ret:int,错误码。
- 返回0表示成功。
- 返回其它值表示失败。
约束说明- 使用acl.rt.malloc接口申请的内存,需要通过acl.rt.free接口释放内存。
- 频繁调用acl.rt.malloc接口申请内存、调用acl.rt.free接口释放内存,会损耗性能,建议用户提前做内存预先分配或二次管理,避免频繁申请/释放内存。
- 调用acl.rt.malloc接口申请内存时,会对用户输入的size按向上对齐成32字节整数倍后,再多加32字节。 若用户使用本接口申请大块内存并自行划分、管理内存时,每段内存需同时满足以下需求:
- 内存大小向上对齐成32整数倍加32字节(m = ALIGN_UP[len, 32] + 32字节)。
- 内存起始地址需满足64字节对齐(ALIGN_UP[m, 64])。(说明:len 表示某段内存的大小,ALIGN_UP[len, k]表示向上按k字节对齐:((len - 1) / k + 1) * k。)
参考资源接口调用示例,参见数据传输

父主题: 内存管理

函数:malloc_cached

C函数原型aclError aclrtMallocCached**(void **devPtr, size_t size, aclrtMemMallocPolicy policy)**
Python函数dev_ptr, ret = acl.rt.malloc_cached(size, policy)
函数功能申请Device上的内存,同步接口,该接口在任何场景下申请的内存都是支持cache缓存。在Device上申请size大小的线性内存,通过dev_ptr返回已分配内存的指针地址。 使用acl.rt.malloc_cached接口申请的内存与使用acl.rt.malloc接口申请的内存是等价的,都支持cache缓存。 调用媒体数据处理的接口前,若需要申请Device上的内存存放输入或输出数据,需调用acl.media.dvpp_malloc申请内存。
输入说明size:int,申请内存的大小,单位Byte。size不能为0。 policy:int,内存分配规则。
- 0:ACL_MEM_MALLOC_HUGE_FIRST,当申请的内存小于等于1M时,即使使用该内存分配规则,也是申请普通页的内存。当申请的内存大于1M时,优先申请大页内存,如果大页内存不够,则使用普通页的内存。
- 1:ACL_MEM_MALLOC_HUGE_ONLY,仅申请大页,如果大页内存不够,则返回错误。
- 2:ACL_MEM_MALLOC_NORMAL_ONLY,仅申请普通页。
- 3:ACL_MEM_MALLOC_HUGE_FIRST_P2P, 仅Device之间内存复制场景下申请内存时使用该选项,表示优先申请大页内存,如果大页内存不够,则使用普通页的内存。预留选项。
- 4:ACL_MEM_MALLOC_HUGE_ONLY_P2P,仅Device之间内存复制场景下申请内存时使用该选项,仅申请大页内存,如果大页内存不够,则返回错误。预留选项。
- 5:ACL_MEM_MALLOC_NORMAL_ONLY_P2P,仅Device之间内存复制场景下申请内存时使用该选项,仅申请普通页的内存。预留选项。
返回值说明dev_ptr:int,指向Device上已分配内存的指针地址。 ret:int,错误码。
- 返回0表示成功。
- 返回其它值表示失败。
约束说明其它约束与acl.rt.malloc接口相同。

父主题: 内存管理

在线提单