Skip to main content

aclnnXLogYScalarSelf

aclnnVarMean

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • **第一段接口:**aclnnStatus aclnnVarMeanGetWorkspaceSize(const aclTensor *self, const aclIntArray *dim, int64_t correction, bool keepdim, aclTensor *meanOut, aclTensor *varOut, uint64_t *workspaceSize, aclOpExecutor **executor)
  • **第二段接口:**aclnnStatus aclnnVarMean(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

  • 算子功能:计算输入张量self在指定维度dim上的均值及方差。

  • 计算公式:

    假设指定维度dim为i,N为该维度的shape,selfij​代表i维度上第j个分量,公式如下

    • 当keepdim=true时,reduce后保留该维度,且输出shape中该维度值为1。
    • 当keepdim=false时,不保留该维度。

aclnnVarMeanGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnVarMeanGetWorkspaceSize(const aclTensor *self, const aclIntArray *dim, int64_t correction, bool keepdim, aclTensor *meanOut, aclTensor *varOut, uint64_t *workspaceSize, aclOpExecutor **executor)

  • 参数说明:

    • self(aclTensor*, 计算输入):Device侧的aclTensor,数据类型支持FLOAT、FLOAT16,与meanOut、varOut的数据类型需满足数据类型推导规则。支持非连续的Tensor,数据格式支持ND。
    • dim(aclIntArray*, 计算输入):Host侧的aclIntArray,指定计算的维度,数据类型支持INT64,取值范围为[-self.dim(), self.dim()-1],且其中元素值不能相同。
    • correction(int64_t, 计算输入):Host侧的整型,计算公式中的correction(修正值),数据类型支持INT64。
    • keepdim(bool, 计算输入):Host侧的BOOL类型,reduce轴的维度是否保留。若为false,不保留该维度。
    • meanOut(aclTensor*, 计算输出):Device侧的aclTensor,均值的计算结果,数据类型支持FLOAT、FLOAT16,与self的数据类型需满足数据类型推导规则。支持非连续的Tensor,数据格式支持ND。
    • varOut(aclTensor*, 计算输出):Device侧的aclTensor,方差的计算结果,数据类型支持FLOAT、FLOAT16,与self的数据类型需满足数据类型推导规则。支持非连续的Tensor,数据格式支持ND。
    • workspaceSize:返回用户需要在Device侧申请的workspace大小。
    • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、meanOut或varOut是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self、meanOut、varOut的数据类型或数据格式不在支持的范围之内。
      • self的shape大小超出最大维度限制。
      • dim的数值不合法(dim中的数据指向同一个维度、dim超出self的维度范围)。 :::

aclnnVarMean

  • 接口定义:

    aclnnStatus aclnnVarMean(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnVarMeanGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_var.h"

#define CHECK_RET(cond, return_expr) \
do &#123; \
if (!(cond)) &#123; \
return_expr; \
&#125; \
&#125; while (0)

#define LOG_PRINT(message, ...) \
do &#123; \
printf(message, ##__VA_ARGS__); \
&#125; while (0)

int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;
int64_t shape_size = 1;
for (auto i : shape) &#123;
shape_size *= i;
&#125;
return shape_size;
&#125;

int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;
// 固定写法,AscendCL初始化
auto ret = aclInit(nullptr);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetDevice(deviceId);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);
ret = aclrtCreateContext(context, deviceId);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetCurrentContext(*context);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);
ret = aclrtCreateStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);
return 0;
&#125;

template <typename T>
int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,
aclDataType dataType, aclTensor** tensor) &#123;
auto size = GetShapeSize(shape) * sizeof(T);
// 调用aclrtMalloc申请device侧内存
auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);

// 调用aclrtMemcpy将host侧数据拷贝到device侧内存上
ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);

// 计算连续tensor的strides
std::vector<int64_t> strides(shape.size(), 1);
for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;
strides[i] = shape[i + 1] * strides[i + 1];
&#125;

// 调用aclCreateTensor接口创建aclTensor
*tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,
shape.data(), shape.size(), *deviceAddr);
return 0;
&#125;

int main() &#123;
// 1. (固定写法)device/context/stream初始化, 参考AscendCL对外接口列表
// 根据自己的实际device填写deviceId
int32_t deviceId = 0;
aclrtContext context;
aclrtStream stream;
auto ret = Init(deviceId, &context, &stream);
// check根据自己的需要处理
CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);

// 2. 构造输入与输出,需要根据API的接口自定义构造
std::vector<int64_t> selfShape = &#123;8&#125;;
std::vector<int64_t> outShape = &#123;8&#125;;
void* selfDeviceAddr = nullptr;
void* outDeviceAddr = nullptr;
aclTensor* self = nullptr;
aclIntArray* dim = nullptr;
aclTensor* var = nullptr;
aclTensor* mean = nullptr;
std::vector<float> selfHostData = &#123;0.0, 1.1, 2, 3, 4, 5, 6, 7&#125;;
std::vector<int64_t> dimData = &#123;0&#125;;
int64_t correction = 1;
bool keepdim = false;
std::vector<float> varHostData = &#123;0.0, 0, 0, 0, 0, 0, 0, 0&#125;;
std::vector<float> meanHostData = &#123;0.0, 0, 0, 0, 0, 0, 0, 0&#125;;
// 创建self aclTensor
ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);
CHECK_RET(ret == ACL_SUCCESS, return ret);
// 创建dim aclIntArray
dim = aclCreateIntArray(dimData.data(), 1);
CHECK_RET(dim != nullptr, return ret);
// 创建out aclTensor
ret = CreateAclTensor(varHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &var);
ret = CreateAclTensor(meanHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &mean);
CHECK_RET(ret == ACL_SUCCESS, return ret);

// 3. 调用CANN算子库API,需要修改为具体的算子接口
uint64_t workspaceSize = 0;
aclOpExecutor* executor;
// 调用aclnnVarMean第一段接口
ret = aclnnVarMeanGetWorkspaceSize(self, dim, correction, keepdim, var, mean, &workspaceSize, &executor);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnVarMeanGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);
// 根据第一段接口计算出的workspaceSize申请device内存
void* workspaceAddr = nullptr;
if (workspaceSize > 0) &#123;
ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;);
&#125;
// 调用aclnnVarMean第二段接口
ret = aclnnVarMean(workspaceAddr, workspaceSize, executor, stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnVarMean failed. ERROR: %d\n", ret); return ret);

// 4. (固定写法)同步等待任务执行结束
ret = aclrtSynchronizeStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);

// 5. 获取输出的值,将device侧内存上的结果拷贝至host侧,需要根据具体API的接口定义修改
auto size = GetShapeSize(outShape);
std::vector<float> resultData(size, 0);
ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(float),
ACL_MEMCPY_DEVICE_TO_HOST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);
for (int64_t i = 0; i < size; i++) &#123;
LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);
&#125;

// 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改
aclDestroyTensor(self);
aclDestroyTensor(out);
return 0;
&#125;

父主题: NN类算子接口

aclnnXLogYScalarOther

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • **第一段接口:**aclnnStatus aclnnXLogYScalarOtherGetWorkspaceSize(const aclTensor *self, const aclScalar *other, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
  • **第二段接口:**aclnnStatus aclnnXLogYScalarOther(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

  • 算子功能:计算self * log(other)的结果,self为张量,other为标量。

  • 计算公式:

aclnnXLogYScalarOtherGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnXLogYScalarOtherGetWorkspaceSize(const aclTensor *self, const aclScalar *other, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)

  • 参数说明:

    • self:Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL,与other的数据类型需满足数据类型推导规则,shape需要与other满足broadcast关系。支持非连续的Tensor,数据格式支持ND。
    • other:Host侧的aclScalar,数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL,与self的数据类型需满足数据类型推导规则,shape需要与self满足broadcast关系。支持非连续的Tensor,数据格式支持ND。
    • out:Device侧的aclTensor,数据类型需要是self与other推导之后可转换的数据类型,shape需要是self与other broadcast之后的shape。支持非连续的Tensor,数据格式支持ND。
    • workspaceSize:返回用户需要在Device侧申请的workspace大小。
    • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、other或out是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self和other的数据类型不在支持的范围之内。
      • self和other推导出的数据类型无法转换为指定输出out的类型。
      • self与out的shape不同。 :::

aclnnXLogYScalarOther

  • 接口定义:

    aclnnStatus aclnnXLogYScalarOther(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnXLogYScalarOtherGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_x_log_y_scalar_other.h"

#define CHECK_RET(cond, return_expr) \
do &#123; \
if (!(cond)) &#123; \
return_expr; \
&#125; \
&#125; while (0)

#define LOG_PRINT(message, ...) \
do &#123; \
printf(message, ##__VA_ARGS__); \
&#125; while (0)

int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;
int64_t shapeSize = 1;
for (auto i : shape) &#123;
shapeSize *= i;
&#125;
return shapeSize;
&#125;

int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;
// 固定写法,AscendCL初始化
auto ret = aclInit(nullptr);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetDevice(deviceId);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);
ret = aclrtCreateContext(context, deviceId);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetCurrentContext(*context);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);
ret = aclrtCreateStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);
return 0;
&#125;

template <typename T>
int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,
aclDataType dataType, aclTensor** tensor) &#123;
auto size = GetShapeSize(shape) * sizeof(T);
// 调用aclrtMalloc申请device侧内存
auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);
// 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上
ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);
// 计算连续tensor的strides
std::vector<int64_t> strides(shape.size(), 1);
for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;
strides[i] = shape[i + 1] * strides[i + 1];
&#125;
// 调用aclCreateTensor接口创建aclTensor
*tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,
shape.data(), shape.size(), *deviceAddr);
return 0;
&#125;

int main() &#123;
// 1. (固定写法)device/context/stream初始化,参考AscendCL对外接口列表
// 根据自己的实际device填写deviceId
int32_t deviceId = 0;
aclrtContext context;
aclrtStream stream;
auto ret = Init(deviceId, &context, &stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);

// 2. 构造输入与输出,需要根据API的接口自定义构造
std::vector<int64_t> selfShape = &#123;4, 2&#125;;
std::vector<int64_t> outShape = &#123;4, 2&#125;;
void* selfDeviceAddr = nullptr;
void* outDeviceAddr = nullptr;
aclTensor* self = nullptr;
aclScalar* other = nullptr;
aclTensor* out = nullptr;
std::vector<float> selfHostData = &#123;0, 1, 2, 3, 4, 5, 6, 7&#125;;
float otherValue = 2.0f;
std::vector<float> outHostData(8, 0);
// 创建self aclTensor
ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);
CHECK_RET(ret == ACL_SUCCESS, return ret);
// 创建other aclTensor
other = aclCreateScalar(&otherValue, aclDataType::ACL_FLOAT);
CHECK_RET(other != nullptr, return ret);
// 创建out aclTensor
ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);
CHECK_RET(ret == ACL_SUCCESS, return ret);

// 3. 调用CANN算子库API,需要修改为具体的API名称
uint64_t workspaceSize = 0;
aclOpExecutor* executor;
// 调用aclnnXLogYScalarOther第一段接口
ret = aclnnXLogYScalarOtherGetWorkspaceSize(self, other, out, &workspaceSize, &executor);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnXLogYScalarOtherGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);
// 根据第一段接口计算出的workspaceSize申请device内存
void* workspaceAddr = nullptr;
if (workspaceSize > 0) &#123;
ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);
&#125;
// 调用aclnnXLogYScalarOther第二段接口
ret = aclnnXLogYScalarOther(workspaceAddr, workspaceSize, executor, stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnXLogYScalarOther failed. ERROR: %d\n", ret); return ret);

// 4. (固定写法)同步等待任务执行结束
ret = aclrtSynchronizeStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);

// 5. 获取输出的值,将device侧内存上的结果拷贝至Host侧,需要根据具体API的接口定义修改
auto size = GetShapeSize(outShape);
std::vector<float> resultData(size, 0);
ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);
for (int64_t i = 0; i < size; i++) &#123;
LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);
&#125;

// 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改
aclDestroyTensor(self);
aclDestroyScalar(other);
aclDestroyTensor(out);
return 0;
&#125;

父主题: NN类算子接口

aclnnXLogYScalarSelf

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • **第一段接口:**aclnnStatus aclnnXLogYScalarSelfGetWorkspaceSize(const aclScalar *self, const aclTensor *other, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
  • **第二段接口:**aclnnStatus aclnnXLogYScalarSelf(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

  • 算子功能:计算self * log(other)的结果,self为标量,other为张量。

  • 计算公式:

aclnnXLogYScalarSelfGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnXLogYScalarSelfGetWorkspaceSize(const aclScalar *self, const aclTensor *other, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)

  • 参数说明:

    • self:Host侧的aclScalar,数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BOOL,与other的数据类型需满足数据类型推导规则。支持非连续的Tensor,数据格式支持ND。
    • other:Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BOOL,与self的数据类型需满足数据类型推导规则。支持非连续的Tensor,数据格式支持ND。
    • out:Device侧的aclTensor,输出张量,数据类型需要是self与other推导之后可转换的数据类型,shape与other相同。支持非连续的Tensor,数据格式支持ND。
    • workspaceSize:返回用户需要在Device侧申请的workspace大小。
    • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、other或out是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self和other的数据类型不在支持的范围之内。
      • self和other推导出的数据类型无法转换为指定输出out的类型。
      • other与out的shape不同。 :::

aclnnXLogYScalarSelf

  • 接口定义:

    aclnnStatus aclnnXLogYScalarSelf(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnXLogYScalarSelfGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_x_log_y_scalar_self.h"

#define CHECK_RET(cond, return_expr) \
do &#123; \
if (!(cond)) &#123; \
return_expr; \
&#125; \
&#125; while (0)

#define LOG_PRINT(message, ...) \
do &#123; \
printf(message, ##__VA_ARGS__); \
&#125; while (0)

int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;
int64_t shapeSize = 1;
for (auto i : shape) &#123;
shapeSize *= i;
&#125;
return shapeSize;
&#125;

int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;
// 固定写法,AscendCL初始化
auto ret = aclInit(nullptr);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetDevice(deviceId);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);
ret = aclrtCreateContext(context, deviceId);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetCurrentContext(*context);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);
ret = aclrtCreateStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);
return 0;
&#125;

template <typename T>
int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,
aclDataType dataType, aclTensor** tensor) &#123;
auto size = GetShapeSize(shape) * sizeof(T);
// 调用aclrtMalloc申请device侧内存
auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);
// 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上
ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);
// 计算连续tensor的strides
std::vector<int64_t> strides(shape.size(), 1);
for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;
strides[i] = shape[i + 1] * strides[i + 1];
&#125;
// 调用aclCreateTensor接口创建aclTensor
*tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,
shape.data(), shape.size(), *deviceAddr);
return 0;
&#125;

int main() &#123;
// 1. (固定写法)device/context/stream初始化,参考AscendCL对外接口列表
// 根据自己的实际device填写deviceId
int32_t deviceId = 0;
aclrtContext context;
aclrtStream stream;
auto ret = Init(deviceId, &context, &stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);

// 2. 构造输入与输出,需要根据API的接口自定义构造
std::vector<int64_t> otherShape = &#123;4, 2&#125;;
std::vector<int64_t> outShape = &#123;4, 2&#125;;
void* otherDeviceAddr = nullptr;
void* outDeviceAddr = nullptr;
aclScalar* self = nullptr;
aclTensor* other = nullptr;
aclTensor* out = nullptr;
float selfValue = 2.0f;
std::vector<float> otherHostData = &#123;1, 1, 1, 2, 2, 2, 3, 3&#125;;
std::vector<float> outHostData(8, 0);
// 创建self aclTensor
self = aclCreateScalar(&selfValue, aclDataType::ACL_FLOAT);
CHECK_RET(self != nullptr, return ret);
// 创建other aclTensor
ret = CreateAclTensor(otherHostData, otherShape, &otherDeviceAddr, aclDataType::ACL_FLOAT, &other);
CHECK_RET(ret == ACL_SUCCESS, return ret);
// 创建out aclTensor
ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);
CHECK_RET(ret == ACL_SUCCESS, return ret);

// 3. 调用CANN算子库API,需要修改为具体的API名称
uint64_t workspaceSize = 0;
aclOpExecutor* executor;
// 调用aclnnXLogYScalarSelf第一段接口
ret = aclnnXLogYScalarSelfGetWorkspaceSize(self, other, out, &workspaceSize, &executor);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnXLogYScalarSelfGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);
// 根据第一段接口计算出的workspaceSize申请device内存
void* workspaceAddr = nullptr;
if (workspaceSize > 0) &#123;
ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);
&#125;
// 调用aclnnXLogYScalarSelf第二段接口
ret = aclnnXLogYScalarSelf(workspaceAddr, workspaceSize, executor, stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnXLogYScalarSelf failed. ERROR: %d\n", ret); return ret);

// 4. (固定写法)同步等待任务执行结束
ret = aclrtSynchronizeStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);

// 5. 获取输出的值,将device侧内存上的结果拷贝至Host侧,需要根据具体API的接口定义修改
auto size = GetShapeSize(outShape);
std::vector<float> resultData(size, 0);
ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);
for (int64_t i = 0; i < size; i++) &#123;
LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);
&#125;

// 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改
aclDestroyScalar(self);
aclDestroyTensor(other);
aclDestroyTensor(out);
return 0;
&#125;

父主题: NN类算子接口

aclnnXLogYTensor

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • **第一段接口:**aclnnStatus aclnnXLogYTensorGetWorkspaceSize(const aclTensor *self, const aclTensor *other, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
  • **第二段接口:**aclnnStatus aclnnXLogYTensor(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

  • 算子功能:计算self * log(other)的结果,self为张量,other为张量。

  • 计算公式:

aclnnXLogYTensorGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnXLogYTensorGetWorkspaceSize(const aclTensor *self, const aclTensor *other, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)

  • 参数说明:

    • self:Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL,与other的数据类型需满足数据类型推导规则,shape需要与other满足broadcast关系。支持非连续的Tensor,数据格式支持ND。
    • other:Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL,与self的数据类型需满足数据类型推导规则,shape需要与self满足broadcast关系。支持非连续的Tensor,数据格式支持ND。
    • out:Device侧的aclTensor,数据类型需要是self与other推导之后可转换的数据类型,shape需要是self与other broadcast之后的shape。支持非连续的Tensor,数据格式支持ND。
    • workspaceSize:返回用户需要在Device侧申请的workspace大小。
    • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、other或out是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self和other的数据类型不在支持的范围之内。
      • self和other推导出的数据类型无法转换为指定输出out的类型。
      • self和other的shape无法做broadcast或broadcast的结果与outshape不同。 :::

aclnnXLogYTensor

  • 接口定义:

    aclnnStatus aclnnXLogYTensor(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnXLogYTensorGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

#include <iostream>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_x_log_y_tensor.h"

#define CHECK_RET(cond, return_expr) \
do &#123; \
if (!(cond)) &#123; \
return_expr; \
&#125; \
&#125; while (0)

#define LOG_PRINT(message, ...) \
do &#123; \
printf(message, ##__VA_ARGS__); \
&#125; while (0)

int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;
int64_t shapeSize = 1;
for (auto i : shape) &#123;
shapeSize *= i;
&#125;
return shapeSize;
&#125;

int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;
// 固定写法,AscendCL初始化
auto ret = aclInit(nullptr);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetDevice(deviceId);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);
ret = aclrtCreateContext(context, deviceId);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);
ret = aclrtSetCurrentContext(*context);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);
ret = aclrtCreateStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);
return 0;
&#125;

template <typename T>
int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,
aclDataType dataType, aclTensor** tensor) &#123;
auto size = GetShapeSize(shape) * sizeof(T);
// 调用aclrtMalloc申请device侧内存
auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);
// 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上
ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);
// 计算连续tensor的strides
std::vector<int64_t> strides(shape.size(), 1);
for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;
strides[i] = shape[i + 1] * strides[i + 1];
&#125;
// 调用aclCreateTensor接口创建aclTensor
*tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,
shape.data(), shape.size(), *deviceAddr);
return 0;
&#125;

int main() &#123;
// 1. (固定写法)device/context/stream初始化,参考AscendCL对外接口列表
// 根据自己的实际device填写deviceId
int32_t deviceId = 0;
aclrtContext context;
aclrtStream stream;
auto ret = Init(deviceId, &context, &stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);

// 2. 构造输入与输出,需要根据API的接口自定义构造
std::vector<int64_t> selfShape = &#123;4, 2&#125;;
std::vector<int64_t> otherShape = &#123;4, 2&#125;;
std::vector<int64_t> outShape = &#123;4, 2&#125;;
void* selfDeviceAddr = nullptr;
void* otherDeviceAddr = nullptr;
void* outDeviceAddr = nullptr;
aclTensor* self = nullptr;
aclTensor* other = nullptr;
aclTensor* out = nullptr;
std::vector<float> selfHostData = &#123;0, 1, 2, 3, 4, 5, 6, 7&#125;;
std::vector<float> otherHostData = &#123;1, 1, 1, 2, 2, 2, 3, 3&#125;;
std::vector<float> outHostData(8, 0);
// 创建self aclTensor
ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);
CHECK_RET(ret == ACL_SUCCESS, return ret);
// 创建other aclTensor
ret = CreateAclTensor(otherHostData, otherShape, &otherDeviceAddr, aclDataType::ACL_FLOAT, &other);
CHECK_RET(ret == ACL_SUCCESS, return ret);
// 创建out aclTensor
ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);
CHECK_RET(ret == ACL_SUCCESS, return ret);

// 3. 调用CANN算子库API,需要修改为具体的API名称
uint64_t workspaceSize = 0;
aclOpExecutor* executor;
// 调用aclnnXLogYTensor第一段接口
ret = aclnnXLogYTensorGetWorkspaceSize(self, other, out, &workspaceSize, &executor);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnXLogYTensorGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);
// 根据第一段接口计算出的workspaceSize申请device内存
void* workspaceAddr = nullptr;
if (workspaceSize > 0) &#123;
ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);
&#125;
// 调用aclnnXLogYTensor第二段接口
ret = aclnnXLogYTensor(workspaceAddr, workspaceSize, executor, stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnXLogYTensor failed. ERROR: %d\n", ret); return ret);

// 4. (固定写法)同步等待任务执行结束
ret = aclrtSynchronizeStream(stream);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);

// 5. 获取输出的值,将device侧内存上的结果拷贝至Host侧,需要根据具体API的接口定义修改
auto size = GetShapeSize(outShape);
std::vector<float> resultData(size, 0);
ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr,
size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);
CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);
for (int64_t i = 0; i < size; i++) &#123;
LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);
&#125;

// 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改
aclDestroyTensor(self);
aclDestroyTensor(other);
aclDestroyTensor(out);
return 0;
&#125;

父主题: NN类算子接口

aclnn返回码

调用算子接口时,常见的接口返回码如表1所示。

表1 返回状态码

状态码名称状态码值状态码说明
ACLNN_SUCCESS0成功。
ACLNN_ERR_PARAM_NULLPTR161001参数校验错误,参数中存在非法的nullptr。
ACLNN_ERR_PARAM_INVALID161002参数校验错误,如输入的两个数据类型不满足输入类型推导关系。 详细的错误消息,可以通过aclGetRecentErrMsg接口获取(该接口在acl.h中)。
ACLNN_ERR_RUNTIME_ERROR361001API内存调用npu runtime的接口异常。
ACLNN_ERR_INNER_XXX561xxxAPI发生内部异常,详细的错误消息,可以通过aclGetRecentErrMsg接口获取。请根据报错排查问题,或者联系技术支持。(您可以获取日志后单击Link联系技术支持。)

更多关于ACLNN_ERR_INNER_XXX类状态码的说明如表2所示。

表2 异常状态码

状态码名称状态码值状态码说明
ACLNN_ERR_INNER561000内部异常:API发生内部异常。
ACLNN_ERR_INNER_INFERSHAPE_ERROR561001内部异常:API内部进行输出shape推导发生错误。
ACLNN_ERR_INNER_TILING_ERROR561002内部异常:API内部做npu kernel的tiling时发生异常。
ACLNN_ERR_INNER_FIND_KERNEL_ERROR561003内部异常:API内部做查找npu kernel异常(可能因为opp kernel的包未安装)。
ACLNN_ERR_INNER_CREATE_EXECUTOR561101内部异常:API内部创建aclOpExecutor失败(可能因为操作系统异常)。
ACLNN_ERR_INNER_NOT_TRANS_EXECUTOR561102内部异常:API内部未调用uniqueExecutor ReleaseTo。
ACLNN_ERR_INNER_NULLPTR561103内部异常:aclnn API内部发生异常,出现了nullptr的异常。
ACLNN_ERR_INNER_WRONG_ATTR_INFO_SIZE561104内部异常:aclnn API内部发生异常,算子的属性个数异常。
ACLNN_ERR_INNER_KEY_CONFILICT561105内部异常:aclnn API内部发生异常,算子的kernel匹配的hash key发生冲突。
ACLNN_ERR_INNER_INVALID_IMPL_MODE561106内部异常:aclnn API内部发生异常,算子的实现模式参数错误。
ACLNN_ERR_INNER_OPP_PATH_NOT_FOUND561107内部异常:aclnn API内部发生异常,没有检测到需要配置的环境变量ASCEND_OPP_PATH。
ACLNN_ERR_INNER_LOAD_JSON_FAILED561108内部异常:aclnn API内部发生异常,加载算子kernel库中算子信息json文件失败。
ACLNN_ERR_INNER_JSON_VALUE_NOT_FOUND561109内部异常:aclnn API内部发生异常,加载算子kernel库中算子信息json文件的某个字段失败。
ACLNN_ERR_INNER_JSON_FORMAT_INVALID561110内部异常:aclnn API内部发生异常,算子kernel库中算子信息json文件的format填写为非法值。
ACLNN_ERR_INNER_JSON_DTYPE_INVALID561111内部异常:aclnn API内部发生异常,算子kernel库中算子信息json文件的dtype填写为非法值。
ACLNN_ERR_INNER_OPP_KERNEL_PKG_NOT_FOUND561112内部异常:aclnn API内部发生异常,没有加载到算子的二进制kernel库。
ACLNN_ERR_INNER_OP_FILE_INVALID561113内部异常:aclnn API内部发生异常,加载算子json文件字段时,发生异常。
ACLNN_ERR_INNER_ATTR_NUM_OUT_OF_BOUND561114内部异常:aclnn API内部发生异常,算子的属性个数与算子信息json中不一致,超过了json中指定的attr个数。
ACLNN_ERR_INNER_ATTR_LEN_NOT_ENOUGH561115内部异常:aclnn API内部发生异常,算子的属性个数与算子信息json中不一致,少于json中指定的attr个数。
ACLNN_ERR_INNER_INPUT_NUM_IN_JSON_TOO_LARGE561116内部异常:aclnn API内部发生异常,算子的输入个数超出32的限制。
ACLNN_ERR_INNER_INPUT_JSON_IS_NULL561117内部异常:aclnn API内部发生异常,算子信息json文件中,不存在对输出的信息描述。
ACLNN_ERR_INNER_STATIC_WORKSPACE_INVALID561118内部异常:aclnn API内部发生异常,解析静态二进制json文件中的workspace信息时,发生异常。
ACLNN_ERR_INNER_STATIC_BLOCK_DIM_INVALID561119内部异常:aclnn API内部发生异常,解析静态二进制json文件中的核数使用信息时,发生异常。

父主题: NN类算子接口

在线提单