登录社区云,与社区用户共同成长
邀请您加入社区
推理多任务模型时,可能会有不同任务分支 部署不同帧率的需求,例如 BEV 动态任务 20 帧,静态任务 10 帧这种情况。此时,重复的公共部分 backbone+neck 会重复占用内存与存储,且 backbone+neck 重复推理,会造成多余的资源消耗、影响性能。为了解决这些问题,且实现不同任务分支推理不同帧率,可以使用工具链提供的 link 打包功能。工具链提供的 link 功能,能够 复用
VLA (Vision Language Action)是一种多模态机器学习模型,结合了视觉、语言和动作三种能力,旨在实现从感知输入直接映射到控制动作的完整闭环能力。VLA强调一体化多模态端到端架构,非感知规控的模块化方案。
VLM 在自动驾驶中的应用
本文将介绍三类关键任务中常见的精度评价指标
在编写前后处理函数时,通常会多次用到一些变量,比如模型输入 tensor 的 shape,count 等等,若在每个处理函数中都重复计算一次,会增加部署时的计算量。
图像噪声(image noise)是[图像](https://zh.wikipedia.org/wiki/图像)中一种亮度或颜色信息的随机变化(被拍摄物体本身并没有),通常是电子噪声的表现。
自动驾驶场景中,常见的是多路感知通路,在不考虑应用获取释放帧异常操作的前提下,一般出现帧获取异常的情况,主要原因是通路中某段断流的情况,如何去准确的定位,对大部分客户来说,依赖我司的支持;针对这种情况,会列举几种断流日志分析;
在上一篇文章[【征程 6】VP 简介与单算子实操](https://developer.horizon.auto/blog/12886) 中,介绍了 VP 是什么,并以单算子 rotate 为例,介绍了 VP API 使用方法
对于帧率、延迟,通过在驱动中创建 trace event,分别记录通路上的每个 IP,每帧开始处理(frame_start)和结束处理(frame_end)的时间戳信息和帧信息,来实现帧率计算和延迟统计
VP 模块主要用于模型的前后处理环节,在地平线统一架构中,多种硬件均已搭载了图像处理的算子,而 VP 模块将图像处理相关的硬件调用进行了封装, 通过设置 backend 来选择不同的硬件方案(若不指定 backend,UCP 会自动适配负载更低的处理单元),从而平衡开发板负载。