异构多核 SoC 边缘推理任务划分策略大核跑推理、小核做前后处理的架构设计与性能实测一、双核 11 1.5的效率诅咒异构多核 SoC 任务划分不当带来的性能黑洞全志 T113-S3 是一颗典型的异构多核 SoC搭载 2 个 Cortex-A7 大核1.2GHz带 NEON SIMD和 1 个 XuanTie C906 RISC-V 小核600MHz。理论总算力约为 5.6 GOPSA7 NEON 0.5 GOPSC906 标量 6.1 GOPS。但如果任务划分不当实测在运行 MobileNetV2YOLO-Fastest 双模型流水线时端到端延迟竟高达 420ms——比单用 A7 双核的 280ms 还慢了 50%。根因分析三个核竞争同一块 DDR3 内存控制器。当 A7 核执行模型推理时的内存读取约 3.2 GB/s与 C906 核的图像预处理内存写入约 1.5 GB/s同时发生时DDR 控制器的仲裁开销使得有效带宽从 8.5 GB/s 降至约 4.2 GB/s。两个 Cortex-A7 核的 NEON SIMD 推理因缓存未命中率急剧上升而严重降速。任务划分的核心问题不是把哪些任务分配给哪些核而是如何保证不同核的任务在执行时不产生内存带宽竞争。以下基于 T113-S3 平台设计并实测一套大核跑推理、小核做前后处理的流水线架构。二、多核协同流水线设计基于共享内存环形缓冲的生产者-消费者模型将推理过程拆分为四个阶段图像采集 → 预处理resize/归一化 → 模型推理 → 后处理NMS/结果格式化。前三阶段形成一条流水线利用多个核并行执行以减少单帧的端到端延迟。flowchart LR subgraph 第 N 帧流水线 A1[采集: Camera ISRbr/(任意核)] B1[预处理: C906 小核br/resize 640→224br/RGB→INT8 量化] C1[推理: A7 大核 0br/MobileNetV2br/NEON SIMD 加速] D1[后处理: C906 小核br/Top-K 排序br/JSON 序列化] end subgraph 第 N1 帧流水线(并行) A2[采集: Camera ISR] B2[预处理: C906 小核] C2[推理: A7 大核 1br/(核间负载均衡)] D2[后处理: C906 小核] end subgraph 环形缓冲区 RB[4 × 224×224×3br/共享内存池br/使用 CACHE_ALIGNED 对齐] end A1 --|buf[0]| B1 B1 --|buf[1]| C1 C1 --|buf[2]| D1 A2 --|buf[3]| B2 B2 --|buf[0]| C2 C2 --|buf[1]| D2 RB ---|管理| A1 RB ---|管理| B1 RB ---|管理| C1 RB ---|管理| D1流水线的关键设计要素缓冲区大小 4双缓冲不足以覆盖 4 阶段流水线最多同时有 4 帧在不同阶段处理中4 缓冲区确保不会因消费者未释放而阻塞生产者。缓冲区对齐到 L1 Cache LineT113 A7 的 L1 Cache 为 32 字节行大小C906 同样为 32 字节。使用posix_memalign(32, ...)确保缓冲区不跨 Cache Line避免伪共享引起的无效化风暴。A7 双核负载均衡两个 A7 核交替从推理队列中取帧实现轮询调度。不使用 Linux 的 CFS 自动调度——因为 CFS 可能将两帧分配给同一个核导致另一个核空闲。三、完整的多核任务调度实现基于 POSIX 信号量的实时流水线/** * hetero_pipeline.c —— T113-S3 异构多核推理流水线 * * 架构: * - C906 小核: 图像预处理 后处理逐帧串行 * - A7 大核0: 模型推理MobileNetV2 骨干网络层 * - A7 大核1: 模型推理检测头 NMS 后部分处理 * * 同步机制: POSIX 命名信号量 环形缓冲区 * 编译: arm-linux-gnueabihf-gcc -O2 -mfpuneon -pthread */ #include stdio.h #include stdlib.h #include string.h #include pthread.h #include semaphore.h #include fcntl.h #include sys/mman.h #include unistd.h #include ncnn/net.h // NCNN 推理引擎 #include image_utils.h // 图像缩放、颜色空间转换 // ---- 配置常量 ---- #define FRAME_WIDTH 640 #define FRAME_HEIGHT 480 #define MODEL_INPUT_W 224 #define MODEL_INPUT_H 224 #define RING_SIZE 4 // 环形缓冲区大小 #define CACHE_LINE 32 // A7 和 C906 均为 32B 缓存行 // ---- 环形缓冲区中的一帧 ---- typedef struct { // 原始图像 (Camera → 预处理) uint8_t raw_frame[FRAME_WIDTH * FRAME_HEIGHT * 3] __attribute__((aligned(CACHE_LINE))); // 预处理后的张量 (预处理 → 推理) float preprocessed[MODEL_INPUT_W * MODEL_INPUT_H * 3] __attribute__((aligned(CACHE_LINE))); // 推理输出 (推理 → 后处理) float inference_output[1000] // 最多 1000 个分类概率 __attribute__((aligned(CACHE_LINE))); int frame_id; int complete; // 标志位此帧所有阶段已完成 } frame_buffer_t; // ---- 流水线状态 ---- typedef struct { frame_buffer_t buffers[RING_SIZE]; // 信号量每生产一帧就 post 一次消费者 wait sem_t sem_raw_ready; // 原始帧就绪 (Camera → 预处理) sem_t sem_preprocessed_ready; // 预处理完成 (预处理 → 推理) sem_t sem_inference_done; // 推理完成 (推理 → 后处理) sem_t sem_buf_free; // 缓冲区释放 (后处理完成后归还) int write_idx; // Camera 写入位置 int preproc_idx; // 预处理读取位置 int infer_idx; // 推理读取位置 int postproc_idx;// 后处理读取位置 int frames_processed; pthread_mutex_t stats_lock; volatile int running; } pipeline_t; static pipeline_t g_pipeline; /** * brief C906 预处理线程resize 归一化 * 绑定到 C906 小核通过 taskset 设置 CPU affinity */ void *preprocess_thread(void *arg) { while (g_pipeline.running) { // 等待原始帧就绪 sem_wait(g_pipeline.sem_raw_ready); int idx g_pipeline.preproc_idx; frame_buffer_t *buf g_pipeline.buffers[idx]; // ---- 图像预处理 ---- // 双线性插值缩放 RGB→浮点归一化 // 使用 C906 的标量指令峰值吞吐约 0.3 GOPS resize_bilinear_rgb( buf-raw_frame, FRAME_WIDTH, FRAME_HEIGHT, buf-preprocessed, MODEL_INPUT_W, MODEL_INPUT_H); normalize_rgb_mean_std( buf-preprocessed, MODEL_INPUT_W * MODEL_INPUT_H * 3, // Training-time mean/std: 需与模型训练参数一致! (float[]){0.485f, 0.456f, 0.406f}, (float[]){0.229f, 0.224f, 0.225f}); g_pipeline.preproc_idx (idx 1) % RING_SIZE; // 信号推理线程 sem_post(g_pipeline.sem_preprocessed_ready); } return NULL; } /** * brief A7 大核推理线程核 0 * 执行 MobileNetV2 的 backbone 部分 * 使用 NEON SIMD 加速峰值吞吐约 2.8 GOPS */ void *inference_thread_core0(void *arg) { // 绑定到 A7 核 0 cpu_set_t cpuset; CPU_ZERO(cpuset); CPU_SET(0, cpuset); // A7 大核 0 pthread_setaffinity_np(pthread_self(), sizeof(cpuset), cpuset); ncnn::Net mobilenet; mobilenet.load_param(mobilenetv2.param); mobilenet.load_model(mobilenetv2.bin); while (g_pipeline.running) { sem_wait(g_pipeline.sem_preprocessed_ready); int idx g_pipeline.infer_idx; frame_buffer_t *buf g_pipeline.buffers[idx]; // 创建 NCNN 输入 Mat引用缓冲区零拷贝 ncnn::Mat in ncnn::Mat::from_pixels( buf-preprocessed, ncnn::Mat::PIXEL_RGB, MODEL_INPUT_W, MODEL_INPUT_H); // 执行推理 ncnn::Extractor ex mobilenet.create_extractor(); ex.input(input, in); ncnn::Mat out; ex.extract(output, out); // 将推理结果写入共享缓冲 memcpy(buf-inference_output, out.channel(0), out.w * sizeof(float)); g_pipeline.infer_idx (idx 1) % RING_SIZE; sem_post(g_pipeline.sem_inference_done); } return NULL; } /** * brief A7 大核推理线程核 1 * 双核同时推理模式交替处理帧实现负载均衡 */ void *inference_thread_core1(void *arg) { // 绑定到 A7 核 1 cpu_set_t cpuset; CPU_ZERO(cpuset); CPU_SET(1, cpuset); // A7 大核 1 pthread_setaffinity_np(pthread_self(), sizeof(cpuset), cpuset); ncnn::Net mobilenet; mobilenet.load_param(mobilenetv2.param); mobilenet.load_model(mobilenetv2.bin); while (g_pipeline.running) { // 与 core 0 共享同一个推理就绪信号量 sem_wait(g_pipeline.sem_preprocessed_ready); int idx g_pipeline.infer_idx; frame_buffer_t *buf g_pipeline.buffers[idx]; ncnn::Mat in ncnn::Mat::from_pixels( buf-preprocessed, ncnn::Mat::PIXEL_RGB, MODEL_INPUT_W, MODEL_INPUT_H); ncnn::Extractor ex mobilenet.create_extractor(); ex.input(input, in); ncnn::Mat out; ex.extract(output, out); memcpy(buf-inference_output, out.channel(0), out.w * sizeof(float)); g_pipeline.infer_idx (idx 1) % RING_SIZE; sem_post(g_pipeline.sem_inference_done); } return NULL; } /** * brief C906 后处理线程Top-K JSON 序列化 */ void *postprocess_thread(void *arg) { while (g_pipeline.running) { sem_wait(g_pipeline.sem_inference_done); // 快速 Top-5 查找C906 标量实现 int top5_indices[5] {0}; float top5_values[5] {0.0f}; frame_buffer_t *buf g_pipeline.buffers[ g_pipeline.postproc_idx]; // O(N * K) 的朴素 Top-K 也是 O(1000 * 5) O(5000) // 在 600MHz C906 上约 15μs完全可接受 for (int k 0; k 5; k) { float max_val -1e9f; int max_idx 0; for (int i 0; i 1000; i) { if (buf-inference_output[i] max_val) { max_val buf-inference_output[i]; max_idx i; } } top5_indices[k] max_idx; top5_values[k] max_val; buf-inference_output[max_idx] -1e9f; // 标记为已选 } // 串行化输出JSON 格式通过 UART 发送 printf({\frame\:%d,\top5\:[, buf-frame_id); for (int k 0; k 5; k) { printf({\class\:%d,\prob\:%.4f}%s, top5_indices[k], top5_values[k], (k 4) ? , : ); } printf(]}\n); buf-complete 1; g_pipeline.postproc_idx (g_pipeline.postproc_idx 1) % RING_SIZE; g_pipeline.frames_processed; // 归还缓冲区 sem_post(g_pipeline.sem_buf_free); } return NULL; } /** * brief 初始化并启动异构流水线 */ int pipeline_init(void) { memset(g_pipeline, 0, sizeof(g_pipeline)); // 初始化所有信号量 sem_init(g_pipeline.sem_raw_ready, 0, 0); sem_init(g_pipeline.sem_preprocessed_ready, 0, 0); sem_init(g_pipeline.sem_inference_done, 0, 0); sem_init(g_pipeline.sem_buf_free, 0, RING_SIZE); g_pipeline.running 1; // 创建四条工作线程 pthread_t preproc_tid, infer0_tid, infer1_tid, postproc_tid; pthread_create(preproc_tid, NULL, preprocess_thread, NULL); pthread_create(infer0_tid, NULL, inference_thread_core0, NULL); pthread_create(infer1_tid, NULL, inference_thread_core1, NULL); pthread_create(postproc_tid, NULL, postprocess_thread, NULL); printf([Pipeline] 异构多核流水线已启动\n); printf( C906: 预处理 后处理\n); printf( A7#0: 模型推理 (负载均衡 50%%)\n); printf( A7#1: 模型推理 (负载均衡 50%%)\n); return 0; }实测性能对比配置端到端延迟吞吐量DDR 带宽效率A7 单核全流程280ms3.6 FPS63%A7 双核 C906无优化420ms2.4 FPS49%A7 双核 C906环形缓冲Cache对齐175ms5.7 FPS78%经过环形缓冲区和 Cache Line 对齐优化后流水线从性能倒退的111.5提升到了11≈1.6——虽然仍未达到 2 倍的线性加速但已比单核快 60%。剩余的性能差距归因于 DDR 带宽竞争这一物理瓶颈无法完全消除。四、异构多核任务划分的边界约束三个不可逾越的物理限制DDR 带宽是单点瓶颈。T113-S3 仅有一个 32bit DDR3 控制器实测有效带宽约 8.5 GB/s1600MHz。当三核同时访问 DDR 时仲裁器以 TDMA 方式分配带宽每核平均仅获得约 2.8 GB/s。一个 MobileNetV2 的权重读取约需 3.2 GB/s——这意味着即使把权重放在 L2 Cache 之外的所有优化都做了双核同时推理依然受限于带宽。优化方向使用 L2 SRAM 缓存高频访问的权重层第一层和最后一层的卷积核但这需要 SoC 支持 SRAM 的软件管理接口。Cache 一致性协议缺失。C906 的 RISC-V 核与 A7 的 ARM 核之间不存在硬件 Cache 一致性协议如 ARM 的 ACE-Lite。当 C906 修改了共享缓冲区后必须执行显式的 Cache Flush 操作__builtin_clear_cache才能让 A7 读到最新数据。每次 Flush 约消耗 50μs高频执行时开销不可忽略。核间中断延迟。使用信号量进行核间同步时最坏情况下的唤醒延迟约为 15μsLinux 的futex系统调用 核间 IPI 中断。对于帧率 30 FPS33ms 帧间隔的应用15μs 的同步开销仅占 0.05%可以忽略。但对于 1000 FPS 的超高速检测场景此开销将成为主要瓶颈。五、总结异构多核 SoC 的边缘推理任务划分策略核心矛盾在于 DDR 带宽的有限性与多核并行性的无限性之间的冲突。主要结论DDR 带宽是决定性约束——在带宽饱和之前增加更多核对吞吐的提升是非线性的。环形缓冲 Cache Line 对齐可将并行效率从 49% 提升至 78%是性价比最高的优化手段。C906 做前后处理、A7 做推理的划分策略是合理的——前后处理的算力需求0.5 GOPS与 C906 能力匹配推理的高算力需求2-3 GOPS需要 A7 NEON 支持。双核推理的带宽需求约为 6.4 GB/s在 T113 的 8.5 GB/s 有效带宽范围内双核并行理论可行但实际受限于缓存竞争。显式 Cache Flush 是跨 ISA 核间通信的必须开销约 50μs/次在设计同步频率时需计入。