ai iot edge inference

AI 遇上 IoT：边缘推理、TinyML 实战指南，以及什么时候别用云

AIoT 工程指南——云端推理与边缘推理的取舍、ESP32-S3 上的 TinyML、单片机语音识别、边缘视觉 AI。经验来自我们量产过的人体姿态检测、智能烧烤视觉和语音交互系统。

2026-10-01·XTELL 工程团队

那个没人先问、但最该先问的 AIoT 问题

每个 AIoT 项目都始于一个让人兴奋的 demo：能识别姿态的摄像头、能认食材的烤架、能听懂人话的盒子。然后那个被一再推迟的问题就会找上门——推理到底跑在哪里？云端的 GPU，还是设备自己？这个答案决定了硬件成本、延迟、隐私故事，以及 WiFi 断掉时产品是不是一块砖。

我们把 AI 做进过各种嵌入式产品：云端辅助的视觉系统、端侧神经网络、单片机语音识别。这篇指南讲清楚怎么做云端/边缘的决策、2026 年的 TinyML 在单片机上到底能干什么，以及哪些工程模式能在真实用户面前活下来。

云端推理 vs 边缘推理：真实的取舍

天真的看法是云端"简单"、边缘"难"。诚实的看法是一张没有标准答案的取舍表：

延迟。云端一来一回，乐观估计也要几百毫秒。我们的人体姿态检测系统跟踪 17 个人体关键点、30FPS、最多 8 个人同时检测——这个帧率只有模型跑在像素旁边才可能实现。每帧都走云端一圈，它就变成幻灯片了。
对网络的依赖。依赖云的设备，没网就是砖。边缘推理在地下室、工厂、乡下照样工作。
隐私。家里人的视频、语音记录、健康数据——传到服务器上就是负债。边缘处理把原始数据留在设备上，既是隐私特性，也是卖点。
规模化的成本。云端 GPU 推理按次收费。一万台设备、每天各跑几百次推理，云账单会变成商业模式问题。边缘推理把这笔成本一次性摊进 BOM。
模型的灵活性。这是云端完胜的一项。换云端模型是一次部署；换边缘模型往往是一次固件升级，运气不好是一次硬件改版。如果模型每个月都变，烧进硅片之前三思。

TinyML：单片机到底能干什么

TinyML——在只有几 KB RAM 的单片机上跑机器学习——已经从实验室里的新奇玩意儿变成量产技术。我们做过的 ESP32-S3 语音识别系统（ESP32-S3 语音盒子）就是活的证明：用 ESP-IDF 框架和 ESP-SR 语音库，它在单片机上实现语音唤醒、WebSocket 音频流、语音交互，带 LCD 显示和 MP3 播放——唤醒词完全不需要云。设备自己听、自己认，认出来才跟网络说话。

2026 年 TinyML 擅长的事：

关键词识别和唤醒词。教科书级的 TinyML 负载。模型小，常开，功耗按毫瓦算。
简单的视觉分类。"画面里有人吗？""烤架上是这 20 种食材中的哪一种？"——有边界的分类问题跑得很舒服。
传感器数据的异常检测。振动、电流、温度曲线——在设备上学会"正常长什么样"，剩下的报警。

它不擅长的事：开放式理解。我们的 AI Home 语音助手跑的是完整的 STT → LLM Agent → TTS 链路，语言模型在服务器上，因为单片机没法跟人聊天。诚实的架构是混合的——边缘管常开、低延迟、隐私敏感的部分，云端管需要数据中心的部分。

边缘视觉 AI：两个量产案例

智能烧烤视觉系统识别 20 多种常见食材，个性化调味，优化烹饪——烹饪准确率提升 85%——带远程监控和自动清洁。视觉模型跑在设备旁边，因为烤架控制器等不起云端一圈回来再决定牛排好了没，也因为没人想把自家后院烧烤直播到数据中心。

姿态检测系统更进一步：17 个关键点、30FPS、8 个人同时、95%+ 准确率，在移动级别的硬件上低功耗运行。两个项目的工程教训是一样的——边缘视觉 AI 是系统问题，不只是模型问题。模型大概只占三分之一工作量，剩下的是摄像头管线、帧缓冲、散热（神经网络加速器很烫），以及置信度低时的兜底行为。

最常活下来的混合模式

纵观我们的项目，在生产环境里活得最久的架构是三层切分：

第一层——设备端（TinyML）：常开唤醒、简单分类、异常标记。毫瓦级，毫秒级，不依赖网络。
第二层——边缘网关/手机：比单片机 RAM 大的模型——跑在手机级 SoC 上的姿态检测、智能门铃里 200 万像素摄像头配本地 AI 检测的人脸识别。
第三层——云端：大语言模型、全 fleet 学习、看板，以及每周都在变的东西。

层与层之间传的是事件，不是流：设备上报"门口有人"，而不是 24 小时传视频流。这个模式把带宽砍掉几个数量级，也是产品保持灵敏和便宜的原因。

AIoT 硬件选型：真正重要的是什么

很多项目栽在 AIoT 芯片选型上，通常是算力买多或买少了：

按模型选硅片，别按 hype 选。关键词识别 ESP32-S3 就够，多人姿态跟踪需要带神经网络加速器的应用处理器。拿你的模型实测，别信厂商的 demo。
内存才是真正的天花板。模型体积、帧缓冲、中间激活值都在抢 RAM。在单片机上，杀死模型的通常是 RAM，不是 CPU。
先规划模型更新路径。智能秤 AI 主板项目（Gimo_AI，基于 AC7925A，LVGL 图形界面，预留 AI 服务器接口）从设计第一天就留了 AI 服务器接口和可更新的模型下发——因为你出的第一个模型一定不是最后一个。
散热和功耗是系统指标。神经网络推理是持续电流。我们的低功耗 IoT 经验是：AI 负载必须第一天就进功耗预算，而不是测试时才发现。

什么时候云端依然是正确答案

尽管边缘 AI 势头很猛，三种情况下云端依然是正确答案。第一，模型变得比你的固件发布周期快——推荐模型、反欺诈、每周重训的东西，老老实实放 API 后面。第二，负载需要边缘设备短期内不会有的资源：大语言模型、视频生成、拿全 fleet 数据训练。我们的 NLP 服务项目（基于 GPT-2 的网页推理）住在云上就是这个原因。第三，设备本来就为别的原因常连云、推理又不频繁——每天一次、给看板用的图像分类，不值得为它上边缘硅片。

成熟的 AIoT 团队不站队，按负载选边。延迟敏感、隐私敏感、常开的推理放边缘；变化快、分量重、要汇聚 fleet 数据的智能留云端。每个产品代际重新审视一次分界线——硅片越来越便宜、模型越来越小，这条线一直在动。

模型优化：把智能塞进 KB 级内存

在工作站上训练好的模型，很少能原样跑在单片机上。中间的桥是优化，其中最重要的两个技术是量化和剪枝。量化把模型权重的数值精度降低——从 32 位浮点降到 8 位整数——通常把模型压到四分之一大小，精度损失 1–2%。对 TinyML 主导的关键词识别和简单分类负载，这个买卖非常划算。剪枝更进一步，砍掉贡献最小的神经连接，得到更小、更快、干同样活的模型。

实践中行得通的流程：全精度训练，量化，然后在真实目标芯片上实测——不是在仿真器里。ESP32-S3 语音识别管线走的就是这个循环，每轮迭代都在嘈杂房间里实测唤醒词准确率和误触发率。实验室里 98% 准确、一开电视就误触发的模型，不是 98% 准确的模型。留出时间从真实部署环境采集测试音频/图像；实验室数据和现场数据的差距，是边缘 AI 项目最常栽跟头的地方。