“智膳视界”
您的AI边缘计算营养师

即刻识别,即时分析。通过先进的视觉AI技术,轻松量化每一餐,赋能您的健康生活。

精准识别 即时分析

正在分析...

ESP32-S3 CORE

为何需要“智膳视界”?

从繁琐估算到即时洞察

1️⃣ 需求演变:从估算到精准

🤔
传统方式

手动查询 / 经验估算

💡
现代期望

即时获取 / 精准量化

2️⃣ 核心痛点:用餐时的困扰

🍽️
🕒 耗时
不准
🤯 繁琐

对于健身者和慢病患者,在用餐时手动查询营养信息 耗时、不准、且过程繁琐,导致无法有效进行饮食管理。

智能解决方案

“智膳视界”如何工作

🍽️

AI边缘计算设备

“智膳视界”是一款便携式边缘设备。只需用它对准您的餐盘拍照,内置的高效AI模型便会启动工作。它能在一张照片中同时识别多达32种常见中式菜品,并估算其份量。

识别完成后,设备会立即从本地知识库中检索每种食物的详细营养信息(如卡路里、蛋白质、脂肪等),并在屏幕上清晰展示。所有结果都会自动保存到SD卡,方便您随时回顾和追踪。

3️⃣ 为谁而设计?

我们的核心用户画像

💪
健身塑形人群
🥗
健康意识青年
❤️
特殊膳食需求者
👶
科学育儿父母
👨‍🔬
营养师/健康顾问
📱
量化生活爱好者

技术核心与挑战

揭秘“智膳视界”背后的硬核科技

4️⃣ 核心功能

🔍

精准识别

⚡️

即时分析

技术架构

📷 摄像头采集图像
⚙️ ESP32主程序预处理
🧠 TFLite Micro模型推理
(LRASPP语义分割)
📚 SPIFFS营养数据查询
🖥️ LCD显示 & 💾 SD卡存储

5️⃣ 技术壁垒与突破

挑战:数据分布极度不均
训练集数据标签分布图

从图中可见,筛选后的32类食物数据存在严重的类别不平衡问题:背景像素(Class 0)数量远超其他所有类别,且各类食物间的像素量也差异巨大。这会导致模型在训练时“偏心”于多数类,而忽略少数类,影响整体识别精度。

突破一:数据不平衡处理

为解决上述问题,我们引入Focal Loss损失函数并结合类别权重。这迫使模型在训练时更加关注那些数量稀少且难以识别的食物类别,从而显著提升了模型的泛化能力和精度。

突破二:模型轻量化

将复杂的PyTorch模型通过ONNX和TFLite转换、量化,最终压缩并转化为C/C++头文件,使其能在资源仅为KB级的ESP32上高效运行。

突破三:端侧推理效率

选用高效的LRASPP网络结构,并充分利用ESP32-S3的硬件加速能力,在低功耗硬件上实现了近乎实时的识别响应。

模型进化:从初识到精通

通过引入Focal Loss等先进算法,模型在训练过程中不断学习和优化,显著提升了对复杂食物场景的分割与识别能力。

训练初期 (Epoch 1)
模型训练初期效果图

分割边缘模糊,存在错漏。

训练后期 (Epoch 36)
模型训练后期效果图

边缘清晰,精准识别多种食物。

模型性能亮点

像素准确率 (Pixel Accuracy)

78.8%

图像级准确率 (Precision)

81.6%

Top 10 类别识别精度 (IoU)

模型的整体平均交并比(mIoU)为 36.6%,图像级识别准确率达 81.6%。以下是模型在像素级分割和类别预测两方面的具体表现,证明了其在真实场景下的应用价值。

Top 10 类别识别准确率 (Precision)