工业物联网网关的本地数据记录、离线缓存与断网续传

为什么离线能力很重要

偏远气象站、农业站、水文站和水质站通常依赖蜂窝网络，弱信号、运营商维护或供电问题都可能造成中断；客户服务器本身也可能宕机。如果没有本地保留机制，系统可能恰好丢失暴雨、洪水或设备故障期间最关键的数据。

本地数据记录与离线缓存

数据存在哪里？

不同网关可能使用内部 Flash、外接 TF 卡、USB 或嵌入式数据库。不要把“总内存/Flash 容量”直接等同于“可用于历史数据的容量”，因为操作系统和分区会占用空间。同样，网关有 USB 也不代表 USB 一定可以做持续实时数据流，有些型号只是用于备份或人工导出。

数据库文件和 CSV 文件不是一回事

某些固件会把数据保存在 SQLite 类数据库文件中，这对嵌入式系统写入和索引很高效，但用户可能需要数据库工具再导出 CSV。另一些数据记录型产品或固件可以直接导出 CSV。采购时必须把“支持 USB 存储”和“USB 可以直接导出 CSV”看成两个独立要求。

CSV 对科研和维护很方便，因为 Excel 和多数分析软件都能直接打开；数据库文件则更适合设备端持续写入和管理。

如何估算可以保存多少天

不能只根据“传感器数量”估算。真正决定容量的是单条记录大小和采样周期。包含 15 个长字段名的 JSON 与紧凑数据库/二进制记录大小可能差很多，最安全的方法是先用后续配置生成一条真实记录，再测量字节数。

规划公式可以写成：保存天数 ≈ 可用字节数 ÷ 单条记录字节数 ÷ 每天记录条数；每天记录条数 = 86400 ÷ 采样间隔（秒）。同时要为索引、元数据和文件系统预留空间。

例子：10 分钟和 15 分钟采样差多少？

10 分钟采样一次，每组数据每天产生 144 条记录；15 分钟采样一次，则每天 96 条。采样间隔变长会显著延长本地存储时间，但采样周期必须由被测过程决定。例如洪水水位、快速天气过程需要更短周期；土壤水分或长期环境趋势可以相对更长。

断网续传 应该怎样工作？

理想流程是：网关正常采样 → 尝试上传 → 发现网络或服务器不可用 → 把未发送记录写入本地 → 继续采样 → 自动重连 → 通信恢复后补传积压数据。实际项目中常见做法是一条条快速续传。

如果客户数据库对严格时间顺序、去重或“补历史数据时是否同时发实时数据”有硬性要求，需要用后续固件专门测试。“支持离线缓存”并不能自动定义所有补传策略。

MQTT 与 HTTP 的离线行为可能不同

遥测系统经常支持断网缓存，但不同协议可能走不同重试逻辑。如果客户明确要求 HTTP POST 在断网后必须全部缓存并恢复后补传，就应该用后续 HTTP 固件单独测试，不能因为 MQTT 已验证离线缓存，就默认 HTTP 完全相同。

完全不联网的科研/现场记录

有些科研项目根本不需要外网：传感器接数据记录器，连续运行几周，工作人员定期通过 USB/TF 取数据。此时选型重点从 4G 转向本地存储可靠性、时钟/时间戳准确性、传感器供电、数据格式和导出便利性。

RFQ/采购技术要求里应该问什么

正常历史数据和未发送缓存分别存在哪种介质？

应用实际可用存储空间是多少？

保留策略按天数、记录条数、字节数还是存储占比？

本地使用什么文件/数据库格式？

用户能否直接导出 CSV，还是需要转换？

4G 或服务器故障后是否自动重连？

恢复后是否自动补传缓存记录？

补传顺序如何，如何处理重复记录？

补传历史时是否还能继续采样/发送实时数据？

客户能否自行安装 TF/USB，要求什么文件系统格式？

离线可靠性验收测试

1. 在线运行并确认时间戳、采样和上传正常。

2. 在传感器/网关保持供电的情况下断开蜂窝/网络上行。

3. 等待多个采样周期，使本地积累历史数据。

4. 恢复连接并确认网关自动重连。

5. 对比服务器数据与本地时间戳，确认断网期间数据已经补齐。

6. 如果要求断电保护，在离线期间进一步对网关断电重启测试。

7. 导出本地历史，确认维护取数和文件格式。

8. 交付时记录固件、存储介质以及已验证的保留/补传规则。

常见问答

问：IoT 网关中的 断网续传 是什么？

答：当数据发送失败时先在本地保存，通信恢复后自动把积压数据重新发送。

问：本地数据记录和离线缓存是一回事吗？

答：不是。本地记录是持续历史；离线缓存专门保护未能成功上传的记录。

问：没有互联网，网关还能存数据吗？

答：选用支持本地 Flash、TF、USB 等记录功能的型号就可以。

问：USB 可以用作实时数据输出吗？

答：不一定。很多网关的 USB 主要用于备份或人工导出历史，而不是持续实时流。

问：本地数据一定是 CSV 吗？

答：不一定。有些固件使用数据库文件，后续再转成 CSV。项目必须明确后续需要的格式。

问：如何计算网关能保存多少天？

答：先测一条真实记录大小，根据采样周期算每天记录数，再用可用容量除以每天数据量，并留出系统开销余量。

问：网络恢复后缓存数据一定会自动补传吗？

答：需要在相应协议和固件中启用并支持离线缓存，验证后才能确认。

问：服务器宕机和 4G 断网需要分别测试吗？

答：需要。两者都会导致上传失败，但重连和重试路径可能不同，应分别验收。