ESP32-AI亮相:8MB PSRAM运行2890万参数模型
Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。
乌克兰开发者成功在ESP32-S3上运行2890万参数AI模型,通过分层嵌入与4-bit量化将模型压缩至14.9MB,嵌入表存入闪存缓解内存压力,适用于离线咖啡机等垂直场景,验证了小芯片运行大模型的可能性。
在嵌入式AI领域,一个看似不可能的任务最近被实现了:乌克兰开发者Sla va S成功在乐鑫ESP32-S3开发板上跑通了2890万个参数的本地AI模型。要知道,这块开发板的内存资源相当有限——512KB的SRAM、8MB的PSRAM和16MB的闪存。此前,另一位开发者Da ve Bennett在这块板子上部署AI模型时,参数上限被卡在26万个。差距有多大?整整两个数量级。
那么,Sla va S是怎么做到的?关键一招是采用了Google Gemma模型中的“Per-Layer Embeddings”(分层嵌入)技术。模型经过4-bit量化后,文件大小被压缩到14.9MB,而25M参数的嵌入表被直接存入16MB的闪存中。这样一来,模型每生成一个Token,只需要从嵌入表中读取少量数据,内存压力大幅降低。

当然,得说清楚:这块板子虽然能跑2890万个参数,但别指望它陪你聊天或写代码。Sla va S本人也坦承,目前的应用场景更偏向于垂直领域——比如离线咖啡机。想象一下,一台搭载ESP32-S3的咖啡机,可以根据咖啡豆品种、研磨方式、水粉配比和水温,实时生成个性化的冲泡建议。这比云端方案更省心,也更有趣。

话说回来,这个突破的意义更多在于验证了“小芯片也能跑大模型”的可能性。当算力成本不再是唯一瓶颈,嵌入式AI的边界正在被重新定义。










































