perf: FsStore loads all CAS nodes into memory at startup #85

New Issue

2026-06-06T22:33:30Z

xiaoju commented

2026-06-06 22:33:30 +00:00

问题

packages/fs/src/store.ts 的 createFsStore() 在启动时调用 loadDir() 把目录下所有 .bin 文件全量反序列化（CBOR decode）到内存 Map<Hash, CasNode>：

// store.ts:205-207
export function createFsStore(dir: string): FsCasStore {
  const data = new Map<Hash, CasNode>();
  loadDir(dir, data);  // 全量读取+解码

之后所有 get()、has()、listAll() 都走内存 Map，磁盘文件只在 put() 和 delete() 时写入。

影响

启动时间：节点数量线性增长
内存占用：所有节点常驻内存，payload 可能很大
当前 283 个节点无明显影响，但不可扩展

建议方案

改为按需加载（lazy loading）：

get(hash) — 命中内存缓存则返回，否则读文件 + 缓存
has(hash) — 检查文件是否存在（existsSync 或维护 hash set）
listAll() — 读目录文件名（不需要解码 payload）
listByType() — 依赖 type index 文件，不需要全量加载
可选 LRU 缓存控制内存上限

关联

#83 (export/import) — MemoryStore 方案在当前全量加载模式下不比 FsStore 差
#84 (nodes/ 子目录) — 布局改造时可顺带做 lazy loading

## 问题 `packages/fs/src/store.ts` 的 `createFsStore()` 在启动时调用 `loadDir()` 把目录下所有 `.bin` 文件全量反序列化（CBOR decode）到内存 `Map<Hash, CasNode>`： ```typescript // store.ts:205-207 export function createFsStore(dir: string): FsCasStore { const data = new Map<Hash, CasNode>(); loadDir(dir, data); // 全量读取+解码 ``` 之后所有 `get()`、`has()`、`listAll()` 都走内存 Map，磁盘文件只在 `put()` 和 `delete()` 时写入。 ## 影响 - 启动时间：节点数量线性增长 - 内存占用：所有节点常驻内存，payload 可能很大 - 当前 283 个节点无明显影响，但不可扩展 ## 建议方案改为按需加载（lazy loading）： - `get(hash)` — 命中内存缓存则返回，否则读文件 + 缓存 - `has(hash)` — 检查文件是否存在（`existsSync` 或维护 hash set） - `listAll()` — 读目录文件名（不需要解码 payload） - `listByType()` — 依赖 type index 文件，不需要全量加载 - 可选 LRU 缓存控制内存上限 ## 关联 - #83 (export/import) — MemoryStore 方案在当前全量加载模式下不比 FsStore 差 - #84 (nodes/ 子目录) — 布局改造时可顺带做 lazy loading

xiaoju referenced this issue from a commit

2026-06-07 00:25:46 +00:00

perf: implement lazy loading in FsStore

xiaoju referenced a pull request that will close this issue

2026-06-07 00:28:18 +00:00

perf: implement lazy loading in FsStore (#85) #89

xiaomo closed this issue

2026-06-07 00:31:31 +00:00

xiaomo referenced this issue from a commit

2026-06-07 00:31:31 +00:00

Merge pull request 'perf: implement lazy loading in FsStore (#85)' (#89) from fix/85-fsstore-lazy-loading into main

xiaoju referenced this issue