chipset009 发表于 2024-11-29 09:17:37

大量小文件就是磁盘的悲剧

小文件读写速度慢如牛,存储还浪费大量空间。诸位怎么提升速度和节约空间的?

Jambalaya 发表于 2024-11-29 09:47:09

这问题一直存在,绝大多数用户不需要关注。过于偏执的备份时打个压缩包算了。

gkb986 发表于 2024-11-29 09:50:26

换个固态硬盘啊

sun10851 发表于 2024-11-29 09:53:54

多建几个文件夹,分类存放。不要直接存在根目录下。

ceceky 发表于 2024-11-29 10:08:45

这就和磁盘分区文件系统格式和分配单元大小有关了,如exfat就不适合大量小文件,分配单元设置大,理论上可以一定程度提高性能,但会浪费空间,exfat的默认分配单元大小比ntfs更大

washu 发表于 2024-11-29 10:37:45

文件实际大小和占空间大小差异巨大时,应检查磁盘的簇大小

scu319hy 发表于 2024-11-29 11:35:52

你这回比上次的数据还极端呢,平均每个文件大小12KB多点
按你现在浪费98%空间的比例计算,大概需要把文件系统的簇大小设置成512K
要么就是有大量文件小于100字节:L

wangxiangtan 发表于 2024-11-29 11:59:57

格式化的时候分配单元大小选大了,纯纯的浪费空间

云卷云舒 发表于 2024-11-29 12:55:45

芯片组大师的磁盘空间利用率约2.5%(与指针表的精度有得一拼:lol),比我《不同文件系统占据空间差异巨大》帖子中提及的浪费大得多

Win11系统对U盘格式化,不同文件系统的分配单元大小见图:

   

小文件多,簇小一点可以提高空间利用率;大文件多,簇大一些可以提升读写效率。

chipset009 发表于 2024-11-29 14:42:31

谢谢各位回帖出谋划策。这些小文件是文本,除了代码就是配置信息。不方便压缩存储。磁盘默认4096一个簇,分小了太慢,何况还是叠瓦,加块固态算啦…

t3486784401 发表于 2024-11-29 17:27:00

chipset009 发表于 2024-11-29 14:42
谢谢各位回帖出谋划策。这些小文件是文本,除了代码就是配置信息。不方便压缩存储。磁盘默认4096一个簇,分 ...

不妨试试ntfs自带压缩

当然要事先全盘备份,有一定几率盘炸了

longshort 发表于 2024-11-29 17:36:20

這不算什麽問題,找出大量小文件的聚集地並加以定期刪除,空間可以保持得棒棒迪。

這樣的聚集地主要還是在:1)瀏覽器的某個目錄下;2)桌面talker的某個目錄下。這兩類目錄找出來以後做個鏈接集中起來,關機前手工或寫個程序自動刪除。我每天刪除的這些臨時文件大約1GB上下,C盤始終可以保持較大的空間。

lwjw999 发表于 2024-12-1 07:59:51

格式化的时候,选择一下分配单元大小!

了的 发表于 2024-12-1 09:22:05

学习了,以前还真没考虑过这个问题

快乐毛毛虫 发表于 2024-12-2 15:52:13

不行的话就打包。不过有的时候是一点办法都没有,例如mdk编程会有大量的小文件,那就只能接受,随他去了
页: [1] 2
查看完整版本: 大量小文件就是磁盘的悲剧