Milvus数据量只有二十几万条，占用磁盘空间达到五十多G，并且还在不断增长。

[ouyangxiu12345]

我的milvus版本是2.2.6，上个月我的数据量是20W条数据，512维度，只有一个索引，数据占用磁盘空间大概8G。
这个月发现数据涨到了24W，磁盘占用达到了50G，其中index_files有17G，insert_log 32G，stats_log 50M，这明显不正常.
我一开始以为是版本或者log的问题，所以我升级到了2.2.8，并把日志级别调整到了ERROR，但还是存在这个问题，过了一天多时间，目前磁盘占用达到了60G，其中index_files有23G，insert_log 38G，stats_log 54M。
有人知道这个原因吗

[xiaofan-luan]

其中index_files有17G，insert_log 32G

是否可以提供一下至少info级别的日志呢？

[ouyangxiu12345]

昨天升级了一下，日志也设置成了error级别，应该是找不到了

[skywindy]

大哥，最后你是如何解决这个问题的，milvus版本v2.1.4,磁盘占满90%多。

[yhmo]

@skywindy
升级到2.3.17吧，或者2.4.4
2.1.4是差不多三年前的版本了，大部分问题在后续版本已经解决

[ruixiu]

2.2.8之前的版本没发现，在使用2.2.8版本的时候也出现了。不过重启docker容器之后就释放了，然后再次被占

[ouyangxiu12345]

2.2.8之前的版本没发现，在使用2.2.8版本的时候也出现了。不过重启docker容器之后就释放了，然后再次被占

需要卸载重装，结合我了解到的这类问题的具体情况，基本都是升级导致的，我的是重装之后就好了

[ruixiu]

卸载重装？不理解

[hemin110]

2.2.9 也是这个问题

534M index_files
329G insert_log
303M stats_log

[yhmo]

flush 是有点多，我们在持久化一些文档的向量，做完10篇文档的向量flush 一次

其实没必要频繁flush，会产生大量零碎的分片，这些分片要合并，合并就会有很多临时分片产生

[devenami]

我们该怎么样才能提升合并的速度呢？
当前我遇到的情况也是这样，大约1100万的向量，minio单台的存储容量已经超过了5T，并且还在持续增长，通过扩容dataNode并没有办法提升合并的速度。

[xiaofan-luan]

I'm suppose this might be relatedt to #24834

[skywindy]

I'm suppose this might be relatedt to #24834

这个问题如何解决啊，磁盘空间被疯狂占满，几个T都不够了。求教大神。

[skywindy]

如何解决这个问题的，大佬们？我也遇到这个问题了，磁盘疯狂被milvus占满

[JackDance]

可能是Milvus的数据段合并机制导致的，在写入的时候，数据段合并前和合并后的数据段会同时存在，会导致硬盘占用越来越高，直到后台清理线程才会自动将合并前的数据段删掉。参考链接：Milvus 数据段合并机制

[skywindy]

如何解决这个问题的，大佬？

[JackDance]

是在写入阶段遇到的硬盘占用激增的问题吗

[xiakj]

怎么解决，也遇到了这个问题

[skywindy]

如何解决这个问题，各位大神

[xiaofan-luan]

使用2.3以上的版本不会有这个问题。。

[xiaofan-luan]

建议用2.3.16升级下看看

[uniqueSkeeter]

如何设置日志级别啊？

[yhmo]

https://milvus.io/docs/configure_log.md#log-related-Configurations

milvus/configs/milvus.yaml

Line 760 in 176ef63

level: info