关于向量索引和原始向量的问题

[bhxiaoxinba]

由于数据量大，向量维度高，为了减少存储空间，
1）milvus是否支持只保留向量索引，而不保留原始向量？
2）如果我们自定义对向量进行PQ压缩后，那么压缩后的数据写入milvus建立那种类型索引？

[yhmo]

1）目前无法做到。
2) milvus无法识别你压缩后的向量，它永远认为你输入的东西是原始向量，当作原始向量来处理。

[bhxiaoxinba]

那对于大数据量高维度的向量数据，想要节省存储，有什么实现方法？

[yhmo]

用float16数值的向量：https://milvus.io/docs/schema.md#Supported-data-types

[bhxiaoxinba]

请教下，向量检索时，如果返回结果指定返回的字段，这些字段从哪里获取的？如果根据id主键查询向量数据，id主键会建立索引吗？
不同类型的检索涉及的对象存储有哪些？
对象存储包括几类文件：index_files，insert_log, stats_log，

[bhxiaoxinba]

querynode会从对象存储加载数据到内存，然后进行检索，那么加载的内容是什么？索引数据除了向量索引外，还有其他索引吗？比如主键建立的索引（方便根据id查询）？querynode从索引查询的数据，如果需要返回其他字段信息，怎么获取？
还有根据id查询，流程是什么？

[yhmo]

数据会被切分成segment储存并管理，每个segment会建立单独的索引。对于有索引的segment，querynode加载其索引数据。对于没有索引的segment，querymode加载其原始数据。标量字段也可以建索引:https://milvus.io/docs/scalar_index.md#Scalar-Index
主键默认有自己的索引。querynode会把其他字段数据也加载到内存里，也可以使用mmap映射，查询要返回其他字段信息通过query()接口或者search()接口的output_fields参数指定：https://milvus.io/docs/get-and-scalar-query.md
条件查询：https://milvus.io/docs/boolean.md
其实文档里都有，这些都是最基本的

[bhxiaoxinba]

对于已经创建索引的segment，其原始数据是不是就没用了，如果查询只需要返回主键，不需要返回向量字段和标量字段信息

[bhxiaoxinba]

也就是对于已经建立索引的segment，querynode只需要加载索引数据，还没有建立索引的segment加载原数据。那么建立完索引的segment，其原数据是不是只占用磁盘存储空间？，不会加载到内存中了？

[yhmo]

原始数据不会删除，仍然占用磁盘空间。有些索引(比如IVF_FLAT/HNSW)里带有向量原始数据，不需要读磁盘，直接从索引里可获取向量数据。有些索引做了量化(比如IVF_PQ/IVF_SQ8)，索引里没有向量原始数据 ，如果查询需要返回向量数据，只能去存储里读上来(也可以用mmap映射)

保留原始向量数据，才能换索引，想换什么索引重建一下即可。

[xiaofan-luan]

由于数据量大，向量维度高，为了减少存储空间， 1）milvus是否支持只保留向量索引，而不保留原始向量？ 2）如果我们自定义对向量进行PQ压缩后，那么压缩后的数据写入milvus建立那种类型索引？

可以不加载，只存在S3上。因为量化的数据是会随着Segment分布有略微改变的