1. 更便宜的是 grep/rg ，当前没有一个 coding agent 用 embedding 就是这个原因 2. 我的方案 2KB per token ，是比 embedding 大，但我觉得 index size 不是问题，recall/precision 才是 3. 没有用 rope 外推的方案实现 10M 的 search

稍微偏题一下，我是觉得用 embedding 来做检索像是走了岔路，这都是在 LLM 不成熟的时候发展起来的 很早之前，我就发现 LLM 能做 in-context learning ，其实本质上就是在 context 内做检索，那 attention 能否直接来做检索呢？ 所以我试了一下，用 qwen-3.5 的 0.8B/2B/4B/9B 模型，直接把文本做 KV, 来了 query 后用 a