Cursor 在《Git at any scale》裡給過兩個數字:他們的 Git 儲存系統 Continuity 把倉庫的真相放在 S3 上的一份預寫日誌裡,在 S3 Standard 上“每秒能持續接受 120 次 push”,換成延遲更低的 S3 Express One Zone,“超過 300 次”1。walgit 的 README 說,它就是這套架構的開源實現2。
我在一臺 4 核機器上測 walgit 時,單個倉庫、16 個客戶端同時推送,開頭每秒 25 次左右,推上一分半鐘,就只剩每秒 6 次。同一臺機器上,git 自帶的 git http-backend3 每秒穩定在 40 到 50 次。
差了一個數量級以上。是我的機器太小,是桶太慢,還是 walgit 本身少做了什麼?同一個架構,為什麼會差這麼多?
一、兩邊是不是同一個架構
先把兩邊放在一起看。Cursor 的文章只講了設計,沒有開原始碼;walgit 有程式碼,也有一份寫給開發者的 GOAL.md 和 AGENTS.md,其中 GOAL.md 明說“Cursor 的《Git at any scale》/ Continuity 是我們遵循的設計”4。
| 方面 | Continuity(據 Cursor 的文章) | walgit(據原始碼和文件) |
|---|---|---|
| 骨架:兩邊一樣 | ||
| 唯一的真相 | S3 上的預寫日誌,每個 push 一條日誌 | 桶裡的日誌段和 pack,由 manifest.pb 列出 |
| 提交點 | 對 WAL 索引物件做 CAS | 對 manifest.pb 做 CAS |
| 合併寫入 | 批次提交,“仔細調過” | group commit,視窗 5 毫秒,一批最多 64 個 |
| 讀的一致性 | 每次讀先發條件 GET,304 平均不到 10 毫秒 | 每次讀先發條件 GET |
| 誰來寫 | rendezvous 雜湊排第一的節點當主,CAS 兜底 | 維護該倉庫的主機寫,其他主機轉發;CAS 兜底 |
| 細節:開始分岔 | ||
| 副本怎麼知道有新 push | UDP 廣播,丟了也無妨 | 不廣播,例項之間沒有任何通訊 |
| 本地磁碟 | NVMe 上的普通裸倉庫 | 預設按 tmpfs 小機器設計,放不下時按 1 MiB 範圍讀桶 |
| 壓縮 | 主節點做,副本直接下載結果 | 持租約的一臺做,作為 COMPACT 日誌釋出;由週期性的維護迴圈觸發 |
| 公佈的吞吐 | S3 Standard 每秒 120 次,S3 Express 超過 300 次 | 沒有公佈 |
Continuity 一列只來自 Cursor 的文章,文章沒提機器配置、測試方法和程式碼。
骨架是一樣的:不可變的日誌加一次 CAS 當提交點,讀之前先問一句“有沒有新東西”,push 合批寫。差別在三處。第一,walgit 連 UDP 廣播都不要,GOAL.md 第一條寫的是“沒有資料庫,沒有 Redis,沒有廣播,沒有主節點”4。第二,walgit 的目標機器比倉庫還小,預設配置寫的是 disk = "tmpfs"5。第三,壓縮怎麼觸發:Cursor 只說“只有主節點做”,walgit 是一個每隔一段時間跑一輪的維護迴圈。
還有一處不在表裡,但更重要:兩邊追求的東西不一樣。 Cursor 那篇文章的主角就是 push 吞吐;walgit 的 GOAL.md 把“透過預先算好的靜態 pack 實現快速 clone 和追平”定為北極星,驗收表裡關於 push 的那一行只寫了“桶確認後才回 ok;一批一次 CAS;維護倉庫的主機來寫”,沒有吞吐指標4。
骨架既然相同,數字差這麼多,就得一項一項排查。最先想到的是桶:我測的是本機的物件儲存,Cursor 測的是 S3。
二、先排除桶延遲和機器
桶延遲只決定單次耗時
我在 walgit 和桶之間加了一個代理,給每個請求固定加一段延遲。桶是同機的 S3 相容儲存 rustfs,測試倉庫是 redis6。同一臺機器上連推 20 次、連 fetch 20 次,取中位數:
| 每個桶請求加的延遲 | 0 ms | 10 ms | 30 ms |
|---|---|---|---|
| 推一個只改一行的提交 | 73 ms | 128 ms | 228 ms |
| 沒有新東西的 fetch | 26 ms | 48 ms | 88 ms |
每加 10 毫秒,push 多 50 多毫秒,fetch 多 20 多毫秒:一次 push 要和桶序列往返 5 輪,一次 fetch 要 2 輪。
Cursor 說他們的 304 平均不到 10 毫秒1,寫請求會更慢一些;按這張表,walgit 放在這樣的桶上,單次 push 在 130 毫秒以上。可吞吐不一樣:batch 本來就是為了把桶延遲攤掉,一批 push 共用一輪往返,延遲高一點,一批裡攢的 push 就多一點。而且我測吞吐時用的是 0 毫秒的桶,walgit 依舊只有每秒 6 到 25 次。所以桶延遲能解釋單次耗時,解釋不了吞吐。
機器沒有被用滿
我的機器只有 4 核,16 個客戶端也擠在上面,會不會是 CPU 不夠?推送進行中,我按 /proc 取樣了 walgit 程序(連同它啟動的 git 子程序)的 CPU:只用了 0.2 到 0.3 個核,整臺機器的忙碌度在 40% 到 54% 之間,大部分是客戶端。同一臺機器上 git http-backend 能跑到每秒 40 到 50 次,說明機器本身撐得住這個量。
Cursor 的機器肯定比這臺大,他們的文章沒給配置,這一項我無法量化。但 walgit 的服務端連一個核都沒用滿,它不是在算,而是在等。
那它在等什麼?要回答這個問題,得先看清吞吐是怎麼掉下來的。
三、為什麼越推越慢
現象:吞吐隨時間往下滑
前面那句“每秒 6 到 25 次”不是測量誤差,而是同一次測試的開頭和結尾。我讓 16 個客戶端各推各的分支,不停地推 90 秒,每 5 秒統計一次。為了只看收包和釋出本身,walgit 只開了 serve 角色,後臺維護先關掉:
普通伺服器的線是平的,walgit 的線一路往下。同一段時間裡,walgit 本地倉庫裡的 pack 從開頭的一百多個漲到了八百多個。
原因:每個 push 留下一個 pack
為什麼普通伺服器不攢 pack?git 的 receive-pack 有個引數 receive.unpackLimit,預設 100:一次推送的物件少於 100 個,就解開成鬆散物件,不留 pack7。改一行程式碼的 push 只有三四個物件,所以普通伺服器推了 4039 次之後,倉庫裡還是隻有 2 個 pack,外加 3520 個鬆散物件,後臺的 git gc --auto 會定期把它們收起來。
walgit 不能這麼做。在它的設計裡,一次 push 的 pack 就是寫進桶裡的那條日誌:pack 和它的索引先作為不可變物件寫進桶,再由 manifest 的 CAS 把它們“亮出來”。本地倉庫只是桶的快取,所以每個 push 都在本地留下一個 pack,推 900 次就是 900 個。Cursor 那邊也是同樣的結構,每個 push 寫成一條 WAL 記錄,pack 同時寫進本地磁碟和 S31。
pack 多了,為什麼會慢?git 找一個物件要挨個翻 pack 的索引;walgit 每批發布之後,還要把新 pack 裝進本地快取、更新 commit-graph、重新整理引用。我從日誌裡量到三個隨 pack 數變長的東西:
- 釋出任務一批接一批,兩批之間的間隔從開頭的 78 毫秒漲到 270 毫秒,每批平均只有 1.6 到 1.9 個 push。吞吐約等於“每批個數 ÷ 間隔”,正好從每秒 24 次掉到 6 次左右。
- 每批之後更新 commit-graph,從 45 毫秒漲到 200 多毫秒。
- 收包時
index-pack的耗時從 14 毫秒漲到 26 毫秒,因為瘦包裡引用的基礎物件要在更多 pack 裡找。
兩次沒有奏效的嘗試
第一次嘗試:關掉 commit-graph。 既然它漲得最多,關掉([git] commit_graph = false)會不會就平了?不會。關掉之後開頭反而更慢,每秒 13 次(我猜是推送後的連通性檢查少了 commit-graph 加速),之後照樣往下滑,90 秒時每秒 5 次。commit-graph 只是 pack 變多以後變慢的環節之一。
第二次嘗試:去掉收包鎖。 walgit 給每個倉庫配了一把 ingest_lock,同一倉庫的收包一個接一個做8。我在測 walgit 與普通伺服器的對比時,起初以為這把鎖就是瓶頸9。這次我編譯了一個把這把鎖刪掉的版本,用同樣的方式測:開頭每秒 26 次,結尾每秒 7 次,和帶鎖的版本幾乎重合(圖 1 的虛線)。鎖不是原因。
把同樣的壓力分給 4 個倉庫,結果就不同了:合計吞吐的起點一樣是每秒 25 次左右,可下滑慢得多,60 秒時還有每秒 14 到 16 次,每個倉庫只攢了 290 個左右的 pack。決定快慢的,是單個倉庫裡攢了多少 pack。
既然 pack 會越攢越多,就得有人把它們合起來。walgit 有壓縮,為什麼沒有起作用?
四、壓縮為什麼跟不上
現象:推送期間 pack 只增不減
把後臺維護開啟(預設每 60 秒一輪),再推 3 分鐘。吞吐的走勢和圖 1 一樣,開頭每秒 27 次,後面掉到每秒 1 到 4 次,本地的 pack 漲到了 1092 個,期間維護跑了兩輪,pack 一個也沒少。
我把維護間隔調到 5 秒,結果也一樣。圖 2 是這次的 pack 個數和每一輪維護在做什麼:
原因:分類排在合併前面
維護迴圈每一輪只做一件事,選哪件由 pack_lifecycle.rs 裡的 plan 決定。它的第一步是:只要 manifest 裡還有沒分類的 pack,就返回“分類”(Work::Classify);全部分完類,才去檢查是否該合併(Work::Fold)10。合併的門檻並不高,同一類裡攢夠 16 個新 pack 就該合併了(fold_when_fresh_packs_reach = 16)5。
分類給每個 pack 標上它屬於哪一組引用,這是 walgit 為 clone 準備靜態 pack(它的北極星)所需的後設資料。在這臺機器上,一輪分類要 25 到 50 秒;這段時間裡,客戶端又推上來幾百個新 pack。下一輪開始時,manifest 裡又有了沒分類的 pack,於是又是分類。只要推送不停,合併就永遠排不上。
推送停下來以後,最後一輪分類把剩下的全部分完,接著才是合併:一次把 925 個 pack 合成 2 個,花了 87 秒。合併完之後再推,pack 從 2 個重新漲起,吞吐只有每秒 7 到 12 次,不到維護間隔 60 秒時開頭的一半:每 5 秒一輪的維護本身也在佔用這臺機器。
另一個坑:多分支倉庫的合併會失敗
上面的測試只推了 redis 的 unstable 一個分支。我最早推的是 redis 全部 550 個分支和標籤,那時維護確實挑中了合併,可合併每次都失敗,日誌裡是:
subprocess `git rev-list --test-bitmap 8ff874d2…` exited 128:fatal: commit '8ff874d2…' doesn't have an indexed bitmapwalgit 合併之後會寫一個帶點陣圖的多包索引(MIDX),再用 git rev-list --test-bitmap 檢查某個提交的點陣圖能否正常遍歷11。它挑的檢查物件,是按名字排序後的第一個分支,在 redis 裡是 refs/heads/2.2,一個很老的分支。git 生成點陣圖時只給一部分提交建點陣圖,這個提交恰好不在其中,校驗就失敗,整次合併作廢。於是這個倉庫的 pack 永遠合不起來。這是我對著日誌和原始碼推出來的原因,沒有改程式碼驗證。
到這裡,差距的來源基本清楚了。可 Cursor 不也是每個 push 一個 pack 嗎?他們為什麼沒被拖垮?
五、差距的賬
Cursor 文章裡有一句話很關鍵:換成 S3 Express 以後,“我們實際上被 Git 壓縮磁碟資料的速度卡住了”1。也就是說,他們的壓縮是和推送同時進行、一直在追趕的,吞吐的上限就是壓縮追得上的速度。walgit 在持續推送下根本沒有開始合併,上限就由“pack 攢到多少時每批要等多久”決定,而且只會越來越低。
把前面的排查放在一起:
| 因素 | 實測或依據 | 對吞吐的影響 |
|---|---|---|
| 桶延遲 | 0、10、30 毫秒下,單次 push 是 73、128、228 毫秒 | 隻影響單次耗時,批次提交能攤掉 |
| 機器 | walgit 程序只用了 0.2 到 0.3 個核;同機的普通伺服器每秒 40 到 50 次 | 不是這臺機器上的瓶頸;Cursor 的配置未知 |
| 收包鎖 | 去掉後開頭每秒 26 次、結尾 7 次,和帶鎖時幾乎一樣 | 可以忽略 |
| pack 越攢越多 | 90 秒內從一百多個漲到八百多個,批間隔從 78 毫秒漲到 270 毫秒 | 吞吐從每秒 25 次掉到 6 次,而且會繼續掉 |
| 壓縮不合並 | 推送期間每輪維護都在分類;停手後才把 925 個合成 2 個;多分支倉庫的合併校驗失敗 | 讓上一行的下滑沒有盡頭 |
| 專案目標 | 北極星是從小機器上快速 clone;驗收表沒有 push 吞吐指標 | push 吞吐不是 walgit 最佳化的方向 |
“開頭每秒 25 次”是 pack 很少時這臺機器上的上限,仍比同機的普通伺服器低一半左右,其中有多少能靠更大的機器補回來,這次的實驗分不出來。
所以,回到開頭那幾個問題:機器小是事實,但 walgit 連一個核都沒用滿;桶延遲只決定一次 push 要多等一兩百毫秒;真正拉開差距的,是每個 push 都留下一個 pack,而 walgit 的壓縮在持續推送時讓位給了分類。Cursor 把壓縮放在主節點上和推送同時進行,並且已經在改磁碟上的佈局,想讓壓縮的影響更小1;walgit 的維護迴圈是為另一個目標設計的,它優先保證的是給 clone 用的靜態 pack 都有正確的分類。
如果要讓 walgit 在持續推送下追上來,從這次的觀察看,至少要做兩件事:維護在 pack 數超過合併門檻時讓合併優先於分類(或者兩者並行);合併的點陣圖校驗換一個一定有點陣圖的提交,比如某個被選中的引用的頂端。這是我的推斷,沒有改程式碼驗證。
最後說明幾點邊界。所有 walgit 的數字都出自同一臺 4 核機器,客戶端和伺服器在一起,桶在本機;Cursor 的數字出自他們自己的生產環境,測試方法沒有公開,兩者不能直接比大小,只能比走勢和原因。walgit 是一個不到 1.0 的年輕專案,本文讀的版本是 2026 年 9 月的提交,維護策略還在演進12。
小結
- 兩邊是同一個架構嗎? 骨架相同:不可變日誌、一次 CAS 當提交點、讀前條件 GET、合批寫。walgit 不要廣播,按小機器設計,壓縮由週期性維護迴圈觸發,目標是快速 clone 而不是 push 吞吐。
- 是桶太慢嗎? 不是。桶延遲按“往返輪數 × 延遲”加到單次耗時上,批次提交能攤掉它,0 毫秒的桶上吞吐一樣低。
- 是機器太小嗎? 不全是。walgit 程序只用了 0.2 到 0.3 個核,同一臺機器上的普通伺服器每秒能接 40 到 50 次。
- 為什麼越推越慢? 每個 push 都在本地留下一個 pack,pack 越多,每批發布後的收尾越慢。普通伺服器把小 push 解成鬆散物件,不攢 pack。關掉 commit-graph、去掉收包鎖都不改變這個走勢。
- 壓縮為什麼沒救回來? 維護迴圈有未分類的 pack 就先分類,推送不停,合併就排不上;多分支倉庫的合併還會因為點陣圖校驗挑錯提交而失敗。
- Cursor 為什麼沒被拖垮? 他們的壓縮和推送同時進行,吞吐上限就是壓縮追得上的速度。
可以照做的實驗:持續推送用的是一個 shell 指令碼,16 個客戶端各自迴圈 commit 加 push,每次記錄完成時刻和耗時,再按 5 秒分桶;pack 個數每 2 秒數一次本地快取目錄裡的 *.pack。桶前面的延遲代理是幾十行 Go,給每個請求 sleep 固定時長後轉發。
參考資料
參考資料
-
Git at any scale收藏cursor.comContinuity 的設計與吞吐數字:S3 Standard 每秒 120 次 push,S3 Express One Zone 超過 300 次,瓶頸是 Git 壓縮磁碟資料的速度https://cursor.com/blog/git-at-any-scale ↩ ↩2 ↩3 ↩4 ↩5
-
tobi/walgit收藏github.com本文用的是 2026-09-12 的提交
80e9a20https://github.com/tobi/walgit ↩ -
git-http-backend:Server side implementation of Git over HTTP收藏git-scm.comhttps://git-scm.com/docs/git-http-backend ↩
-
walgit GOAL.md:walgit 為什麼而做github.com ↗“the one sentence”、驗收表、“刻意不最佳化”一節https://github.com/tobi/walgit/blob/main/GOAL.md ↩ ↩2 ↩3
-
walgit walgit.example.toml:配置預設值github.com ↗
[maintenance] interval = "60s"、disk = "tmpfs";[packs] fold_when_fresh_packs_reach = 16https://github.com/tobi/walgit/blob/main/walgit.example.toml ↩ ↩2 -
redis/redisgithub.com ↗測試倉庫:只推
unstable分支和全部標籤時,218 MiB pack、約 10.8 萬個物件https://github.com/redis/redis ↩ -
git-config:receive.unpackLimitgit-scm.com ↗推送的物件數少於這個值(預設 100)時解成鬆散物件,否則保留為 packhttps://git-scm.com/docs/git-config#Documentation/git-config.txt-receiveunpackLimit ↩
-
walgit walgit-git lib.rs:按倉庫序列的收包github.com ↗
ingest_pack開頭的ingest_lockhttps://github.com/tobi/walgit/blob/main/crates/walgit-git/src/lib.rs ↩ -
walgit 架構原理:把 Git 倉庫交給物件儲存twwy.net ↗walgit 的提交點、group commit、讀路徑、壓縮的原始碼分析,以及與 git http-backend 的單項實測https://twwy.net/blog/walgit-architecture/ ↩
-
walgit pack_lifecycle.rs:維護任務怎麼選github.com ↗
plan:有未分類的 pack 就先返回Work::Classify,否則才看fold_reasonhttps://github.com/tobi/walgit/blob/main/crates/walgit-server/src/pack_lifecycle.rs ↩ -
walgit midx.rs:寫 MIDX 點陣圖後的校驗github.com ↗
write_verified_midx最後用git rev-list --test-bitmap <commit>檢查https://github.com/tobi/walgit/blob/main/crates/walgit-git/src/midx.rs ↩ -
walgit AGENTS.md:架構與運維手冊收藏github.comD1、D2、D28 等決策https://github.com/tobi/walgit/blob/main/AGENTS.md ↩