把经历过的,连成记忆。

这是我的记忆构建平台,你也能搭一个。

最新文章

去中心化推理:把一个大模型拆给很多台机器跑

2026年10月21日

Petals 说可以像 BT 下载一样,用大家家里的显卡一起跑 70B 的大模型;io.net 说手里有几十万张分散的 GPU。顺着“模型为什么要拆”往下追:按层切开的流水线怎么传数据、为什么每个 token 都要跑一圈网络、层内切开的张量并行为什么只能待在一个房间里、并发能不能把空转的机器填满、io.net 实际上拆的是什么,最后用电费和市价算一笔账,看“闲置硬件不要钱”这个赌注在什么条件下成立。

Go 项目的数据库迁移:手写 .sql 文件,一次变更怎么走到生产

2026年10月21日

Go 服务新版本上线,日志里刷出 column "coupon_code" does not exist:加列的 SQL 写了,生产库没人执行。顺着这个现象往下追:手写的 .sql 文件怎么交给 golang-migrate 和 goose 去执行,执行到一半失败了库里留下什么,两个分支各加一个文件时会不会漏掉一个,一个 .sql 从提交、CI、打包到部署要走哪几步、由谁来执行,一条只改元数据的 ALTER 为什么能把整张表堵住,新旧代码同时在线时列名怎么跨几个版本改,最后是 down 文件到底能不能用来回滚。

几十美元的小盒子,为什么跑得动大模型

2026年10月20日

一台一百多美元的树莓派,单用户能把一个 300 亿参数的模型跑到约 8 token/s。顺着这个反差往下追:单路生成到底卡在哪、小盒子的内存带宽比数据中心 GPU 贵多少、300 亿参数怎么塞进 16GB 还跑得动、GPU 真正的本事是什么、为什么同样一笔账在「租 GPU 转卖 API」那篇里是亏的、这里却不亏,以及一大片这样的小盒子连起来会呈现什么整体性质。

租云 GPU 转卖大模型 API,能赚钱吗

2026年10月20日

OpenRouter 上同一个 gpt-oss-120b 有二十多家在卖,最便宜的每百万输出 token 只要 0.15 美元,而 AWS 上一张 H100 每小时要 6.88 美元。顺着这个反差往下算:一张 GPU 一小时能产出多少 token、厂商吞吐为什么卖不出来、按小时付租金和按 token 收钱之间差在哪,再把 6 个模型、9 种 GPU、AWS / Azure / GCP / 阿里云逐项算一遍,看市场最低价是谁定的、DeepSeek 的 545% 从哪来,以及什么情况下这门生意才做得成。

谁定方向,谁来干活:一动一静由什么决定

2026年10月20日

Leader 常觉得成员不够主动、方向会偏,于是自己把方向;人用 AI 也是人定方向、AI 干活。顺着这个现象往下追:这种分工是不是由谁更聪明决定的,方向权实际跟着什么走,“静”的一方的被动有多少是关系本身造出来的,关系怎样才会移动,以及人和 AI 之间是不是同一个结构。

查看全部文章 →