Tag: 技术
All the articles with the tag "技术".
-
Mooncake TE 阅读手记-04-Mooncake Store 分层 KV 存储
基于 Transfer Engine 的分布式 KV Cache 对象存储：初始化/注册/挂载/传输四阶段、SSD 三层存储、远端 SSD 读的 TE 配合
-
Mooncake TE 阅读手记-03-TENT 与经典 TE 架构演进
Transfer ENgine nexT（v2 重构版）与经典 TE 在配置、分层、容错、并发、抽象、可观测性六个维度的全面对比
-
Mooncake TE 阅读手记-02-Buddy Allocator 与两层池化
TransferEnginePy 的 Buddy Allocator 与 Store 的 ClientBufferAllocator 两层独立内存池设计
-
Mooncake TE 阅读手记-01-Buffer Segment Slice 三层抽象
Transfer Engine 最核心的三层数据抽象：Buffer（已注册内存块）、Segment（可发现数据空间）、Slice（传输最小粒度），严格的嵌套关系
-
高性能线程模型梳理
从数据传输和网络框架的角度，梳理常见高性能线程模型的职责划分与适用场景
-
tokenspeed：用眼睛感受 LLM 的 token 生成速度
一个让你用眼睛感受 token 生成速度的小工具，从 5 tok/s 到 800 tok/s，按数字键就能切换
-
为什么 FFN 不需要 KV Cache——兼谈 Prefill 与 Decode 的计算本质
从 FFN 为什么不需要缓存这一问题出发，串起因果掩码、计算瓶颈、以及 Prefill 与 Decode 在 GPU 上的根本差异。
-
从 Softmax 梯度消失到 KV Cache 的深度解密：拆解 Transformer 的时空内幕
从 Softmax 导数陷阱出发，推导自注意力的物理本质，并揭开 KV Cache 将大模型推理复杂度降低一个维度的工程奥秘。
-
深入大模型底层：从残差洪流到 Softmax 瓶颈的架构演进
深度拆解 Transformer 解码器中最核心的四个数据阀门：Input RMSNorm、残差连接、Final Norm 以及 Softmax 层，探究它们如何协同工作治理深度网络中的数值洪流。
-
深入浅出 Softmax：从大语言模型、图像分类到推荐系统的“万能概率转换器”
梳理 Softmax 在 LLM、图像分类和推荐系统三大核心领域的应用逻辑与工程实践差异。