Tag: 转载
All the articles with the tag "转载".
-
【转载】美投侃新闻：沃什就任美联储主席，三巨头IPO冲击市场，英伟达CPU数据闹乌龙
沃什宣誓就任美联储主席，沃勒释放鹰派信号；AI三巨头IPO潮冲击市场流动性；英伟达CPU数据引争议。
-
【转载】自回归下一个 token 预测与 Transformer 中的 KV Cache
深入浅出地讲解 Transformer 中的 KV Cache 原理：从 prefill 前向传播到 decode 阶段的缓存复用，图解自回归语言模型如何高效生成 tokens。
-
【转载】推理的下一级：为什么你的单节点 vLLM 需要 Prefill-Decode 分离
AMD 与 Embedded LLM 联合展示：在单台 8-GPU MI300X 节点上通过 MORI-IO 实现 PD 分离，Goodput 提升 2.5 倍，消除 ITL 尖峰。
-
【转载】用 vLLM × Mooncake 规模化服务 Agentic 工作负载
vLLM 团队与 Mooncake 合作，通过分布式 KV cache 池将 Agentic 推理吞吐提升 3.8 倍、TTFT 降低 46 倍，在 60 块 GB200 GPU 上近线性扩展。
-
【转载】00年互联网泡沫，半导体都发生了什么？悲剧重演？历史已给出答案！
美投讲美股对2000年互联网泡沫期间半导体行业兴衰的深度复盘，并与当下AI半导体行情进行全面对比。