mailwal

[hellollvm] 学习编译libc++时的头文件处理 (40)

Zhouyi Zhou
还是从硬件断点
2 hw watchpoint keep y *(unsigned long *)0x555569fb71e0
stop only if *(unsigned long *)0x555569fb71e0==93825335973472
出发跟对forward.h的分析
我通过函数clang::Lexer::LexIdentifierContinue追溯
p &P.CurLexer的源头
目前还只是追到就在forward.h处理中
听PyTorch Europe 2026。 来自亚马逊云科技Web服务部门的Suraj Muraleedharan作主题为"跨区域模型服务:PyTorch推理、可观测性与LLMOps"的主题演讲。随着PyTorch模型进入生产环境,组织面临着一个关键挑战:在多个区域大规模部署、监控和运营推理服务。虽然单区域服务已经被充分理解,但多区域LLMOps——包括模型分发、可观测性、故障转移和成本管理——对许多客户来说仍然是临时性的且具有挑战性。本次演讲展示了经过生产验证的多区域PyTorch推理和LLMOps工作流架构,内容涵盖:服务方面——在Kubernetes上运行多区域TorchServe/KServe,采用基于延迟的路由、蓝绿部署、模型版本控制以及带有断路器的自动故障转移;可观测性方面——使用OpenTelemetry分布式追踪、Prometheus/Grafana仪表板来监控延迟、吞吐量、GPU利用率以及LLM特定指标如首token时间和KV缓存命中率;LLMOps方面——实现跨区域模型部署的CI/CD流水线,包含自动回滚、漂移检测和基于SLO的告警。参会者将获得使用开源工具构建的服务架构、仪表板和部署流水线。
他在报告中说GPU使用很贵。 我的学习体会是,电商为了尽量不增加成本,往往把各项成本尽量往低了压。