https://www.notion.so/laisky/Cloudflare-outage-on-November-18-2025-2bcba4011a8681e79964ff8933d3c5b2
CloudFlare 对于 2025-11-18 的故障报告。边缘服务设定了严格的内存限制，其中bot modules 限制了能够处理的规则行数。当接收到超过限制的规则文件后导致 panic。而新的 FL2 系统在 bot modules panic 时，没能仅降级 bot 服务，而是全链路 panic，导致全站 5xx。旧版的 FL 系统就很好的仅降级了 bot score 服务，没有对用户业务造成中断。
我个人认为的经验教训就是：
1. bot modules panic 不是问题，有助于尽早暴露错误，但是必须被隔离。
2. FL2 在 bot modules panic 后，应该进行告警和服务降级，而不是整体 panic（Blast Radius）
3. chaos engineering 应该对各种交互都进行测试，比如文件过大、格式错误等等。任何关键服务都不应该信任外部输入，即使这个外部输入来自友方。
CloudFlare 对于 2025-11-18 的故障报告。边缘服务设定了严格的内存限制，其中bot modules 限制了能够处理的规则行数。当接收到超过限制的规则文件后导致 panic。而新的 FL2 系统在 bot modules panic 时，没能仅降级 bot 服务，而是全链路 panic，导致全站 5xx。旧版的 FL 系统就很好的仅降级了 bot score 服务，没有对用户业务造成中断。
我个人认为的经验教训就是：
1. bot modules panic 不是问题，有助于尽早暴露错误，但是必须被隔离。
2. FL2 在 bot modules panic 后，应该进行告警和服务降级，而不是整体 panic（Blast Radius）
3. chaos engineering 应该对各种交互都进行测试，比如文件过大、格式错误等等。任何关键服务都不应该信任外部输入，即使这个外部输入来自友方。
laisky on Notion
Cloudflare outage on November 18, 2025 | Notion
On 18 November 2025 at 11:20 UTC (all times in this blog are UTC), Cloudflare's network began experiencing significant failures to deliver core network traffic. This showed up to Internet users trying to access our customers' sites as an error page indicating…
https://x.com/0xdizz/status/1996425682717720971?s=20 用 react 写服务端的赶紧自查一下。我这种坚持不碰前端佬写的服务端的后端仔有福了🐶
https://laisky.notion.site/Time-Zone-Handling-for-Software-Engineers-A-Comprehensive-Technical-Handbook-2b3ba4011a8680f2b895f51f19b62dad?source=copy_link
让 DeepResearch 帮忙总结了一篇关于时区的报告。最近都不怎么喜欢搜索文章了，想到什么问题就扔给 DeepResearch 让它给我写一篇报告。
因为中国只有一个时区，很多开发人员都会忽略时区问题，我加入很多团队都帮忙处理过时区相关的问题（另一个经常被忽略的是编码问题）。
首先，在用户看不见的后端使用 UTC 时间是一个很好的习惯，但是 UTC 并不是银弹，并不能取代时区。
时区并不仅仅只是相对于 UTC 的一个固定偏移量，而是代表某一地区时间变化的历史和规则。比如某地可能在某一个时刻，决定让时钟拨快或拨慢一小时，这些规则的处理都必须依赖准确的当地时区数据，而不是 UTC 能够解决的。同理，不同的时区也不能随意的互相替换，即使在当前时刻它们的 UTC 偏移量相同。
比如关于冬令时/夏令时的调整，就会导致当地的某一时刻在两个不同时区出现两次，而另一个时刻则根本不存在。
关于时间的存储，UTC 仅能满足对于时刻的存储需求。只要涉及到当地事件、时间的相对计算、日程安排（牵涉星期、月份日期、节假日）等，都必须结合使用当地时区信息进行计算。而且由于用户可能会进行跨时区迁移，最好能够让用户自行选择自己的时区信息（比如 Google Calendar 的做法）。
重点：
* 如果你只需要时刻信息(Instant)，使用 UTC 存储和传输是一个好习惯。
* 但是如果你需要任何基于当地时间的计算，必须携带时区信息。
BTW，时区的英文缩写存在重名，在沟通中不要使用简写。比如 CST 既可以是 China Standard Time 也可以是 Central Standard Time。 我以前和美国的团队协作时就遇到过歧义。
让 DeepResearch 帮忙总结了一篇关于时区的报告。最近都不怎么喜欢搜索文章了，想到什么问题就扔给 DeepResearch 让它给我写一篇报告。
因为中国只有一个时区，很多开发人员都会忽略时区问题，我加入很多团队都帮忙处理过时区相关的问题（另一个经常被忽略的是编码问题）。
首先，在用户看不见的后端使用 UTC 时间是一个很好的习惯，但是 UTC 并不是银弹，并不能取代时区。
时区并不仅仅只是相对于 UTC 的一个固定偏移量，而是代表某一地区时间变化的历史和规则。比如某地可能在某一个时刻，决定让时钟拨快或拨慢一小时，这些规则的处理都必须依赖准确的当地时区数据，而不是 UTC 能够解决的。同理，不同的时区也不能随意的互相替换，即使在当前时刻它们的 UTC 偏移量相同。
比如关于冬令时/夏令时的调整，就会导致当地的某一时刻在两个不同时区出现两次，而另一个时刻则根本不存在。
关于时间的存储，UTC 仅能满足对于时刻的存储需求。只要涉及到当地事件、时间的相对计算、日程安排（牵涉星期、月份日期、节假日）等，都必须结合使用当地时区信息进行计算。而且由于用户可能会进行跨时区迁移，最好能够让用户自行选择自己的时区信息（比如 Google Calendar 的做法）。
重点：
* 如果你只需要时刻信息(Instant)，使用 UTC 存储和传输是一个好习惯。
* 但是如果你需要任何基于当地时间的计算，必须携带时区信息。
BTW，时区的英文缩写存在重名，在沟通中不要使用简写。比如 CST 既可以是 China Standard Time 也可以是 Central Standard Time。 我以前和美国的团队协作时就遇到过歧义。
laisky on Notion
🤖Time Zone Handling for Software Engineers: A Comprehensive Technical Handbook | Notion
Introduction
https://tee.fail/ wiretap 的团队继续发力，TEE 加密芯片对内存加密使用了确定性算法，同样的明文会生成同样的密文，导致可以通过内存分析破译私钥。继上次破解 SGX 老款芯片后，这次把最新款的 TDX 和 SEV-SNP 也攻破了，可以说 TEE 全军覆灭。
AMD 和 Intel 都表示不会修复，内存监听和改写不属于 TEE 的防御范畴。
看来，TEE 确实只能用来防内鬼，并不能构成一个可以放心地托管给别人的飞地。
* prev
AMD 和 Intel 都表示不会修复，内存监听和改写不属于 TEE 的防御范畴。
看来，TEE 确实只能用来防内鬼，并不能构成一个可以放心地托管给别人的飞地。
* prev
继续学习 Context Engineering 相关的文章，主要看了这两篇：
- 来自 Augment 的 《How we made code search 40% faster for 100M+ line codebases using quantized vector search》
- 来自 Anthropic 的 《Contextual Retrieval in AI Systems》
📒 关于 query 的性能：
1. 利用 ANN 大幅减少 embeddings vectors 数量，提高检索速度。
我理解类似于对向量进行聚类，然后只对聚类中心进行搜索，最后再在聚类内进行精确搜索。
但是不确定 Augment 是自己手写了一个 ANN 的聚合层，还是直接使用了类似 pg_vector 的 IVF 等功能。
2. 对 ANN 方案的优化，对 embeddings index 做 SNAPSHOT。只有搜索的 chunk 在 SNAPSHOT 中时才触发 ANN 加速，否则走传统的线性扫描。
这样就可以适应无时不刻都在动态更新的代码库。
📒 关于 query 的准确率和召回率：
1. embeddings vectors 擅长 semantic search，但对精确匹配不友好。结合 BM25 来提高精确匹配的能力。
2. 在 embeddings 以前，先为 chunk 添加上下文信息
有一个优化技巧是，先利用 prompt cache 缓存全文，然后再使用这个 cache 为每一个 chunk 生成上下文。
3. 玄学参数，每次 RAG 提供 20 个 context chunks 的效果最好。Anthropic 的做法是，用混合搜索检索出 400 个 chunks，然后使用 cohere rerank 选出 top20。
4. rerank 会带来额外的延迟，所以 chunks 数量和延迟是一个 trade-off。
👇 next
- 来自 Augment 的 《How we made code search 40% faster for 100M+ line codebases using quantized vector search》
- 来自 Anthropic 的 《Contextual Retrieval in AI Systems》
📒 关于 query 的性能：
1. 利用 ANN 大幅减少 embeddings vectors 数量，提高检索速度。
我理解类似于对向量进行聚类，然后只对聚类中心进行搜索，最后再在聚类内进行精确搜索。
但是不确定 Augment 是自己手写了一个 ANN 的聚合层，还是直接使用了类似 pg_vector 的 IVF 等功能。
2. 对 ANN 方案的优化，对 embeddings index 做 SNAPSHOT。只有搜索的 chunk 在 SNAPSHOT 中时才触发 ANN 加速，否则走传统的线性扫描。
这样就可以适应无时不刻都在动态更新的代码库。
📒 关于 query 的准确率和召回率：
1. embeddings vectors 擅长 semantic search，但对精确匹配不友好。结合 BM25 来提高精确匹配的能力。
2. 在 embeddings 以前，先为 chunk 添加上下文信息
有一个优化技巧是，先利用 prompt cache 缓存全文，然后再使用这个 cache 为每一个 chunk 生成上下文。
3. 玄学参数，每次 RAG 提供 20 个 context chunks 的效果最好。Anthropic 的做法是，用混合搜索检索出 400 个 chunks，然后使用 cohere rerank 选出 top20。
4. rerank 会带来额外的延迟，所以 chunks 数量和延迟是一个 trade-off。
👇 next
