วันพฤหัสบดีที่ 12 พฤศจิกายน 2026 Microsoft 365 ล่มเป็นวงกว้าง ที่หนักสุดคือเข้า Mailbox บน Exchange Online ไม่ได้
ผมหาข่าวอ่านแล้วไปเจอ Podcast Geek Monday EP349 ของ ด.ดล Blog ที่เล่าเรื่องนี้พอดี เลยอยากมาเขียนต่อยอดในมุมมองของตัวเอง
บทความนี้เริ่มจากสิ่งที่เกิดขึ้น และต้นเหตุที่ Microsoft เปิดเผย แล้วดูว่า Health Check กับ Load Balancer ทำให้ปัญหาลามได้ยังไง ปิดท้ายด้วยสิ่งที่เอาไปใช้กับระบบเราได้บ้าง
ข้อมูลต้นเหตุมาจาก Preliminary Post Incident Report (PIR), 15 พฤศจิกายน 2026 ซึ่งเป็นสำเนาเอกสารจาก Admin Center ที่เปิดอ่านได้โดยไม่ต้อง Login ไม่ใช่หน้าของ Microsoft เอง
ฉบับใน Microsoft 365 Admin Center เปิดได้เฉพาะบัญชี Admin ขององค์กร
เกิดอะไรขึ้น
Incident นี้มี 2 รหัส คือ EX1550543 ของ Exchange Online และ MO1550821 ของบริการอื่นใน Microsoft 365 ที่พึ่ง Exchange Online
เวลาทั้งหมดในบทความนี้เป็น UTC เวลาเริ่มที่ Microsoft เขียนไว้ไม่ตรงกันทุกจุด ด้านล่างคือเวลาที่แต่ละหลักฐานเขียนจริง
- 16:03 UTC, 12 พฤศจิกายน Monitor เริ่มเห็นปัญหา Connectivity ตาม Timeline ใน Preliminary PIR
- 16:17 UTC, 12 พฤศจิกายน ค่า Official Start ในบันทึก Service Health ช่วงแรก และข้อความอัปเดตแรกอยู่ที่ 16:20 UTC ตาม StatusStack
- 16:20 UTC, 12 พฤศจิกายน Incident Start ตามหัวของ PIR ฉบับเดียวกัน
- 16:10 UTC, 13 พฤศจิกายน Incident End ตรงกันทั้งหัว PIR และบันทึกสุดท้ายของ EX1550543
จาก 16:20 ถึง 16:10 ของวันถัดไปคือ 23 ชั่วโมง 50 นาที หลัง 16:10 Microsoft ยืนยันว่าผู้ใช้ไม่ได้รับผลกระทบจาก Incident แล้ว แต่ยังเฝ้าจดหมายที่ค้างอยู่ในคิวต่อ
Microsoft ยืนยันว่าเป็นปัญหาทางเทคนิค ไม่เกี่ยวกับ Cyber Attack หรือ AI Agent
ฝั่งผู้ใช้คือเข้า Mailbox ไม่ได้ ทั้ง Outlook on the web, Outlook บน Desktop (เช่น MAPI), มือถือ (เช่น Exchange ActiveSync) และ REST API รวมถึง Email ส่งล่าช้า และ Feature อื่นใน Microsoft 365 ที่ต้องใช้ Exchange Online
Teams, OneDrive, SharePoint และ Office Apps ย้าย Traffic ออกจาก Networking Gateway ที่มีปัญหาได้ แต่ Exchange Online ย้ายออกไม่ได้ Microsoft ให้เหตุผลว่าติดเรื่อง Scale
ต้นเหตุจาก Preliminary PIR
Microsoft สรุปว่ามี 3 ปัจจัยมารวมกัน คือ Bug ที่แฝงอยู่ Load ที่พุ่งขึ้น และ Capacity ที่หายไปเกือบ 14% ผมขอแบ่งเป็น 2 ส่วนให้อ่านง่าย คือ Bug ที่แฝงอยู่ กับ 2 เหตุการณ์ที่ไปจุดมัน
Bug ที่แฝงมาตั้งแต่กรกฎาคม 2026 — อยู่ใน Fix ของ Networking Gateway Server ของ Microsoft 365 ทำให้เกิด Lock Contention ใน Process ภายในของ Windows ตัวหนึ่ง จน CPU กับ Memory หมดเมื่อเจอ Load บางรูปแบบ
Fix นี้ผ่าน Safe Deployment และใช้งานทั่วโลกมากว่า 3 เดือนโดยไม่มีปัญหา Microsoft ระบุด้วยว่า Bug และ Fix นี้ไม่เกี่ยวกับ Windows ที่ใช้งานทั่วไป
Load Test จับไม่ได้ เพราะ Test Lab ใช้ Traffic กับ Hardware คนละแบบกับ Production อาการนี้รุนแรงขึ้นบนเครื่องที่มี Core มากและ Hardware รุ่นใหม่ แต่การทดสอบเน้นเครื่อง Spec ต่ำกว่าที่มี Core น้อยกว่า
ตัวจุดชนวน — มี 2 เรื่องมาเจอกัน
- Load เพิ่มและรูปแบบ Traffic เปลี่ยน — เกิดประมาณ 15 ชั่วโมงก่อนล่ม (01:07 UTC วันที่ 12 พฤศจิกายน) ตอนที่ Teams Failover จาก Networking Gateway อีกชุดมาที่ Primary Gateway ซึ่งรองรับ Exchange Online อยู่ด้วย Microsoft บอกว่า Failover นี้เป็นการทำงานปกติ
- Capacity หายไปเกือบ 14% — เกิดในช่วงเวลาเดียวกันจากปัญหาอื่นของวันก่อนหน้า Microsoft บอกว่า Capacity ที่เหลือยังพอ ถ้าเกิดเรื่องนี้ลำพังจะไม่มีผลกระทบ
พอ 2 เรื่องนี้มารวมกันในช่วง Peak ของสหรัฐฯ Gateway ก็ไปเจอ Bug ที่แฝงอยู่
Bug อย่างเดียวยังไม่อธิบายว่าทำไมปัญหาลามเร็ว ส่วนนั้นเกี่ยวกับ Health Check กับ Load Balancer
Health Check กับ Load Balancer
ระบบที่มี Server หลายเครื่อง Load Balancer ไม่ได้แค่แบ่ง Traffic มันต้องรู้ด้วยว่าเครื่องไหนยังรับงานได้ วิธีรู้คือ Health Check ซึ่งเป็น Request สั้น ๆ ที่ส่งไปถามเป็นระยะ เช่น GET /health
เครื่องไหนตอบทันและผ่านเกณฑ์ก็อยู่ใน Pool ต่อ เครื่องไหนไม่ผ่านก็ถูกถอดออก Request ของผู้ใช้จะได้ไม่ถูกส่งไปเครื่องที่พัง
วิธีนี้ใช้ได้ดีตอนเครื่องพังทีละเครื่อง เช่น Disk เต็ม หรือ Process ค้าง
พอถอดเครื่องที่มีปัญหาออก เครื่องที่เหลือรับงานต่อ ส่วนเครื่องที่ถูกถอดก็ไม่ต้องรับ Load เพิ่ม มันอาจฟื้นกลับมาทำงานต่อได้เอง หรือถ้าไม่ฟื้น เครื่องนั้นก็จะถูกปิดแล้วให้ Autoscaler ขึ้นเครื่องใหม่แทน
ทั้งภาพนี้ใช้ได้เมื่อเครื่องที่พังมีแค่เครื่องเดียว และเครื่องที่เหลือยังรับ Load ที่ย้ายมาไหว Microsoft รอบนี้ไม่ใช่แบบนั้น
Correlated Failure
Fix ที่มี Bug ถูกใช้งานทั่วโลก เครื่องที่ถูกถอดจึงไม่ได้พังเครื่องเดียว เครื่องที่เหลือก็พังแบบเดียวกันได้เมื่อเจอ Load แบบเดียวกัน
อาการนี้เรียกว่า Correlated Failure
Redundancy ช่วยได้เมื่อเครื่องพังแยกกัน หรือ Data Center พังแยกกัน แต่ถ้าทุกเครื่องใช้ Code กับ Config ชุดเดียวกัน และเจอ Traffic แบบเดียวกัน ก็พังพร้อมกันได้
Preliminary PIR ระบุว่า Bulkhead ระหว่าง Capacity Unit ที่ปกติกั้นปัญหาไว้ในวงแคบ รอบนี้กั้นไม่อยู่ เพราะมีปัญหาอีกเรื่องต่างหากที่ฉบับเบื้องต้นยังไม่ได้อธิบาย ปัญหาจึงลามเป็นวงกว้าง
การแยก Cluster แยก Availability Zone หรือมี DR Site จึงยังไม่พอ ถ้าสิ่งที่พังคือ Code, Config, Feature Flag หรือเกณฑ์ Health Check ที่ทุกฝั่งใช้ร่วมกัน
Cascading Failure
เครื่องที่เหลือก็รับ Load ที่ย้ายมาไม่ไหว
ลองนึกภาพ Server 3 เครื่อง
- ตอนแรก A, B และ C แบ่ง Load กันเครื่องละ 33%
- เครื่อง A ไม่ผ่าน Health Check แล้วถูกถอดออก B กับ C ต้องรับเครื่องละ 50%
- พอ B รับไม่ไหวแล้วถูกถอดอีก C ต้องรับ 100%
- สุดท้าย C ก็ไม่รอด
เรื่องที่เกิดกับ Microsoft ก็เป็นแบบนี้ ตอนเกิดเหตุ Microsoft แจ้งว่า Load ที่สูงขึ้น ไม่ได้มาจาก Traffic รวมที่เพิ่มขึ้น แต่มาจาก Server จำนวนมากไม่พร้อมใช้งาน
พอเครื่องมีปัญหาแล้วไม่ผ่าน Automated Health Check ก็ถูกถอดออกจาก Pool ส่วน Traffic Management ก็ส่งผู้ใช้ไป Endpoint ที่เหลือ ซึ่งเจอปัญหาเดิมแล้วล้มตามกันไป
ใน Preliminary PIR ระบุว่าไม่ถึง 2 ชั่วโมง ปัญหาก็ลามไปทั่วทั้ง Fleet และช่วงที่หนักสุด Server เกิน 80% ไม่ตอบสนอง
Health Check ไม่ได้สร้าง Bug แต่เป็นตัวเร่ง ยิ่งถอดเครื่องออก เครื่องที่เหลือยิ่งแบก Load หนักขึ้น แล้วก็ Fail ตามกันไป
ระหว่างแก้ปัญหา Microsoft จึงลอง Bypass Component ที่ทำให้ Server ไม่ผ่าน Health Check ก่อน แล้วเปลี่ยนไปใช้ Health Check อีกวิธี พอเครื่องกลุ่มนั้นกลับมารับงานได้ก็ขยายไปกลุ่มอื่นต่อ แต่พอถึง 22:00 UTC Microsoft ยืนยันว่าสิ่งที่ทำมาทั้งหมดยังกู้บริการไม่ได้ ต้องขยายการสืบสวนต่อ
Thundering Herd
ถอดเครื่องออกเป็นแค่ครึ่งแรก ตอนกู้ก็มีปัญหาอีกแบบ เครื่องที่เพิ่งกลับเข้า Pool เจอ Traffic ที่รออยู่พุ่งเข้ามาพร้อมกัน
Microsoft แจ้งระหว่างเหตุการณ์ว่า Server ที่กู้แล้ว กลับไม่ตอบอีกทันทีที่เริ่มรับ Traffic และ PIR ก็ระบุว่าเครื่องถูก Traffic ที่รออยู่ถาโถมใส่ อาการแบบนี้ในวงการเรียกว่า Thundering Herd
ตาม Timeline ใน PIR ตอน 00:30 UTC ของวันที่ 13 พฤศจิกายน Microsoft ระบุว่าจุดหลักของปัญหาคือขั้นตอน Connection Negotiation และตอน 01:00 UTC พบว่า Process ที่สร้าง Connection ล้นจน Server หยุดประมวลผล Request
ระหว่างหาต้นเหตุ Microsoft พยายามลด Load ที่เข้าเครื่องที่มีปัญหา เช่น จำกัดประเภท Traffic ที่เข้าได้ในบาง Location เพื่อดูว่า Request แบบไหนเป็นตัวปัญหา แต่วิธีพวกนี้กู้ได้แค่บางส่วน และยังไม่ยั่งยืน
อีกเหตุผลที่กู้ช้าคือ Bug นี้เก่าหลายเดือน Rollback, Flighting กับ Feature Flag ตามปกติเลยย้อนกลับอย่างเร็วไม่ได้ Engineer ต้องทำ Update เพื่อย้อน Code Path กลับไปสถานะเดิมที่รู้ว่าใช้ได้
จากนั้นทยอยทำทีละกลุ่ม แต่ละกลุ่มใหญ่มาก เช่น ครั้งละ 50% ขึ้นไปของ Region คือ Drain Traffic ออก ลง Update, Restart แล้วค่อยนำกลับมารับงาน
ระหว่างทยอยกู้ Microsoft ขยาย Timeout ของ Email เป็น 48 ชั่วโมงเพื่อไม่ให้ Email ที่ค้างอยู่ในคิวตีกลับ
ในระบบของเรา ฝั่ง Client ก็มีส่วน ถ้าทุกตัว Retry ทันทีพร้อมกันก็จะสร้างคลื่นแบบเดียวกัน วิธีแก้อยู่ในหัวข้อ Retry ด้านล่าง
บทเรียนที่เอาไปใช้ได้
เรื่องพวกนี้ไม่ได้เกิดเฉพาะกับระบบขนาด Microsoft ระบบบน Kubernetes ของเราก็เจอเหตุการณ์ทำนองนี้ได้เหมือนกัน (ผมเคยเจอมาแล้ว)
แยก Liveness, Readiness และ Startup Probe
ที่พลาดง่ายคือใช้ Health Check Endpoint เดียวกับทุก Probe ทั้งที่แต่ละ Probe มีผลต่างกัน
Startup Probe ให้เวลา Application ที่ Start ช้า (เช่น Spring Boot) ระหว่างที่ยังไม่ผ่าน Kubernetes จะยังไม่รัน Liveness กับ Readiness Probe
Liveness Probe ตอบว่าเครื่องยังมีชีวิตอยู่ไหม ถ้าไม่ผ่าน kubelet จะ Restart Container
Readiness Probe ตอบว่าพร้อมรับ Traffic หรือยัง Check Dependency ได้ ถ้าไม่ผ่าน Pod ยังอยู่ แต่ Service จะไม่ส่ง Traffic มา
# spec.template.spec.containers ของ Deployment
containers:
- name: payments-api
ports:
- containerPort: 3000
startupProbe:
httpGet:
path: /health/live
port: 3000
initialDelaySeconds: 210
timeoutSeconds: 5
periodSeconds: 5
livenessProbe:
httpGet:
path: /health/live
port: 3000
timeoutSeconds: 5
periodSeconds: 5
readinessProbe:
httpGet:
path: /health/ready
port: 3000
timeoutSeconds: 5
periodSeconds: 5
ค่าด้านบนรอ 210 วินาทีก่อนเริ่ม Check Startup แล้ว Check ทุก 5 วินาที ไม่ได้ใส่ failureThreshold จึงใช้ค่า Default คือ 3 ครั้ง รวมมีเวลา Start 225 วินาที (210 + 3 × 5)
ถ้าเอา /health/ready ไปใช้เป็น Liveness พอ Dependency ตัวไหนมีปัญหา ทุก Pod จะ Fail พร้อมกันแล้วถูก Restart พร้อมกัน
กลับกัน ถ้า Readiness Check แค่ว่า Process ขึ้นแล้ว โดยไม่ดูว่า Config พร้อมหรือยัง เช่น ต่อ Database ไม่ได้ Pod จะได้ Traffic ทั้งที่ยังไม่พร้อมทำงาน รับงานไปแล้วก็ยังทำงานไม่ได้
แยก Shallow กับ Deep Check ใน NestJS
@nestjs/terminus แยก Endpoint ตามหน้าที่ของ Probe ได้
import { Controller, Get } from '@nestjs/common';
import { HealthCheck, HealthCheckService, TypeOrmHealthIndicator } from '@nestjs/terminus';
@Controller('health')
export class HealthController {
constructor(
private readonly health: HealthCheckService,
private readonly db: TypeOrmHealthIndicator,
) {}
// Shallow: Process ยังตอบได้ ใช้กับ Liveness และ Startup
@Get('live')
@HealthCheck()
live() {
return this.health.check([]);
}
// Deep: พร้อมรับงาน ใช้กับ Readiness เท่านั้น
@Get('ready')
@HealthCheck()
ready() {
return this.health.check([() => this.db.pingCheck('database')]);
}
}
Controller นี้ต้อง Import TerminusModule และ TypeOrmModule ใน Module ด้วย
live() ไม่ Check อะไรเลยนอกจากว่า Process ยังตอบ HTTP ได้ ซึ่งพอแล้วสำหรับ Liveness ถ้าใส่ Memory Heap หรือ Disk เข้าไปด้วย เครื่องที่ Load สูงจะถูก Kill ตอนที่ต้องการเครื่องมากที่สุด
ready() Check Database ได้ เพราะผลของมันคือ “อย่าเพิ่งส่งงานมาเครื่องนี้”
Retry ต้องมี Exponential Backoff และ Jitter
ถ้า Client ทุกตัว Retry ทันทีพร้อมกัน ก็คือสร้าง Thundering Herd เอง Exponential Backoff ทำให้ระยะห่างของแต่ละครั้งยาวขึ้น แต่ถ้าทุก Client ใช้สูตรเดียวกัน ก็มีโอกาสถล่มเข้ามาพร้อมกันอยู่ดี จึงต้องมี Jitter คือการสุ่มเวลารอ ให้แต่ละ Client กลับมาไม่พร้อมกัน ตัวอย่างด้านล่างใช้ Full Jitter
const sleep = (ms: number) => new Promise((resolve) => setTimeout(resolve, ms));
const fetchOrders = async () => {
const maxRetries = 3;
for (let attempt = 0; attempt < maxRetries; attempt++) {
const res = await fetch('https://api.example.com/orders');
const isRetryable = res.status === 429 || res.status === 503;
if (!isRetryable) {
return res;
}
// Full Jitter: สุ่มในช่วง 0 ถึง min(5 วินาที, 2 วินาที × 2^attempt)
const cap = Math.min(5000, 2000 * Math.pow(2, attempt));
const delay = Math.random() * cap;
await sleep(delay);
}
// ยิง Retry รอบสุดท้าย และให้ TypeScript รู้ว่าฟังก์ชันนี้คืน Response เสมอ (ไม่เป็น undefined)
return await fetch('https://api.example.com/orders');
};
ตัวอย่างนี้ Retry สูงสุด 3 ครั้ง สุ่มรอไม่เกิน 2, 4 และ 5 วินาที โดย Check เฉพาะ 429 กับ 503 เพื่อไม่ยิงซ้ำกับ Error ที่ลองใหม่ก็ยังพังเหมือนเดิม เช่น 400 หรือ 404
429 Too Many Requests— ยิง Request ถี่เกินลิมิต (Rate Limit) รอแล้วลองใหม่มีโอกาสผ่าน503 Service Unavailable— Server กำลังยุ่งหรือยังไม่พร้อมรับงานชั่วคราว รอแล้วลองใหม่ได้400 Bad Request— Request ที่ส่งไปผิดรูปแบบ ลองใหม่ยังไงก็ผิดเหมือนเดิม404 Not Found— ไม่พบ Endpoint หรือข้อมูลที่เรียก ยิงซ้ำก็ยังหาไม่เจอ
อย่า Retry Request ที่ทำซ้ำแล้วไม่ปลอดภัย เช่น ตัดเงินที่ยังไม่รู้ว่าสำเร็จหรือยัง
สรุป
- Health Check ยังจำเป็น ถ้าไม่มี Load Balancer จะส่งผู้ใช้ไปเครื่องที่พังโดยไม่รู้ตัว แต่เกณฑ์ที่ใช้ถอดเครื่องต้องไม่ถอดจนเครื่องที่เหลือรับงานไม่ไหว
- แยกการ Check ว่า Process ยังอยู่ (Liveness) ออกจากการ Check ว่าพร้อมรับงาน (Readiness)
- Retry ต้องมี Jitter ไม่งั้น Client จะกลับมาพร้อมกันที่เครื่องที่เพิ่งฟื้น
ต้นเหตุฉบับสมบูรณ์ต้องรอ Final PIR แต่บทเรียนเรื่อง Health Check เอาไปใช้ได้เลย
เจอกันใหม่บทความหน้าครับ
Credits
- EX1550543 และ MO1550821 — ข้อความที่ Microsoft แจ้งระหว่าง Incident
- StatusStack — Microsoft 365 and Exchange Online outage, November 12, 2026 — Timeline จาก Service Health และสรุป Preliminary PIR
- Preliminary PIR ฉบับใน Admin Center (สำเนาที่เปิดอ่านได้) — Incident Start 16:20 UTC 12 พฤศจิกายน, Incident End 16:10 UTC 13 พฤศจิกายน, Monitor 16:03 UTC
- Geek Monday EP349 — ด.ดล Blog
- Liveness, Readiness, and Startup Probes
- Healthchecks (Terminus)
- Exponential Backoff and Jitter