Skip to main content

> Jitrak Blog

>_When Health Checks Amplify Damage: Lessons from the Microsoft 365 Outage

#Microsoft 365 ล่มเมื่อ 12–13 พฤศจิกายน 2026 Health Check เป็นตัวขยายความเสียหาย — สรุปจาก Preliminary PIR และบทเรียนสำหรับ Kubernetes Probe และ Retry แบบมี Jitter

@Yosapol Jitrak|21 Nov 2026 06:00…

วันพฤหัสบดีที่ 12 พฤศจิกายน 2026 Microsoft 365 ล่มเป็นวงกว้าง ที่หนักสุดคือเข้า Mailbox บน Exchange Online ไม่ได้

ผมหาข่าวอ่านแล้วไปเจอ Podcast Geek Monday EP349 ของ ด.ดล Blog ที่เล่าเรื่องนี้พอดี เลยอยากมาเขียนต่อยอดในมุมมองของตัวเอง

บทความนี้เริ่มจากสิ่งที่เกิดขึ้น และต้นเหตุที่ Microsoft เปิดเผย แล้วดูว่า Health Check กับ Load Balancer ทำให้ปัญหาลามได้ยังไง ปิดท้ายด้วยสิ่งที่เอาไปใช้กับระบบเราได้บ้าง

ข้อมูลต้นเหตุมาจาก Preliminary Post Incident Report (PIR), 15 พฤศจิกายน 2026 ซึ่งเป็นสำเนาเอกสารจาก Admin Center ที่เปิดอ่านได้โดยไม่ต้อง Login ไม่ใช่หน้าของ Microsoft เอง

ฉบับใน Microsoft 365 Admin Center เปิดได้เฉพาะบัญชี Admin ขององค์กร

เกิดอะไรขึ้น

Incident นี้มี 2 รหัส คือ EX1550543 ของ Exchange Online และ MO1550821 ของบริการอื่นใน Microsoft 365 ที่พึ่ง Exchange Online

เวลาทั้งหมดในบทความนี้เป็น UTC เวลาเริ่มที่ Microsoft เขียนไว้ไม่ตรงกันทุกจุด ด้านล่างคือเวลาที่แต่ละหลักฐานเขียนจริง

  • 16:03 UTC, 12 พฤศจิกายน Monitor เริ่มเห็นปัญหา Connectivity ตาม Timeline ใน Preliminary PIR
  • 16:17 UTC, 12 พฤศจิกายน ค่า Official Start ในบันทึก Service Health ช่วงแรก และข้อความอัปเดตแรกอยู่ที่ 16:20 UTC ตาม StatusStack
  • 16:20 UTC, 12 พฤศจิกายน Incident Start ตามหัวของ PIR ฉบับเดียวกัน
  • 16:10 UTC, 13 พฤศจิกายน Incident End ตรงกันทั้งหัว PIR และบันทึกสุดท้ายของ EX1550543

จาก 16:20 ถึง 16:10 ของวันถัดไปคือ 23 ชั่วโมง 50 นาที หลัง 16:10 Microsoft ยืนยันว่าผู้ใช้ไม่ได้รับผลกระทบจาก Incident แล้ว แต่ยังเฝ้าจดหมายที่ค้างอยู่ในคิวต่อ

Microsoft ยืนยันว่าเป็นปัญหาทางเทคนิค ไม่เกี่ยวกับ Cyber Attack หรือ AI Agent

ฝั่งผู้ใช้คือเข้า Mailbox ไม่ได้ ทั้ง Outlook on the web, Outlook บน Desktop (เช่น MAPI), มือถือ (เช่น Exchange ActiveSync) และ REST API รวมถึง Email ส่งล่าช้า และ Feature อื่นใน Microsoft 365 ที่ต้องใช้ Exchange Online

Teams, OneDrive, SharePoint และ Office Apps ย้าย Traffic ออกจาก Networking Gateway ที่มีปัญหาได้ แต่ Exchange Online ย้ายออกไม่ได้ Microsoft ให้เหตุผลว่าติดเรื่อง Scale

ต้นเหตุจาก Preliminary PIR

Microsoft สรุปว่ามี 3 ปัจจัยมารวมกัน คือ Bug ที่แฝงอยู่ Load ที่พุ่งขึ้น และ Capacity ที่หายไปเกือบ 14% ผมขอแบ่งเป็น 2 ส่วนให้อ่านง่าย คือ Bug ที่แฝงอยู่ กับ 2 เหตุการณ์ที่ไปจุดมัน

Bug ที่แฝงมาตั้งแต่กรกฎาคม 2026 — อยู่ใน Fix ของ Networking Gateway Server ของ Microsoft 365 ทำให้เกิด Lock Contention ใน Process ภายในของ Windows ตัวหนึ่ง จน CPU กับ Memory หมดเมื่อเจอ Load บางรูปแบบ

Fix นี้ผ่าน Safe Deployment และใช้งานทั่วโลกมากว่า 3 เดือนโดยไม่มีปัญหา Microsoft ระบุด้วยว่า Bug และ Fix นี้ไม่เกี่ยวกับ Windows ที่ใช้งานทั่วไป

Load Test จับไม่ได้ เพราะ Test Lab ใช้ Traffic กับ Hardware คนละแบบกับ Production อาการนี้รุนแรงขึ้นบนเครื่องที่มี Core มากและ Hardware รุ่นใหม่ แต่การทดสอบเน้นเครื่อง Spec ต่ำกว่าที่มี Core น้อยกว่า

ตัวจุดชนวน — มี 2 เรื่องมาเจอกัน

  1. Load เพิ่มและรูปแบบ Traffic เปลี่ยน — เกิดประมาณ 15 ชั่วโมงก่อนล่ม (01:07 UTC วันที่ 12 พฤศจิกายน) ตอนที่ Teams Failover จาก Networking Gateway อีกชุดมาที่ Primary Gateway ซึ่งรองรับ Exchange Online อยู่ด้วย Microsoft บอกว่า Failover นี้เป็นการทำงานปกติ
  2. Capacity หายไปเกือบ 14% — เกิดในช่วงเวลาเดียวกันจากปัญหาอื่นของวันก่อนหน้า Microsoft บอกว่า Capacity ที่เหลือยังพอ ถ้าเกิดเรื่องนี้ลำพังจะไม่มีผลกระทบ

พอ 2 เรื่องนี้มารวมกันในช่วง Peak ของสหรัฐฯ Gateway ก็ไปเจอ Bug ที่แฝงอยู่

Bug อย่างเดียวยังไม่อธิบายว่าทำไมปัญหาลามเร็ว ส่วนนั้นเกี่ยวกับ Health Check กับ Load Balancer

Health Check กับ Load Balancer

ระบบที่มี Server หลายเครื่อง Load Balancer ไม่ได้แค่แบ่ง Traffic มันต้องรู้ด้วยว่าเครื่องไหนยังรับงานได้ วิธีรู้คือ Health Check ซึ่งเป็น Request สั้น ๆ ที่ส่งไปถามเป็นระยะ เช่น GET /health

เครื่องไหนตอบทันและผ่านเกณฑ์ก็อยู่ใน Pool ต่อ เครื่องไหนไม่ผ่านก็ถูกถอดออก Request ของผู้ใช้จะได้ไม่ถูกส่งไปเครื่องที่พัง

Load BalancerGET /healthServer Ain pool/health: 200 OKServer Bin pool/health: 200 OKServer Cin poolServer CslowServer Cnot respondingServer Cejected/health: 200 OK/health: timeout

วิธีนี้ใช้ได้ดีตอนเครื่องพังทีละเครื่อง เช่น Disk เต็ม หรือ Process ค้าง

พอถอดเครื่องที่มีปัญหาออก เครื่องที่เหลือรับงานต่อ ส่วนเครื่องที่ถูกถอดก็ไม่ต้องรับ Load เพิ่ม มันอาจฟื้นกลับมาทำงานต่อได้เอง หรือถ้าไม่ฟื้น เครื่องนั้นก็จะถูกปิดแล้วให้ Autoscaler ขึ้นเครื่องใหม่แทน

ทั้งภาพนี้ใช้ได้เมื่อเครื่องที่พังมีแค่เครื่องเดียว และเครื่องที่เหลือยังรับ Load ที่ย้ายมาไหว Microsoft รอบนี้ไม่ใช่แบบนั้น

Correlated Failure

Fix ที่มี Bug ถูกใช้งานทั่วโลก เครื่องที่ถูกถอดจึงไม่ได้พังเครื่องเดียว เครื่องที่เหลือก็พังแบบเดียวกันได้เมื่อเจอ Load แบบเดียวกัน

อาการนี้เรียกว่า Correlated Failure

Redundancy ช่วยได้เมื่อเครื่องพังแยกกัน หรือ Data Center พังแยกกัน แต่ถ้าทุกเครื่องใช้ Code กับ Config ชุดเดียวกัน และเจอ Traffic แบบเดียวกัน ก็พังพร้อมกันได้

Preliminary PIR ระบุว่า Bulkhead ระหว่าง Capacity Unit ที่ปกติกั้นปัญหาไว้ในวงแคบ รอบนี้กั้นไม่อยู่ เพราะมีปัญหาอีกเรื่องต่างหากที่ฉบับเบื้องต้นยังไม่ได้อธิบาย ปัญหาจึงลามเป็นวงกว้าง

การแยก Cluster แยก Availability Zone หรือมี DR Site จึงยังไม่พอ ถ้าสิ่งที่พังคือ Code, Config, Feature Flag หรือเกณฑ์ Health Check ที่ทุกฝั่งใช้ร่วมกัน

Cascading Failure

เครื่องที่เหลือก็รับ Load ที่ย้ายมาไม่ไหว

ลองนึกภาพ Server 3 เครื่อง

  1. ตอนแรก A, B และ C แบ่ง Load กันเครื่องละ 33%
  2. เครื่อง A ไม่ผ่าน Health Check แล้วถูกถอดออก B กับ C ต้องรับเครื่องละ 50%
  3. พอ B รับไม่ไหวแล้วถูกถอดอีก C ต้องรับ 100%
  4. สุดท้าย C ก็ไม่รอด
Load BalancerGET /healthLoad Balancerno healthy serversServer Aload 33%Server AslowServer Aejected/health: 200 OK/health: timeoutServer Bload 33%Server Bload 50%Server BoverloadedServer Bejected/health: 200 OK/health: timeoutServer Cload 33%Server Cload 50%Server Cload 100%Server CoverloadedServer Cejected/health: 200 OK/health: timeout

เรื่องที่เกิดกับ Microsoft ก็เป็นแบบนี้ ตอนเกิดเหตุ Microsoft แจ้งว่า Load ที่สูงขึ้น ไม่ได้มาจาก Traffic รวมที่เพิ่มขึ้น แต่มาจาก Server จำนวนมากไม่พร้อมใช้งาน

พอเครื่องมีปัญหาแล้วไม่ผ่าน Automated Health Check ก็ถูกถอดออกจาก Pool ส่วน Traffic Management ก็ส่งผู้ใช้ไป Endpoint ที่เหลือ ซึ่งเจอปัญหาเดิมแล้วล้มตามกันไป

ใน Preliminary PIR ระบุว่าไม่ถึง 2 ชั่วโมง ปัญหาก็ลามไปทั่วทั้ง Fleet และช่วงที่หนักสุด Server เกิน 80% ไม่ตอบสนอง

Health Check ไม่ได้สร้าง Bug แต่เป็นตัวเร่ง ยิ่งถอดเครื่องออก เครื่องที่เหลือยิ่งแบก Load หนักขึ้น แล้วก็ Fail ตามกันไป

ระหว่างแก้ปัญหา Microsoft จึงลอง Bypass Component ที่ทำให้ Server ไม่ผ่าน Health Check ก่อน แล้วเปลี่ยนไปใช้ Health Check อีกวิธี พอเครื่องกลุ่มนั้นกลับมารับงานได้ก็ขยายไปกลุ่มอื่นต่อ แต่พอถึง 22:00 UTC Microsoft ยืนยันว่าสิ่งที่ทำมาทั้งหมดยังกู้บริการไม่ได้ ต้องขยายการสืบสวนต่อ

Thundering Herd

ถอดเครื่องออกเป็นแค่ครึ่งแรก ตอนกู้ก็มีปัญหาอีกแบบ เครื่องที่เพิ่งกลับเข้า Pool เจอ Traffic ที่รออยู่พุ่งเข้ามาพร้อมกัน

Microsoft แจ้งระหว่างเหตุการณ์ว่า Server ที่กู้แล้ว กลับไม่ตอบอีกทันทีที่เริ่มรับ Traffic และ PIR ก็ระบุว่าเครื่องถูก Traffic ที่รออยู่ถาโถมใส่ อาการแบบนี้ในวงการเรียกว่า Thundering Herd

ตาม Timeline ใน PIR ตอน 00:30 UTC ของวันที่ 13 พฤศจิกายน Microsoft ระบุว่าจุดหลักของปัญหาคือขั้นตอน Connection Negotiation และตอน 01:00 UTC พบว่า Process ที่สร้าง Connection ล้นจน Server หยุดประมวลผล Request

ระหว่างหาต้นเหตุ Microsoft พยายามลด Load ที่เข้าเครื่องที่มีปัญหา เช่น จำกัดประเภท Traffic ที่เข้าได้ในบาง Location เพื่อดูว่า Request แบบไหนเป็นตัวปัญหา แต่วิธีพวกนี้กู้ได้แค่บางส่วน และยังไม่ยั่งยืน

อีกเหตุผลที่กู้ช้าคือ Bug นี้เก่าหลายเดือน Rollback, Flighting กับ Feature Flag ตามปกติเลยย้อนกลับอย่างเร็วไม่ได้ Engineer ต้องทำ Update เพื่อย้อน Code Path กลับไปสถานะเดิมที่รู้ว่าใช้ได้

จากนั้นทยอยทำทีละกลุ่ม แต่ละกลุ่มใหญ่มาก เช่น ครั้งละ 50% ขึ้นไปของ Region คือ Drain Traffic ออก ลง Update, Restart แล้วค่อยนำกลับมารับงาน

ระหว่างทยอยกู้ Microsoft ขยาย Timeout ของ Email เป็น 48 ชั่วโมงเพื่อไม่ให้ Email ที่ค้างอยู่ในคิวตีกลับ

ในระบบของเรา ฝั่ง Client ก็มีส่วน ถ้าทุกตัว Retry ทันทีพร้อมกันก็จะสร้างคลื่นแบบเดียวกัน วิธีแก้อยู่ในหัวข้อ Retry ด้านล่าง

บทเรียนที่เอาไปใช้ได้

เรื่องพวกนี้ไม่ได้เกิดเฉพาะกับระบบขนาด Microsoft ระบบบน Kubernetes ของเราก็เจอเหตุการณ์ทำนองนี้ได้เหมือนกัน (ผมเคยเจอมาแล้ว)

แยก Liveness, Readiness และ Startup Probe

ที่พลาดง่ายคือใช้ Health Check Endpoint เดียวกับทุก Probe ทั้งที่แต่ละ Probe มีผลต่างกัน

Startup Probe ให้เวลา Application ที่ Start ช้า (เช่น Spring Boot) ระหว่างที่ยังไม่ผ่าน Kubernetes จะยังไม่รัน Liveness กับ Readiness Probe

Serviceroutes to ready PodskubeletPod Areadyreadiness: 200 OKPod Breadyreadiness: 200 OKPod CstartingPod CstartedPod Creadystartup: fail 1/3startup: fail 2/3startup: 200 OKreadiness: 200 OK

Liveness Probe ตอบว่าเครื่องยังมีชีวิตอยู่ไหม ถ้าไม่ผ่าน kubelet จะ Restart Container

Serviceroutes to ready PodskubeletPod Arunningliveness: 200 OKPod Brunningliveness: 200 OKPod CrunningPod ChungPod CrestartingPod Crestarts: 1liveness: 200 OKliveness: fail 1/3liveness: fail 2/3liveness: fail 3/3liveness: waiting

Readiness Probe ตอบว่าพร้อมรับ Traffic หรือยัง Check Dependency ได้ ถ้าไม่ผ่าน Pod ยังอยู่ แต่ Service จะไม่ส่ง Traffic มา

Serviceroutes to ready PodskubeletPod Areadyreadiness: 200 OKPod Breadyreadiness: 200 OKPod CreadyPod Cdb unreachablePod Cnot readyreadiness: 200 OKreadiness: fail 1/3readiness: fail 2/3readiness: fail 3/3
# spec.template.spec.containers ของ Deployment
containers:
  - name: payments-api
    ports:
      - containerPort: 3000
    startupProbe:
      httpGet:
        path: /health/live
        port: 3000
      initialDelaySeconds: 210
      timeoutSeconds: 5
      periodSeconds: 5
    livenessProbe:
      httpGet:
        path: /health/live
        port: 3000
      timeoutSeconds: 5
      periodSeconds: 5
    readinessProbe:
      httpGet:
        path: /health/ready
        port: 3000
      timeoutSeconds: 5
      periodSeconds: 5

ค่าด้านบนรอ 210 วินาทีก่อนเริ่ม Check Startup แล้ว Check ทุก 5 วินาที ไม่ได้ใส่ failureThreshold จึงใช้ค่า Default คือ 3 ครั้ง รวมมีเวลา Start 225 วินาที (210 + 3 × 5)

ถ้าเอา /health/ready ไปใช้เป็น Liveness พอ Dependency ตัวไหนมีปัญหา ทุก Pod จะ Fail พร้อมกันแล้วถูก Restart พร้อมกัน

กลับกัน ถ้า Readiness Check แค่ว่า Process ขึ้นแล้ว โดยไม่ดูว่า Config พร้อมหรือยัง เช่น ต่อ Database ไม่ได้ Pod จะได้ Traffic ทั้งที่ยังไม่พร้อมทำงาน รับงานไปแล้วก็ยังทำงานไม่ได้

แยก Shallow กับ Deep Check ใน NestJS

@nestjs/terminus แยก Endpoint ตามหน้าที่ของ Probe ได้

import { Controller, Get } from '@nestjs/common';
import { HealthCheck, HealthCheckService, TypeOrmHealthIndicator } from '@nestjs/terminus';

@Controller('health')
export class HealthController {
  constructor(
    private readonly health: HealthCheckService,
    private readonly db: TypeOrmHealthIndicator,
  ) {}

  // Shallow: Process ยังตอบได้ ใช้กับ Liveness และ Startup
  @Get('live')
  @HealthCheck()
  live() {
    return this.health.check([]);
  }

  // Deep: พร้อมรับงาน ใช้กับ Readiness เท่านั้น
  @Get('ready')
  @HealthCheck()
  ready() {
    return this.health.check([() => this.db.pingCheck('database')]);
  }
}

Controller นี้ต้อง Import TerminusModule และ TypeOrmModule ใน Module ด้วย

live() ไม่ Check อะไรเลยนอกจากว่า Process ยังตอบ HTTP ได้ ซึ่งพอแล้วสำหรับ Liveness ถ้าใส่ Memory Heap หรือ Disk เข้าไปด้วย เครื่องที่ Load สูงจะถูก Kill ตอนที่ต้องการเครื่องมากที่สุด

ready() Check Database ได้ เพราะผลของมันคือ “อย่าเพิ่งส่งงานมาเครื่องนี้”

Retry ต้องมี Exponential Backoff และ Jitter

ถ้า Client ทุกตัว Retry ทันทีพร้อมกัน ก็คือสร้าง Thundering Herd เอง Exponential Backoff ทำให้ระยะห่างของแต่ละครั้งยาวขึ้น แต่ถ้าทุก Client ใช้สูตรเดียวกัน ก็มีโอกาสถล่มเข้ามาพร้อมกันอยู่ดี จึงต้องมี Jitter คือการสุ่มเวลารอ ให้แต่ละ Client กลับมาไม่พร้อมกัน ตัวอย่างด้านล่างใช้ Full Jitter

const sleep = (ms: number) => new Promise((resolve) => setTimeout(resolve, ms));

const fetchOrders = async () => {
  const maxRetries = 3;

  for (let attempt = 0; attempt < maxRetries; attempt++) {
    const res = await fetch('https://api.example.com/orders');
    const isRetryable = res.status === 429 || res.status === 503;

    if (!isRetryable) {
      return res;
    }

    // Full Jitter: สุ่มในช่วง 0 ถึง min(5 วินาที, 2 วินาที × 2^attempt)
    const cap = Math.min(5000, 2000 * Math.pow(2, attempt));
    const delay = Math.random() * cap;
    await sleep(delay);
  }

  // ยิง Retry รอบสุดท้าย และให้ TypeScript รู้ว่าฟังก์ชันนี้คืน Response เสมอ (ไม่เป็น undefined)
  return await fetch('https://api.example.com/orders');
};

ตัวอย่างนี้ Retry สูงสุด 3 ครั้ง สุ่มรอไม่เกิน 2, 4 และ 5 วินาที โดย Check เฉพาะ 429 กับ 503 เพื่อไม่ยิงซ้ำกับ Error ที่ลองใหม่ก็ยังพังเหมือนเดิม เช่น 400 หรือ 404

  • 429 Too Many Requests — ยิง Request ถี่เกินลิมิต (Rate Limit) รอแล้วลองใหม่มีโอกาสผ่าน
  • 503 Service Unavailable — Server กำลังยุ่งหรือยังไม่พร้อมรับงานชั่วคราว รอแล้วลองใหม่ได้
  • 400 Bad Request — Request ที่ส่งไปผิดรูปแบบ ลองใหม่ยังไงก็ผิดเหมือนเดิม
  • 404 Not Found — ไม่พบ Endpoint หรือข้อมูลที่เรียก ยิงซ้ำก็ยังหาไม่เจอ

อย่า Retry Request ที่ทำซ้ำแล้วไม่ปลอดภัย เช่น ตัดเงินที่ยังไม่รู้ว่าสำเร็จหรือยัง

สรุป

  • Health Check ยังจำเป็น ถ้าไม่มี Load Balancer จะส่งผู้ใช้ไปเครื่องที่พังโดยไม่รู้ตัว แต่เกณฑ์ที่ใช้ถอดเครื่องต้องไม่ถอดจนเครื่องที่เหลือรับงานไม่ไหว
  • แยกการ Check ว่า Process ยังอยู่ (Liveness) ออกจากการ Check ว่าพร้อมรับงาน (Readiness)
  • Retry ต้องมี Jitter ไม่งั้น Client จะกลับมาพร้อมกันที่เครื่องที่เพิ่งฟื้น

ต้นเหตุฉบับสมบูรณ์ต้องรอ Final PIR แต่บทเรียนเรื่อง Health Check เอาไปใช้ได้เลย

เจอกันใหม่บทความหน้าครับ

Credits

— EOF —

Post feedback

~/feedback
…

Comments

~/shortcuts

> Keyboard shortcuts

  • Toggle this help?H
  • Back to topT
  • Hold to scroll downJ
  • Hold to scroll upK
  • Forward (newer post or next page)F
  • Back (older post or previous page)B
  • Close helpEsc

Navigation

  • Blog (post list)L
  • AboutA
  • PlayP
  • Tags,