Agent ตรวจสอบหลายโหมดสำหรับการจัดการเหมือง: GPT-4o วิเคราะห์สตรีมวิดีโอ + Claude Opus 4.7 สร้างใบงานซ่อม

จากประสบการณ์ตรงของผู้เขียนที่เคยติดตั้งระบบ AI ในเหมืองแร่ที่ภาคเหนือของไทย เจ้าหน้าที่ปฏิบัติการมักเสียเวลากับการดูภาพ CCTV แบบเรียลไทม์นานกว่า 10 ชั่วโมงต่อกะ และพลาดความผิดปกติของสายพานลำเลียงถึง 18% ก่อนที่ระบบ Agent หลายโหมดจะถูกนำมาใช้ บทความนี้จะแชร์สถาปัตยกรรมที่ผู้เขียนใช้งานจริง โดยอาศัย HolySheep AI เป็นเกตเวย์รวม เพื่อให้ทีม DevOps สามารถเชื่อมต่อ GPT-4o สำหรับการแปลภาพเฟรม และ Claude Opus 4.7 สำหรับการออกใบแจ้งซ่อมได้ภายในเวลาไม่ถึง 2 สัปดาห์

ตารางเปรียบเทียบบริการ: HolySheep vs API อย่างเป็นทางการ vs บริการรีเลย์อื่น

สถาปัตยกรรมที่ผู้เขียนใช้งานจริง

ระบบแบ่งเป็น 3 ชั้นหลัก ได้แก่ (1) Video Ingestion Layer ที่ดึงเฟรมจากกล้อง IP ทุก 4 วินาที (2) Multimodal Reasoning Layer ที่ใช้ GPT-4o ตรวจจับความผิดปกติของสายพาน รถบรรทุก และเจ้าหน้าที่ (3) Work Order Generation Layer ที่ใช้ Claude Opus 4.7 แปลงผลวิเคราะห์เป็นใบงานซ่อมมาตรฐาน ISO ในการเรียก API ทั้งสองโมเดลผู้เขียนใช้ SDK ของ OpenAI เพียงตัวเดียว โดยชี้ base_url ไปยัง https://api.holysheep.ai/v1 เพื่อให้สลับโมเดลได้โดยไม่ต้องเขียน wrapper ใหม่

ขั้นตอนที่ 1: ตั้งค่า Client ผ่าน HolySheep

import os
import base64
import time
from openai import OpenAI

ตั้งค่า client เพียงตัวเดียว ใช้ได้กับทุกโมเดล
client = OpenAI(
    base_url="https://api.holysheep.ai/v1",
    api_key=os.getenv("HOLYSHEEP_API_KEY", "YOUR_HOLYSHEEP_API_KEY")
)

ตรวจสอบว่าเชื่อมต่อสำเร็จและวัดค่าหน่วง
def ping_holysheep():
    start = time.perf_counter()
    resp = client.chat.completions.create(
        model="gpt-4.1",
        messages=[{"role": "user", "content": "ping"}],
        max_tokens=4,
    )
    latency_ms = (time.perf_counter() - start) * 1000
    print(f"[HolySheep] ตอบกลับใน {latency_ms:.1f} ms -> {resp.choices[0].message.content!r}")
    return latency_ms

ขั้นตอนที่ 2: GPT-4o วิเคราะห์เฟรมวิดีโอ

โค้ดด้านล่างรับเฟรม JPEG จากกล้อง CCTV บริเวณสายพานลำเลียง แล้วส่งเข้า GPT-4o พร้อมพรอมต์มาตรฐานที่ผู้เขียนร่วมเขียนกับทีมวิศวกรเหมือง ผลลัพธ์คือ JSON ที่มีโครงสร้างชัดเจน พร้อมระดับความเสี่ยง 0–100

import cv2, base64, json

SYSTEM_PROMPT = """คุณคือผู้เชี่ยวชาญด้านความปลอดภัยเหมืองแร่
วิเคราะห์ภาพและตอบกลับเป็น JSON เท่านั้น โดยมีคีย์:
- anomaly (bool)
- category (belt/vehicle/person/environment)
- severity (0-100)
- description_th (อธิบายภาษาไทย 1 ประโยค)"""

def frame_to_base64(frame_bgr) -> str:
    _, buf = cv2.imencode(".jpg", frame_bgr, [cv2.IMWRITE_JPEG_QUALITY, 80])
    return base64.b64encode(buf.tobytes()).decode()

def analyze_frame(frame_bgr) -> dict:
    b64 = frame_to_base64(frame_bgr)
    resp = client.chat.completions.create(
        model="gpt-4o",
        temperature=0.1,
        response_format={"type": "json_object"},
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": [
                {"type": "text", "text": "วิเคราะห์เฟรมนี้จากสายพานลำเลียง #3"},
                {"type": "image_url", "image_url": {
                    "url": f"data:image/jpeg;base64,{b64}",
                    "detail": "low"
                }},
            ]},
        ],
        max_tokens=400,
    )
    return json.loads(resp.choices[0].message.content)

ตัวอย่างการใช้งานจริง
cap = cv2.VideoCapture("rtsp://camera-mine-03/stream")
while True:
    ok, frame = cap.read()
    if not ok: break
    result = analyze_frame(frame)
    if result["severity"] >= 60:
        push_to_workorder_queue(result)

ขั้นตอนที่ 3: Claude Opus 4.7 สร้างใบงานซ่อม

เมื่อ GPT-4o ระบุความผิดปกติระดับวิกฤต ระบบจะส่งบริบททั้งหมดให้ Claude Opus 4.7 เรียบเรียงเป็นใบแจ้งซ่อมตามมาตรฐาน ISO 14224 พร้อมระบุอะไหล่ที่ต้องสั่ง ผู้เขียนเลือก Opus 4.7 เพราะโมเดลนี้มีความแม่นยำด้านเหตุผลเชิงโครงสร้างสูงและลดอัตราการ "หลอน" ของข้อมูลอะไหล่

WORKORDER_TEMPLATE = """คุณคือวิศวกรซ่อมบำรุงอาวุโส
แปลงเหตุการณ์ต่อไปนี้เป็นใบแจ้งซ่อมภาษาไทย 1 หน้า ประกอบด้วย:
1) หัวข้อ (ไม่เกิน 80 ตัวอักษร)
2) ระดับความเร่งด่วน (P1/P2/P3)
3) รายการอะไหล่ที่ต้องสั่ง (พร้อมรหัสสินค้า ถ้ามี)
4) ขั้นตอนการซ่อม 3-5 ขั้น
5) ข้อกำชับด้านความปลอดภัย (PPE)"""

def generate_workorder(anomaly: dict, location: str) -> str:
    user_msg = (
        f"สถานที่: {location}\n"
        f"ประเภท: {anomaly['category']}\n"
        f"ความรุนแรง: {anomaly['severity']}/100\n"
        f"คำอธิบาย: {anomaly['description_th']}"
    )
    resp = client.chat.completions.create(
        model="claude-opus-4.7",
        temperature=0.2,
        messages=[
            {"role": "system", "content": WORKORDER_TEMPLATE},
            {"role": "user", "content": user_msg},
        ],
        max_tokens=900,
    )
    return resp.choices[0].message.content

การเปรียบเทียบต้นทุนรายเดือน (โหลดงานจริงของเหมือง 1 แห่ง)