Vision API 多模态接入：图片理解与文档解析实战

บทความนี้จะพาคุณเรียนรู้การใช้งาน Vision API สำหรับการเชื่อมต่อระบบหลายโมดัล (Multimodal) ซึ่งรองรับทั้งการวิเคราะห์ภาพและการแยกวิเคราะห์เอกสาร เราจะเริ่มจากกรณีศึกษาจริง 3 รูปแบบ ได้แก่ ระบบ AI ลูกค้าสัมพันธ์สำหรับอีคอมเมิร์ซ การเปิดตัวระบบ RAG ขององค์กร และโปรเจกต์นักพัฒนาอิสระ พร้อมโค้ดตัวอย่างที่ใช้งานได้จริง

ทำไมต้อง Vision API?

ในยุคปัจจุบัน การประมวลผลภาพและเอกสารเป็นสิ่งจำเป็นสำหรับแอปพลิเคชันหลายประเภท ไม่ว่าจะเป็นการอ่านเอกสาร PDF การวิเคราะห์ภาพสินค้า หรือการประมวลผลใบเสร็จ Vision API ช่วยให้คุณสามารถส่งภาพไปประมวลผลและได้รับคำตอบเป็นข้อความที่เข้าใจได้ รองรับหลายรูปแบบไฟล์ ทั้ง PNG, JPEG, PDF และ WebP

กรณีศึกษาที่ 1: AI ลูกค้าสัมพันธ์สำหรับอีคอมเมิร์ซ

ร้านค้าออนไลน์มักมีปัญหาเรื่องลูกค้าส่งภาพสินค้ามาถามว่าสินค้านี้มีขายไหม หรือต้องการค้นหาสินค้าที่คล้ายกัน การใช้ Vision API ร่วมกับ HolySheep AI ช่วยให้ระบบตอบคำถามได้อย่างแม่นยำ โดยสามารถวิเคราะห์ภาพสินค้าและค้นหาข้อมูลที่เกี่ยวข้องได้ในเวลาไม่ถึง 50 มิลลิวินาที

ตัวอย่างโค้ด: ระบบตอบคำถามจากภาพสินค้า

import base64
import requests
import json

def encode_image_to_base64(image_path):
    """แปลงภาพเป็น base64 string"""
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

def analyze_product_image(image_path, user_question):
    """
    วิเคราะห์ภาพสินค้าและตอบคำถามลูกค้า
    ใช้ HolySheep AI Vision API
    """
    base_url = "https://api.holysheep.ai/v1"
    api_key = "YOUR_HOLYSHEEP_API_KEY"
    
    # แปลงภาพเป็น base64
    image_base64 = encode_image_to_base64(image_path)
    
    # สร้าง prompt สำหรับวิเคราะห์สินค้า
    prompt = f"""คุณเป็นผู้เชี่ยวชาญด้านสินค้าอีคอมเมิร์ซ 
    จากภาพสินค้าที่ลูกค้าส่งมา และคำถาม: "{user_question}"
    กรุณาตอบคำถามโดยอธิบายรายละเอียดสินค้าในภาพ
    รวมถึงบอกว่ามีขายหรือไม่ และราคาโดยประมาณ"""
    
    payload = {
        "model": "gpt-4o",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": prompt
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:image/jpeg;base64,{image_base64}"
                        }
                    }
                ]
            }
        ],
        "max_tokens": 1000
    }
    
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    }
    
    response = requests.post(
        f"{base_url}/chat/completions",
        headers=headers,
        json=payload
    )
    
    result = response.json()
    return result['choices'][0]['message']['content']

ตัวอย่างการใช้งาน
answer = analyze_product_image(
    "product_image.jpg",
    "สินค้านี้มีสีอะไรบ้าง และราคาเท่าไหร่"
)
print(answer)

ประโยชน์ที่ได้รับ

• ลดภาระงานของทีมลูกค้าสัมพันธ์ลง 70%
• ตอบคำถามได้ตลอด 24 ชั่วโมง
• วิเคราะห์ภาพสินค้าและตอบคำถามได้ในเวลาอันสั้น
• รองรับการตอบคำถามเป็นภาษาไทย

กรณีศึกษาที่ 2: ระบบ RAG สำหรับองค์กร

องค์กรหลายแห่งมีเอกสารจำนวนมากที่ต้องการค้นหาและวิเคราะห์ ไม่ว่าจะเป็นสัญญา เอกสารทางกฎหมาย หรือรายงานประจำปี การนำ Vision API มาใช้กับระบบ RAG (Retrieval-Augmented Generation) ช่วยให้สามารถอ่านและวิเคราะห์เอกสาร PDF ได้โดยไม่ต้องแปลงเป็น text ก่อน

ตัวอย่างโค้ด: ระบบค้นหาเอกสาร PDF

import requests
import json

def extract_text_from_pdf(pdf_path):
    """
    อ่านข้อมูลจาก PDF โดยใช้ Vision API
    รองรับเอกสารที่มีทั้งข้อความและตาราง
    """
    base_url = "https://api.holysheep.ai/v1"
    api_key = "YOUR_HOLYSHEEP_API_KEY"
    
    # อ่านไฟล์ PDF เป็น base64
    with open(pdf_path, "rb") as pdf_file:
        import base64
        pdf_base64 = base64.b64encode(pdf_file.read()).decode('utf-8')
    
    # Prompt สำหรับแยกวิเคราะห์เอกสาร
    prompt = """กรุณาอ่านเอกสาร PDF นี้และแยกวิเคราะห์ดังนี้:
    1. หัวข้อหลักของเอกสาร
    2. ข้อมูลสำคัญที่อยู่ในตาราง
    3. ข้อสรุปโดยย่อ
    
    หากมีข้อความที่ไม่ชัดเจน ให้ระบุว่าตรงไหน"""
    
    payload = {
        "model": "gpt-4o",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": prompt
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:application/pdf;base64,{pdf_base64}"
                        }
                    }
                ]
            }
        ],
        "max_tokens": 2000
    }
    
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    }
    
    response = requests.post(
        f"{base_url}/chat/completions",
        headers=headers,
        json=payload
    )
    
    return response.json()['choices'][0]['message']['content']

def rag_query(document_contents, user_query):
    """
    ระบบ RAG สำหรับค้นหาข้อมูลจากเอกสาร
    รวม context จากหลายเอกสารและตอบคำถาม
    """
    base_url = "https://api.holysheep.ai/v1"
    api_key = "YOUR_HOLYSHEEP_API_KEY"
    
    # สร้าง context จากเนื้อหาเอกสาร
    context = "\n\n".join(document_contents)
    
    prompt = f"""คุณเป็นผู้ช่วยค้นหาข้อมูลจากเอกสารองค์กร
    ข้อมูลจากเอกสาร:
    {context}
    
    คำถาม: {user_query}
    
    กรุณาตอบคำถามโดยอ้างอิงจากข้อมูลในเอกสาร
    หากไม่พบข้อมูลที่เกี่ยวข้อง ให้ตอบว่า "ไม่พบข้อมูลในเอกสารที่ให้มา"
    """
    
    payload = {
        "model": "gpt-4o",
        "messages": [
            {
                "role": "system",
                "content": "คุณเป็นผู้เชี่ยวชาญด้านการค้นหาข้อมูลจากเอกสารองค์กร"
            },
            {
                "role": "user",
                "content": prompt
            }
        ],
        "max_tokens": 1500,
        "temperature": 0.3
    }
    
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    }
    
    response = requests.post(
        f"{base_url}/chat/completions",
        headers=headers,
        json=payload
    )
    
    return response.json()['choices'][0]['message']['content']

ตัวอย่างการใช้งาน
docs = [
    extract_text_from_pdf("contract_2024.pdf"),
    extract_text_from_pdf("annual_report.pdf")
]

answer = rag_query(docs, "สรุปข้อตกลงหลักในสัญญาและผลประกอบการปีนี้")
print(answer)

จุดเด่นของระบบ

• รองรับเอกสาร PDF หลายหน้า
• แยกวิเคราะห์ตารางและแผนภูมิได้
• รวม context จากหลายเอกสารได้
• ราคาประหยัดเพียง $8 ต่อล้าน tokens สำหรับ GPT-4.1

กรณีศึกษาที่ 3: โปรเจกต์นักพัฒนาอิสระ

นักพัฒนา�