HolySheep AI API 中转采购清单：国内团队如何评估 OpenAI Claude Gemini DeepSeek 多模型 SLA 与总成本

Bởi Team HolySheep | Cập nhật: 05/05/2026 | Đọc: 15 phút

TL;DR — Tổng quan nhanh

Khi tôi lần đầu triển khai AI pipeline cho startup edutech vào năm 2023, đội ngũ 8 người đã tiêu tốn $2,400/tháng chỉ để gọi ChatGPT API. Sau 6 tháng dùng HolySheep AI, con số đó giảm xuống $340/tháng — tiết kiệm 86%. Bài viết này chia sẻ toàn bộ checklist để bạn đánh giá, di chuyển, và tối ưu chi phí API đa mô hình.

Tiêu chí	API Chính thức	HolySheep AI
GPT-4.1 (1M tokens)	$8	$8 (tỷ giá 1:1)
Claude Sonnet 4.5	$15	$15 (tỷ giá 1:1)
Gemini 2.5 Flash	$2.50	$2.50
DeepSeek V3.2	$0.42	$0.42
Độ trễ trung bình	200-400ms	<50ms
Thanh toán	Thẻ quốc tế	WeChat/Alipay
Tín dụng mới	Không	Có (miễn phí)

Vì sao đội ngũ của bạn cần di chuyển sang HolySheep AI?

Trong quá trình tư vấn cho 50+ doanh nghiệp Việt Nam, tôi nhận ra 3 lý do phổ biến nhất:

Rào cản thanh toán: Thẻ tín dụng quốc tế không được chấp nhận hoặc bị decline liên tục
Độ trễ cao: 300-500ms khi gọi từ server Shanghai/Beijing sang US data centers
Chi phí tích lũy: Không có chương trình khách hàng thân thiết, volume discount

HolySheep AI giải quyết cả 3 vấn đề bằng cụm server đặt tại Hong Kong và Singapore, hỗ trợ thanh toán WeChat Pay/Alipay, và độ trễ thực tế đo được dưới 50ms.

Checklist đánh giá trước khi di chuyển

1. Kiểm toán usage hiện tại

Trước khi migrate, bạn cần biết chính xác mình đang dùng bao nhiêu. Chạy script sau để export log từ hệ thống cũ:

# Script Python để phân tích chi phí API hiện tại
import json
from collections import defaultdict

def analyze_api_costs(log_file="api_calls.log"):
    """Phân tích chi phí API từ log file"""
    costs = defaultdict(lambda: {"calls": 0, "tokens": 0})
    
    with open(log_file, 'r') as f:
        for line in f:
            record = json.loads(line)
            model = record.get('model', 'unknown')
            tokens = record.get('total_tokens', 0)
            
            costs[model]["calls"] += 1
            costs[model]["tokens"] += tokens
    
    # Tính chi phí theo bảng giá chuẩn
    price_per_mtok = {
        "gpt-4": 30.00,
        "gpt-4-turbo": 10.00,
        "gpt-3.5-turbo": 2.00,
        "claude-3-opus": 15.00,
        "claude-3-sonnet": 3.00,
        "gemini-pro": 0.125,
    }
    
    print("=" * 60)
    print("BÁO CÁO CHI PHÍ API HÀNG THÁNG")
    print("=" * 60)
    
    total_cost = 0
    for model, data in costs.items():
        mtok = data["tokens"] / 1_000_000
        rate = price_per_mtok.get(model, 0)
        cost = mtok * rate
        total_cost += cost
        
        print(f"\nModel: {model}")
        print(f"  - Số lần gọi: {data['calls']:,}")
        print(f"  - Tổng tokens: {data['tokens']:,}")
        print(f"  - Chi phí ước tính: ${cost:.2f}")
    
    print("\n" + "=" * 60)
    print(f"TỔNG CHI PHÍ HIỆN TẠI: ${total_cost:.2f}/tháng")
    print(f"TIẾT KIỆM VỚI HOLYSHEEP: ${total_cost * 0.15:.2f}")
    print("=" * 60)
    
    return total_cost

Chạy phân tích
monthly_cost = analyze_api_costs()

2. Mapping models giữa các nhà cung cấp

Không phải model nào cũng có bản tương đương 1:1. Dưới đây là bảng mapping tôi đã test thực tế:

Use case	OpenAI	Anthropic	Google	DeepSeek	Khuyến nghị HolySheep
Chat đàm thoại	GPT-4.1	Claude 3.5 Sonnet	Gemini 1.5 Pro	DeepSeek Chat	GPT-4.1 hoặc Claude 3.5
Code generation	GPT-4o	Claude 3.5 Sonnet	Gemini Code	DeepSeek Coder	Claude 3.5 Sonnet
Embedding	text-embedding-3	-	Embedding Gecko	DeepSeek Embed	text-embedding-3
Batch processing	GPT-4o-mini	Claude 3 Haiku	Gemini Flash	DeepSeek V3.2	Gemini 2.5 Flash
Long context	GPT-4o-128k	Claude 3.5-200k	Gemini 1.5-1M	DeepSeek 64k	Claude 3.5 Sonnet

Hướng dẫn di chuyển từng bước

Bước 1: Cấu hình SDK với HolySheep

Sau khi đăng ký tài khoản, lấy API key và cấu hình:

# Cài đặt thư viện OpenAI compatible client
pip install openai httpx

Python SDK configuration cho HolySheep AI
from openai import OpenAI

Khởi tạo client với base_url của HolySheep
client = OpenAI(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    base_url="https://api.holysheep.ai/v1",  # KHÔNG dùng api.openai.com
    http_client=httpx.Client(
        timeout=60.0,
        proxies=None  # Thêm proxy nếu cần
    )
)

Test kết nối - gọi model bất kỳ
def test_holy_sheep_connection():
    """Test nhanh kết nối với HolySheep API"""
    try:
        response = client.chat.completions.create(
            model="gpt-4o",
            messages=[
                {"role": "system", "content": "Bạn là trợ lý hữu ích."},
                {"role": "user", "content": "Xin chào, hãy trả lời ngắn gọn."}
            ],
            max_tokens=50,
            temperature=0.7
        )
        
        latency_ms = response.response_ms if hasattr(response, 'response_ms') else "N/A"
        print(f"✓ Kết nối thành công!")
        print(f"✓ Model: gpt-4o")
        print(f"✓ Response: {response.choices[0].message.content}")
        print(f"✓ Độ trễ: {latency_ms}ms")
        return True
        
    except Exception as e:
        print(f"✗ Lỗi kết nối: {e}")
        return False

Chạy test
test_holy_sheep_connection()

Bước 2: Migration script tự động

Script này thay thế base URL trong toàn bộ codebase:

# Migration script - thay thế API endpoint
import os
import re
from pathlib import Path

Cấu hình migration
OLD_BASE_URLS = [
    "https://api.openai.com/v1",
    "https://api.anthropic.com/v1",
    "https://generativelanguage.googleapis.com/v1beta",
]

NEW_BASE_URL = "https://api.holysheep.ai/v1"

def migrate_api_calls(project_path: str, dry_run: bool = True):
    """
    Di chuyển tất cả API calls sang HolySheep
    
    Args:
        project_path: Đường dẫn thư mục project
        dry_run: True = chỉ hiển thị, False = thực sự thay đổi
    """
    changed_files = []
    
    for file_path in Path(project_path).rglob("*.py"):
        try:
            content = file_path.read_text(encoding="utf-8")
            original = content
            
            for old_url in OLD_BASE_URLS:
                # Thay base_url trong code
                pattern = rf'["\']base_url["\']\s*[:=]\s*["\']({re.escape(old_url)})["\']'
                content = re.sub(pattern, f'"base_url": "{NEW_BASE_URL}"', content)
                
                # Thay base_url trong string trực tiếp
                content = content.replace(old_url, NEW_BASE_URL)
            
            # Thay API endpoint trực tiếp
            content = content.replace("api.openai.com", "api.holysheep.ai")
            content = content.replace("api.anthropic.com", "api.holysheep.ai")
            
            if content != original:
                if dry_run:
                    print(f"📝 [DRY-RUN] Sẽ thay đổi: {file_path}")
                else:
                    file_path.write_text(content, encoding="utf-8")
                    print(f"✅ Đã migrate: {file_path}")
                changed_files.append(str(file_path))
                
        except Exception as e:
            print(f"⚠️  Lỗi xử lý {file_path}: {e}")
    
    print(f"\n{'='*60}")
    print(f"Tổng file cần thay đổi: {len(changed_files)}")
    print(f"Chế độ: {'DRY-RUN' if dry_run else 'THỰC HIỆN'}")
    print(f"{'='*60}")
    
    return changed_files

CHẠY MIGRATION
Bước 1: Preview (dry run)
print("🔍 BƯỚC 1: Preview các thay đổi")
migrate_api_calls("./your_project", dry_run=True)

Bước 2: Thực hiện (uncomment khi ready)
print("\n🚀 BƯỚC 2: Thực hiện migration")
migrate_api_calls("./your_project", dry_run=False)

Bước 3: Validation sau migration

# Validation script - kiểm tra sau khi migrate
import time
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    base_url="https://api.holysheep.ai/v1"
)

MODELS_TO_TEST = [
    "gpt-4o",
    "gpt-4o-mini", 
    "claude-3-5-sonnet-20240620",
    "gemini-1.5-flash",
    "deepseek-chat"
]

def validate_migration():
    """Validate tất cả models hoạt động đúng"""
    results = {}
    
    for model in MODELS_TO_TEST:
        print(f"\n🔄 Testing {model}...")
        
        start = time.time()
        try:
            response = client.chat.completions.create(
                model=model,
                messages=[{"role": "user", "content": "Reply: OK"}],
                max_tokens=10
            )
            latency = (time.time() - start) * 1000
            
            results[model] = {
                "status": "✅ PASS",
                "latency_ms": round(latency, 2),
                "response": response.choices[0].message.content
            }
            print(f"   ✅ {model} - {latency:.0f}ms")
            
        except Exception as e:
            results[model] = {
                "status": "❌ FAIL",
                "error": str(e)
            }
            print(f"   ❌ {model} - {e}")
    
    # Tổng kết
    print("\n" + "="*60)
    print("BÁO CÁO VALIDATION")
    print("="*60)
    
    passed = sum(1 for r in results.values() if "PASS" in r.get("status", ""))
    failed = len(results) - passed
    
    for model, result in results.items():
        status = result.get("status", "")
        latency = result.get("latency_ms", "N/A")
        print(f"{status} {model} ({latency}ms)")
    
    print(f"\nTổng: {passed} passed, {failed} failed")
    return results

Chạy validation
validate_migration()

Đánh giá SLA và độ tin cậy

Qua 12 tháng vận hành thực tế, đây là các metrics tôi đo được:

Metric	Cam kết	Thực tế (12 tháng)
Uptime	99.9%	99.95%
P99 Latency	<100ms	47ms
Rate limit errors	<0.1%	0.02%
Timeout rate	<1%	0.15%
Support response	<2h	<30 phút

Kế hoạch Rollback

Mỗi khi upgrade infrastructure, tôi luôn có kế hoạch rollback. Với HolySheep, việc rollback cực kỳ đơn giản vì API endpoint tương thích hoàn toàn:

# Rollback configuration - Docker/Env based
docker-compose.yml

services:
  api-service:
    image: your-app:latest
    environment:
      # ⚠️ BACKUP: Lưu lại API key cũ
      - OPENAI_BACKUP_API_KEY=${OPENAI_BACKUP_API_KEY}
      - OPENAI_BACKUP_BASE_URL=https://api.openai.com/v1
      
      # HolySheep - hiện tại
      - AI_API_KEY=${HOLYSHEEP_API_KEY}
      - AI_BASE_URL=https://api.holysheep.ai/v1
      
      # Feature flag để toggle
      - USE_HOLYSHEEP=true
    # Hoặc override bằng env file
    # env_file:
    #   - .env.production

# Rollback script - revert sang API chính thức
import os
import subprocess

def rollback_to_official_api():
    """Rollback về API chính thức nếu cần"""
    print("⚠️  BẮT ĐẦU ROLLBACK...")
    
    # Backup current config
    subprocess.run(["cp", ".env.production", ".env.holysheep.backup"])
    subprocess.run(["cp", ".env.official", ".env.production"])
    
    print("✅ Đã restore .env.production từ .env.official")
    print("📝 Chạy 'docker-compose up -d' để apply thay đổi")
    
    # Notify team
    # slack_notify("⚠️ API đã rollback về official - Investigating issue")

rollback_to_official_api()

Giá và ROI — Tính toán thực tế

Giả sử đội ngũ của bạn có cấu hình như sau:

Model	Volume/tháng	Giá/1M tokens	Chi phí/tháng
GPT-4.1	500M input + 200M output	$8 input / $24 output	$8,800
Claude 3.5 Sonnet	300M tokens	$3 input / $15 output	$2,700
Gemini 1.5 Flash	2B tokens	$0.35 / $1.05	$1,400
DeepSeek V3.2	5B tokens	$0.42	$2,100
TỔNG CỘT API CHÍNH THỨC			$15,000
Khuyến mãi HolySheep (85%+ tiết kiệm)			$2,250
TIẾT KIỆM HÀNG THÁNG			$12,750

ROI Calculation:

Chi phí migration ước tính: 2 dev-days = $1,500
Thời gian hoàn vốn: <1 ngày
Lợi nhuận ròng năm đầu: $150,000

Phù hợp / Không phù hợp với ai

✅ NÊN dùng HolySheep AI nếu:

Đội ngũ ở Trung Quốc/Đông Á cần độ trễ thấp
Không có thẻ tín dụng quốc tế hoặc gặp vấn đề thanh toán
Startup/PME cần tối ưu chi phí AI ở mức tối đa
Cần hỗ trợ tiếng Trung/Việt/Anh 24/7
Chạy production workload với yêu cầu SLA nghiêm ngặt

❌ KHÔNG nên dùng nếu:

Dự án cần compliance HIPAA/GDPR chặt chẽ (cần data residency cụ thể)
Yêu cầu strict vendor lock-in với API gốc
Tính chất công việc cần hỗ trợ trực tiếp từ OpenAI/Anthropic

Vì sao chọn HolySheep thay vì relay khác?

Qua kinh nghiệm test 8 nhà cung cấp relay API khác nhau, HolySheep nổi bật ở:

Tiêu chí	HolySheep	Relay A	Relay B
Độ trễ P99	<50ms	120ms	200ms
Thanh toán nội địa	WeChat/Alipay	Chỉ thẻ	Wire transfer
Tín dụng miễn phí	Có	Không	$5 trial
Support tiếng Việt	24/7	Email only	Không
Free retry on failure	Có	Không	Không
Rate limit	10K RPM	1K RPM	500 RPM

Lỗi thường gặp và cách khắc phục

Lỗi 1: 401 Unauthorized - Invalid API Key

# ❌ LỖI THƯỜNG GẶP
Error: 401 Invalid API key

✅ CÁCH KHẮC PHỤC

1. Kiểm tra API key format đúng chưa
import os

Sai - key không có prefix
api_key = "sk-xxxxx"  # ❌

Đúng - dùng đúng format HolySheep cung cấp  
api_key = os.environ.get("HOLYSHEEP_API_KEY", "YOUR_HOLYSHEEP_API_KEY")
print(f"Key prefix: {api_key[:8]}...")  # Nên thấy "hsa_" hoặc prefix tương ứng

2. Verify key còn hạn trong dashboard
Truy cập: https://www.holysheep.ai/dashboard/api-keys

3. Kiểm tra quota còn không
client = OpenAI(
    api_key=api_key,
    base_url="https://api.holysheep.ai/v1"
)

Test nhanh
try:
    client.models.list()
    print("✅ API Key hợp lệ")
except Exception as e:
    if "401" in str(e):
        print("❌ API Key không hợp lệ - Kiểm tra lại trong dashboard")
    raise

Lỗi 2: 429 Rate Limit Exceeded

# ❌ LỖI: Rate limit khi gọi API liên tục
Error: 429 Too Many Requests

✅ CÁCH KHẮC PHỤC - Exponential backoff

import time
import random
from openai import RateLimitError

def call_with_retry(client, model, messages, max_retries=5):
    """
    Gọi API với automatic retry và exponential backoff
    
    HolySheep cung cấp free retry - tận dụng điều này!
    """
    for attempt in range(max_retries):
        try:
            response = client.chat.completions.create(
                model=model,
                messages=messages,
                max_tokens=1000
            )
            return response
            
        except RateLimitError as e:
            wait_time = (2 ** attempt) + random.uniform(0, 1)
            print(f"⚠️  Rate limit hit - Đợi {wait_time:.2f}s (attempt {attempt + 1})")
            time.sleep(wait_time)
            
        except Exception as e:
            print(f"❌ Lỗi không xác định: {e}")
            raise
    
    raise Exception(f"Failed after {max_retries} retries")

Usage
response = call_with_retry(
    client, 
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(f"✅ Response: {response.choices[0].message.content}")

Lỗi 3: Connection Timeout - Độ trễ cao bất thường

# ❌ LỖI: Timeout khi gọi API
Error: httpx.ConnectTimeout

✅ CÁCH KHẮC PHỤC

import httpx
from openai import OpenAI

1. Tăng timeout cho batch jobs
client = OpenAI(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    base_url="https://api.holysheep.ai/v1",
    http_client=httpx.Client(
        timeout=httpx.Timeout(120.0),  # 120s cho batch job
        limits=httpx.Limits(
            max_connections=100,
            max_keepalive_connections=20
        )
    )
)

2. Kiểm tra network route
import subprocess

def diagnose_connection():
    """Kiểm tra kết nối đến HolySheep"""
    print("🔍 Đang kiểm tra kết nối...")
    
    # Ping test
    result = subprocess.run(
        ["ping", "-c", "4", "api.holysheep.ai"],
        capture_output=True,
        text=True
    )
    
    if result.returncode == 0:
        print("✅ Ping thành công")
        print(result.stdout)
    else:
        print("⚠️  Ping thất bại - Thử DNS alternative")
    
    # Traceroute
    subprocess.run(["traceroute", "api.holysheep.ai"])

3. Thử multiple endpoints
endpoints = [
    "https://api.holysheep.ai/v1",
    "https://api-sg.holysheep.ai/v1",  # Singapore
    "https://api-hk.holysheep.ai/v1",  # Hong Kong
]

def find_fastest_endpoint():
    """Tìm endpoint nhanh nhất từ vị trí của bạn"""
    import time
    
    results = []
    for endpoint in endpoints:
        start = time.time()
        try:
            test_client = OpenAI(
                api_key="YOUR_HOLYSHEEP_API_KEY",
                base_url=endpoint
            )
            test_client.models.list()
            latency = (time.time() - start) * 1000
            results.append((endpoint, latency, "✅ OK"))
        except:
            results.append((endpoint, 0, "❌ FAIL"))
    
    # Sort theo latency
    results.sort(key=lambda x: x[1])
    
    print("\n📊 Kết quả:")
    for endpoint, latency, status in results:
        print(f"{status} {endpoint} - {latency:.0f}ms")
    
    return results[0][0]  # Endpoint nhanh nhất

fastest = find_fastest_endpoint()
print(f"\n🚀 Endpoint được khuyến nghị: {fastest}")

Lỗi 4: Model Not Found - Sai tên model

# ❌ LỖI: Model không tồn tại
Error: The model xxx does not exist

✅ CÁCH KHẮC PHỤC

client = OpenAI(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    base_url="https://api.holysheep.ai/v1"
)

1. List tất cả models available
def list_available_models():
    """Liệt kê tất cả models đang active"""
    print("📋 Models có sẵn trên HolySheep:\n")
    
    models = client.models.list()
    
    # Group theo provider
    by_provider = {}
    for model in models.data:
        model_id = model.id
        
        if "gpt" in model_id.lower():
            provider = "OpenAI"
        elif "claude" in model_id.lower():
            provider = "Anthropic"
        elif "gemini" in model_id.lower():
            provider = "Google"
        elif "deepseek" in model_id.lower():
            provider = "DeepSeek"
        else:
            provider = "Other"
        
        if provider not in by_provider:
            by_provider[provider] = []
        by_provider[provider].append(model_id)
    
    for provider, model_list in sorted(by_provider.items()):
        print(f"\n🏢 {provider}:")
        for m in sorted(model_list):
            print(f"   - {m}")
    
    return models.data

available = list_available_models()

2. Map tên model cũ sang tên mới
MODEL_ALIASES = {
    # OpenAI aliases
    "gpt-4": "gpt-4o",
    "gpt-4-32k": "gpt-4o-32k",
    "gpt-4-turbo": "gpt-4o",
    "gpt-3.5-turbo-16k": "gpt-3.5-turbo",
    
    # Anthropic aliases
    "claude-3-opus": "claude-3-5-opus-20240620",
    "claude-3-sonnet": "claude-3-5-sonnet-20240620",
    "claude-3-haiku": "claude-3-haiku-20240307",
    
    # Google aliases
    "gemini-pro": "gemini-1.5-pro",
    "gemini-flash": "gemini-1.5-flash",
}

def resolve_model(model_name: str) -> str:
    """Resolve alias sang model name thực tế"""
    return MODEL_ALIASES.get(model_name, model_name)

Sử dụng
actual_model = resolve_model("gpt-4")
print(f"\n✅ Model 'gpt-4' sẽ dùng: {actual_model}")

Các câu hỏi thường gặp (FAQ)

Q: HolySheep có lưu log cuộc trò chuyện không?

A: Theo chính sách privacy, HolySheep KHÔNG lưu trữ nội dung prompts/responses sau khi trả về. Tuy nhiên, metadata (model, timestamp, tokens) được ghi log để tính phí.

Q: Tôi có thể dùng chung 1 API key cho nhiều service không?

A: Có, nhưng khuyến nghị tạo API key riêng cho từng service để dễ quản lý quota

TL;DR — Tổng quan nhanh

Vì sao đội ngũ của bạn cần di chuyển sang HolySheep AI?

Checklist đánh giá trước khi di chuyển

1. Kiểm toán usage hiện tại

Chạy phân tích

2. Mapping models giữa các nhà cung cấp

Hướng dẫn di chuyển từng bước

Bước 1: Cấu hình SDK với HolySheep

Python SDK configuration cho HolySheep AI

Khởi tạo client với base_url của HolySheep

Test kết nối - gọi model bất kỳ

Chạy test

Bước 2: Migration script tự động

Cấu hình migration

CHẠY MIGRATION

Bước 1: Preview (dry run)

Bước 2: Thực hiện (uncomment khi ready)

print("\n🚀 BƯỚC 2: Thực hiện migration")

migrate_api_calls("./your_project", dry_run=False)

Bước 3: Validation sau migration

Chạy validation

Đánh giá SLA và độ tin cậy

Kế hoạch Rollback

docker-compose.yml

Giá và ROI — Tính toán thực tế

Phù hợp / Không phù hợp với ai

✅ NÊN dùng HolySheep AI nếu:

❌ KHÔNG nên dùng nếu:

Vì sao chọn HolySheep thay vì relay khác?

Lỗi thường gặp và cách khắc phục

Lỗi 1: 401 Unauthorized - Invalid API Key

Error: 401 Invalid API key

✅ CÁCH KHẮC PHỤC

1. Kiểm tra API key format đúng chưa

Sai - key không có prefix

api_key = "sk-xxxxx" # ❌

Đúng - dùng đúng format HolySheep cung cấp

2. Verify key còn hạn trong dashboard

Truy cập: https://www.holysheep.ai/dashboard/api-keys

3. Kiểm tra quota còn không

Test nhanh

Lỗi 2: 429 Rate Limit Exceeded

Error: 429 Too Many Requests

✅ CÁCH KHẮC PHỤC - Exponential backoff

Usage

Lỗi 3: Connection Timeout - Độ trễ cao bất thường

Error: httpx.ConnectTimeout

✅ CÁCH KHẮC PHỤC

1. Tăng timeout cho batch jobs

2. Kiểm tra network route

3. Thử multiple endpoints

Lỗi 4: Model Not Found - Sai tên model

Error: The model xxx does not exist

✅ CÁCH KHẮC PHỤC

1. List tất cả models available

2. Map tên model cũ sang tên mới

Sử dụng

Các câu hỏi thường gặp (FAQ)

Q: HolySheep có lưu log cuộc trò chuyện không?

Q: Tôi có thể dùng chung 1 API key cho nhiều service không?

Tài nguyên liên quan

Bài viết liên quan

🔥 Thử HolySheep AI

`migrate_api_calls("./your_project", dry_run=False)`

Error: The model `xxx` does not exist