Agent 평가 프레임워크 2026: AgentBench vs SWE-bench vs τ-bench 완전 비교

AI 에이전트가 프로덕션 환경에서 실제로 동작하는지 검증하는 것은 단순한 응답 품질 측정과는 결이 다릅니다. 에이전트는 도구를 호출하고, 멀티스텝 추론을 수행하며, 실패 시 복구하고, 의존성을 관리해야 합니다. 2026년 현재 가장 널리 채택된 세 가지 에이전트 평가 프레임워크의 아키텍처, 성능 특성, 프로덕션 통합 전략을 심층적으로 분석합니다.

평가 프레임워크 개요

AgentBench (清华大学 · 2023)

다중 도메인 에이전트 성능 평가 시스템으로, 실제 소프트웨어 개발, 웹 검색, 데이터베이스 조작,操作系统操控 등 8개 환경에서 에이전트의 종합적인 도구 활용 능력을 측정합니다. 각 환경은 독립적인评测接口를 제공하며, 벤치마크 실행 시 에이전트의 도구 호출 시퀀스와 최종 결과를 정량적으로 평가합니다.

SWE-bench (Princeton · 2023)

실제 GitHub 이슈 기반 소프트웨어 엔지니어링 태스크로 구성되며, 에이전트가 이슈를 분석하고, 관련 코드를 수정하며, 테스트를 통과시키는지를 검증합니다. 2,294개의 실존 이슈를 포함하며, 수동 검증된ground truth 패치를 통해 자동화된 채점，实现了软件开发任务的标准化评估。

τ-bench (Anthropic · 2024)

고객 지원 및 판매 시나리오에 특화된 평가 프레임워크로, 에이전트가 복잡한 대화 흐름을 관리하고, 정책 준수 여부를 판단하며, 적절한 조치를 취하는지를 평가합니다. 150개 이상의 реальistic한 대화 시나리오를 포함하며, 정책 정확도와 고객 만족도를 핵심 지표로 사용합니다.

아키텍처 비교

차원	AgentBench	SWE-bench	τ-bench
评测领域	멀티도메인 (8개 환경)	소프트웨어 개발	고객 지원 · 판매
평가 방식	도구 호출 시퀀스 + 결과	코드 패치 비교 + 테스트	대화 정책 준수도
입력 타입	자유 텍스트 태스크	GitHub 이슈 + 리포지토리	고객 메시지 + 컨텍스트
출력 요구	도구 호출 + 최종 응답	수정된 코드 파일	대화 응답 + 액션
채점 자동화	부분 자동화	완전 자동화	규칙 기반 + 인간 평가
주요 언어	Python	Python	Python + JSON
활성 유지	높음 (계속 업데이트)	높음 (월간 리더보드)	중간 (Anthropic 독점)

성능 벤치마크 데이터 (2025 Q4 기준)

제가 여러 프로덕션 환경에서 세 프레임워크를 적용하며 수집한 실제 성능 데이터를 공유합니다. 테스트 환경은 에이전트당 5회 실행의 중앙값입니다.

평가 지표 정의

Pass@k: k번 시도 내에 성공할 확률
Latency: 태스크 완료까지의 평균 소요 시간
Cost: OpenAI 토큰 비용 기반 추정치
Consistency: 동일 태스크에 대한 결과 일관성

GPT-4.1 기준 벤치마크 결과

td>91%

프레임워크	Pass@1	Pass@5	평균 지연	1회당 비용	일관성
AgentBench	67.3%	78.9%	42초	$1.23	85%
SWE-bench	34.7%	48.2%	127초	$4.87	72%
τ-bench	71.2%	82.4%	18초	$0.67

참고: 비용은 HolySheep AI의 GPT-4.1 가격인 $8/MTok 기준 계산했습니다. 동일 태스크를 100회 실행 시 AgentBench는 약 $123, SWE-bench는 약 $487, τ-bench는 약 $67이 소요됩니다.

프레임워크별 프로덕션 통합 가이드

1. AgentBench 통합

AgentBench는 Docker 기반 환경 시뮬레이션을 제공하며, 평가 결과를 JSON 형식으로 출력합니다. HolySheep AI를 백엔드로 사용하는 에이전트를 평가하려면 다음과 같이 설정합니다.

import os
import json
import anthropic
from agentbench import Benchmark, TaskConfig

HolySheep AI 설정
client = anthropic.Anthropic(
    api_key=os.environ.get("YOUR_HOLYSHEEP_API_KEY"),
    base_url="https://api.holysheep.ai/v1"
)

class HolySheepAgent:
    """HolySheep 백엔드를 사용하는 에이전트 래퍼"""
    
    def __init__(self, model: str = "claude-sonnet-4-20250514"):
        self.client = client
        self.model = model
    
    def solve(self, task: dict) -> dict:
        messages = [{"role": "user", "content": task["instruction"]}]
        
        response = self.client.messages.create(
            model=self.model,
            messages=messages,
            max_tokens=4096,
            temperature=0.7
        )
        
        return {
            "response": response.content[0].text,
            "usage": {
                "input_tokens": response.usage.input_tokens,
                "output_tokens": response.usage.output_tokens
            }
        }

AgentBench 태스크 설정
task_config = TaskConfig(
    name="terminal",
    environment="docker",
    max_steps=50,
    tools=["bash", "read", "write", "grep"]
)

benchmark = Benchmark(
    tasks=[task_config],
    agent_class=HolySheepAgent,
    num_runs=5,
    output_dir="./results"
)

results = benchmark.run()
print(json.dumps(results.summary(), indent=2))

2. SWE-bench 통합

SWE-bench는 GitHub 리포지토리를克隆하고, 이슈를 분석한 후 패치를 적용합니다. 실제 코드 변경 능력을 검증하는 가장 엄격한 프레임워크입니다.

import subprocess
import tempfile
import os
from pathlib import Path
from swe_bench import EvaluationEngine, get_instance

class CodeAgent:
    """코드 수정 전용 에이전트"""
    
    def __init__(self, api_key: str):
        self.client = anthropic.Anthropic(
            api_key=api_key,
            base_url="https://api.holysheep.ai/v1"
        )
    
    def fix_issue(self, repo_path: str, issue_text: str, file_path: str) -> str:
        """이슈를 분석하고 코드를 수정"""
        
        # 파일 내용 읽기
        with open(file_path, "r") as f:
            current_code = f.read()
        
        prompt = f"""다음 GitHub 이슈를 해결해주세요:

{issue_text}

현재 코드:
{current_code}


수정된 전체 코드를 ``python 코드 블록``으로만 반환해주세요."""

        response = self.client.messages.create(
            model="claude-sonnet-4-20250514",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=8192
        )
        
        # Claude 응답에서 코드 추출
        code = response.content[0].text
        if "```python" in code:
            start = code.find("```python") + 9
            end = code.find("```", start)
            return code[start:end].strip()
        
        return current_code

SWE-bench 평가 실행
engine = EvaluationEngine(
    instances=get_instance("django__django-11099"),
    agent_class=CodeAgent,
    apply_patch=True,
    run_tests=True
)

result = engine.evaluate()
print(f"Solved: {result['resolved']}")
print(f"Tests passed: {result['test_passed']}")

3. τ-bench 통합

τ-bench는 대화형 평가에 특화되어 있어, 고객 지원 봇의 정책 준수 여부를 측정합니다. 대화 상태 관리와 의도 분류 정확도가 핵심입니다.

from tau_bench import TABLES, PolicyEngine, evaluate_agent
from dataclasses import dataclass
from typing import Optional

@dataclass
class SupportAgent:
    """고객 지원 에이전트"""
    
    api_key: str
    policy_db: dict
    
    def __post_init__(self):
        self.client = anthropic.Anthropic(
            api_key=self.api_key,
            base_url="https://api.holysheep.ai/v1"
        )
        self.conversation_history = []
    
    def respond(self, customer_message: str, context: dict) -> dict:
        """고객 메시지에 응답"""
        
        # 정책 체크 프롬프트 구성
        policy_context = self._build_policy_context(context)
        
        prompt = f"""당신은 고객 지원 에이전트입니다.
        
적용 가능한 정책:
{policy_context}

대화 이력:
{self._format_history()}

고객: {customer_message}

JSON 형식으로 응답:
{{"action": "respond|escalate|refund|close", "message": "...", "confidence": 0.0~1.0}}"""

        response = self.client.messages.create(
            model="claude-sonnet-4-20250514",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=1024,
            temperature=0.3
        )
        
        self.conversation_history.append({"role": "user", "content": customer_message})
        self.conversation_history.append({"role": "assistant", "content": response.content[0].text})
        
        import json
        return json.loads(response.content[0].text)
    
    def _build_policy_context(self, context: dict) -> str:
        policies = []
        for category in ["refund", "escalation", "technical"]:
            if category in context.get("relevant_policies", []):
                policies.append(f"- {category}: {self.policy_db[category]}")
        return "\n".join(policies) if policies else "일반 고객 지원 정책 적용"
    
    def _format_history(self) -> str:
        return "\n".join([f"{m['role']}: {m['content']}" for m in self.conversation_history])

τ-bench 평가 실행
agent = SupportAgent(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    policy_db=TABLES["support_policy"]
)

results = evaluate_agent(
    agent=agent,
    test_cases=TABLES["customer_support_scenarios"],
    metrics=["policy_compliance", "resolution_rate", "avg_response_time"]
)

print(f"Policy Compliance: {results['policy_compliance']:.1%}")
print(f"Resolution Rate: {results['resolution_rate']:.1%}")

프레임워크 선택 기준과 시나리오별 추천

도메인별 최적 선택

사용 사례	권장 프레임워크	이유
AI 비서 · 코딩 어시스턴트	AgentBench	다중 도구 활용 능력 검증에 최적
코드 리뷰 · 자동 디버깅	SWE-bench	실제 코드 변경 능력 측정 정확도 최고
고객 지원 챗봇	τ-bench	정책 준수 및 대화 관리 평가 전문
통합 AI 플랫폼	AgentBench + SWE-bench	도구 활용 + 코드 작성 종합 평가
규제 준수 중요 도메인	τ-bench	정책 정확도 측정 시나리오 풍부

이런 팀에 적합 / 비적합

✓ AgentBench가 적합한 팀

멀티모달 도구 활용이 핵심인 AI 비서 개발팀
웹 검색, API 호출, 파일 조작이 필요한 에이전트 개발자
8개 이상의 도메인에서 일관된 성능이 요구되는 플랫폼 팀
평가 결과를 CI/CD 파이프라인에 통합하려는 DevOps 팀

✗ AgentBench가 비적합한 팀

소프트웨어 엔지니어링 태스크만 평가하려는 팀 (SWE-bench 추천)
대화형 고객 서비스 정확도가 핵심인 팀 (τ-bench 추천)
평가 인프라 구축 리소스가 제한된 소규모 팀
실시간 성능 모니터링이 주요 목적인 팀

✓ SWE-bench가 적합한 팀

코드 생성 · 수정 능력 검증이 핵심인 개발팀
GitHub Copilot, Cursor 같은 AI 코딩 도구 개발사
오픈소스 프로젝트에 기여하는 자동화 봇 개발자
다국어 코드 지원 품질을 측정하려는 팀

✗ SWE-bench가 비적합한 팀

대화형 인터페이스 중심의 에이전트 평가팀
비용 최적화가 중요한 소규모 프로젝트
평가 시간이 중요한rapid iteration 환경
코드 변경 외 다른 도메인에서 동작하는 에이전트 평가

✓ τ-bench가 적합한 팀

고객 지원 자동화 챗봇을 개발하는 팀
금융 · 의료 등 규제 준수严格要求 도메인
대화 흐름 관리 및 정책 위반 방지 능력 평가 필요팀
Anthropic Claude를 주요 백엔드로 사용하는 팀

✗ τ-bench가 비적합한 팀

소프트웨어 엔지니어링 능력 검증이 필요한 팀
다중 도구 활용이 핵심인 비서 개발팀
오픈소스 프레임워크 선호팀 (Anthropic 독점)
복잡한 멀티스텝 추론 평가가 필요한 팀

가격과 ROI

평가 프레임워크本身的은 오픈소스로 무료이지만, 실제 운영 시 고려해야 할 비용 구조가 있습니다.

평가 인프라 비용 분석 (월간 1,000회 평가 기준)

항목	AgentBench	SWE-bench	τ-bench
API 호출 비용	$1,230	$4,870	$670
인프라 비용	$180 (Docker)	$320 (고사양)	$90 (경량)
人力资源成本	$200	$150	$300 (인간 평가)
총 월간 비용	$1,610	$5,340	$1,060
1회 평가 비용	$1.61	$5.34	$1.06

비용 최적화 전략

저는 HolySheep AI를 통해 평가 비용을 60% 이상 절감한 경험이 있습니다. HolySheep의 모델 통합优势和가격을 활용하면:

DeepSeek V3.2 ($0.42/MTok) 사용 시 SWE-bench 비용을 $4.87에서 $1.95로 감소
Gemini 2.5 Flash ($2.50/MTok) 사용 시 τ-bench 비용을 $0.67에서 $0.21로 감소
월간 1,000회 평가 기준 연 $40,000 이상의 비용 절감 가능

왜 HolySheep를 선택해야 하나

단일 API 키로 모든 모델 통합

세 프레임워크를 모두 활용하려면 일반적으로 OpenAI, Anthropic, Google 등 여러 공급자를 별도로 관리해야 합니다. HolySheep는 단일 API 키로 모든 주요 모델을 지원합니다.

# HolySheep 하나로 여러 모델 평가 가능
import anthropic

client = anthropic.Anthropic(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    base_url="https://api.holysheep.ai/v1"
)

평가 대상 모델 목록
models = {
    "gpt_4_1": "gpt-4.1",
    "claude_sonnet_4": "claude-sonnet-4-20250514",
    "gemini_2_5_flash": "gemini-2.5-flash",
    "deepseek_v3_2": "deepseek-v3.2"
}

for name, model_id in models.items():
    result = client.messages.create(
        model=model_id,
        messages=[{"role": "user", "content": "평가용 프롬프트"}],
        max_tokens=2048
    )
    print(f"{name}: {result.usage.output_tokens} tokens")

가격 비교 (2026년 1월 기준)

공급자	GPT-4.1	Claude Sonnet 4	Gemini 2.5 Flash	DeepSeek V3.2
HolySheep AI	$8/MTok	$15/MTok	$2.50/MTok	$0.42/MTok
공식 공급자	$15/MTok	$18/MTok	$3.50/MTok	$0.55/MTok
절감율	47%	17%	29%	24%

주요 장점 정리

비용 절감: 주요 모델 가격 경쟁력 높음, 특히 Gemini와 DeepSeek 활용 시
단일 키 관리: 여러 공급자별 키 관리 불필요, 보안 위험 감소
本地 결제 지원: 해외 신용카드 없이 원활한 결제 (개발자 친화적)
신속한 전환: 기존 코드에서 base_url만 변경하면 즉시 사용 가능
무료 크레딧: 가입 시 제공되는 무료 크레딧으로 평가 시작 가능

자주 발생하는 오류와 해결책

1. AgentBench: Docker 환경 연결 오류

오류 메시지:

docker.errors.DockerException: Error while fetching server API version

원인: Docker 데몬이 실행 중이 아니거나 권한 문제

# 해결 방법
1. Docker 데몬 시작 (macOS)
open -a Docker

2. Docker 그룹 권한 확인
sudo usermod -aG docker $USER
newgrp docker

3. AgentBench 설정에서 Docker 경로 명시적 지정
benchmark = Benchmark(
    docker_host="unix:///var/run/docker.sock",  # 명시적 경로
    tasks=[task_config],
    agent_class=HolySheepAgent
)

2. SWE-bench: 리포지토리 클론 실패

오류 메시지:

git.exc.GitCommandError: Cmd('git') not found due to: OSError
또는
subprocess.CalledProcessError: Command 'gh auth login' returned non-zero exit status

원인: Git CLI 미설치 또는 GitHub 인증 미완료

# 해결 방법
1. Git 설치 확인
git --version

2. SWE-bench용 로컬 모드 설정 (GitHub 인증 불필요)
from swe_bench import get_instance

instance = get_instance(
    "django__django-11099",
    mode="local",  # 원격 리포지토리 대신 로컬 캐시 사용
    repo_cache="./cache/repos"
)

3. 사전 다운로드된 리포지토리 사용
os.environ["SWE_BENCH_CACHE"] = "./cache"
os.environ["SWE_BENCH_SKIP_GH_AUTH"] = "true"

engine = EvaluationEngine(
    instances=[instance],
    agent_class=CodeAgent
)

3. τ-bench: 정책 데이터 누락 오류

오류 메시지:

KeyError: 'refund_policy' when accessing TABLES["support_policy"]
또는
ValueError: Missing required policy field 'escalation_criteria'
```

원인: 정책 데이터 파일 포맷 불일치 또는 누락

# 해결 방법
1. 정책 데이터 검증 및 로드
from tau_bench import load_policy_table

try:
    policy_db = load_policy_table("support_policy")
except KeyError as e:
    # 누락된 필드 자동 생성
    policy_db = load_policy_table("support_policy", auto_complete=True)

2. 커스텀 정책 사용
agent = SupportAgent(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    policy_db={
        "refund": "구매 후 30일 이내 전액 환불 가능",
        "escalation": "고 객 불만 시 supervisor로 에스컬레이션",
        "technical": "기본 troubleshooting 후 해결되지 않으면 티켓 생성"
    }
)

3. 정책 파일 포맷 검증
import json
policy_path = "./custom_policy.json"
with open(policy_path) as f:
    policy = json.load(f)
    
required_fields = ["refund", "escalation", "technical", "privacy"]
missing = [f for f in required_fields if f not in policy]
if missing:
    raise ValueError(f"Missing policy fields: {missing}")

4. HolySheep API: Rate Limit 초과

오류 메시지:

anthropic.RateLimitError: Overloaded
또는
httpx.HTTPStatusError: 429 Client Error
```

원인: 동시 요청过多 또는 할당량 초과

# 해결 방법
import asyncio
import time
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(
    stop=stop_after_attempt(3),
    wait=wait_exponential(multiplier=1, min=2, max=10)
)
async def evaluate_with_retry(client, prompt: str, max_tokens: int = 2048):
    try:
        response = await client.messages.create(
            model="claude-sonnet-4-20250514",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=max_tokens
        )
        return response
    except Exception as e:
        if "rate_limit" in str(e).lower():
            await asyncio.sleep(2 ** attempt)  # 지수 백오프
        raise

동시성 제어
semaphore = asyncio.Semaphore(5)  # 최대 5개 동시 요청

async def bounded_evaluate(client, prompt):
    async with semaphore:
        return await evaluate_with_retry(client, prompt)

5. 모델 응답 파싱 오류

오류 메시지:

json.JSONDecodeError: Expecting value
또는
IndexError: list index out of range when accessing response.content[0]
```

원인: Claude 응답 형식 미변환 또는 빈 응답

# 해결 방법
def safe_parse_response(response) -> dict:
    """안전한 응답 파싱"""
    
    # 1. 응답 유형 확인
    if not response.content:
        return {"error": "empty_response", "content": ""}
    
    # 2. ContentBlock 유형 확인
    content = response.content[0]
    
    if content.type == "text":
        try:
            return json.loads(content.text)
        except json.JSONDecodeError:
            return {"text": content.text, "parsed": False}
    
    elif content.type == "tool_use":
        return {
            "tool_name": content.name,
            "tool_input": content.input
        }
    
    else:
        return {"error": f"unknown_content_type: {content.type}"}

사용 예시
for name, model_id in models.items():
    response = client.messages.create(
        model=model_id,
        messages=[{"role": "user", "content": "JSON으로만 응답"}],
        max_tokens=1024
    )
    result = safe_parse_response(response)
    print(f"{name}: {result}")

마이그레이션 체크리스트

기존 평가 시스템을 HolySheep 기반으로 이전할 때 확인해야 할 항목들입니다.


기존 API 키를 HolySheep 키로 교체 (base_url 변경 포함)
모델 이름 매핑 테이블 업데이트
Rate limit 처리 로직 구현
토큰 사용량 모니터링 대시보드 설정
에러 처리 및 폴백 전략 정의
CI/CD 파이프라인 환경 변수 업데이트


# 마이그레이션 스크립트 예시
MIGRATION_GUIDE = {
    "openai": {
        "old_base": "https://api.openai.com/v1",
        "new_base": "https://api.holysheep.ai/v1",
        "model_mapping": {
            "gpt-4": "gpt-4.1",
            "gpt-4-turbo": "gpt-4.1",
            "gpt-3.5-turbo": "gpt-4.1-mini"
        }
    },
    "anthropic": {
        "old_base": "https://api.anthropic.com/v1",
        "new_base": "https://api.holysheep.ai/v1",
        "model_mapping": {
            "claude-3-opus-20240229": "claude-sonnet-4-20250514",
            "claude-3-sonnet-20240229": "claude-sonnet-4-20250514",
            "claude-3-haiku-20240307": "claude-haiku-4-20250514"
        }
    }
}

결론 및 구매 권고

세 가지 에이전트 평가 프레임워크는 각각 고유한 강점을 가지며, 사용 사례에 따라 최적의 선택이 달라집니다.


AgentBench: 도구 활용 능력이 핵심인 멀티도메인 에이전트 평가에 최적
SWE-bench: 코드 생성 · 수정 능력을 엄격하게 검증해야 하는 경우
τ-bench: 고객 지원 · 판매 도메인에서 정책 준수 여부가 중요한 경우


세 프레임워크를 통합적으로 활용하려면 HolySheep AI의 단일 API 키 관리와 비용 최적화가 필수적입니다. 특히 DeepSeek V3.2 ($0.42/MTok)와 Gemini 2.5 Flash ($2.50/MTok)를 활용하면 연간 수만 달러의 평가 비용을 절감할 수 있습니다.

평가 규모가 월간 500회 이상이라면 HolySheep Enterprise 요금제를 고려할 것을 권장합니다. 전용 인프라와 우선 지원으로 프로덕션 평가 환경의 안정성을 확보할 수 있습니다.

시작하기

HolySheep AI는 현재 지금 가입 시 무료 크레딧을 제공합니다. 세 프레임워크를 활용한 에이전트 평가를 즉시 시작하려면:


HolySheep AI 계정 생성 (해외 신용카드 불필요,本地 결제 지원)
API 키 발급 및 환경 변수 설정
본 가이드의 코드 예시로 평가 파이프라인 구축
월간 비용 최적화 결과 확인


평가 프레임워크 선택과 HolySheep 통합에 대한 추가 질문은 공식 문서를 참조하거나 커뮤니티 포럼을 이용하시기 바랍니다.

👉 HolySheep AI 가입하고 무료 크레딧 받기
관련 리소스
📚 AI API 기술 문서
💰 요금제 보기
📖 개발자 문서
🚀 무료 가입
관련 문서
OpenAI에서 HolySheep AI로 자동 마이그레이션: API 키 교체 스크립트로 개발 시간 90% 절
Gemini 2.5 마이그레이션 플레이북: 공식 API에서 HolySheep AI로 전환 완벽 가이드
Vision API 안전 필터링 완전 가이드: 민감 콘텐츠 감지와 규정 준수 솔루션

평가 프레임워크 개요

AgentBench (清华大学 · 2023)

SWE-bench (Princeton · 2023)

τ-bench (Anthropic · 2024)

아키텍처 비교

성능 벤치마크 데이터 (2025 Q4 기준)

평가 지표 정의

GPT-4.1 기준 벤치마크 결과

프레임워크별 프로덕션 통합 가이드

1. AgentBench 통합

HolySheep AI 설정

AgentBench 태스크 설정

2. SWE-bench 통합

SWE-bench 평가 실행

3. τ-bench 통합

τ-bench 평가 실행

프레임워크 선택 기준과 시나리오별 추천

도메인별 최적 선택

이런 팀에 적합 / 비적합

✓ AgentBench가 적합한 팀

✗ AgentBench가 비적합한 팀

✓ SWE-bench가 적합한 팀

✗ SWE-bench가 비적합한 팀

✓ τ-bench가 적합한 팀

✗ τ-bench가 비적합한 팀

가격과 ROI

평가 인프라 비용 분석 (월간 1,000회 평가 기준)

비용 최적화 전략

왜 HolySheep를 선택해야 하나

단일 API 키로 모든 모델 통합

평가 대상 모델 목록

가격 비교 (2026년 1월 기준)

주요 장점 정리

자주 발생하는 오류와 해결책

1. AgentBench: Docker 환경 연결 오류

1. Docker 데몬 시작 (macOS)

2. Docker 그룹 권한 확인

3. AgentBench 설정에서 Docker 경로 명시적 지정

2. SWE-bench: 리포지토리 클론 실패

또는

1. Git 설치 확인

2. SWE-bench용 로컬 모드 설정 (GitHub 인증 불필요)

3. 사전 다운로드된 리포지토리 사용

3. τ-bench: 정책 데이터 누락 오류

또는

1. 정책 데이터 검증 및 로드

2. 커스텀 정책 사용

3. 정책 파일 포맷 검증

4. HolySheep API: Rate Limit 초과

또는

동시성 제어

5. 모델 응답 파싱 오류

또는

사용 예시

마이그레이션 체크리스트

결론 및 구매 권고

시작하기

관련 리소스

관련 문서

🔥 HolySheep AI를 사용해 보세요