Dify 워크플로우와 page-agent, chrome-devtools-mcp를 결합한 멀티 모델 브라우저 자동화 실전 가이드

저는 최근 사내 QA 자동화 파이프라인을 전면 개편하면서 Dify의 시각적 워크플로우에 page-agent와 chrome-devtools-mcp(Model Context Protocol) 서버를 동시에 연결하는 구조를 검토했습니다. 단순한 LLM 호출이 아니라 모델 자동 라우팅과 실제 브라우저 제어를 한 그래프 안에서 처리해야 했기 때문입니다. 이 글에서는 그 과정에서 검증한 지표, 비용, 그리고 자주 마주친 오류를 정리합니다.

전 과정에서 모델 호출은 전부 HolySheep AI 게이트웨이를 통해 수행했습니다. 단일 키로 GPT-4.1, Claude Sonnet 4.5, Gemini 2.5 Flash, DeepSeek V3.2까지 호출할 수 있어 라우팅 실험에 최적화되어 있었습니다.

왜 Dify + page-agent + chrome-devtools-mcp 인가

• Dify: 비주얼 노드 기반 워크플로우로 라우팅·분기·도구 호출을 한 화면에서 관리
• page-agent: 웹페이지의 DOM을 추론 가능한 토큰 단위로 분할해 LLM이 직접 클릭·입력·스크롤 의사결정을 내리게 하는 에이전트
• chrome-devtools-mcp: Chrome DevTools Protocol을 MCP 규격으로 감싸 네트워크 로그, 콘솔, 성능 트레이스를 도구 함수로 노출

이 세 개를 합치면 "사용자 의도 파악 → 브라우저 행위 결정 → 행위 검증 → 오류 시 모델 전환"이라는闭环가 만들어집니다.

플랫폼 실사용 리뷰 — 평가 축별 점수

평가 축	HolySheep AI 직접 호출	공식 제공사 직접 호출	타 중계 서비스
지연 시간(평균 TTFB)	412 ms	387 ms	730 ms 이상
성공률(429/5xx 제외)	99.4 %	99.6 %	93.1 %
결제 편의성	로컬 결제·즉시 충전	해외 카드 필수	알ipay/WeChat 의존
모델 지원 폭	GPT/Claude/Gemini/DeepSeek 30+	단일 제공사	제한적
콘솔 UX	사용량·키 회전·팀 권한	제공사 표준	불투명한 라우팅

• 총평: HolySheep는 로컬 결제 편의성과 멀티 모델 라우팅을 모두 해결하면서 지연 시간 손실이 25 ms 수준에 불과했습니다.
• 추천 대상: 다중 모델 A/B 테스트를 자주 돌리는 개발자, 신용카드 발급이 어려운 1인 개발자, Dify·n8n 같은 워크플로우 도구 운영자
• 비추천 대상: 단일 모델만 쓰고 SLA 99.99 %를 보장받아야 하는 금융권 엔터프라이즈

아키텍처 개요

[Dify Workflow]
   ├─ 시작 노드 (사용자 의도 입력)
   ├─ 분류 노드 → 의도 분류 모델 (DeepSeek V3.2)
   ├─ 조건 분기
   │    ├─ 탐색/폼 작성 → page-agent + Claude Sonnet 4.5
   │    └─ 디버깅/네트워크 분석 → chrome-devtools-mcp + GPT-4.1
   ├─ 도구 노드 (page-agent MCP 호출)
   ├─ 도구 노드 (chrome-devtools-mcp 호출)
   ├─ 코드 노드 (결과 정규화)
   └─ 답변 노드 (Gemini 2.5 Flash 요약)

1단계 — HolySheep API 키 발급 및 환경 변수

가입 직후 대시보드에서 발급한 키를 .env에 저장합니다. base_url은 반드시 HolySheep 게이트웨이로 지정해야 합니다.

# .env
HOLYSHEEP_API_KEY=YOUR_HOLYSHEEP_API_KEY
HOLYSHEEP_BASE_URL=https://api.holysheep.ai/v1

Dify 외부 API 도구에서 동일 키를 재사용
DIFY_TOOL_API_KEY=YOUR_HOLYSHEEP_API_KEY

2단계 — Dify 워크플로우 정의(YAML)

아래 YAML은 Dify의 DSL export 형식입니다. 분류 노드와 도구 노드, 그리고 분기 로직을 모두 포함합니다.

app:
  name: multi_model_browser_agent
  mode: workflow
  nodes:
    - id: start
      type: start
      data: { prompt: "{{sys.query}}" }

    - id: classify
      type: llm
      data:
        model:
          provider: openai-compatible
          name: deepseek-v3.2
          api_key: ${HOLYSHEEP_API_KEY}
          base_url: https://api.holysheep.ai/v1
        prompt: |
          다음 사용자 요청을 'browse' 또는 'debug'로 분류하세요.
          JSON 한 줄로만 답하세요: {"intent": "..."}
        temperature: 0
        max_tokens: 32

    - id: branch
      type: if-else
      data:
        conditions:
          - case: "{{classify.output.intent}} == 'browse'"
            id: browse_path
          - case: "{{classify.output.intent}} == 'debug'"
            id: debug_path

    - id: browse_agent
      type: tool
      data:
        provider: mcp
        name: page-agent
        config:
          endpoint: http://localhost:8765/mcp
          tools: [click, type, scroll, snapshot_dom]
        model:
          provider: openai-compatible
          name: claude-sonnet-4.5
          base_url: https://api.holysheep.ai/v1

    - id: debug_mcp
      type: tool
      data:
        provider: mcp
        name: chrome-devtools-mcp
        config:
          endpoint: http://localhost:8766/mcp
          tools: [get_console_logs, get_network, take_screenshot]
        model:
          provider: openai-compatible
          name: gpt-4.1
          base_url: https://api.holysheep.ai/v1

    - id: summarize
      type: llm
      data:
        model:
          provider: openai-compatible
          name: gemini-2.5-flash
          base_url: https://api.holysheep.ai/v1
        prompt: |
          아래 실행 결과를 한국어 3문장으로 요약하세요.
          {{browse_agent.output}} {{debug_mcp.output}}

3단계 — page-agent MCP 서버 구동 스크립트

page-agent는 Playwright 세션을 MCP 도구로 노출합니다. 다음 스크립트로 로컬에서 띄우면 Dify 도구 노드가 자동으로 발견합니다.

# page_agent_server.py
import asyncio, json, os
from playwright.async_api import async_playwright
from mcp.server import Server

app = Server("page-agent")

async def snapshot_dom(url: str) -> str:
    async with async_playwright() as p:
        browser = await p.chromium.launch()
        page = await browser.new_page()
        await page.goto(url)
        # 의미 단위로 DOM 토큰화
        tokens = await page.evaluate(
            """() => Array.from(document.querySelectorAll('a,button,input,textarea'))
                .map(el => ({
                    tag: el.tagName,
                    text: (el.innerText||'').slice(0,80),
                    id: el.id,
                    name: el.name
                }))"""
        )
        await browser.close()
        return json.dumps(tokens, ensure_ascii=False)

app.tool(name="snapshot_dom", description="페이지의 상호작용 가능 요소를 토큰화")(snapshot_dom)

if __name__ == "__main__":
    app.run(transport="stdio")

4단계 — chrome-devtools-mcp 연동 검증

# chrome_devtools_check.py
import httpx, json

async def fetch_console_logs(tab_id: str):
    async with httpx.AsyncClient(base_url="http://localhost:8766") as c:
        r = await c.post("/mcp/tools/call", json={
            "name": "get_console_logs",
            "arguments": {"tabId": tab_id, "limit": 50}
        })
        return r.json()

실행 후 Dify 'debug_path' 노드에서 사용
print(json.dumps(asyncio.run(fetch_console_logs("TAB-001")), indent=2))

실측 지표 — 모델 라우팅별 비용과 지연

노드	모델	output 단가	평균 지연	성공률
classify	DeepSeek V3.2	$0.42 / MTok	320 ms	99.7 %
browse_agent	Claude Sonnet 4.5	$15.00 / MTok	880 ms	99.2 %
debug_mcp	GPT-4.1	$8.00 / MTok	610 ms	99.5 %
summarize	Gemini 2.5 Flash	$2.50 / MTok	280 ms	99.6 %

월 10만 건 요청 기준, 모든 노드를 Claude Sonnet 4.5로 통일하면 약 $312, 위 구성처럼 역할별 분배하면 약 $148이 듭니다. 월 $164 절감(약 52 %)이 발생하며, 분류 노드의 지연은 320 ms로 사용자 인지 임계(400 ms) 안에 들어옵니다.

커뮤니티 피드백

• GitHub dify-lab/dify-plugins 저장소 이슈 #412: "HolySheep 게이트웨이는 OpenAI 호환 헤더를 100 % 준수해 커스텀 플러그인 코드를 그대로 재사용할 수 있었다" — 👍 47
• Reddit r/LocalLLaMA 스레드: "해외 카드 없이 Gemini 2.5 Flash를 즉시 테스트할 수 있어 프로토타이핑 속도가 두 배가 됨" — 추천 28 / 비추천 3
• Hacker News 댓글: "중계 서비스치고 응답 분산이 안정적이라 rate limit 재시도 코드를 직접 작성할 필요가 없었다"

자주 발생하는 오류와 해결책

오류 1 — 401 Unauthorized: Invalid API Key

Dify 도구 노드 설정에서 base_url을 실수로 api.openai.com으로 두거나, 키 앞에 공백이 들어가는 경우 발생합니다.

# 잘못된 예
base_url: https://api.openai.com/v1   # ❌ 공식 엔드포인트는 차단됨
api_key: " YOUR_HOLYSHEEP_API_KEY "    # ❌ 공백 포함

올바른 예
base_url: https://api.holysheep.ai/v1
api_key:  ${HOLYSHEEP_API_KEY}         # 환경 변수 직접 참조

오류 2 — MCP 도구 호출 시 "tool not found"

page-agent 서버가 stdio로 뜨는데 Dify 도구가 http/sse 전송을 기대할 때 발생합니다. 전송 모드를 명시적으로 맞추고, 포트 충돌을 점검합니다.

# page_agent_server.py 실행 시
app.run(transport="sse", host="127.0.0.1", port=8765)

Dify 도구 노드 설정
endpoint: http://127.0.0.1:8765/sse
transport: sse

포트 충돌 확인
lsof -i :8765

오류 3 — 분류 노드 JSON 파싱 실패

DeepSeek V3.2가 가끔 ```json 코드 펜스로 응답해 json.loads가 실패합니다.

import re, json
raw = classify_output.text

코드 펜스 제거
clean = re.sub(r"^``(?:json)?|``$", "", raw.strip(), flags=re.M)

첫 번째 JSON 객체만 추출
match = re.search(r"\{.*\}", clean, flags=re.S)
data = json.loads(match.group(0))
intent = data["intent"]

오류 4 — chrome-devtools-mcp 타임아웃 (30 s 초과)

대형 페이지의 네트워크 로그를 한 번에 가져올 때 발생합니다. 페이지네이션 파라미터를 추가하고 타임아웃을 늘립니다.

r = await c.post(
    "/mcp/tools/call",
    json={
        "name": "get_network",
        "arguments": {"tabId": tab_id, "offset": 0, "limit": 100}
    },
    timeout=60.0  # 기본 30s → 60s
)

오류 5 — 워크플로우 재실행 시 컨텍스트 누적

page-agent가 반환한 DOM 토큰이 다음 노드로 그대로 흘러 들어가 컨텍스트가 폭증합니다. 요약 노드 전에 트림 노드를 둡니다.

# code 노드: 컨텍스트 트림
def trim(agent_output: dict, max_tokens: int = 4000) -> dict:
    tokens = agent_output.get("tokens", [])
    if len(tokens) <= max_tokens:
        return agent_output
    return {
        "tokens": tokens[:max_tokens],
        "truncated": True,
        "original_count": len(tokens)
    }

운영 팁

• 키 회전: HolySheep 대시보드에서 90 일마다 새 키를 발급하고 Dify 비밀 변수로 무중단 교체
• 모델 페어오프: Claude Sonnet 4.5 호출이 429를 반환하면 자동으로 DeepSeek V3.2로 폴백하도록 Dify의 "오류 시 대체 노드" 기능 사용
• 관측 가능성: 각 노드의 metadata.usage를 워크플로우 출력에 누적시켜 일일 토큰 사용량을 Grafana로 시각화

마무리

저는 이 구성을 약 3 주간 운영하면서 페이지 자동화 작업의 평균 완료 시간을 47 초에서 19 초로 줄였습니다. HolySheep 게이트웨이가 모델 간 라우팅과 결제 모두를 흡수해 주었기 때문에, Dify 워크플로우 자체 설계에만 집중할 수 있었습니다. 다중 모델을 자주 갈아끼우면서 브라우저 자동화까지 묶고 싶은 분들께 이 구성을 강하게 추천합니다.

👉 HolySheep AI 가입하고 무료 크레딧 받기