Parking Inference Evaluator

📝 개요

이 MCP 서버는 주차장 GT(Ground Truth) 데이터와 추론 결과를 비교하여 평가 지표를 제공합니다.

🔧 설치

1. 필요한 패키지 설치:

pip install mcp

2. MCP 서버 실행 가능하도록 설정:

chmod +x mcp_server.py

🚀 사용 방법

1. MCP 클라이언트에서 사용

VS Code의 GitHub Copilot이나 다른 MCP 클라이언트에서 이 서버를 설정하려면:

Windows (PowerShell):

$env:APPDATA\Code\User\globalStorage\saoudrizwan.claude-dev\settings\cline_mcp_settings.json

macOS/Linux:

~/Library/Application Support/Code/User/globalStorage/saoudrizwan.claude-dev/settings/cline_mcp_settings.json

위 설정 파일에 다음을 추가:

{
  "mcpServers": {
    "parking-evaluation": {
      "command": "python",
      "args": ["/home/tencho/custom-mcp/mcp_server.py"]
    }
  }
}

2. 도구 사용

MCP 클라이언트에서 다음 3가지 도구를 사용할 수 있습니다:

evaluate_parking_inference

주차장 추론 결과를 평가합니다

파라미터:

• version (선택): 평가할 모델 버전 (예: "1.0", "2.0")
• date (선택): 평가할 날짜 (YYYYMMDD 형식, 예: "20260421")
  • 지정하지 않으면 오늘 날짜 사용
• file_range (선택): 평가할 파일 범위 [시작, 끝] (예: [1, 5])
  • 지정하지 않으면 모든 파일 평가
• include_file_details (선택): 파일별 상세 정보 포함 여부 (true/false)
  • true: 각 파일의 개별 지표 포함
  • false: 전체 요약만 반환

사용 예시:

버전 1.0의 모든 데이터를 평가해줘
버전 2.0의 2026년 4월 21일 데이터를 평가해줘
버전 1.0의 1번부터 3번 파일만 평가해줘
요약만 보여주고 파일별 상세는 빼줘

list_available_versions

평가 가능한 모든 버전 목록을 반환합니다

사용 예시:

사용 가능한 버전 목록을 보여줘
어떤 버전들이 있어?

list_available_dates

특정 버전의 사용 가능한 날짜 목록을 반환합니다

파라미터:

• version (선택): 조회할 모델 버전 (기본값: "1.0")

사용 예시:

버전 1.0에서 사용 가능한 날짜를 알려줘
버전 2.0의 평가 가능한 날짜는?

3. 직접 실행 (테스트용)

python evaluate.py

📊 평가 지표

Confusion Matrix

• TP (True Positive): 빈 공간을 빈 공간으로 정확히 예측
• FP (False Positive): 주차된 곳을 빈 공간으로 잘못 예측 (오탐지)
• TN (True Negative): 주차된 곳을 주차됨으로 정확히 예측
• FN (False Negative): 빈 공간을 주차됨으로 잘못 예측 (미탐지)

평가 지표

• Accuracy: (TP + TN) / Total - 전체 예측의 정확도
• Precision: TP / (TP + FP) - 빈 공간으로 예측한 것 중 실제 빈 공간의 비율
• Recall: TP / (TP + FN) - 실제 빈 공간 중 빈 공간으로 예측한 비율
• F1 Score: 2 * (Precision * Recall) / (Precision + Recall) - 조화 평균

📁 폴더 구조

custom-mcp/
├── generate_data.py        # GT 데이터 및 추론 결과 생성
├── evaluate.py             # 평가 스크립트 (독립 실행용)
├── mcp_server.py          # MCP 서버
├── mcp_config.json        # MCP 설정 예제
├── README.md              # 이 파일
├── gt_data/
│   └── 1.0/               # 버전별 GT 데이터
│       ├── 20260421-1.txt
│       └── ...
└── inference_results/
    └── 1.0/               # 버전별 추론 결과
        ├── 20260421-1.txt
        └── ...

🎯 예제

데이터 생성

python generate_data.py

평가 실행

python evaluate.py

MCP를 통한 평가

MCP 클라이언트에서 다양한 조건으로 평가할 수 있습니다:

# 기본 평가
evaluate_parking_inference를 사용하여 버전 1.0의 결과를 평가해줘

# 특정 날짜 평가
버전 1.0의 2026년 4월 21일 데이터를 평가해줘

# 파일 범위 지정
버전 1.0의 1번부터 3번 파일만 평가해줘

# 버전 비교
먼저 사용 가능한 버전을 확인하고, 각 버전의 성능을 비교해줘

# 날짜 조회 후 평가
버전 1.0에 어떤 날짜가 있는지 확인하고, 가장 최근 날짜 데이터를 평가해줘

📄 출력 형식

MCP 도구는 다음 형식으로 결과를 반환합니다:

evaluate_parking_inference 응답:

{
  "version": "1.0",
  "date": "20260421",
  "file_range": "all",
  "total_files": 5,
  "evaluated_files": 5,
  "confusion_matrix": {
    "TP": 25,
    "FP": 10,
    "TN": 20,
    "FN": 5
  },
  "overall_metrics": {
    "accuracy": 0.75,
    "precision": 0.714,
    "recall": 0.833,
    "f1_score": 0.769
  },
  "file_results": [...]  // include_file_details=true인 경우만
}

list_available_versions 응답:

{
  "versions": ["1.0", "2.0", "3.0"]
}

list_available_dates 응답:

{
  "version": "1.0",
  "dates": ["20260415", "20260420", "20260421"]
}

🎨 고급 사용 시나리오

시나리오 1: 여러 버전 성능 비교

1. 사용 가능한 버전 목록 조회
2. 각 버전의 동일한 날짜 데이터 평가
3. F1 Score 비교

시나리오 2: 시간에 따른 성능 변화 추적

1. 버전 1.0의 사용 가능한 날짜 조회
2. 여러 날짜의 데이터를 순서대로 평가
3. 성능 변화 분석

시나리오 3: 빠른 성능 체크

버전 2.0의 전체 성능 요약만 빠르게 보여줘.
파일별 상세 정보는 필요없어
→ include_file_details: false