20년+ IT 기획·PM 경험을 바탕으로
AI/LLM 서비스 품질을 검증합니다.

$ python -m unittest discover -s tests
Ran 98 tests in 20.319s
OK

$ python quality_diagnosis/run_quality_suite.py
Ran 32 tests in 3.160s
OK
{ "total": 32, "passed": 32, "failed": 0, "errors": 0, "successful": true }

$ python e2e_runner.py --mode offline --domain ecommerce
# exit 0 — JSON / CSV / 품질점수 MD / 배포판정 MD
#          + 증적 TXT·XML·HTML·JUnit XML 생성

$ python quality_diagnosis/run_fault_diagnosis.py
{ "successful": true }   # Retriever 중단·포트충돌·CSV누락·키미설정·지연·빈검색

$ python quality_diagnosis/llm_judge.py --provider deterministic
# exit 0

$ pip install -r requirements.txt        # 129개 패키지, exit 0

$ $env:OPENAI_API_KEY="sk-dummy-for-mocked-tests"
# 테스트가 LLM 호출을 전부 모킹하므로 실제 API 호출은 발생하지 않습니다.
# 키는 에이전트 생성자의 선조건 검사를 통과시키기 위한 더미 값입니다.

$ pytest -q
84 passed, 10 warnings in 48.29s
- generated xml file: tests_output\junit.xml -
Coverage HTML written to dir tests_output/htmlcov
TOTAL                              2442   1022   58%

# 참고: 키를 아예 설정하지 않으면 7건 실패 → 아래 결함표 02번 행

$ pytest -q
.....................................................          [100%]
53 passed, 33 warnings in 12.14s

$ cd backend && npm install
added 490 packages in 22s

$ npm test                      # 러너 분리 후 — 단위 + 통합 순차 실행

> test:unit — node --test "**/!(*.integration).test.js"
✔ rejects an empty password
✔ rejects a very long password
✔ accepts a password with special characters when all requirements are met
✔ rejects a password without a special character
✔ rejects a password without mixed case and a number
ℹ tests 5   ℹ pass 5   ℹ fail 0

> test:integration — jest --runInBand
Test Suites: 1 passed, 1 total
Tests:       4 passed, 4 total

EXIT=0

$ python -m uvicorn app:app --port 8001
SERVER_UP = True

$ curl http://127.0.0.1:8001/metrics
# HELP python_gc_objects_collected_total Objects collected during gc
# TYPE python_gc_objects_collected_total counter
python_gc_objects_collected_total{generation="0"} 382.0
...

$ python tests/run_tests.py
TEST_EXIT = 0

# requirements.txt 고정 버전 그대로 (Python 3.12.9)
$ pip install -r requirements.txt
exit 0   # numpy 1.26.4 / streamlit 1.32.0 / pandas 2.2.1

$ streamlit run app/app.py --server.headless true --server.port 8599
$ curl http://127.0.0.1:8599/_stcore/health
200 ok          # OPENAI_API_KEY 미설정 상태에서 기동

# 정책 로딩도 프로젝트 밖 경로에서 확인
high_risk_finance weights ST = 2.0