Performance Tests는 실제 인스턴스에서 실제 워크플로를 실행하므로, 테스트에는 대략 워크플로 자체에 걸리는 시간에 실행 횟수를 곱한 만큼의 시간이 소요됩니다. 가져오는 워크플로는 먼저 API 형식으로 내보내야 합니다. Comfy Desktop에 포함된 예제 워크플로는 이미 이 형식입니다.
성능 테스트 실행하기
이 패널은 세 개의 번호가 붙은 단계가 나란히 배치되어 있습니다. 창이 좁으면 세로로 쌓입니다.
1. 인스턴스 선택
테스트할 워크스페이스와 인스턴스를 선택합니다. 인스턴스와 해당 하드웨어 정보는 결과와 함께 기록되며, 이는 나중에 비교를 의미 있게 만드는 요소입니다. 서로 다른 GPU에서 실행한 결과를 구분할 수 있는 상태로 유지되기 때문입니다. 테스트를 시작하면 Comfy Desktop은 해당 인스턴스의 이전 성능 테스트 세션이 아직 실행 중인 경우 이를 중지한 다음, 해당 인스턴스를 콘솔 세션으로 시작합니다. 다른 로컬 ComfyUI가 실행 중이거나 시작 중이거나 중지 중이면 테스트 시작을 거부하고 방해하는 인스턴스를 안내 메시지에 표시합니다. 해당 인스턴스를 중지하거나 시작 또는 중지가 끝날 때까지 기다린 후 테스트를 다시 실행하세요. Comfy Cloud 및 원격 인스턴스는 다른 곳에서 실행되므로 테스트를 막지 않습니다. 게임이나 동영상 내보내기처럼 GPU를 사용하는 다른 작업은 여전히 측정값에 영향을 주므로 테스트를 실행하기 전에 중지하세요.2. 워크플로 선택
Comfy Desktop에 포함된 예제 워크플로를 고르거나 직접 워크플로를 가져올 수 있습니다. 예제 워크플로는 바로 실행할 수 있으며 필요한 모델이 자동으로 다운로드됩니다. Choose an example workflow를 클릭하면 선택기가 열립니다. 선택기는 예제를 모달리티별 탭(Video, Image, 3D, Audio. 예제가 있는 모달리티에만 탭이 표시됩니다)으로 묶고, 각 카드에는 예제의 이름, 작업, 모델 다운로드 크기가 표시됩니다. Use workflow를 클릭해 하나를 선택하세요. 그러면 Comfy Desktop이 워크플로에 아직 없는 모델을 다운로드하고, 드롭 영역에 완료될 때까지 다운로드 진행률이 표시됩니다. 예제를 사용하려면 인스턴스 설치가 완료되어 있어야 하고 온라인 상태여야 합니다. 모델이 남은 디스크 공간에 들어가지 않으면 선택기가 선택을 막습니다. 예제 워크플로는 인스턴스에 종속됩니다. 다른 인스턴스로 전환하면 이전 인스턴스용으로 준비한 예제는 버려집니다. 단, 해당 예제의 세션에 이미 결과가 기록되어 있으면 유지됩니다. 직접 가져오는 워크플로는 먼저 API 형식으로 내보내야 합니다..json 파일을 드롭 영역에 놓거나, 영역을 클릭하여 파일을 찾아봅니다.
3. 측정 설정 지정
모든 실행은 워크플로의 숫자 시드 입력을 1씩 증가시키므로, 측정 실행이 동일한 캐시 결과를 반복하지 않습니다.
세 단계를 모두 설정한 뒤 Run을 클릭하면 테스트가 시작됩니다. 옆의 Stop 버튼으로 진행 중인 테스트를 취소할 수 있습니다.
결과 확인
테스트가 실행되는 동안 패널에는 완료된 실행 수와 인스턴스 로그가 표시됩니다. 모든 실행이 끝나면 인스턴스가 중지되고 결과가 나타납니다.- 가장 빠른 실행, 가장 느린 실행, 평균 실행, 중앙값 실행 (초 단위)
- 측정 실행 및 실패한 실행: 실행 시간이 산출된 실행 수와 그렇지 않은 실행 수
- 실행 시간 집계: 네 가지 집계값(가장 빠름, 가장 느림, 평균, 중앙값)을 비교하는 막대 차트
- 시스템 정보: 연산 장치, VRAM, RAM, PyTorch 버전, xFormers 버전, CPU, CPU 코어, 운영 체제, 아키텍처
Benchmarks로 실행 비교하기
Benchmarks는 Performance Tests가 저장한 결과를 읽으므로, 테스트가 최소 한 개 완료되기 전에는 표시할 내용이 없습니다.실행 라이브러리
실행 라이브러리는 결과 폴더에 저장된 모든 실행을 최신 순으로 나열합니다. 도구 모음에서 다음을 사용할 수 있습니다:- 폴더 선택: 패널이 다른 결과 폴더를 가리키도록 지정합니다. 예를 들어 공유 드라이브의 폴더를 지정할 수 있습니다. 기본값은 Performance Tests가 기록하는 폴더입니다. 자세한 내용은 결과가 저장되는 위치를 참고하세요.
- 세션 새로 고침: 다른 곳에서 테스트가 완료된 후 폴더를 다시 로드합니다.
- 실행 검색: 텍스트로 목록을 필터링합니다.
- 워크스페이스, 인스턴스, 하드웨어, 워크플로로 필터링하는 드롭다운 필터입니다.
- 속성: 라이브러리에 표시할 열을 선택합니다(세션, 날짜 및 시간, 워크플로, 인스턴스, 워크스페이스, 실행 횟수, GPU 및 하드웨어).
실행 비교
체크박스로 두 개 이상의 실행을 선택하거나 표시된 실행 모두 선택을 사용하세요. 라이브러리가 로드되면 최신 실행 세 개가 자동으로 선택됩니다. 실행을 선택하면 라이브러리 아래에 비교 섹션이 열립니다. 비교는 선택한 실행마다 하나의 열을 여러 지표 행 옆에 배치합니다. 지표 행은 가장 빠른 소요 시간, 평균, 중앙값, 가장 느린 소요 시간과 측정된 실행 횟수로 구성됩니다. 하나의 실행이 기준입니다. 기본적으로 표시된 첫 번째 열이 기준입니다. 속도 보기에서 열 제목을 클릭하면 해당 실행이 대신 기준이 됩니다.상대 속도
비교에는 소요 시간과 속도 두 가지 보기가 있으며, 비교 도구 모음에서 전환합니다. 상대 속도는 속도 보기에 속하며, 기준도 이 보기에서 선택합니다. 상대 속도는 기준 소요 시간을 해당 실행의 소요 시간으로 나눈 값입니다:- **1.00×**는 해당 실행이 기준과 같은 속도임을 의미합니다
- 1.00×보다 큰 값은 해당 실행이 기준보다 빠름을 의미합니다
- 1.00×보다 작은 값은 해당 실행이 기준보다 느림을 의미합니다
정렬 및 내보내기
- 비교 정렬은 상대 속도 순으로 열을 정렬합니다. 수동 정렬을 사용하면 열을 직접 원하는 순서로 끌어 놓거나, 열에 포커스를 두고 Alt+Left / Alt+Right를 누를 수 있습니다.
- 결과 내보내기는 전체 비교를 PNG 이미지로 저장하며, 이슈나 채팅 메시지에 결과를 첨부하는 가장 빠른 방법입니다.
세션 관리
각 테스트는 세션으로 저장됩니다. 라이브러리에서 세션 이름을 바꾸거나(세션 편집) 삭제할 수 있습니다(삭제). 삭제하면 해당 세션에 기록된 모든 파일이 제거됩니다.결과가 저장되는 위치
Performance Tests는 워크플로를 패널에 추가할 때 세션 폴더를 만들고, 그 시점의 타임스탬프(YYYYMMDDHHMMSS)를 이름으로 사용합니다:
각 세션 폴더에는 다음이 들어 있습니다:
- 패널이 사용한 워크플로 파일
jobs.json: 인스턴스에서 받은 원시 작업 응답results.json: Benchmarks 패널이 읽는 요약logs.txt: 실행 중 인스턴스 콘솔 출력
results.json을 읽으므로, 다른 머신의 결과와 비교하려면 세션 폴더를 Benchmarks가 가리키는 폴더에 복사하기만 하면 됩니다.
같은 가져온 워크플로를 다시 실행하면 결과가 같은 세션 폴더에 기록되어 이미 저장된 결과를 덮어씁니다. 비교를 위해 결과를 남기려면 다음 테스트 전에 워크플로를 다시 패널에 추가하세요.
요구 사항
- Comfy Desktop에서 실행할 수 있는 독립 실행형, 추적된 또는 원격 인스턴스. 테스트에는 정상 작동하는 ComfyUI 인스턴스가 필요하므로 클라우드 인스턴스에서는 실행할 수 없습니다.
- 인스턴스가 실행할 수 있는 워크플로. 여기에는 필요한 모든 모델과 커스텀 노드가 포함됩니다. 가져오는 워크플로는 API 형식이어야 합니다. 예제 워크플로는 이미 그 형식이며 Comfy Desktop이 모델을 다운로드합니다. 인스턴스가 워크플로를 거부하면 테스트가 중지되고 오류가 로그에 표시됩니다. 인스턴스가 수락했지만 실행 중 실패한 실행은 실패한 실행으로 집계되며 소요 시간 통계에서 제외됩니다.