AI 서비스가 약속한 성능을,
다시 돌려서 확인합니다

납품된 AI 서비스의 처리량 · 지연 · 쿼터 · 정책 적용을 — 누가 지었든 — 같은 방법으로 다시 돌릴 수 있는 시험으로 증명합니다.

01 · 무엇을 시험하나

시험하는 것은 «주장»입니다

공급 · 통제 계층이 «된다»고 말한 것을 시나리오로 보내 잽니다. 실제 사용 트래픽의 내용은 보지 않습니다.

등급이 섞인 부하

대화형과 일괄 작업처럼 성격이 다른 부하를 동시에 걸어 처리량 · 지연을 클래스별로 잽니다.

계약 전 · 구축 뒤 · 변경 때

계약 전 시뮬레이션, 구축 뒤 인수, 구성이 바뀔 때마다 재시험에 같은 방법을 씁니다.

합격선은 계약 데이터

인수 시험은 서명된 계약 데이터(시나리오 · 합격선)를 고르기만 합니다 — 시험 중에 바꿀 수 없습니다.

시험 콘솔의 조건 화면 — 인수 시험은 서명된 계약 데이터를 고르기만 하고, 즉석 조건의 탐색 시험은 이 판에서 열려 있지 않다
시연시험 콘솔 — 조건 화면. 인수 시험은 서명된 계약 데이터만 고릅니다.

02 · 성적서

성적서 한 장이 스스로 검증됩니다

서명 · 시각 증명 · 인증서 체인까지, 시험한 쪽이 없어도 다른 머신에서 오픈소스 도구 하나로 검증됩니다. 한 바이트라도 바뀐 성적서는 검증에서 떨어집니다.

서명 인증서가 폐기되지 않았는지도 폐기 목록으로 확인합니다 — 확인할 수 없으면 통과가 아닙니다.

다른 머신에서 검증

envelope    passed  DSSE signature verifies
timestamps  passed  1 of 1 signed timestamp(s) verify
chain       passed  chains to a trusted CA
validity    passed  signing time inside validity
profile     passed  code signing key usage
identity    passed  signed by 'e2e@example.org'
revocation  passed  not revoked
report      passed  report.json is the report that was signed
verified
exit 0

한 바이트를 바꾼 성적서

envelope    passed
timestamps  passed
chain       passed
validity    passed
profile     passed
identity    passed
revocation  passed
report      failed  report.json differs from the report that was signed
not verified
exit 1

시연시험용 인증 기관으로 서명한 성적서의 검증 출력(줄 설명은 줄여 옮김).

03 · 방법

방법을 공개하고, 고객이 다시 돌립니다

도구는 오픈소스

측정 · 서명 · 검증 도구는 Apache-2.0 오픈소스입니다. 현장에 들고 가는 묶음은 서명과 체크섬으로 묶입니다.

같은 묶음, 같은 판정

성적서는 방법 묶음 · 시나리오 전체 · 대상 구성에 묶여, 받은 쪽이 같은 묶음으로 다시 돌려 같은 판정을 확인하도록 설계합니다. 확률적인 측정에서 «같음»은 정해진 허용 폭 안의 동등입니다.

04 · 관계

관계를 숨기지 않습니다

시험을 수행하는 쪽과 대상의 관계는 성적서 판정 위에 적힙니다. 수행자가 대상 공급자와 같은 조직이면 «특수관계 공급자의 인수 시험»이라고 쓰고, 그래서 방법 공개 · 고객 재실행 · 제3자 서명 옵션이 있습니다.

성적서 맨 위의 두 상자 — 시험용 서명 경고와, 측정 수행자와 대상 공급자가 같은 조직임을 밝히는 관계 고지
시연성적서 맨 위 — 서명 경고와 관계 고지. 관계 문구가 없으면 성적서 문서를 만들지 않습니다.

05 · 현장

현장에서 돕니다

폐쇄망 단일 실행 파일

네트워크가 없는 리눅스 호스트에서 실행 파일 하나와 묶음으로 시험을 끝냅니다.

시험 콘솔

조건을 고르고, 진행을 보고, 성적서를 받고, 정리까지 한 세션에 합니다. 세션이 끝나면 콘솔도 끝납니다.

시험 콘솔의 정리 화면 — 종료 코드, 반출 디렉터리에 허용 목록의 파일만 남았다는 반출물 목록, 잔여물 확인 ok
시연시험 콘솔 — 정리 화면. 반출 디렉터리에는 허용 목록의 파일만 남습니다.

06 · 경계

무엇이 아닌가

07 · 문의

인수 시험 · 재시험 문의

납품 전 인수 시험, 구성 변경 뒤 재시험, 받은 성적서를 직접 다시 돌려 보는 방법을 안내합니다.

hello@iyulab.com