1. 애플리케이션 테스트 케이스 설계 – 테스트 케이스
1) 테스트 케이스 개념
테스트 케이스는 특정 요구사항에 준수하는 지를 확인하기 위해 개발된 입력값, 실행 조건, 예상된 결과의 집합이다.
2) 테스트 케이스 작성 절차
테스트 케이스의 정확성, 재사용성, 간결성 보장을 위해 아래의 절차에 따라 작성한다.
(1) 테스트 계획 검토 및 자료 확보
테스트 대상 프로젝트 범위와 접근 방법 이해를 위하여 테스트 계획을 검토
테스트 대상 시스템 자료와 정보를 확보하여, 시스템 요구사항과 기능 명세서를 검토
(2) 위험 평가 및 우선순위 결정
결함 해결에 있어 상대적 중요성을 지니며 테스트의 초점을 결정
(3) 테스트 요구사항 정의
시스템 요구사항, 테스트 대상 재검토, 테스트할 특성, 조건, 기능을 식별 및 분석
(4) 테스트 구조 설계 및 테스트 방법 결정
테스트 케이스의 일반적 형식을 결정하고, 테스트 케이스 분류 방법을 결정
테스트 절차, 장비, 도구, 테스트 문서화 방법을 결정
(5) 테스트 케이스 정의 및 작성
테스트 케이스 작성 절차 중 테스트 케이스 정의에서 각 요구사항에 대해 테스트 케이스를 작성하고, 입력값(테스트 데이터), 테스트 조건, 예상 결과를 기술
(6) 테스트 케이스 타당성 확인 및 유지보수
기능 또는 환경 변화에 따라 테스트 케이스를 갱신하고, 테스트 케이스의 유용성을 검토
3) 테스트 케이스 구성요소(ISO/IEC/IEEE 29119-3 표준)
(1) 식별자(Identifier)
테스트 케이스를 고유하게 식별하기 위한 항목 식별자
(2) 테스트 항목(Test Item)
테스트할 모듈 또는 기능에 대한 간략한 내용
(3) 입력 명세(Input Specification)
테스트 실행 시 입력할 데이터(입력값, 선택 버튼, 체크 리스트 값 등 및 조건)
(4) 출력 명세(Output Specification)
테스트 케이스 실행 시 기대되는 결과 데이터(출력값, 결과화면, 기대 동작 등)
(5) 환경설정(Environmental Needs)
테스트 수행 시 필요한 하드웨어나 소프트웨어 환경
테스트 시 사용할 물리적, 논리적 테스트 환경
(6) 특수절차요구(Special Procedure Requirement)
테스트 케이스 수행 시 특별히 요구되는 절차
(7) 의존성 기술(Inter-case Dependencies)
테스트 케이스 간의 의존성 및 종속성
이외에도 테스트를 거친 애플리케이션 기능의 성공과 실패를 판단하는 조건을 명확하게 작성해야 한다.
4) 테스트 오라클
(1) 테스트 오라클(Test Oracle)의 개념
테스트 오라클은 테스트의 결과가 참인지 거짓인지를 판단하기 위해서 사전에 정의된 참값을 입력하여 비교하는 기법이다.
(2) 테스트 오라클 종류
1-참(Ture) 오라클
모든 입력값에 대하여 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출할 수 있는 오라클
2-샘플링(Sampling) 오라클
특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공해주는 오라클
3-휴리스틱(Heuristic) 오라클
샘플링 오라클을 개선한 오라클로, 특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값들에 대해서는 휴리스틱(추정)으로 처리하는 오라클
4-일관성 검사(Consistent) 오라클
애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인하는 오라클
2. 애플리케이션 테스트 케이스 설계 – 테스트 레벨
1) 테스트 레벨(Test Level) 개념
테스트 레벨은 함께 편성되고 관리되는 테스트 활동의 그룹이다.
테스트 레벨은 프로젝트에서 책임과 연관 되어있다.
각각의 테스트 레벨은 서로 독립적이다.
2) 테스트 레벨 종류 – 단통시인
애플리케이션 테스트는 소프트웨어의 개발 단계에 따라 분류할 수 있고, 이렇게 분류된 것을 테스트 레벨이라고 한다.
(1) 단위 테스트
사용자 요구사항에 대한 단위 모듈, 서브 루틴 등을 테스트하는 단계
기법 : 인터페이스 테스트, 자료 구조 테스트, 실행 경로 테스트, 오류 처리 테스트
(2) 통합 테스트
단위 테스트를 통과한 컴포넌트 간의 인터페이스를 테스트하는 단계
기법 : 빅뱅 테스트, 상향식/하향식 테스트
(3) 시스템 테스트
개발 프로젝트 차원에서 정의된 전체 시스템 또는 제품의 동작에 대해 테스트하는 단계
기법 : 기능/비기능 요구사항
(4) 인수 테스트
계약상의 요구사항이 만족되었는지 확인하기 위한 테스트 단계
기법 : 알파/베타 테스트
테스트 레벨은 소프트웨어 개발 단계를 연결하여 표현한 것을 V-모델이라고 한다.
1-단위 테스트(Unit Test)
단위 테스트는 소프트웨어 설계의 최소 단위인 모듈이나 컴포넌트에 초점을 맞춘 테스트이다.
단위 테스트에서는 자료 구조, 인터페이스, 외부적 I/O, 독립적 기초 경로, 오류 처리 경로, 경계 조건 등을 검사한다.
단위 테스트는 명세 기반 테스트(=블랙박스 테스트)와 구조 기반 테스트(=화이트박스 테스트)로 나뉘지만 주로 구조 기반 테스트 위주로 수행한다.
2-통합 테스트(Integration Test)
통합 테스트는 소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트 기법이다.
단위 테스트가 {끝난 모듈 또는 컴포넌트 단위의 프로그램이 설계 단계에서 제시한 애플리케이션과 동일한 구조와 기능으로 구현된 것인지를 확인하는 테스트이다.
* 단위 테스트와 통합 테스트를 구분하는 문제가 자주 출제됌. 통합 테스트는 각 모듈 간의 인터페이스 관련 오류 및 결함을 테스트하는 단계라는 것 기억
3-시스템 테스트(System Test)
시스템 테스트는 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증하는 테스트이다.
컴퓨터 시스템을 완벽하게 검사하기 위한 목적 또는 성능 목표를 가지고 테스트한다.
[1] 기능적 요구사항 테스트
요구사항 명세서, 비즈니스 절차, 유스케이스 등 명세서 기반의 블랙박스 테스트
[2] 비기능적 요구사항 테스트
성능 테스트, 회복 테스트, 보안 테스트, 내부 시스템의 메뉴 구조, 웹 페이지의 내비게이션 등의 구조적 요소에 대한 화이트박스 테스트
4-인수 테스트(Acceptance Test)
인수 테스트는 최종 사용자와 업무의 이해관계자 등이 테스트를 수행함으로써 개발된 제품에 대한 운영 여부를 결정하는 테스트이다.
시스템의 일부 또는 특정한 비기능적인 특성에 대해 인수 테스트를 통해 확인한다.
[1] 알파 테스트(Alpha Test)
선택된 사용자(회사 내의 다른 사용자 또는 실제 사용자)가 개발자 환경에서 통제된 상태로 개발자와 함께 수행하는 인수 테스트
[2] 베타 테스트(Beta Test)
실제 환경에서 일정 수의 사용자에게 대상 소프트웨어를 사용하게 하고 피드백을 받는 인수 테스트
필드 테스팅(Field Testing)이라고도 불리며, 개발자 없이 고객의 사용 환경에 소프트웨어를 설치하여 검사를 수행하는 인수 테스트
* 알파, 베타 테스트 정확히 잘 알고 넘어가기
3. 애플리케이션 테스트 케이스 설계 – 테스트 지식 체계
1) 소프트웨어 테스트 종류
소프트웨어 테스트 종류는 프로그램 실행 여부, 테스트 상세 기법, 테스트에 대한 시각, 테스트의 목적, 테스트의 종류에 따라 분류할 수 있다.
2) 프로그램 실행 여부에 따른 분류
경험기반 테스트도 블랙박스 테스트에 포함되기도 한다.
* 탐색적 테스트(Exploratory Test)
테스트 스크립트 또는 테스트 케이스를 문서로 작성하지 않고 경험에 바탕을 두고 탐색적으로 기능을 수행해 보면서 테스트하는 기법이다.
(1) 정적 테스트
테스트 대상을 실행하지 않고 구조를 분석하여 논리성을 검증하는 테스트
유형 : 리뷰(동료 검토, 워크스루, 인스펙션), 정적 분석
(2) 동적 테스트
소프트웨어를 실행하는 방식으로 테스트를 수행하여 결함을 검출하는 테스트
유형 : 화이트박스 테스트, 블랙박스 테스트, 경험기반 테스트
3) 테스트 기법에 따른 분류
(1) 블랙박스 테스트(Black-box Test)
블랙박스 테스트는 프로그램의 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트(기능 테스트)이다.
블랙박스 테스트는 소프트웨어의 특징, 요구사항, 설계 명세서 등에 초점을 맞춰 테스트가 이루어진다.
블랙박스 테스트는 기능 및 동작 위주의 테스트를 진행하기 때문에 내부 구조나 작동 원리를 알지 못해도 가능하다.
블랙박스 테스트는 명세 테스트라고 부른다.
1-동등 분할 테스트(Equivalence Partitioning Testing)(=동치 분할 테스트, 균등 분할 테스트)
입력 데이터의 영역을 유사한 도메인별로 유효 값/ 무효 값을 그룹핑하여 대푯 값으로 테스트 케이스를 도출하는 테스트 기법
2-경곗값 분석 테스트(Boundary Value Analysis Testing)(=한곗값 테스트)
등가분할 후 경곗값 부분에서 오류 발생 확률이 높기에 경곗값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법
“최솟값 바로 위, 최대치 바로 아래” 등 입력값의 극한 한계를 테스트하는 기법
3-결정 테이블 테스트(Decition Table Testing)
요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트하는 기법
4-상태전이 테스트(State Transition Testin)
테스트 대상/시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법
5-유스케이스 테스트(Use Case Testing)
시스템이 실제 사용되는 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 수행하는 테스트 기법
6-분류 트리 테스트(Classification Tree Method Testing)
SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법
7-페어와이즈 테스트(Pairwise Testing)
테스트 데이터 간에 최소한 한 번씩 조합하는 방식이며, 이는 커버해야 할 기능적 범위를 모든 조합에 비해 상대적으로 적은 양의 테스트 세트를 구성하기 위한 테스트 기법
8-원인-결과 그래프 테스트(Cause-Effect Graph Testing)
그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법
9-비교 테스트(Comparsion Testing)
여러 버전의 프로그램에 같은 입력 값을 넣어서 동일한 결과 데이터가 나오는지 비교해 보는 테스트 기법
10- 오류 추정 테스트(Error Guessing Testing)
개발자가 법할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계하여 테스트하는 기법
특정 테스트 대상이 주어지면 테스터의 경험과 직관을 바탕으로 개발자가 범할 수 있는 실수들을 나열하고, 해당 실수에 따른 결함을 노출하는 테스트로 다른 블랙 박스 테스트 기법을 보완할 때 사용하는 기법
(2) 화이트박스 테스트(White-box Test)
화이트박스 테스트는 각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트이다.
화이트박스 테스트는 코드 분석과 프로그램 구조에 대한 지식을 바탕으로 문제가 발생할 가능성이 있는 모듈 내부를 직접 관찰하고, 테스트하는 방법이다.
소스 코드의 모든 문장을 한 번 이상 수행함으로써 진행된다.
산출물의 기능별로 적절한 프로그램의 제어 구조에 따라 선택, 반복 등의 부분들을 수행함으로써 논리적 경로를 점검한다.
화이트박스 테스트는 구조 기반 테스트, 코드 기반 테스트, 로직 기반 테스트, 글래스(Glass)박스 테스트라고 부른다.
1-구문 커버리지=문장 커버리지(Statement Coverage)
프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지
조건문 결과와 관계없이 구문 실행 개수로 계산
2-결정 커버리지=선택 커버리지(Decision Coverage)=분기 커버리지(Branch Coverage)
(각 분기의) 결정 포인트 내의 전체 조건식이 적어도 한 번은 참(T)과 거짓(F)의 결과를 수행하는 테스트 커버리지
3-조건 커버리지(Condition Coverage)
(각 분기의) 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지
4-조건-결정 커버리지(Condition/Decision Coverage)
전체 조건식뿐만 아니라 개별 조건식도 참 한번, 거짓 한 번 결과가 되도록 수행하는 테스트 커버리지
5-변경 조건-결정 커버리지(Modified Condition/Decision Coverage)
개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지
6-다중 조건 커버리지(Multiple Condition Coverager)
결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
7-기본 경로 커버리지-경로 커버리지(Base Path Coverage)
수행 가능한 모든 경로를 테스트하는 기법
기본 경로는 사이클을 허용
8-제어 흐름 테스트(Control Flow Testing)
프로그램 제어구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법
9-데이터 흐름 테스트(Data Flow Testing)
제어 흐름 그래프에 데이터 사용 현황을 추가한 그래프를 통해 테스트하는 기법
10-루프 테스트(Loop Testing)
프로그램의 반복(Loop) 구조에 초점을 맞춰 실시하는 테스트 기법
* 블랙박스/화이트박스 테스트 유형 정확히 외우기
4) 테스트 시각에 따른 분류
(1) 검증(Verification)
소프트웨어 개발 과정을 테스트
올바른 제품을 생산하고 있는지 검증
이전 단계에서 설정된 개발 규격과 요구를 충족시키는지 판단
개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바로 수행하는지 알아보는 과정
(2) 확인(Validation)
소프트웨어 결과를 테스트
만들어진 제품이 제대로 동작하는지 확인
최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단
사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정
5) 테스트 목적에 따른 분류
(1) 회복 테스트(Recovery Test)
시스템에 고의적으로 실패를 유도하고, 시스템의 정상적 복귀 여부를 테스트하는 기법
(2) 안전 테스트(Security Test)
불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트 기법
(3) 성능 테스트(Performance Test)
사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량, 사용자 요구에 시스템이 반응하는 속도 등을 측정하는 테스트 기법
(4) 강도 테스트(Stress Test)
시스템 처리 능력 이상의 부하 임계점 이상의 부하를 가하여 비정상적인 상황에서의 처리를 테스트
(5) 구조 테스트(Structure Test)
시스템 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트 기법
(6) 회귀 테스트(Regression Test)
회귀 테스트는 오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트 기법
(7) 병행 테스트(Parallel Test)
변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법
6) 소프트웨어 테스트의 원리
(1) 결함 존재 증명
테스트는 결함이 존재함을 밝히는 활동
결함이 없다는 것을 증명할 수 없음
(2) 완벽 테스팅은 불가능
무한 경로(한 프로그램 내의 내부 조건은 무수히 많을 수 있음), 무한 입력값(입력이 가질 수 있는 모든 값의 조합이 무수히 많음)으로 인한 완벽한 테스트가 어렵다는 원리
(3) 초기 집중
개발 초기에 체계적인 분석 및 설계가 수행되면 테스팅 기간 단축, 재작업을 줄여 개발 기간을 단축 및 결함을 예방할 수 있는 원리
SW 개발 초기 체계적인 분석 및 설계가 수행되지 못하면 그 결과가 프로젝트 후반에 영향을 미치게 되어 비용이 커진다는 요르돈 법칙 적용(Snowball Effect; 눈덩이 법칙)
(4) 결함 집중
적은 수의 모듈(20% 모듈)에서 대다수 결함(80% 결함)이 발견된다는 원리
파레토 법칙(Pareto Principle)의 내용인 80 대 20 법칙 적용
* 파레토 법칙을 테스트 분야에 접목한 것이 결함 집중 원리
(5) 살충제 패러독스
동일한 테스트 케이스에 의해 반복적 테스트는 새로운 버그를 찾지 못한다는 원리
(6) 정황 의존성
소프트웨어의 성격에 맞게 테스트를 수행해야 한다는 원리
(7) 오류-부재의 궤변
요구사항을 충족시켜주지 못한다면, 결합이 없다고 해도 품질이 높다고 볼 수 없다는 원리
4. 애플리케이션 통합 테스트 – 결함 관리 도구
1) 결함 관리 도구(Defect Management Tool) 개념
결함 관리 도구는 단계별 테스트 수행 후 발생한 결함의 재발 방지를 위해, 유사 결함 발견 시 처리 단시간 단축을 위해 결함을 추적하고 관리하는 도구이다.
2) 결함 관리 프로세스
(1) 에러 발견
요구사항 분석, 설계, 테스트 실행 중 에러가 발견될 경우, 테스트 전문가와 프로젝트 팀과 논의
(2) 에러 등록
결함 관리 대장에 발견된 에러를 등록
(3) 에러 분석
등록된 에러가 단순 에러인지 아니면 실제 결함인지 분석
(4) 결함 확정
등록된 에러가 실제 결함으로 확정될 경우, 결함 확정 상태로 설정
(5) 결함 할당
결함을 해결할 담당자를 지정하여 결함을 할당하고 결함 할당 상태로 설정
(6) 결함 조치
결함에 대해 수정 활동을 수행하고, 수정이 완료된 경우 결함 조치 상태로 설정
(7) 결함 조치 검토 및 승인
수정이 완료된 결함에 대해 확인 테스트를 수행하고, 정상적으로 결함 조치가 완료된 경우 결함 조치 완료 상태로 설정
3) 결함의 식별
(1) 결함(Defect)의 개념
결함은 개발자 오류로 인해 만들어지는 문서 또는 코딩 상의 결점으로 소프트웨어가 개발자가 설계한 것과 다르게 동작하거나 다른 결과가 발생하는 현상이다.
결함을 제거하지 않으면 소프트웨어 제품이 실패하거나 문제가 발생한다.
1-소프트웨어 결함 관련 용어
[1] 오류(Error)
결함(Defect)의 원인이 되는 것으로, 일반적으로 사람(소프트웨어 개발자, 분석가 등)에 의해 생성된 실수(Human Mistake)
[2] 결점(Fault)
소프트웨어 개발 활동을 수행함에 있어서 시스템이 고장(Failure)을 일으키게 하며, 오류(Error)가 있는 경우 발생하는 현상
[3] 버그(Bug)
프로그램 오류로 인해 예상치 못한 결과가 나는 현상
[4] 고장(Failure) / 문제(Problem)
소프트웨어 제품에 포함된 결함이 실행될 때 발생하는 현상
(2) 결함 심각도별 분류
애플리케이션에 발생한 결함이 어떤 영향을 끼치며, 그 결함이 얼마나 치명적인지를 나타내는 척도이다.
1-치명적(Criticla) 결함
기능이나 제품의 테스트를 완전히 방해하거나 못하게 하는 결함
ex) 데이터 손실, 시스템 충돌
2-주요(Major) 결함
기능이 기대와 많이 다르게 동작하거나 그 기능이 해야 하는 것을 못하는 결함
ex) 기능 장애
3-보통(Normal) 결함
제품이나 프로그램이 특정 기준을 충족하지 못하거나 전체에 영향을 주지 않는 일부 기능이 부자연스러운 결함
ex) 사소한 기능 오작동
4-경미한(Minor) 결함
사용상의 불편함을 유발하는 결함
ex) 표준 위반, UI 잘림
5-단순(Simple) 결함
사소한 버그는 기능에는 영향이 없지만 수정되어야 하는 결함
ex) 미관상 좋지 않음
(3) 결함 우선순위
결함 우선순위는 발생한 결함이 얼마나 빠르게 처리되어야 하는지를 결정하는 척도로, 결함 심각도가 높아도 우선순위가 반드시 높은 것은 아니며, 애플리케이션의 특성에 따라 우선순위가 결정될 수 있다.
1-결정적(Critical)
24시간안에 즉시 수정
이슈가 발생하면 일반적으로 전체 기능이 동작하지 않고, 어떤 테스트도 더 이상 진행할 수 없음
중요한 메모리 누수(Leak)가 있다면, 보통 그 결함은 현재 상태에서 사용할 수 없는 것으로 생각하고 이 우선순위로 분류
2-높음(High)
중요한 결함이 수정되는 동안, 이 우선순위의 결함은 종료 기준에 대한 테스트 활동을 하기 위해서 수정되어야 하는 다음 후보
일반적으로 결함으로 인해 다른 기능을 사용할 수 없을 때 이 우선순위로 분류
3-보통(Medium)
실패가 발생했을 때 올바른 에러 메시지가 출력되지 않는 것과 같은 에러도 이 우선순위로 분류될 수 있음
4-낮음(Low)
디자인에서 일부 강화하거나 사용자 경험을 향상시키기 위해 작은 기능 구현에 대한 요청을 제안하기 위한 우선순위
5. 애플리케이션 통합 테스트 – 테스트 자동화 도구
1) 테스트 자동화 도구 개념
테스트 자동화 도구는 테스트 도구를 활용하여 반복적인 테스트 작업을 스크립트 형태로 구현함으로써 테스트 시간 단축과 인력 투입 비용을 최소화하며, 쉽고 효율적인 테스트를 수행할 수 있는 방법이다.
2) 테스트 자동화 도구의 장단점
(1) 장점
반복되는 테스트 데이터 재입력 작업의 자동화
사용자 요구 기능의 일관성 검증에 유리
테스트 결괏값에 대한 객관적인 평가 기준 제공
테스트 결과의 통계 작업과 그래프 등 다양한 표시 형태 제공
UI가 없는 서비스의 경우에도 정밀한 테스트 가능
(2) 단점
도구 도입 후 도구 사용 방법에 대한 교육 및 학습이 필요
도구를 프로세스 단계별로 적용하기 위한 시간, 비용, 노력이 필요
상용 도구의 경우 고가, 유지 관리 비용이 높아 추가 투자가 필요
3) 테스트 자동화 도구 유형
(1) 정적 분석 도구(Static Analysis Tools)
정적 분석 도구는 만들어진 애플리케이션을 실행하지 않고 분석하는 방법이다.
대부분의 경우 소스코드에 대한 코딩 표준, 코딩 스타일, 코드 복잡도 및 남은 결함을 발견하기 위하여 사용한다.
테스트를 수행하는 사람이 작성된 소스 코드에 대한 이해를 바탕으로 도구를 이용해서 분석하는 것을 말한다.
자료 흐름이나 논리 흐름을 분석하여 비정상적인 패턴을 찾을 수 있다.
(2) 테스트 실행 도구(Test Execution Tools)
테스트 실행 도구는 테스트를 위해 작성된 스크립트를 실행하는 도구이다.
작성된 스크립트는 특정 데이터와 테스트 수행 방법을 포함하고 있다.
1-데이터 주도 접근 방식
테스트 데이터를 스프레드 시트에 저장하고, 이 데이터를 읽고 실행
다양한 테스트 데이터를 이용하여 동일한 테스트 케이스를 반복해서 실행할 수 있으며, 스크립트 언어에 익숙지 않은 테스터도 미리 작성된 스크립트에 테스트 데이터만 추가하여 쉽게 테스트를 수행
2-키워드 주도 접근 방식
일반적으로 테스트를 수행할 동작을 나타내는 키워드와 테스트 데이터를 스프레드시트에 저장
키워드를 이용하여 테스트 수행 동작을 정의할 수 있으며, 테스트 대상 애플리케이션의 특성에 맞추어 키워드에 대해 테일러링을 수행할 수 있음
* 테일러링(Tailoring)
프로젝트의 특성과 필요에 따라 소프트웨어 개발 프로세스를 적합한 규모로 가공하는 과정 및 방법론이다.
(3) 성능 테스트 도구(Performance Test Tools)
성능 테스트 도구는 애플리케이션의 처리량, 응답 시간, 경과 시간, 자원 사용률에 대해 가상의 사용자를 생성하고 테스트를 수행함으로써 성능 목표를 달성하였는지를 확인하는 도구이다.
(4) 테스트 통제 도구(Test Control Tools)
테스트 통제 도구에는 테스트 계획 및 관리를 위한 테스트 관리 도구, 테스트 수행에 필요한 데이터와 도구를 관리하는 형상 관리 도구, 테스트에서 발생한 결함에 대해 관리하거나 협업을 지원하기 위한 결함 추적/관리 도구 등이 있다.
조직의 요구사항에 최적화된 형태의 정보를 생성, 관리하기 위하여 스프레드시트 등 다른 도구들과 연계하여 사용할 수도 있다.
(5) 테스트 장치
1-테스트 장치 개념
테스트 장치는 애플리케이션 컴포넌트 및 모듈을 테스트하는 환경의 일부분으로, 테스트를 지원하기 위한 코드와 데이터를 말하며, 단위 또는 모듈 테스트에 사용하기 위해 코드 개발자가 작성한다.
2-테스트 장치 구성요소 – 드스슈 케시스목
가) 테스트 드라이버(Test Driver)
상향식 통합 시험을 위해 모듈 테스트 수행 후의 결과를 도출하는 시험용 모듈
테스트가 필요한 모듈에 인지를 넘겨주고 테스트를 완료한 후 그 결괏값을 받는 역할을 하는 가상의 모듈
하위 모듈을 호출하는 상위 모듈의 역할
나) 테스트 스텁(Test Stub)
하향식 통합시험을 위해 일시적으로 필요한 조건만을 가지고 임시로 제공되는 시험용 모듈
상위 모듈에 의해 호출되는 하위 모듈의 역할
다) 테스트 슈트(Test Suite)
테스트 케이스를 실행환경에 따라 구분해 놓은 테스트 케이스의 집합
시나리오가 포함되지 않은 단순한 테스트 케이스들의 모음
라) 테스트 케이스(Test Case)
입력값, 실행 조건, 기대 결과 등의 조합
마) 테스트 시나리오(Test Scenario)
애플리케이션의 테스트 되어야 할 기능 특징, 테스트가 필요한 상황을 작성한 문서
하나의 단일 테스트 시나리오가 하나 또는 여러 개의 테스트 케이스를 포함할 수 있음
테스트 시나리오가 테스트 케이스와 일 대 다의 관계를 가짐
바) 테스트 스크립트(Test Script)
테스트 케이스의 실행 순서(절차)를 작성한 문서
테스트 스텝(Test Step), 테스트 절차서(Test POrocedure)라고도 함
목 오브젝트(Mock Object)
사용자의 행위를 조건부로 사전에 입력해 두면, 그 상황에 예정된 행위를 수행하는 객체
* 테스트 스크립트와 테스트 시나리오의 차이
테스트 스크립트는 특정 기능에 대한 상세 절차이고, 테스트 시나리오는 사용자가 시스템을 사용하면서 만나게 되는 상황을 개략적으로 구성한 것
4) 테스트 케이스 자동 생성 도구를 통한 테스트 데이터 도출 방법
(1) 자료 흐름도
소스 코드를 파싱하여 자료 흐름도를 작성한 후 테스트에 필요한 입력값을 찾아내는 방법
(2) 기능 테스트
주어진 기능을 구동시키는 상태를 파악하여 입력값을 생성하는 방법
(3) 입력 도메인 분석
입력 변수가 가질 수 있는 값의 도메인을 분석하는 방법
(4) 랜덤 테스트
입력값을 무작위로 추출하는 방법
6. 애플리케이션 통합 테스트 – 통합 테스트
1) 통합 테스트(Integration Test) 개념
통합 테스트는 소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 테스트이다.
단위 테스트가 끝난 모듈 또는 컴포넌트 단위의 프로그램이 설계 단계에서 제시한 애플리케이션과 동일한 구조와 기능으로 구현된 것인지를 확인하는 것이다.
* 하향식 통합과 상향식 통합 차이 정확히 파악하기
2) 통합 테스트 수행 방법의 분류
(1) 하향식 통합 테스트
1-하향식 통합 테스트(Top Down Integration Test) 개념
하향식 통합 테스트는 메인 제어 모듈(프로그램)로부터 아래 방향으로 제어의 경로를 따라 이동하면서 하향식으로 통합하는 테스트이다.
메인 제어 모듈에 통합되는 하위 모듈과 최하위 모듈은 ‘깊이-우선’ 또는 ‘너비-우선’ 방식으로 통합된다.
2-하향식 통합 테스트 수행 단계 – 하스 상드
[1] 메인 제어 모듈은 작성된 프로그램을 사용하고, 아직 작성되지 않은 하위 모듈을 제어함
[2] 위에서 아래로 내려오기 때문에 검사 초기에 시스템의 구조가 파악되어야 함
[3] 모듈 및 모든 하위 컴포넌트를 대신하여 더미 모듈인 스텁 개발
[4] 깊이-우선 방식 또는 너비-우선 방식에 따라, 하위 모듈인 스텁이 한 번에 하나씩 실제 모듈로 대체
[5] 각 모듈 또는 컴포넌트를 통합하면서 테스트 수행
[6] 테스트가 완료되면 스텁이 실제 모듈 또는 컴포넌트로 작성
* 스텁(Test Stub)
하향식 통합시험을 위해 일시적으로 필요한 조건만을 가지고 임시로 제공되는 시험용 모듈이다.
모듈 및 하위 컴포넌트를 대신하는 더미 모듈로 하위 모듈의 반환 값만 전달하면 된다.
(2) 상향식 통합 테스트
1-상향식 통합 테스트(Bottom Up Integration Test) 개념
상향식 통합 테스트는 애플리케이션 구조에서 최하위 레벨의 모듈 또는 컴포넌트로부터 점진적으로 상위 모듈과 함께 테스트하는 기법이다.
2-상향식 통합 테스트 수행 단계
[1] 하위 레벨의 모듈 또는 컴포넌트들이 하위 모듈의 기능을 수행하는 클러스터(Cluster)로 결합
[2] 상위의 모듈에서 데이터의 입력과 출력을 확인하기 위한 더미 모듈인 드라이버 작성
[3] 각 통합된 클러스터 단위 테스트
[4] 테스트가 완료되면 각 클러스터들은 프로그램의 위쪽으로 결합되며, 드라이버는 실제 모듈 또는 컴포넌트로 대체
* 드라이버(Driver)
상향식 통합시험을 위해 테스트의 대상이 되는 하위 모듈을 호출하는 상위의 모듈로 필요에 따라 파라미터를 전달하는 가상의 모듈이다.
상위의 모듈에서 데이터의 입력과 출력을 확인하기 위한 모듈이다.
3) 통합 테스트 수행 방법간 비교
| 테스트 방안 | 빅뱅 | 상향식 | 하향식 |
| 테스트 수행 방법 | 모든 모듈을 동시에 통합 후 테스트 수행 | 최하위 모듈부터 점진적으로 상위 모듈과 함께 테스트 | 최상위 모듈부터 하위 모듈들을 통합하면서 테스트 |
| 드라이버/스텁 | - 드라이버/스텁 없이 실제 모듈로 테스트 | 테스트 드라이버 필요 | 테스트 스텁 필요 |
| 장점 | 단시간 테스트 가능 작은 시스템에 유리 |
장애 위치 파악 쉬움 모든 모듈 개발 시간 낭비 필요 없음 |
장애 위치 파악 쉬움 이른 프로토타입 가능 중요 모듈의 선 테스트 가능 |
| 단점 | 장애 위치 파악이 어려움 모든 모듈이 개발되어야 가능 |
중요 모듈들이 마지막 테스트 가능성 높음 이른 프로토타입 어려움 |
많은 스텁이 필요 하위 모듈들의 불충분한 테스트 수행 |
상향식 통합 테스트와 하향식 통합 테스트 방식을 결합한 샌드위치 통합 테스트 방식도 있다.
샌드위치 통합 테스트는 하위 프로젝트가 있는 큰 규모의 통합 테스트에서 사용하는 방식이고, 병렬 테스트와 시간 절약이 가능하다.