성명서: 표준 릴리아소프트 소프트웨어 검증 및 QA 사례

ReliaSoft는 소프트웨어 검증 (일반적으로 FDA 요건 관련) 과 관련하여 고객/제3자로부터 질문/요청을 받는 경우가 많습니다. 이 문서는 이러한 요청을 처리하기 위해 작성되었습니다.

일반 성명서

ReliaSoft의 모든 수축 포장 제품은 상용 출시 전에 철저한 테스트와 검증을 거쳤습니다. 소프트웨어 사용 및 기본 수학에 대한 광범위한 문서와 함께 엄격한 검증 프로세스를 통해 ReliaSoft 애플리케이션에서 제공하는 모든 결과가 유효하고 정확한지 (매우 높은 확률로) 확인할 수 있습니다.

ReliaSoft의 검증 및 품질 보증 (QA) 절차는 미국 식품의약국 (FDA) 검증 요구 사항과 독립적으로 개발되었습니다. ReliaSoft의 검증 테스트는 FDA 요구 사항보다 훨씬 광범위하고 훨씬 더 집중적이라고 생각하지만, ReliaSoft의 소프트웨어 사용이 적용 대상 규제 지침을 준수하는지 여부를 결정하는 것은 물론 각 조직의 책임입니다. 이 문서는 평가를 수행하는 데 필요한 ReliaSoft의 절차에 대한 대부분의 정보를 제공할 것으로 예상됩니다.

최종 사용자 독립적 검증

모든 표준 수축 포장 제품과 함께 ReliaSoft는 사용 설명서, 도움말 파일 및 이론 교과서 형태로 광범위한 문서를 제공합니다. 이 문서의 목적은 사용된 방법론 (방정식 및 공식) 을 제시하고, 예제를 제공하고, 최종 사용자가 기본 이론을 익힐 수 있도록 하는 것입니다.

최종 사용자는 다음을 수행할 수 있습니다.

애플리케이션이 이 가이드에 설명된 대로 작동하는지 개별적으로 확인합니다.
제공된 교과서를 사용하여 제공된 공식을 사용하거나 이러한 교과서에 제공된 많은 예와 솔루션 (대부분 출판된 논문에서 발췌함) 을 사용하여 소프트웨어 결과에 대한 추가적인 독립적인 검증을 수행하십시오.

또한 ReliaSoft의 수치 결과와 다른 저자가 게시한 결과 간의 비교도 인쇄된 문서와 함께 제공됩니다.

이 교과서 중 일부는 ReliaSoft의 공개 위키에 게시되어 있습니다. 특히 다음과 같은 참고 자료를 사용할 수 있습니다.

다음 섹션에서는 ReliaSoft의 소프트웨어 개발 요구 사항에 대한 개요를 제공합니다.

이론적 정립 및 이론 개발
코드 개발
소스 코드 관리
QA 및 테스트 절차 개요
유닛 테스팅
통합 테스트
시스템 테스팅
설치 및 환경 테스트
결과 검증 테스트
맞춤형 시스템
소프트웨어 테스트 (QA) 요약표
문제 추적 및 해결 프로세스
소프트웨어 배포

이론적 정립 및 이론 개발

ReliaSoft가 만들거나 구현한 모든 이론과 공식은 이론적으로 건전하고 정확해야 하며, 학계 및 업계 전문가의 승인을 받아야 하며, 표준 소프트웨어 제품 (SSP) 에 포함되기 전에 철저한 검증을 거쳐야 합니다.

ReliaSoft에서 작성하지 않은 이론 및 공식은 다음 표준을 충족해야 합니다.

평판이 좋은 학술지 또는 교과서에 게재되었으며 전문가 심사를 위한 충분한 시간이 있어야 합니다.
원본 작업의 정확성을 보장하기 위해 ReliaSoft 과학자들에 의해 다시 도출되고 검증되었음에 틀림없습니다.
공식화 과정에서 이루어진 모든 가정을 면밀히 조사하고 잘 문서화하고 이해해야 합니다.
ReliaSoft의 이론 검토 위원회와 해당 주제에 대한 최소 한 명의 독립적인 학계 전문가의 검토 및 승인을 받아야 합니다.

ReliaSoft 과학자가 개발한 이론 및 공식은 다음 표준을 충족해야 합니다.

공식화 과정에서 이루어진 모든 가정을 문서화해야 합니다.
ReliaSoft의 이론 검토 위원회와 해당 주제에 대한 최소 두 명의 다른 독립 학계 전문가의 검토 및 승인을 받아야 합니다.
제형의 출시가 경쟁 우위로 간주되지 않는 경우 동료 심사를 위해 평판이 좋은 학술지에 게재해야 합니다. 경쟁 우위가 존재한다면 제품 출시 후 저널이나 ReliaSoft 교과서에 출판해야 합니다.

코드 개발

ReliaSoft에서 개발하는 모든 제품 및 제품 구성 요소는 그래픽 사용자 인터페이스 (GUI) 에 대한 업계 표준을 포함하여 Windows 기반 객체 지향 애플리케이션 개발을 위해 업계에서 널리 인정되는 표준을 준수해야 합니다. Microsoft 및 Microsoft Press 간행물을 비롯한 여러 저자가 승인된 관행에 대해 자세히 설명하는 다양한 기사와 책을 제공합니다. 또한 이러한 코드 개발은 ReliaSoft의 내부 문서인 “SSP 소프트웨어를 위한 코딩 관행 및 절차”에 따른 소프트웨어 개발 지침과 ReliaSoft 인트라넷의 개발 섹션에 게시된 현재 관행, 방법 및 문서를 준수해야 합니다.

Windows 애플리케이션 개발을 위한 마이크로소프트의 지침 (“Microsoft® Windows® 2000용 애플리케이션 사양”과 같은 여러 문서에 자세히 설명되어 있음) 을 준수합니다. 본 지침에서 벗어나는 부분이 있는 경우 ReliaSoft의 기술 검토 위원회의 승인을 받아야 하며 편차 사유를 문서화해야 합니다.

코드 개발 팀, 기술 작성자 및 품질 보증 담당자와 함께 주기적인 설계 검토를 실시합니다. 또한 이론 및 기술 검토 위원회도 운영됩니다.

소스 코드 관리

ReliaSoft가 소스 코드 관리를 위해 구현한 지침은 다음과 같습니다.

코드 수정을 포함한 모든 소스 코드는 타사 소스 컨트롤 소프트웨어를 사용하여 추적되고 제어됩니다. 어떠한 경우에도 소스 제어를 통해 추적되지 않는 코드는 애플리케이션에 도입될 수 없습니다.
모든 제품 빌드는 표준 Major.Minor.Revision 번호 지정 체계 (예: 3.1.2) 를 사용하여 버전이 지정됩니다.
ReliaSoft 애플리케이션에 사용되는 모든 컴파일된 코드 (구성 요소) 는 ReliaSoft의 구성 및 버전 제어 프로세스를 통해 제어됩니다. 모든 구성 요소는 (이벤트 또는 속성을 통해) 해당 버전을 식별하고 호스트 응용 프로그램에 빌드할 수 있습니다.

QA 및 테스트 절차 개요

ReliaSoft는 모든 소프트웨어 제품 및 서비스에 대해 항상 최고의 품질 및 신뢰성 표준을 준수해 왔습니다. 맞춤형 소프트웨어를 포함한 모든 ReliaSoft 제품에 대한 품질 보증 (QA) 및 테스트 절차는 CA Agile Central을 사용하여 촉진되는 확장된 애자일 프레임워크를 기반으로 합니다. 확장된 애자일 프로세스에는 시간별로 반복하여 여러 개인과 팀이 상세하고 종합적인 테스트 노력을 기울이고, 각 반복에서 식별된 모든 문제에 대한 철저한 문서화, 모든 방법, 이론 및 계산된 결과에 대한 독립적인 검증이 포함됩니다.

유닛 테스팅

이러한 테스트에는 '단위' 및 '통합' 수준의 저수준 테스트가 포함됩니다. 일반적으로 라이브러리 등을 테스트하므로 개발자가 수행합니다. 그 목적은 소프트웨어가 올바른 결과를 생성하도록 하는 것입니다 (예: 2+2 = 4). 시스템 테스트를 완료하기 전에 완료해야 합니다. 이 단위 테스트를 통해 구성 요소와 모델이 의도한 대로 작동하고 견고성도 보장됩니다. 이 테스트는 개별 개발자의 책임이며 TAAF (테스트 분석 및 수정) 프로세스를 포함합니다.

통합 테스트

통합 테스트에는 한 쌍의 구성 요소 또는 구성 요소 그룹 간의 관계 및 인터페이스 내에서 버그를 찾는 테스터가 포함됩니다. (와이불++가 ALTA와 어떻게 통합되었는지를 예로 들 수 있습니다.) 응용 프로그램이 데이터를 공유하지 않거나 서로를 호출하지 않는 개별 유틸리티로 구성된 경우에는 통합 테스트가 필요하지 않습니다. 그러나 소프트웨어가 API를 사용하거나 데이터를 공유하거나 한 구성 요소에서 다른 구성 요소로 제어를 전달하는 경우 통합 테스트는 구성 요소가 제대로 작동하는지 확인하는 중요한 방법이 됩니다. 통합 테스트에서는 테스터가 구성 요소가 함께 작동하는 방식을 확실히 이해해야 합니다.

시스템 테스팅

오류나 경고 없이 모든 모듈/구성 요소를 테스트, 컴파일 및 연결하면 전체 애플리케이션 또는 시스템에서 광범위한 테스트가 구현됩니다. 시스템 테스트 활동의 공식 로그는 버그 로깅 및 추적 시스템인 CA Agile Central에 보관됩니다. 일반적으로 발견된 모든 문제는 발견되면 수정되며 수정된 버전으로 즉시 테스트를 재개하여 수정 후 회귀 문제가 발생하지 않았는지 확인합니다. 수정된 구성 요소 또는 문제에 특히 중점을 둡니다. 이는 개발 단계의 각 반복에서 반복됩니다.

설치 및 환경 테스트

테스트의 마지막 단계는 설치 및 구성 테스트입니다. 이는 대부분의 Windows® 버전 (예: Windows 7 및 8.1, Windows 10) 을 포함한 여러 테스트 시스템에서 사내에서 수행됩니다. 적절한 경우 외부 테스터로부터 피드백도 받습니다. 해외 시장에 진출할 소프트웨어의 경우 외국 OS (운영 체제) 테스트도 수행됩니다 (예: 중국어 Windows, 한국어 Windows).

결과 검증 테스트

소프트웨어 기능 테스트와 병행하여 여러 엔지니어, 과학자 및 통계학자가 독립적으로 작업하여 모든 계산된 결과에 대한 테스트 및 검증을 수행합니다. 검증된 결과는 철저하게 문서화되고 많은 예제가 소프트웨어와 함께 출시되는 교과서에 설명되어 있습니다. 발견된 모든 문제는 여러 데이터 시나리오를 사용하여 수정, 재테스트 및 재검증됩니다.

출시 결정

ReliaSoft가 제품을 출시할 때 해당 제품은 철저한 테스트를 거쳤으며, ReliaSoft는 제품의 품질과 신뢰성에 대해 높은 확신을 가지고 있습니다. 모든 문제가 해결되고 검증된 후 릴리즈 결정이 내려집니다. 이 결정은 발견된 문제의 수와 빈도를 기반으로 합니다. 릴리스 관리자는 소프트웨어 릴리스를 시작하기 전에 테스트 관리자가 모든 테스트 문서를 승인 (및 릴리스 승인) 했는지 확인해야 합니다.

결론 발언

맞춤형 시스템의 경우 클라이언트가 제품을 테스트하여 시스템이 클라이언트 환경에서 의도한 대로 작동하는지 확인할 것으로 예상됩니다. 기능 및 계산을 지원하기 위해 비 ReliaSoft 데이터베이스를 통합하는 시스템의 경우 클라이언트는 데이터베이스에 저장된 데이터의 무결성을 유지하기 위한 조치를 취해야 합니다. ReliaSoft에서 사용하는 테스트 절차의 개요가 다음 표에 나와 있습니다.

소프트웨어 테스트 (QA) 요약표

테스트 단계	테스트 유형	책임	테스트 세부 정보
개발 단계	유닛 테스팅 통합 테스트	개발 QA 이론적	개발 중에 지속적인 단위 테스트를 수행합니다. 여기에는 개별 구성 요소가 개발되는 동안 테스트하는 작업이 포함됩니다. 이 단계에서 개별 구성 요소는 계산의 정확성과 다른 구성 요소와의 상호 작용에 대해 테스트됩니다.
일반 테스트 단계	프로세스 테스팅 통합 테스트 시스템 테스팅	QA 개발 이론적 문서화	프로세스 결과의 정확성을 검증합니다. 모든 이상 문제의 발생 및 해결 방법을 추적합니다. 구성 요소가 완전히 통합되면 해당 구성 요소의 성능을 테스트합니다.
설치 테스트 단계	설치 및 환경 테스트	QA 개발	다양한 설치 환경에서 시스템을 내부/외부에서 테스트합니다. 사용자 지정 시스템의 경우 클라이언트와 협력하여 배포 위치에서 시스템을 테스트합니다.
계산 검증 단계	계산 검증	이론적	동일한 계산을 독립적으로 수행하고 결과를 비교하여 대표적인 시스템 계산 샘플을 검증합니다.
출시 단계	최종 테스트	QA 개발 이론적 문서화	단위, 프로세스, 통합 및 기능, 사용성 및 배포 테스트

각 단계의 테스트는 TAAF (테스트 분석 및 수정) 프로세스를 활용하여 주기적으로 수행됩니다. 초기 개발 단계 이후의 모든 문제는 CA Agile Central을 활용하여 전달, 문서화 및 해결됩니다.

문제 추적 및 해결 프로세스

CA Agile Central은 개발 단계부터 제품 수명 주기 전반에 걸쳐 각 제품에서 발생하는 모든 문제를 추적합니다. 이 통합 시스템은 QA 절차의 기초를 형성합니다. 모든 문제는 CA Agile Central에 인시던트로 기록되며 생성부터 해결까지 추적됩니다. 각 결함은 해당 팀에서 처리할 수 있도록 기록됩니다. 결함에는 고객, 직원의 제안, 테스트 중에 발견된 버그 등이 포함될 수 있습니다. 개발 단계에서 결함을 해결한 후에는 QA 그룹에서 테스트하여 채택한 해결 방법이 문제를 올바르게 해결하고 추가 회귀 문제를 일으키지 않는지 확인해야 합니다. CA Agile Central은 개발자, 이론 전문가, 기술 문서 작성자, QA 및 경영진 간의 팀워크를 촉진하여 안정적이고 강력한 애플리케이션을 만듭니다.

다음 그림은 CA Agile Central 내의 결함 보고 인터페이스 중 하나를 보여줍니다.

CA 애자일 센트럴의 결함 보고 인터페이스

소프트웨어 배포

ReliaSoft의 QA 그룹이 릴리스 후보를 승인하기 전까지는 소프트웨어 애플리케이션을 배포할 준비가 되지 않은 것으로 간주됩니다. QA 그룹은 테스트 결과를 기반으로 애플리케이션의 현재 상태에 만족해야 합니다.

제품을 배포할 준비가 되면:

마스터는 후속 복제를 위해 구축됩니다.
소스 컨트롤 시스템은 제품의 최종 구성과 빌드의 소스 코드를 포함하도록 업데이트된 후 동결됩니다.
릴리스 빌드에 사용된 소스 코드, 빌드 컴포넌트 및 머신 구성을 백업하고 컴포넌트 버전 (ReliaSoft가 아닌 컴포넌트 포함) 을 문서화합니다. 중복 백업의 저장 및 위치는 ReliaSoft의 재해 복구 프로토콜에 따라 수행됩니다.
그런 다음 빌드에 사용된 머신은 격리되고 동결되며 동일한 버전의 애플리케이션에 대한 후속 빌드 (수정) 이외의 다른 용도로는 사용할 수 없습니다.

Main Menu

Main Menu

Main Menu

Main Menu

Main Menu

Main Menu

Main Menu

Main Menu

성명서: 표준 릴리아소프트 소프트웨어 검증 및 QA 사례

일반 성명서

최종 사용자 독립적 검증

이론적 정립 및 이론 개발

코드 개발

소스 코드 관리

QA 및 테스트 절차 개요

소프트웨어 테스트 (QA) 요약표

문제 추적 및 해결 프로세스

소프트웨어 배포

${referer}를 www.hbkworld.com로 이동했습니다.

${referer}를 www.hbkworld.com로 이동했습니다.

${referer}를 www.hbkworld.com로 이동했습니다.

${referer}를 www.hbkworld.com로 이동했습니다.

${referer}를 www.hbkworld.com로 이동했습니다.

${referer}를 www.hbkworld.com로 이동했습니다.