🌟SOTEC 2024 : Software Testing Conference 세미나 후기

 

🌐 SOTEC 2024 : Software Testing Conference 에 다녀왔습니다. 

세미나! 정말 오랫만에 갔습니다. 

사무실이 아닌 곳으로 출퇴근을 하니

확실히 환기가 되는 시간이였습니다. 

 

세미나를 통해 얻었던 정보들을 정리해보고

우리회사, 내 업무에는 어떻게 적용할 수 있는지

저의 인사이트들도 함께 정리해보려고 합니다. 

 

일시 : 2024년 06월 12일 (수) 09:30~16:30
주최 : 전자신문
주관 : 한국소프트웨어테스팅포럼, 와이즈스톤

 

SOTEC 2024 : Software Testing Conference

 

소프트웨어 테스팅 컨퍼런스
SOTEC 2024 AI 데이터, 품질과 테스팅 컨퍼런스

 

 

 

📌 오프닝

품질 공학의 시대

개발 초기부터 품질관리를 공학적으로 접근해야 한다는 메시지가 인상 깊었습니다. 유지 보수와 하자 보수를 명확히 구분해야 하며, 유지보수는 필수적 활동이고 하자 보수는 초기 품질 관리의 부실로 추가 비용이 발생하는 것이라 합니다. 최근 공공 기관 차세대 프로젝트 사례를 보면 품질 이슈가 매우 많은데 이는 품질이 국가 안보와 직결되는 요소라는 점을 시사합니다. 품질은 단순한 기술적 요소가 아닌, 더 넓은 범위에서 고려해야 하는 요소라는 점을 강조했습니다. '과거를 학습한 AI'라는 개념도 흥미로웠습니다.

 

✔ 핵심 메시지: 개발 초기부터 품질관리를 공학적으로 접근해야 하며 품질 관리자는 더 능동적으로 움직여야 한다.

 

1. 🌐 AI 품질의 국제 표준화 동향

AI의 개념이 기존의 소프트웨어에서 머신 러닝(예측, 평향) 으로 확장되었습니다. AI 표준의 목표는 안전성, 공정성, 확장성, 타당성을 포함합니다. AI 국제 표준과 관련된 자료는 SC42와 EU AI Act 같은 대표적인 기구를 통해 확인 할 수 있으며 공식 사이트를 참고할 때 수정/ 변경된 부분을 위주로 살펴보라고 하셨습니다.

 

✔ 관전 포인트: 🌍 AI 국제 표준에서 수정/변경된 부분을 주목해야 한다.

 

2. 🧠 인공지능 시스템 품질 평가 방안

AI 시스템에 V&V(Verification & Validation)를 어떻게 적용할 수 있을까요? 전통적인 소프트웨어는 코드와 요구사항을 확인할 수 있지만, AI는 다른 접근이 필요합니다. 좋은 소프트웨어는 기술, 사람, 프로세스가 조화를 이루어야 하며, AI도 프로세스 중심으로 접근해야 합니다. AI 시스템의 생명 주기별 중요 프로세스와 주요 산출물을 도출하고 체계적으로 관리하는 것이 중요합니다. 각 산출물의 품질을 평가하기 위한 아이디어를 브레인스토밍하고, 적용 가능한 시나리오를 도출한 과정을 소개해주었습니다.

 

✔ 중요 포인트: AI 시스템의 생명 주기별 프로세스와 주요 산출물을 도출하고, 각 산출물의 품질 평가 아이디어를 통해 적용 가능한 시나리오를 만들어보자.

 

3. 🤖 GPT를 활용한 블랙박스 테스트 케이스 작성법

GPT로 테스트 케이스(TC)를 작성하는 방법에 대해 배웠습니다. 프롬프트 엔지니어링의 필요성(지시,구분자, 예시 사용) 과 할루시네이션 현상을 해결하기 위한 방법(하나씩 검수 / 정교한 프롬프트+유료모델) 도 다루었습니다. 

 

✔ 핵심 메시지: GPT를 활용한 업무 자동화는 가능하지만, 아직까지 이중 검토는 여전히 필요하다.

 

 

4. 🔓 오픈소스 AI 과연 안전한가

오픈소스 AI 모델의 취약점 사례를 공유했습니다. 오픈 소스를 사용할 경우 최근에 보고된 취약점 사례 유무를 확인 후 사용하도록 하고 OWASP에서 발표한 LMM 취약점 및 방어 방법 (원문 참조) 을 참고하여 보안 품질을 강화해야 한다는 점을 강조했습니다. 

 

✔ 중요 포인트: 보안 품질을 앞단으로 당겨야 한다. (Shift Left on Security)

5. 📊 AI 기술을 활용한 프로젝트 베이스라인 및 성과 베이스라인 예측 정밀도 향상 기법

AI를 활용하여 프로젝트의 베이스라인 및 성과 베이스라인 예측 정밀도를 향상시키는 방법에 대해 배웠습니다. 비즈니스 케이스에서부터 리스크 관리까지의 전 과정을 포함하는 방법론(Baseline : biz case >  feature/story > backlog > A/C > Risk)을 소개했습니다. 

 

6. 🕹️ 카카오게임즈 외 다양한 사례로 보는 성능 테스트의 중요성

모든 API를 포함한 세분화된 테스트 설계의 필요성을 강조했습니다.  

 

✔ 공감했던 포인트: 리소스와 일정이 부족한 것이 현실이지만 오픈 후 테스트에서 제외된 API들에서 이슈가 발생하는 일이 반복적으로 일어나기 때문에 공감 되는 부분이였다. 

 

 

7. 🗃️ 데이터 품질을 좌우하는 최신 오픈소스 DBMS 활용

다양한 데이터 형식과 비정형 데이터 증가에 대응할 수 있는 벡터 DB 는 어떤 것일까?에 대한 질문이 있었습니다. LLM(대규모 언어 모델)을 대응할 수 있는 벡터 DB의 선택과 필요성을 강조했습니다. 앞으로는 어떤 벡터가 사용될지를 알기 위해서 기존 DBMS 사용 히스토리의 변곡점들을 살펴보는 것도 유의미하다고 합니다. 

✔ 벡터 DB란?: 정보를 벡터(x, y, z - 3차원)로 저장하는 데이터베이스

 

8. 🧐 AI학습용 데이터의 편향성(경향성, 유해성) 검증방안

편향은 좋고 나쁜 것이 아니라 단지 데이터가 치우친 것을 의미합니다. 편향이 완전히 없는 AI는 존재하지 않습니다. AI 데이터의 편향성을 검증하기 위한 도구들이 소개되었습니다. 공정성과 불공정성에 대해서도 다루었는데, 공정성은 맥락, 환경, 분위기, 상황을 이해해야 판단할 수 있어 논쟁의 여지가 많습니다. 공정성에 대한 명확한 기준을 마련하기 어려운 이유입니다. 따라서 공정성을 차별이 없는 상태로 정의하고, 불공정한 요소들을 찾아내어 제거하는 것이 중요합니다.

 

9. 📑 데이터 품질 확보 방안: 국가공인 데이터 품질 인증

 국가공인 데이터 품질 인증의 중요성과 정부 지원 인증 제도를 소개했습니다.

 

/

이번 포스팅은 세미나를 통해서 얻은 정보와

핵심 메세지, 공감 포인트들을 정리해보았습니다. 

 

AI 와 관련된 새로운 정보들을 접할 수 있는 시간이였고

다른 기업들의 접근 방법, 방향성을 살펴볼 수 있는 시간이였습니다.