테디터의 노트

📌이 책을 읽게 된 이유

API와 관련된 책을 구매하려고 찾다가 알게 된 책이다.

AI세미나에 다녀온 지 얼마 안 됐고 생성형 AI? 오? 이렇게 구매를 했다!

막상 책을 받아보니 두껍지 않아서 심리적으로 부담감이 적었고

실습에 속도를 내기 위해 작심삼일로 끝내자!라는 셀프 장치를 두고 시작했다. 

✍기억에 남은, 인상 깊은 부분

챗GPT API의 구조가 3가지로 되어있는데 

SYSTEM 역할을 부여하고
USER 사용자가 직접 입력하는 메세지
ASSISTANTS 챗GPT의 응답

프롬프트 엔지니어링과 관련하여 역할을 부여해 주면 답변을 잘한다는 것은 알고 있었는데

SYSTEM이라는 구조로 이루어져 있어서 그렇군, 이해하게 되었고

USER와 ASSISTANTS에 가상의 대화를 사전 학습시켜

더 나은 결과를 얻을 수 있다는 부분이 인상 깊었다. 

✅적용해보고 싶은 부분

플레이그라운드로 프롬프트 엔지니어링에 대해 연습해보고 싶다. (자료 조사를 더 해봐야겠다)

 👏끝으로

실서비스를 만드는데 초점을 맞춘 책이라는 점이 큰 장점이다.  웹서비스를 만드는데 필요한 아이디어인 챗gpt프롬프트와 소스 코드가 제공되어 막힘없이 웹서비스를 만들 수 있다. 코딩 지식이 부족하지만, 웹서비스를 만들어보고 싶은 사람들에게 추천한다!

🌐 SOTEC 2024 : Software Testing Conference 

사무실이 아닌 곳으로 출퇴근을 하니

환기가 되는 시간이였습니다. 

 

세미나를 통해 얻었던 정보들을 정리해보고

우리 회사, 내 업무에는 어떻게 적용할 수 있는지

저의 인사이트들도 함께 정리해보려고 합니다. 

 

일시 : 2024년 06월 12일 (수) 09:30~16:30
주최 : 전자신문
주관 : 한국소프트웨어테스팅포럼, 와이즈스톤

 

소프트웨어 테스팅 컨퍼런스
SOTEC 2024 AI 데이터, 품질과 테스팅 컨퍼런스

📌 오프닝

품질 공학의 시대

개발 초기부터 품질관리를 공학적으로 접근해야 한다는 메시지가 인상 깊었습니다. 유지 보수와 하자 보수를 명확히 구분해야 하며, 유지보수는 필수적 활동이고 하자 보수는 초기 품질 관리의 부실로 추가 비용이 발생하는 것이라 합니다. 최근 공공 기관 차세대 프로젝트 사례를 보면 품질 이슈가 매우 많은데 이는 품질이 국가 안보와 직결되는 요소라는 점을 시사합니다. 품질은 단순한 기술적 요소가 아닌, 더 넓은 범위에서 고려해야 하는 요소라는 점을 강조했습니다. '과거를 학습한 AI'라는 개념도 흥미로웠습니다.

✔ 핵심 메시지: 개발 초기부터 품질관리를 공학적으로 접근해야 하며 품질 관리자는 더 능동적으로 움직여야 한다.

1. 🌐 AI 품질의 국제 표준화 동향

AI의 개념이 기존의 소프트웨어에서 머신 러닝(예측, 평향) 으로 확장되었습니다. AI 표준의 목표는 안전성, 공정성, 확장성, 타당성을 포함합니다. AI 국제 표준과 관련된 자료는 SC42와 EU AI Act 같은 대표적인 기구를 통해 확인 할 수 있으며 공식 사이트를 참고할 때 수정/ 변경된 부분을 위주로 살펴보라고 하셨습니다.

✔ 관전 포인트: 🌍 AI 국제 표준에서 수정/변경된 부분을 주목해야 한다.

2. 🧠 인공지능 시스템 품질 평가 방안

AI 시스템에 V&V(Verification & Validation)를 어떻게 적용할 수 있을까요? 전통적인 소프트웨어는 코드와 요구사항을 확인할 수 있지만, AI는 다른 접근이 필요합니다. 좋은 소프트웨어는 기술, 사람, 프로세스가 조화를 이루어야 하며, AI도 프로세스 중심으로 접근해야 합니다. AI 시스템의 생명 주기별 중요 프로세스와 주요 산출물을 도출하고 체계적으로 관리하는 것이 중요합니다. 각 산출물의 품질을 평가하기 위한 아이디어를 브레인스토밍하고, 적용 가능한 시나리오를 도출한 과정을 소개해주었습니다.

✔ 중요 포인트: AI 시스템의 생명 주기별 프로세스와 주요 산출물을 도출하고, 각 산출물의 품질 평가 아이디어를 통해 적용 가능한 시나리오를 만들어보자.

3. 🤖 GPT를 활용한 블랙박스 테스트 케이스 작성법

GPT로 테스트 케이스(TC)를 작성하는 방법에 대해 배웠습니다. 프롬프트 엔지니어링의 필요성(지시,구분자, 예시 사용) 과 할루시네이션 현상을 해결하기 위한 방법(하나씩 검수 / 정교한 프롬프트+유료모델) 도 다루었습니다. 

✔ 핵심 메시지: GPT를 활용한 업무 자동화는 가능하지만, 아직까지 이중 검토는 여전히 필요하다.

4. 🔓 오픈소스 AI 과연 안전한가

오픈소스 AI 모델의 취약점 사례를 공유했습니다. 오픈 소스를 사용할 경우 최근에 보고된 취약점 사례 유무를 확인 후 사용하도록 하고 OWASP에서 발표한 LMM 취약점 및 방어 방법 (원문 참조) 을 참고하여 보안 품질을 강화해야 한다는 점을 강조했습니다. 

✔ 중요 포인트: 보안 품질을 앞단으로 당겨야 한다. (Shift Left on Security)

5. 📊 AI 기술을 활용한 프로젝트 베이스라인 및 성과 베이스라인 예측 정밀도 향상 기법

AI를 활용하여 프로젝트의 베이스라인 및 성과 베이스라인 예측 정밀도를 향상시키는 방법에 대해 배웠습니다. 비즈니스 케이스에서부터 리스크 관리까지의 전 과정을 포함하는 방법론(Baseline : biz case >  feature/story > backlog > A/C > Risk)을 소개했습니다. 

6. 🕹️ 카카오게임즈 외 다양한 사례로 보는 성능 테스트의 중요성

모든 API를 포함한 세분화된 테스트 설계의 필요성을 강조했습니다.  

✔ 공감했던 포인트: 리소스와 일정이 부족한 것이 현실이지만 오픈 후 테스트에서 제외된 API들에서 이슈가 발생하는 일이 반복적으로 일어나기 때문에 공감 되는 부분이였다. 

7. 🗃️ 데이터 품질을 좌우하는 최신 오픈소스 DBMS 활용

다양한 데이터 형식과 비정형 데이터 증가에 대응할 수 있는 벡터 DB 는 어떤 것일까?에 대한 질문이 있었습니다. LLM(대규모 언어 모델)을 대응할 수 있는 벡터 DB의 선택과 필요성을 강조했습니다. 앞으로는 어떤 벡터가 사용될지를 알기 위해서 기존 DBMS 사용 히스토리의 변곡점들을 살펴보는 것도 유의미하다고 합니다. 

✔ 벡터 DB란?: 정보를 벡터(x, y, z - 3차원)로 저장하는 데이터베이스

8. 🧐 AI학습용 데이터의 편향성(경향성, 유해성) 검증방안

편향은 좋고 나쁜 것이 아니라 단지 데이터가 치우친 것을 의미합니다. 편향이 완전히 없는 AI는 존재하지 않습니다. AI 데이터의 편향성을 검증하기 위한 도구들이 소개되었습니다. 공정성과 불공정성에 대해서도 다루었는데, 공정성은 맥락, 환경, 분위기, 상황을 이해해야 판단할 수 있어 논쟁의 여지가 많습니다. 공정성에 대한 명확한 기준을 마련하기 어려운 이유입니다. 따라서 공정성을 차별이 없는 상태로 정의하고, 불공정한 요소들을 찾아내어 제거하는 것이 중요합니다.

9. 📑 데이터 품질 확보 방안: 국가공인 데이터 품질 인증

 국가공인 데이터 품질 인증의 중요성과 정부 지원 인증 제도를 소개했습니다.

/

이번 포스팅은 세미나를 통해서 얻은 정보와

핵심 메세지, 공감 포인트들을 정리해보았습니다. 

AI 와 관련된 새로운 정보들을 접할 수 있는 시간이였고

다른 기업들의 접근 방법, 방향성을 살펴볼 수 있는 시간이였습니다.