Exploring the Potential of Generative AI Chatbots as an A/B Testing Aid for UX Writing and Comparing the Results between Chatbots: Focusing on ChatGPT and BARD

Abstract

연구배경 UX 라이팅(Writing) 분야에서 A/B 테스트는 사용자에게 제공할 문구의 효과를 객관적으로 검증할 수 있도록 하여 적극적으로 활용되고 있다. 본 연구는 A/B 테스트에서 발견되는 주요 한계점에 주목하여 이를 보완하기 위한 방법으로 ChatGPT와 BARD로 대표되는 생성형 AI 챗봇의 활용 가능성을 탐색하고, 챗봇 간 결과를 비교하고자 하였다. 연구방법 먼저, 사용자 대상 및 생성형 AI 챗봇 대상으로 A/B 테스트를 진행하기 위해 테스트에 사용할 문항을 연구자가 작성하였다. 다음으로, 각각의 대상별로 A/B 테스트를 진행하여 응답을 수집하였다. 이후, 사용자 응답과 생성형 AI 챗봇의 답변을 분석하였다. 마지막으로, 두 대상의 응답을 비교하여 생성형 AI 챗봇의 사용자 선호 예측률을 확인하였고, 나아가 ChatGPT와 BARD의 결과를 비교하여 두 챗봇 간 차이 발생 여부를 살펴보았다. 연구결과 ChatGPT과 BARD 중 BARD의 사용자 선호 예측률이 더 높게 나타났고, 이러한 예측률의 차이는 기반 모델의 학습 과정의 미세 조정(fine-tuning)의 차이에서 비롯되었음을 짐작할 수 있었다. 한편 두 챗봇 모두 사용자가 선호하는 이유로 작성한 내용들을 포괄하여 예측 이유로 설명함을 확인할 수 있었다. 결론 본 연구는 실증적인 조사를 통해 생성형 AI 챗봇이 사용자가 선호하는 문구를 어느 정도 예측하고, 그 이유를 사용자 입장에서 충분히 설명할 수 있다는 것을 보여주었다. 따라서 생성형 AI 챗봇은 A/B 테스트의 보조 도구로 활용되어 UX 라이팅 과정에서 유용한 정보를 제공하는 데 기여할 수 있을 것으로 예측된다.