설문조사와 사용성테스트(UT, Usability Test)를 통해 서비스를 개선한 사례를 공유해 드리려고 합니다.
안녕하세요. 뷰인터HR팀입니다.
오늘은 설문조사와 사용성테스트(UT, Usability Test)를 통해 서비스를 개선한 사례를 공유해 드리려고 합니다.
뷰인터HR은 2019년 10월에 최소 기능 제품(MVP,Minimum Viable Product) 버전으로 출시한 작은 서비스였습니다. 이후, 이 서비스는 누적 응시자가 18만 명, 면접 영상 건수가 300만 개를 넘는 규모로 발전하게 됩니다. 하지만, 실제 AI 면접을 응시하는 사용자의 구체적인 정량적, 정성적 의견을 확인하지 못한 채 서비스는 높은 복잡도로 개발되고 있었습니다.
뷰인터HR은 기업 요구사항에 맞춰 기능을 추가하고 있었고, 초기 MVP 버전에 맞춰 개발된 UI/UX는 현재 사용자들에게 부적합하여 개선이 시급했습니다.
* UI/UX : UI는 사용자 화면 안의 모든 것, UX는 제품으로 느끼는 사용자의 모든 경험을 의미합니다 (User Interface, User Experience)
우리는 이 서비스의 문제점을 아래와 같은 단계로 개선하고자 했습니다.
뷰인터HR의 내부 데이터에는 시스템 로그(오류, 응시 완료 등 기록)가 남지만, 사용자의 직접적인 정보(인구 통계학 정보, AI 면접을 보고 느낀 감정 등)는 기록되고 있지 않았습니다. 우선, 이 부분부터 설문조사를 통해 파악했습니다. 설문은 3개월간 진행되며 총 1,586명의 응답을 받았습니다.
“20대 취업 준비생”
응답 중, 만 26세부터 30세가 42.5%, 만 19세부터 25세가 35.5%로 약 80% 정도가 20대로, 기업에서 신입 공채 시즌에 특히나 많은 사용량이 몰렸습니다.
또한, 현재 사용자의 직업은 취업 준비생이 35.8%, 대학생 및 대학원생은 20.7%, 연구 개발 11.8%, 경영/사무는 7% 순으로 확인되어, 뷰인터의 사용자는 대부분이 20대 취업 준비생임을 알 수 있었습니다.
“공정하지만 공감 못하는 AI”
‘AI 면접에 대한 기대’를 물은 질문에서는 66.5%의 비율인 1,039명의 응답자가 '사람처럼 감정이나 사심이 없어 차별을 두지 않을 것 같다'고 답변했고, '분석이 빠르고 정확할 것 같다'는 30.3%, '사람보다 공정할 것 같다'는 26.4%가 뒤를 이었습니다. 전체적으로 AI가 사람보다 ① 차별이 없고 ② 공정하며 ③정확할 것 같다는 기대가 많았습니다.
반면에 ‘AI 면접에 대한 걱정’을 물은 질문에서는 57.2%에 해당하는 894명의 응답자가 '사람이 아니라 자신의 감정을 이해하지 못할 것 같다'고 답변했고, 나머지는 데이터 오류와 알고리즘의 신뢰도에 대한 걱정을 비췄습니다.
응시자 설문 결과는 우리도 공감하고 있던 부분이었습니다. 곧바로 내부 논의를 시작했고, 그렇게해서 면접 몰입도를 높이는 데 크게 기여한 AI 휴먼을 제공하기로 결정합니다.
AI 휴면의 도입은 프로토타이핑을 통해 이루어졌습니다. 먼저, 개발자의 도움으로 테스트가 가능한 시연 프로그램을 만들었고, UI/UX 개선과 사용성 테스트(UT, Usability Test)를 진행했습니다.
* 프로토타이핑 : 본격적인 상품화에 앞서 성능을 검증ㆍ개선하기 위해 간단히 핵심 기능만 넣어 제작한 기본 모델
AI 휴먼 도입 외에도 다양한 UX의 개선이 이루어졌습니다.
① 전체적인 면접에 대한 가이드를 가독성 있게 개선하고, 👇
② 환경 점검 시 현재 연결된 기기를 확인할 수 있는 기능을 추가하여 빠르고 정확하게 기기를 점검할 수 있도록 사용성을 개선했습니다. 👇
또한, ③ 면접 진행 중 카메라 가까이에 질문이 보일 수 있도록 전체적인 면접 진행 중 UIUX를 사용자 중심으로 설계했습니다. 👇
개선된 사항을 통해 타겟인 응시자에게 얼마나 효과적으로 확인될지 20대 취업준비생을 대상으로 UT를 진행했습니다.
UT 결과, AI 휴먼과 함께 진행하는 면접은 AI 휴먼이 없는 면접보다 몰입도가 5.83(7점 만점 기준), AI 휴먼이 없는 경우는 5.17(7점 만점 기준)로 나타나 몰입도에 대한 일부 점수 차이가 있었습니다. 확실히 AI 휴먼이 적용되었을 때 응시자는 면접 상황에 보다 몰입할 수 있게 되었습니다.
하지만, AI 휴먼이 적용되자, 면접 질문에 대한 전달력이나 AI 휴먼의 음성이 어색하여 면접 질문에 대한 이해도가 다소 어렵다는 의견이 예상치 못하게 발생하게 됩니다. 이는 TTS 성능을 높이는 방향으로 기술적으로 해결하기로 했습니다.
사용성 테스트를 진행하며, 우리는 테스터들의 특성을 통해 또 다른 개선사항을 적용하게 됩니다. 전체적으로 테스터들은 면접 가이드를 꼼꼼하게 읽지 않는 경향이 있다는 것을 알게 된 것입니다. 테스터들이 설사 가이드를 읽는다고 하더라도, 실제 면접에서 경험하는 UI가 가이드와 매칭되지 않아 가이드를 잘 기억하지 못하기도 했습니다.
그래서 가이드에서 필요한 부분은 더 강조하고, 페이지를 나눠서 설명했던 부분들은 한 페이지에 이미지와 함께 설명하는 것으로 변경했습니다. 또한, 사용자가 실제 면접과 가이드를 매칭시켜 기억할 수 있도록 실제 면접시 보게되는 UI에 툴팁을 추가하여 면접 UI에 대한 이해를 높일 수 있도록 했습니다.
리뉴얼 후 다시 진행한 설문조사에서는 AI 면접에 대한 호감도 및 AI 휴먼 도입 후의 면접 몰입도 그리고 사용성 개선에 대한 비교를 확인했습니다.
AI 면접과 대면 면접 중 어떤 것을 선택하시겠어요?
선택한 이유로는 ⓐ 비대면의 편리성,ⓑ 편향되거나 면접에 적절하지 않은 질문을 하는 면접관보다 더 공정할 것 같다는 점, ⓒ 게임이 아닌 대화를 하는 느낌, 그리고 ⓓ 기업이 최신 트렌드를 반영하여 활용하는 느낌 등이 있었습니다.
AI 휴면과 마주보고 면접을 진행 했을 때 어떤 느낌이 드셨나요?
결과적으로는 AI 면접에 더 몰입할 수 있을 것 같다는 의견이 약 20% 가까이 상승한 것으로 나타났습니다. 또한, AI 휴먼 도입 및 사용성 개선 후의 설문조사에서는 AI 면접을 본 후 AI 면접에 대한 인식은 67.9%가 면접 전보다 긍정적으로 변화되었다고 응답했습니다.
현재의 뷰인터HR에는 AI 휴먼 이외에도 수많은 사용성 개선을 위한 업데이트가 나날이 이루어지고 있습니다. 오늘 소개드린 서비스 개선은 AI 휴먼을 중심으로 다루었지만, 사용자와 기업의 의견에 귀를 기울이며 다양한 문제를 수용해, 더 나은 서비스로의 발전은 매일 일어나고 있습니다.
뷰인터HR팀이 가진 가장 큰 강점을 두가지 꼽는다면, 첫째는 수용력이고, 둘째는 속도입니다. 뷰인터HR팀은 항상 사용자와 기업의 의견에 귀 기울이고 있으며, 포착한 문제와 개선할 사항을 추가하며 발전해 나아고 있습니다.
긴밀하게 협력하는 팀워크로 서비스의 질을 높이고, 사용자 의견을 존중하며 서비스를 개선해 나가는 뷰인터HR팀의 이야기를 많이 기대해주시기 바랍니다.
Write 이정희 (제네시스랩 HR사업개발팀)
Review & Edit 최성원 (제네시스랩 마케팅)
