AI 면접의 공정성과 타당성

많은 조직이 채용 과정에서 공정성을 높이기 위해 AI 채용솔루션을 도입하고 있습니다. 하지만 AI의 결정 로직을 이해하기 어렵다는 점에서 신뢰성에 대한 의문이 제기되곤 합니다. 2022년 조사에 따르면, 약 37%의 조직이 AI 채용솔루션을 사용하고 있거나 도입을 고려 중입니다. 이 기술이 가져온 변화로, 채용 과정의 공정성과 타당성에 대한 질문이 더욱 커지고 있습니다. AI 기술이 큰 진전을 이루었음에도, 그 평가 결과의 기초가 되는 로직의 복잡성으로 인해 완전한 검증이 어려운 상황입니다.

2020년에는 AI 채용솔루션을 사용한 공공기관 13 곳이 정보공개 소송에 휘말렸고, 이 과정에서 특정 AI 채용 솔루션의 관리와 감독이 부족했다는 사실이 밝혀졌습니다. 정보인권단체는 AI 채용 솔루션의 평가 결과에 대한 설명 부족과 공정성 및 타당성의 부재를 큰 문제로 지적했습니다. 이는 AI 채용솔루션 자체의 문제가 아니라 그 적용 방법에 문제가 있음을 시사합니다.

AI 기술의 빠른 발전과 함께 AI 채용솔루션 산업의 성장이 예상되면서, 채용담당자는 이 기술의 특성을 정확히 이해하고 적절히 적용하는 방법을 깊이 있게 고민해야 할 필요가 있습니다. 이를 통해 채용 프로세스를 보다 세밀하게 구축하고, AI 채용솔루션의 잠재력을 최대한 활용할 수 있을 것입니다.

체계적이고 과학적인 AI 모델 학습 설계

AI 기술은 갑자기 등장하는 것이 아니며, 그 발전은 연구자의 의도와 데이터 학습 설계가 큰 역할을 합니다. 채용담당자가 AI의 로직을 직접 이해하기 어려운 경우, AI가 어떻게 개발되었는지 알아보는 것이 AI의 작동 원리를 파악하는 데 도움이 될 수 있습니다.

AI 채용솔루션을 평가할 때는 AI가 무엇을 평가하는지를 명확히 알아야 합니다. 예를 들어, AI 면접에서 분석되는 눈동자의 움직임이나 말의 속도 같은 요소들이 직접적인 채용과 연관이 없을 수 있기 때문에, 이러한 기술이 실제로 채용에 어떻게 유용한지를 이해하는 것이 중요합니다. AI 모델이 실제로 어떤 역량이나 특성을 평가하는지, 그리고 그 평가가 이론적으로나 경험적으로 타당한지를 확인해야 합니다.

또한, AI 모델이 학습하는 데이터의 질과 그 데이터가 얼마나 신뢰할 수 있는지도 중요합니다. 데이터가 과거의 성공적인 사례만을 반영하고 있다면, 그 AI는 특정 유형의 지원자만을 선호하게 될 수 있습니다. AI 모델을 설계할 때는 다양한 직무의 특성을 고려하고, 고성과자뿐만 아니라 다양한 성과를 보인 지원자들의 데이터도 포함시켜야 합니다.

이와 같은 접근을 통해 채용담당자는 AI 채용솔루션의 한계와 가능성을 더 잘 이해하고, 보다 효과적인 채용 프로세스를 설계할 수 있습니다. AI의 적용은 단순히 기술의 채택을 넘어서, 그것을 어떻게 활용하느냐에 따라 큰 차이를 만들어 낼 수 있습니다.

어떠한 기준으로 고성과자를 정의할 수 있을까요?

• 자기소개서 질문이 과거와 현재에 다르지 않은지
• 직무에 따라 고성과자들의 특성이 다를텐데, 학습과정에 직무 분류도 함께 고려됐을지
• 저성과자의 데이터도 함께 학습되었을지

등 채용담당자는 이러한 고민과 질문을 통해 다양한 AI 채용솔루션들의 특징과 제한점을 파악해야 하며, 다양한 측면들을 함께 고려해 채용 프로세스를 보다 정교하게 구축해야 합니다. 

AI의 공정성 확보 방안

AI 채용솔루션을 설계할 때 공정성은 필수적으로 고려되어야 합니다. 이는 AI가 특정 성별이나 연령 같은 지원자의 집단 특성에 따라 편향적인 평가를 하지 않도록 하는 것을 의미합니다. AI는 기존의 블라인드 채용처럼 공정성을 요구받지만, AI의 경우 더 높은 수준의 공정성이 필요합니다. AI가 인간의 편향된 사고를 학습할 위험이 있기 때문에, 채용담당자는 AI 공급사의 주장만을 수용하기보다는 이를 적극적으로 검증해야 합니다.

공정성을 확보하기 위해, AI 채용솔루션 공급사는 학습 데이터의 허점을 최소화할 수 있는 프로세스를 갖추어야 합니다. AI 모델의 개발 과정은 투명해야 하며, 편향과 노이즈에 대한 성능 평가를 포함해야 합니다. AI가 학습한 데이터는 편향이 없어야 하며, 데이터 레이블링은 정확하고 일관되어야 합니다. 또한, AI가 특정 집단에 과적합되거나 지나치게 일반화되지 않도록 주의해야 합니다. 예를 들어, 면접 영상을 평가할 때 다양한 레이블러의 의견을 통합하여 편향을 최소화하고, 필요시 퍼실리테이터가 중재할 수 있도록 해야 합니다.

이러한 절차를 통해 AI의 공정성을 높이는 것은 AI를 사용한 채용 과정 전반의 신뢰성을 높이는 데 도움이 됩니다. AI 모델의 편향과 노이즈 문제를 사전에 식별하고 해결함으로써, AI 채용솔루션은 진정으로 공정하고 객관적인 도구로 활용될 수 있습니다.

채용담당자가 AI 채용솔루션의 편향과 노이즈를 점검하는 것은 중요하지만, 종종 많은 한계와 어려움이 따릅니다. 이러한 점검 과정을 보다 용이하게 하기 위해 한국정보통신기술협회(TTA)와 같은 공신력 있는 기관이 인공지능의 신뢰성 평가를 주관하고 있습니다. 이 기관들은 AI 모델의 편향성, 노이즈, 설명 가능성, 그리고 투명성을 평가하여 인증을 제공합니다. 채용담당자는 이러한 인증 과정을 통해 AI 채용솔루션이 편향과 노이즈 문제를 해결했는지, 그리고 신뢰성이 검증된 상태인지를 확인할 수 있습니다. 이는 AI의 공정성을 보장하는데 중요한 역할을 하며, 채용 프로세스에서 AI를 보다 효율적으로 활용할 수 있는 기반이 됩니다.

AI의 타당성 확보 방안

AI 채용솔루션 도입을 고려하는 채용담당자는 효율성과 경제성을 기대합니다. 이 개념은 채용 시간과 비용을 절약하는 것뿐만 아니라, 채용된 인원이 조직 성과에 기여하는 정도를 포함합니다. 만약 AI 채용솔루션이 조직의 인재상과 맞지 않아 비효율적인 채용을 초래한다면, 그 도입은 의미를 잃게 됩니다.

AI 채용솔루션의 타당성은 AI가 실제 지원자의 역량을 정확히 평가하고 있는지에 대한 여부를 나타냅니다. 각 AI 채용솔루션 공급사는 이를 보장하기 위해 다양한 방식으로 타당성을 주장하지만, 이는 대부분 자체 데이터에 기반한 것이므로 모든 조직에 적용 가능하지 않습니다. 따라서 기존 채용 도구와 마찬가지로 AI 채용솔루션에 대한 독립적인 타당성 검증이 필수적입니다.

이미 AI 채용솔루션을 도입한 조직은 누적된 채용 데이터를 분석하여 AI의 평가가 실제 채용 결과와 얼마나 일치하는지를 평가할 수 있습니다. 새로 AI를 도입하는 조직은 자기소개서 분석이나 AI 면접 등을 통해 인간 평가자의 결과와 AI 결과를 비교함으로써 AI의 정확성을 검증할 수 있습니다. 이러한 과정을 통해 AI 채용솔루션의 실질적인 타당성을 확인할 수 있으며, 이는 조직의 효율적인 채용과 직결됩니다.

AI 채용솔루션의 도입은 채용의 객관성, 공정성뿐만 아니라 효율성과 경제성을 높이는 중요한 역할을 합니다. 그러나 이러한 시스템의 성공적인 통합은 해당 기술의 타당성 검증이 핵심입니다. 타당성 검증은 AI가 지원자의 실제 능력을 정확히 평가하고 있는지 확인하는 과정을 포함합니다. 각 조직은 AI 채용솔루션을 선택할 때, 이러한 검증을 지원하는지 여부를 꼼꼼히 검토해야 합니다.

AI 채용솔루션의 지속적인 검증과 재학습을 통한 고도화는 조직 특성에 맞춤화되어야 하며, 이는 채용 프로세스의 질을 향상시키고, 더 나은 인재를 채용하는 데 기여합니다. 이러한 과정은 채용담당자와의 협력을 통해 이루어지며, 이는 HR 분야의 디지털 트랜스포메이션을 가능하게 합니다.

AI 기술의 발전은 HR 분야에서도 빠르게 진행되고 있습니다. 과거의 경외심이나 환상을 넘어서, 현재의 채용담당자들은 AI 기술의 실제 가치와 한계를 이해하고, 이를 적절히 활용하여 조직의 성과를 극대화할 줄 알아야 합니다. AI 채용솔루션은 완벽하지 않지만, 그 잠재력을 활용하고 지속적으로 개선해 나갈 수 있는 역량이 필요합니다. 이러한 접근 방식은 조직의 미래를 결정짓는 중요한 요소가 될 것입니다.

Write 이도연(제네시스랩 HR사업실) ,조진희(제네시스랩 AI연구실)
Original Contents 월간 HR insight
Review & Edit 최성원 (제네시스랩 마케팅)