광고부터 의료 연구까지 다양한 산업 분야에서 인공지능이 활용되면서 인공지능의 역량이 기하급수적으로 확대되고 있습니다. 안면 인식 소프트웨어, 채용 알고리즘, 의료 서비스 제공과 같이 보다 민감한 영역에서 AI가 사용되면서 편견과 공정성에 대한 논쟁이 촉발되었습니다.
편견은 인간 심리학의 잘 연구된 측면입니다. 인공지능 자체는 편향될 수 없지만, 모델을 개발하고 훈련하는 인간은 편향될 수 있습니다. 연구를 통해 인간의 무의식적인 선호와 편견이 정기적으로 드러나고 있으며, 현재 인공지능 시스템은 알고리즘에 이러한 편견을 일부 반영하고 있습니다.
그렇다면 인공지능은 어떻게 편견을 갖게 될까요? 그리고 이것이 왜 중요한가요?
AI는 어떻게 편향되게 되나요?
간단하게 하기 위해 이 글에서는 머신러닝과 딥러닝 알고리즘을 AI 알고리즘 또는 시스템으로 지칭하겠습니다.
연구자와 개발자는 여러 가지 방법으로 AI 시스템에 편견을 도입할 수 있습니다. 여기서는 그 중 두 가지에 대해 살펴보았습니다.
첫째, 연구자의 인지적 편견이 머신러닝 알고리즘에 실수로 포함될 수 있습니다. 인지 편향은 사람들이 의사 결정을 내리는 방식에 영향을 미칠 수 있는 무의식적인 인간의 지각입니다. 편견이 특정 사람이나 집단에 대한 것일 때 이는 중요한 문제가 됩니다.
이러한 편견은 직접적으로, 그러나 우연히 도입될 수도 있고, 연구자가 편견의 영향을 받은 데이터 세트로 AI를 훈련시킬 수도 있습니다. 예를 들어, 밝은 피부의 얼굴만 포함된 데이터 세트를 사용하여 얼굴 인식 AI를 학습시킬 수 있습니다. 이 경우 AI는 어두운 피부보다 밝은 피부의 얼굴을 처리할 때 더 나은 성능을 발휘합니다. 이러한 형태의 AI 편향성을 네거티브 레거시라고 합니다.
둘째, AI가 불완전한 데이터 세트를 학습할 때 편향이 발생할 수 있습니다. 예를 들어, 컴퓨터 과학자만 포함된 데이터세트로 AI를 학습시킨 경우 전체 인구를 대표하지 못합니다. 이로 인해 알고리즘이 정확한 예측을 제공하지 못합니다.
실제 AI 편향의 예
최근 잘 보고된 여러 AI 편향 사례는 이러한 편향을 허용하는 것이 얼마나 위험한지 보여줍니다.
구글 포토, 유색인종 소외
2015년 BBC는 유색인종에 편향된 것으로 밝혀진 구글 포토의 주요 얼굴 인식 실수 을 보도했습니다. 인공지능 소프트웨어가 흑인 커플의 사진을 “고릴라”로 잘못 태그한 것입니다.
몇 년 후 AlgorithmWatch 은 실험을 수행하고 그 결과를 발표했습니다. 이미지에 자동으로 라벨을 붙이는 AI 서비스인 Google 비전 클라우드는 피부색이 어두운 남성이 체온계를 들고 있는 사진에 ‘총’이라는 라벨을 붙였고, 하얀 손이 체온계를 들고 있는 유사한 사진에는 ‘온도계’라는 라벨을 붙였습니다.
두 사건 모두 언론의 광범위한 관심을 받았으며 AI 편견이 일부 커뮤니티에 미칠 수 있는 잠재적 피해에 대한 우려를 불러일으켰습니다. Google은 두 사건에 대해 사과하고 문제 해결을 위한 조치를 취했지만, 이러한 사건은 편견 없는 AI 시스템 개발의 중요성을 강조합니다.
미국 기반 의료 알고리즘, 백인 환자 선호
2019년 병원과 보험 회사가 특정 의료 프로그램을 통해 가장 많은 혜택을 받을 수 있는 환자를 판단하는 데 도움이 되는 머신러닝 알고리즘이 설계되었습니다. 사이언티픽 아메리칸은 약 2억 명이 포함된 데이터베이스를 기반으로 한 이 알고리즘이 흑인 환자보다 백인 환자를 선호한다고 에 보도했습니다.
이는 흑인과 백인 간의 의료 비용 차이에 대한 알고리즘의 잘못된 가정 때문인 것으로 밝혀졌으며, 결국 편향성이 80% 감소했습니다.
백인 범죄자가 흑인 범죄자보다 덜 위험하다고 분류한 COMPAS
대체 제재를 위한 교정 범죄자 관리 프로파일링, 즉 COMPAS는 특정인의 재범 여부를 예측하도록 설계된 AI 알고리즘이었습니다. 이 알고리즘은 백인 범죄자에 비해 흑인 범죄자에 대해 두 배의 오탐지를 생성했습니다. 이 경우 데이터 세트와 모델에 결함이 있어 심각한 편견이 발생했습니다.
아마존의 채용 알고리즘, 성별 편향성 드러나
2015년 아마존이 지원자의 적합성을 판단하는 데 사용하는 채용 알고리즘이 여성보다 남성을 크게 선호하는 것으로 밝혀졌습니다. 이는 대부분의 Amazon 직원이 남성이기 때문에 데이터 세트에 거의 독점적으로 남성과 그들의 이력서가 포함되어 있었기 때문입니다.
나중에 로이터 통신은 아마존의 시스템이 본질적으로 남성 지원자를 선호하는 방법을 스스로 학습했다고 보도했습니다. 이 알고리즘은 이력서 내용에 ‘여성’이라는 단어를 포함하면 지원자에게 불이익을 줄 정도로 발전했습니다. 말할 필요도 없이, 이 소프트웨어를 개발한 팀은 스캔들 직후 해산했습니다.
AI 편견을 막는 방법
AI는 이미 AI 기반이라고는 생각하지 못했던 직업을 포함하여 모든 산업에서 일하는 방식을 혁신하고 있습니다. 편향된 시스템이 민감한 의사 결정 프로세스를 제어하는 것은 바람직하지 않습니다. 기껏해야 AI 기반 연구의 질을 떨어뜨릴 뿐입니다. 최악의 경우 소수 집단에 적극적으로 피해를 줄 수 있습니다.
인간의 인지적 편향의 영향을 줄여 인간의 의사 결정을 돕는 데 AI 알고리즘이 이미 사용되고 있는 사례가 있습니다. 머신러닝 알고리즘은 학습 방식에 따라 같은 입장에 있는 사람보다 더 정확하고 편견이 적어 더 공정한 의사결정을 내릴 수 있습니다.
하지만 앞서 살펴본 바와 같이 그 반대도 마찬가지입니다. 인간의 편견이 AI에 의해 요리되고 증폭될 수 있는 위험은 가능한 이점보다 더 클 수 있습니다.
결국, AI는 모델로 학습한 데이터만큼만 성능이 향상됩니다. 편향되지 않은 알고리즘을 개발하려면 데이터 세트에 대한 광범위하고 철저한 사전 분석을 통해 데이터에 암묵적인 편향이 없는지 확인해야 합니다. 인간의 편견은 무의식적이고 식별하기 어려운 경우가 많기 때문에 이는 생각보다 어려운 일입니다.
AI 편향성 방지를 위한 과제
AI 시스템을 개발할 때는 모든 단계에서 알고리즘에 편향성이 포함될 수 있는 가능성을 평가해야 합니다. 편향성을 방지하는 주요 요소 중 하나는 편향성이 아닌 공정성이 알고리즘에 ‘요리’되도록 하는 것입니다.
공정성 정의하기
공정성은 비교적 정의하기 어려운 개념입니다. 실제로 합의에 도달한 적이 없는 논쟁거리이기도 합니다. 더욱이 AI 시스템을 개발할 때는 공정성의 개념을 수학적으로 정의해야 하기 때문에 더욱 어렵습니다.
예를 들어, Amazon 채용 알고리즘의 경우, 공정성이란 남성과 여성 근로자를 50 대 50으로 완벽하게 나누는 것일까요? 아니면 다른 비율일까요?
함수 결정하기
AI 개발의 첫 번째 단계는 정확히 무엇을 달성할 것인지 결정하는 것입니다. COMPAS의 예시를 사용한다면, 알고리즘은 범죄자가 재범할 가능성을 예측할 것입니다. 그런 다음 알고리즘이 작동할 수 있도록 명확한 데이터 입력을 결정해야 합니다.
이를 위해서는 이전 범죄 횟수나 저지른 범죄 유형과 같은 중요한 변수를 정의해야 할 수 있습니다. 이러한 변수를 적절하게 정의하는 것은 알고리즘의 공정성을 보장하는 데 있어 어렵지만 중요한 단계입니다.
데이터 세트 만들기
앞서 살펴본 바와 같이 AI 편향의 주요 원인은 불완전하거나 대표성이 없거나 편향된 데이터입니다. 얼굴 인식 AI의 경우처럼 머신러닝 프로세스 전에 입력 데이터의 편향성, 적절성, 완전성을 철저히 점검해야 합니다.
속성 선택
알고리즘에서 특정 속성을 고려하거나 고려하지 않을 수 있습니다. 속성에는 성별, 인종, 학력 등 기본적으로 알고리즘의 작업에 중요할 수 있는 모든 것이 포함될 수 있습니다. 어떤 속성을 선택하느냐에 따라 알고리즘의 예측 정확도와 편향성이 심각하게 영향을 받을 수 있습니다. 문제는 알고리즘이 얼마나 편향되어 있는지 측정하기가 매우 어렵다는 것입니다.
AI 편향성은 사라지지 않는다
AI 편향성은 알고리즘이 편향된 입력으로 인해 편향되거나 부정확한 예측을 할 때 발생합니다. 알고리즘의 개발 및 학습 과정에서 편향되거나 불완전한 데이터가 반영되거나 증폭될 때 발생합니다.
좋은 소식은 AI 연구에 대한 자금이 증가함에 따라 AI 편향성을 줄이고 심지어 제거할 수 있는 새로운 방법이 등장할 가능성이 높다는 것입니다.