‘AI 활용한 범죄 예측’ 확대하는 경찰...학계선 “엉뚱한 결과 나올 수도” 우려
경찰, 범죄예측 시스템 ‘프리카스’ 마약·전세사기 예방에도 활용
학계선 “AI 활용 데이터, 인간이 작성...편향적 가치관 반영”
이학준 기자
입력 2023.02.19. 06:00
미국인 에릭 루미스는 2013년 총기 사건에 연루된 차량을 무단으로 운전해 도주한 혐의로 징역 6년과 5년의 보호관찰 처분을 받았다. 그가 중형을 선고받은 이유 중 하나는 재범 가능성을 예측해주는 시스템 ‘컴퍼스(COMPAS)’의 분석 결과 때문이었다. 컴퍼스는 루미스의 재범 위험성이 높다고 판단했고, 법원은 이러한 결과를 양형이유 중 하나로 받아들였다. 컴퍼스는 재범 여부에 영향을 미치는 것으로 알려진 요인을 바탕으로 재범 위험요소를 평가하는 통계기반 위험평가다.
문제는 판사와 검사 모두 컴퍼스가 어떤 근거로 루미스의 재범 가능성이 높다고 판단했는지 알지 못한다는 것이다. 컴퍼스를 만든 민간 기업 노스포인트는 컴퍼스의 알고리즘이 영업비밀에 속하기 때문에 분석 과정에 대해서는 설명하거나 공개하지 않고, 결과만 법원에 제공했다. 컴퍼스가 재범 가능성을 판단할 때 어떤 자료를 어떤 방식으로 분석했는지, 판단 요소 중 어떤 부분에 가중치를 뒀는지 등을 모른 채 양형이유 중 하나로 채택된 것이다.
루미스 측은 이러한 부분이 적법절차 원칙에 위배된다고 주장하며 항소했다. 특히 컴퍼스 분석 결과는 루미스와 유사한 속성을 가진 집단의 재범 가능성을 평가하는 것이기 때문에 양형에 고려하는 것은 부당하다고 주장했다. 루미스와 비슷한 조건을 가진 사람들의 평균적인 성향을 가지고 루미스 개인이 또다시 범죄를 저지를 가능성이 높다고 판단해서는 안 된다는 것이다. 그러나 위스콘신 대법원은 해당 판결이 컴퍼스 분석 결과 하나만을 근거로 결론을 낸 것은 아니라는 점 등을 들어 항소를 기각했다.
한국도 범죄 예측에 인공지능(AI)과 빅데이터를 활용하는 범위를 넓히고 있다. 현재 경찰이 사용하는 프리카스(Pre-CAS·Predictive Crime Risk Analysis System)는 범죄통계와 112신고를 비롯해 교통사고 건수와 유흥시설· 학교 숫자는 물론 인구·기상·실업률·고용률 등 각종 데이터를 분석해 특정 요일, 특정 시간에 어디에서 범죄가 발생할 확률이 높은지 분석한다. 당초 경찰은 이러한 결과를 토대로 범죄 발생 가능성이 높은 지역의 순찰을 강화하는 수준에서 프리카스를 활용했는데, 작년 10월부터는 마약·전세사기 범죄 예방으로 확대해 활용하기 시작했다.
그러나 국내 학계에서도 AI로 범죄를 예측하는 것은 현재로서 정확지 을 수 있다는 우려의 목소리가 나오고 있다.
경찰이 도입해 사용하고 있는 인공지능 프리카스./조선DB
◇ “AI가 활용하는 데이터, 사람이 작성...인종·성별·연령에 편향적일 수도”
19일 학계에 따르면 안경옥 경희대 법학전문대학원 교수는 지난 1월 한국비교형사법학회에 투고한 논문 ‘빅데이터를 활용한 범죄예측의 문제점과 개선방향’에서 AI를 활용한 범죄예측과 관련해 ▲개인정보 및 기본권의 침해 ▲데이터와 알고리즘의 편향성·차별성 ▲알고리즘의 불투명성 ▲범죄예측의 부정확성 등과 같은 문제가 발생할 수 있다고 지적했다.
안 교수는 AI가 활용하는 데이터가 편향적이거나 차별적 가치관을 가질 수 있다는 점을 강조했다. 수사기관이나 법원이 작성한 범죄사실 또는 보고서 등 자료가 인종·성별·연령에 대한 편향적인 시각으로 작성됐다면, 이를 활용한 AI 분석 결과 역시 편향적일 수밖에 없다는 것이다. 또 데이터 자체에 오류가 있을 가능성도 배제할 수 없다. 안 교수는 “데이터가 과거 성차별적이거나 인종 편향적인 발언 등의 내용을 포함할 수 있다”며 “과거 데이터를 기반으로 학습하는 머신러닝 특성상 학습 중 기존의 편향성이 강화·재생산될 위험도 있다”고 했다.
이어 “머신러닝이나 딥러닝(deep learning·심층 학습) 알고리즘은 그 과정을 설명하기 어렵기 때문에 알고리즘 자체가 편향적이라 하더라도 알아차리기 어렵다”며 “빅데이터의 기반인 기초데이터가 잘못된 정보이거나 거짓 정보인 경우 예측결과가 오류일 수 있다”고 설명했다. AI가 어떠한 분석 과정을 거쳤는지 알 수 없는 ‘알고리즘 불투명성’도 문제로 제기됐다. 루미스 사건에서처럼 범죄를 예측하는 AI의 알고리즘이 비밀에 부쳐지는 경우 예측 결과를 신뢰할 수 있는지 알 수 없다는 주장이다. 또 딥러닝을 활용해 범죄를 예측할 경우 왜 이런 결과가 나왔는지 사실상 설명할 수 없어 더욱 문제가 된다.
안 교수는 ‘한국판 사이코패스 진단검사(PCL-R)’와 ‘한국 성범죄 재범 위험성평가(KSORAS)’는 평가자와 피해자와의 관계 등 15~20개의 변수를 활용한다는 사실이 이미 공개돼 결과의 오류 여부를 다툴 수 있다는 점을 언급하며 “빅데이터를 분석하는 시스템의 경우 한계로 인해 잘못된 예측결과가 나올 수 있는 문제점이 있다”고 설명했다.특히 “알고리즘의 소스코드가 민간 기업의 저작권 등으로 보호되고 있어 그에 대한 감독이나 통제가 어렵다면 법원이 이러한 비공개 알고리즘에 의한 재범위험성 예측결과를 받아들일 수 있는가 하는 문제가 생긴다”고 강조했다.
◇ 경찰청 “알고리즘 이미 공개돼 있어...특정 결과 설명 가능”
경찰청은 프리카스의 알고리즘은 이미 학계 등에서 만들어진 알고리즘을 조합해 사용하는 방식이기 때문에 사실상 대중에 공개돼 있고, 특정 결과에 대한 설명이 가능하다는 입장이다.
경찰 관계자는 “신경망이 결합된 딥러닝의 경우 데이터가 신경망을 건너가면서 변형되는데, 이러한 변형을 설명할 수 없기 때문에 결과 값을 역으로 추적해 어떻게 이러한 결과가 나온 것인지 설명이 되지 않는 것”이라며 “프리카스의 경우 딥러닝과 뉴럴네트워크(Neural network·인공 신경망 기술)를 썼지만, 특정 인자의 정확도와 판별 능력 향상을 위해 넣은 것이지 값의 향상을 위해 넣은 것은 아니다”고 전했다.
안 교수는 범죄 예측 영역에서도 가이드라인을 만들어 AI 기술을 활용했을 경우 판단 과정과 결과에 대해 합리적인 설명을 해야 한다고 제언했다. 현재 알고리즘에 대한 설명요구권은 인정되지 않고 있어 근거규정을 마련해야 한다는 취지다. 또 사법기관이 분석 결과를 의사결정에 활용했을 경우 당사자가 인적 개입을 요구할 수 있는 권리를 보장하고, 오류를 줄이기 위해 국가기관이 보유하고 있는 데이터를 민간 기업이나 개인에게 제공할 필요가 있다고 주장했다.안 교수는 “이제 빅데이터를 활용한 범죄 예측을 허용할 것이냐는 문제보다는 범죄 예측을 통해 범죄를 사전적으로 예방하고자 한계나 정확도에 대한 사후적 통제·감독을 위한 합리적 방안이나 관련 법령의 정비 등에 대한 구체적인 고민과 연구가 지속돼야 할 것”이라고 했다.
https://biz.chosun.com/topics/topics_social/2023/02/19/MWPOCKZ2HBH5DJIBYIP2RV3VIU/
이 기사의 내용은 범죄예방시스템의 우려스러운점 문제점 중에서 알고리즘을 사용한 AI기술에 대한 부분을 제시한 것입니다. 내용에서 처럼 투명성, 부정확성, 편향성 이 세가지는 "차별적 가치관" 이라고 표현이 되었고 이는 제가 범죄예방시스템을 겪고 공부하면서 제 스스로 발견한 문제점들 이였는데 이런 문제점들은 명확하게 드러나는 부분이라 000교수님께서도 그대로 말씀하셨네요.
저는 "차별적 가치관" 대신에 "선택적 무관용" 이라는 키워드를 사용하고 있는 중입니다.
기사의 내용은 러닝머신과 딥러닝 알고리즘과 AI에 대한 우려스러운 요소를 다룬것입니다. 범죄예방시스템의 전반적인 문제점 우려스러운 점들은 안전사회 공익우선이라는 신념으로 묵인되어 온 많은 크고 작은 문제점들은 무수이 많이 있습니다.
추후 추가 작성