인공지능(AI)의 본질은 알고리즘이다. 많은 경우 인공지능은 이를 구현하는 하드웨어 혹은 기계적 측면과 동의어로 사용된다. 로봇공학, 머신러닝, 지능기계, 사이보그, 봇, 로봇 등이 대표적이다. 하지만 인공지능은 수많은 코드로 구성된 알고리즘이다. 코드를 구성하고, 엮어 알고리즘을 만드는 일은 인간 개발자의 몫이다. 그리고 그 과정에서 개발자의 목표와 이념이 알고리즘에 반영되기 마련이다. 알고리즘이 결코 객관적일 수 없는 이유이다.

나쁜 알고리즘의 조건

수학자 캐시 오닐은 나쁜 알고리즘의 조건으로 ‘불투명성’과 ‘불공정성’ 그리고 ‘확장성’을 이야기한다. 불투명성이란 어떤 알고리즘에 자신이 포함되는 것을 당사자가 알고 있다고 하더라도 모형이 비공개인 경우를 의미한다. 선착순으로 입장하는 콘서트장에 일찍 도착했는데도, 안내원이 맨 앞자리부터 열 번째 줄까지는 앉을 수 없다고 한다면 불합리하다고 느낄 수 있지만, 휠체어를 탄 장애인들을 위한 자리라는 설명을 들으면 납득하게 된다. 투명성의 중요성을 알 수 있는 동시에 영업비밀을 이유로 알고리즘이 보호해야 할 지식재산권임을 주장하는 플랫폼 기업들의 행태를 되돌아보게 하는 대목이다.

불공정성은 파괴적인 피드백 루프를 의미한다. 파괴적 피드백 루프란 서로 물리고 물리는 관계를 통해 상황이 악화되는 경우를 의미한다. 가난한 사람들은 신용 상태가 나쁘고, 범죄 발생률이 높은 동네에 살 가능성이 높다는 가정을 알고리즘이 반영할 경우 이들은 대출심사에서 거부되거나 높은 금리를 적용받을 확률이 높아지고, 작은 범죄에도 체포될 확률뿐만 아니라 더 긴 형량을 받게 될 확률이 높아진다. 알고리즘의 파괴적 피드백은 확장성의 개념과도 연결된다. 더 높은 금리를 적용받은 사람이나 더 긴 형량을 받은 사람들이 아파트나 일자리를 구할 때는 물론이고 자동차를 렌트할 때조차 기준이 되어 삶 전체에 부정적 영향을 미치는 현상이 나타난다. 이것이 나쁜 알고리즘의 마지막 기준인 확장성이다.

자발적으로 진화하기 어려운 알고리즘

동일한 나쁜 알고리즘이더라도 사람들에게 영향을 미치는 정도는 다르기 마련이다. 특정 계층에 파괴적 피드백 루프를 통해 피해를 발생시키는 반면 어떤 계층에는 확연히 다른 모습을 보여준다. 값비싼 휴양지를 추천해주고, 최고 수준의 와인을 저렴한 가격에 구입하는 방법을 알려준다. 누군가에게는 피해를 주는 알고리즘이 누군가에게는 세상이 갈수록 살기 편해진다는 찬사를 듣는 도구가 된다. 문제는 나쁜 알고리즘이 자생적으로 개선되기를 바라기 어렵다는 점이다. 다른 어떤 이유보다도 나쁜 알고리즘은 오늘날 기업에 많은 수익을 가져다주기 때문이다. 알고리즘으로 인해 고금리 대출을 받아야 할 만큼 절망적인 계층을 구분해 마케팅의 표적으로 삼을 수 있다면, 이로 인해 이익을 취하는 기업들에 해당 알고리즘은 사회 전체의 이익이나 정의를 외면할 만큼 매력적일 것이다.

물론 부당함이 인류 역사에서 존재하지 않았던 적은 없었다. 대출 담당자의 횡포가 극심했던 시기가 불과 30년 전이었고, 채용 과정에서 여성이 당하는 불이익 문제는 오늘날까지 완전히 해결됐다고 말하기 어렵다. 아무리 나쁜 알고리즘이라 하더라도 과거의 부당함보다는 낫다고 주장하는 사람들도 있을 것이다. 하지만 인간은 학습하고 적응함에 따라 개선하고 진화한다. 문제를 인식하고 이에 맞춰 제도나 시스템을 개선할 수 있다. 그러나 알고리즘은 개발자들이 이를 코드로 전환해 이식할 때까지 변하지 않는다. 무엇보다 알고리즘은 과거를 코드화할 뿐이다. 기본적으로 과거와 기존 패턴들이 반복될 것이라는 가정에 기반을 둔다. 알고리즘과 개발자들 자발적인 노력으로 알고리즘이 개선되기 어려운 이유이다.

알고리즘 감사의 필요성

나쁜 알고리즘 문제를 해결하기 위한 첫 번째 과제는 투명성을 확보하는 일이다. 이를 위해서는 일정 부분 규제가 필요하다. 효율성을 중시하는 시장경제에도 규제가 없었다면 아동 노동이나 유해식품, 높은 요금의 공공서비스 문제는 자체적으로 해결할 수 없었을 것이다. 많은 학자들은 대표적인 규제로 ‘알고리즘 감사’를 거론한다. 감사는 주로 회계영역에서 실시됐지만, ‘책임 있는 알고리즘’ 개발을 위해 기술 공개를 바탕으로 한 감사가 필요하다는 의견이다. 2016년 미국 백악관도 ‘빅데이터: 알고리즘 시스템, 기회와 시민권에 관한 보고서’를 통해 회계감사제도처럼 알고리즘 감사 제도 마련을 위해 산업계와 학계가 노력해야 한다고 주장했다.

알고리즘이 디지털 경제의 엔진임은 분명하다. 하지만 효율성이라는 가치만을 추구하지 않도록 사회적 합의가 필요하다. 누군가의 이익이 누군가의 피해를 대가로 한 결과라면 지속가능하지 않기 때문이다. 눈에 보이는 효율성을 희생시키더라도 눈에 보이지 않는 공정성 혹은 공익의 가치가 알고리즘에 반영돼야 한다. 사회 곳곳에서 알고리즘의 불공정성에 대한 논의가 활발한 요즘이다. 알고리즘은 목적이 아니라 수단이며, 모든 것을 해결할 수 있는 만능 수단이 아님을 기억해야 한다.