시애틀, 인공지능(AI) 계획 발표: 책임 있는 AI 구현에 대한 우려 및 기대

지난 주, 브루스 해럴 시장은 기술 분야의 인공지능(AI) 붐을 활용하여 도시의 운영, 공공 서비스 및 시민 참여에 AI를 통합하는 시애틀 시의 새로운 AI 계획을 발표했습니다.

그러나 비판자들은 공공 서비스에서 AI 사용의 윤리적 함의와 공무원에 미칠 잠재적 영향, 그리고 환경적 피해 우려에 대해 걱정하고 있습니다.

이 계획은 “AI를 활용하여 허가 및 주택을 가속화하고, 공공 안전을 개선하며, 시애틀 주민들에게 서비스의 반응성을 향상시키고, 장벽을 제거하기 위해 보다 접근 가능하고 명확한 언어로의 상호작용을 가능하게 할 것입니다.”라고 명시하고 있습니다.

계획에는 시 직원들을 위한 AI 교육 프로그램과 학계, 산업 및 커뮤니티와의 파트너십이 포함되어 있습니다. AI의 정의는 광범위하며, 높은 수준의 성격 때문에 구체적인 세부사항이 부족한 경우가 많습니다.

시에서는 정보 기술 부서(ITD)에 새로운 AI 리더십 직책을 추가할 계획입니다.

해럴 시장은 지난 주 기자 회견에서 “우리는 시애틀을 책임 있는 인공지능 구현의 국가적 리더로 자리매김하기 위해 매우 의도적으로 노력하고 있습니다. 이것은 우리의 가치 측면에서뿐만 아니라 항구 도시, 해양 도시, 생명공학 리더, 고급 기술 리더로서의 위치를 강화할 것입니다.”라고 말했습니다.

이와 함께 도시의 직원들이 AI를 사용할 때의 규칙을 담은 새로운 AI 정책이 발표되었습니다. 이 정책은 금지된 사용 목록을 포함하고 있으며, 생성된 이미지, 비디오 및 소스 코드에 대해 AI 도구에 대한 출처 표기를 요구하고, 텍스트의 경우 “최종 제품에 실질적으로 사용될 경우” 출처가 필요하다고 명시합니다.

정책에 따르면, 직원들은 새로운 방식으로 AI를 사용하기 전에 인종 평등 도구를 수행해야 하며, 부서들은 도구의 구체적인 환경 영향을 이해하기 위해 구매 전 작업에 나서야 합니다. 이러한 규칙이 실제 어떻게 작동할 것인지, 그리고 특정 AI 사용 사례를 억제할 것인지 여부는 불확실합니다.

이 정책의 시행은 현재 로브 로이드가 담당하고 있는 최고 기술 책임자에게 맡겨져 있습니다.

시애틀의 여러 AI 파일럿

시는 현재까지 42개의 AI 파일럿 프로젝트를 진행하였으며, 그중 24개가 현재 진행 중입니다.

완료된 18개의 파일럿 중 대다수는 ‘일반’ 용도로 지정되어 있으며, Fathom AI, Beautiful.ai, Otter.ai, Hootsuite, AI Calendar 등과 같은 기본 기능을 수행하는 AI 응용 프로그램들이 포함되어 있습니다.

시애틀 경찰청(SPD)이 완료한 파일럿 중 하나는 공개 공개를 위한 바디 카메라 영상을 편집하는 CaseGuard를 시험했습니다. 시애틀 소방서(SFD)는 비상 호출의 오디오 분석을 제공하기 위해 Corti라는 도구를 시험했으며, “공공 안전 분류, 문서화, 품질 개선 및 교육”에 활용되었습니다.

현재 진행 중인 24개의 파일럿 중 11개는 ITD 내에서 진행되고 있으며, 시애틀 건설 및 검사 국(SDCI)에서는 허가 절차를 간소화하고 가속화하기 위해 4개가 진행되고 있습니다. 시애틀 교통국(SDOT)은 충돌 위험을 줄일 수 있는 교차로를 식별하기 위해 소프트웨어를 시험하고 있습니다.

ITD 대변인 메간 얼브는 더 많은 정보를 제공하며 커뮤니티 지원 응답 및 참여(CARE) 부서도 호출 우선순위 데이터 분석을 위해 AI 도구를 사용하는 것을 검토 중이라고 전했습니다. 그러나 이 pilot는 아직 활성화되지 않았습니다.

SPD에서는 하나는 아마존 Q/Bedrock 비즈니스 챗봇으로 “일반 비즈니스, ‘저위험’ 사용 사례”를 위한 것이며, 다른 하나는 ITD에서 정책 정보에 더 쉽게 접근할 수 있도록 하는 C3 AI와의 파일럿입니다. 얼브는 C3 AI가 현재 범죄 조사에 도움이 되는 도구로는 사용되지 않고 있다고 밝혔습니다.

“AI가 새로운 기술임에 따라, SPD는 이러한 도구의 책임 있는 사용에 대한 거버넌스를 점진적으로 작업하고 있습니다.”라고 얼브는 말했습니다. “이 과정의 일환으로 부서는 더 쉽게 접근할 수 있도록 정보 전달을 위해 설문조사 결과 요약과 같은 제한된 사용 사례에서 플랫폼을 시험하고 있습니다.”

아마존은 올 여름 공공 안전 응용 프로그램에 대한 블로그 게시물을 발표하며, Bedrock이 소음 불만 전화를 수신하고 자동으로 사건 보고서를 생성하는 가능성을 강조했습니다. 다른 언급된 사용 사례로는 사고 보고, 버려진 차량 보고 및 그래피티와 파손 보고가 포함됩니다.

ITD는 The Urbanist와의 대화에서 현재 사용 중인 특정 사용 사례를 공유하지 않았습니다.

아마존 AI 파일럿에 대한 추가 질문에 대해 해럴 시장의 대변인 벤 달게티는 SPD가 현재 이 기술에 대한 정책과 기술적 경계 설정을 진행 중이라고 밝혔습니다.

“미래의 기술 사용은 복잡한 경향과 패턴 파악에 있어 범죄 예방의 함의가 있을 수 있지만, SPD가 이러한 방식으로 편안하게 사용할 수 있기까지는 많은 일이 필요합니다.”라고 달게티는 말했습니다.

이 설명은 AI를 활용한 예측 경찰에 매우 가까운 것처럼 들리며, 연구들은 이 기술이 소수 커뮤니티에 대한 불균형한 표적화를 초래할 수 있음을 보여주었습니다. AI 도구가 사용하는 데이터에 따라 이러한 편향이 여러 방식으로 더욱 심화될 수 있습니다.

몇몇 미국 상원의원들은 2024년 초 미 법무부에 예측 경찰 프로젝트에 대한 자금 지원 중단을 요청하는 서한을 보냈습니다.

“증거가 증가하면, 예측 경찰 기술이 범죄를 줄이지 못한다는 것이 드러납니다. 대신, 이러한 시스템의 지속적인 사용은 법 집행에 있어 유색인종에 대한 불균형한 대우를 악화시킵니다.”라고 상원 의원들은 작성했습니다. 그리고 이어서, “이러한 시스템의 지속적인 사용은 위험한 피드백 루프를 생성합니다. 편향된 예측은 소수 동네에서의 불균형한 정지 및 체포를 정당화하는 데 사용되며, 이로 인해 범죄가 발생하는 위치에 대한 통계 또한 더욱 편향됩니다.”라고 하였습니다.

한편, ITD의 최근 연례 학습 회의에서는 두 명의 오라클 임원이 경찰 사례 기록 관리용 AI 소프트웨어 인터페이스를 시연했습니다. 이 소프트웨어는 오디오 및 비디오 파일의 AI 전사 및 텍스트 요약을 포함하였습니다.

“여기에는 특히 경찰 컨텍스트에서 여러 가지 문제들이 있습니다. 원래의 오디오 녹음일 경우에 특히 그렇습니다.”라고 컴퓨터 언어학 전문 교수인 에밀리 벤더 박사는 설명했습니다.

벤더 박사는 AI 전사 기술이 사용된 언어가 ‘명품’ 표준과 다를 경우 잘 작동하지 않으며, 이것이 더 많은 오류를 초래할 수 있다고 강조했습니다.

“생성 AI 시스템은 본질적으로 즉각적인 입력과 모든 사전 훈련 데이터를 기반으로 그럴듯한 텍스트를 출력하도록 설계되어 있으며, 실제로 발생한 것과는 무관하게 문맥상 그럴듯한 추가 세부사항을 출력할 가능성이 매우 높습니다.”라고 벤더 박사는 말했습니다.

관계자들은 애초에 사건에 대한 개인적인 설명이 아닌, 생성된 보고서를 법원에서 재판 기록으로 제출할 때 이러한 시스템이 제공하는 오류를 바르게 고치거나 수정할 수 있는 시간과 공간을 부여받지 못할 수 있습니다. 이러한 시스템은 책임성을 해칠 수 있으며, 생성된 보고서는 사건을 담당한 경찰관의 계정으로 제시될 수 있습니다.

이러한 논란의 반복은 시애틀 경찰이 대중과의 신뢰를 구축하기 위해 더욱 심혈을 기울이고 있는 상황에서 더욱 우려되고 있습니다.

몇몇 비판자들은 정부의 커뮤니케이션에서는 AI 생성 텍스트가 적절한 역할이 없다고 주장하고 있습니다.

“합성 텍스트에 대한 적절한 사용 사례는 없습니다.”라고 벤더 박사는 말합니다. “사람들이 언어를 사용하는 방식을 모방하기 위한 시스템은 피해를 줄 수밖에 없습니다.”

다른 도시에서의 AI 사용 사례

에버렛과 같은 도시에서의 경험은 시애틀 시 AI 계획의 실제 구현 가능성을 의문시하게 합니다.

올해 초 OpenAI의 새로운 챗봇 모델인 ChatGPT-5가 출시되었으나, 미국의 지도를 정확하게 그리거나 미국 대통령 목록을 정확하게 생성하지 못하는 등 여전히 많은 비판에 직면하고 있습니다.

AI 배치 초기에도 AI는 환경 영향에 대한 비판에 직면하고 있습니다. AI를 구동하는 데이터 센터는 냉각을 위해 많은 양의 담수를 필요로 하며, Bloomberg News는 2022년 이후 건설된 데이터 센터의 3분의 2가 이미 물 스트레스를 경험하고 있는 지역에 위치하고 있다고 밝혔습니다.

또한, 데이터 센터의 전력 요구는 크게 증가할 것으로 예상되며, McKinsey는 향후 5년 이내에 전력 요구가 현재 용량의 3배에 이를 것으로 예상하고 있으며, 이로 인해 화석 연료에 대한 의존도가 증가할 것으로 보입니다.

AI가 인간의 작업을 쉽게 대체할 수 있다는 약속은 실제로는 반드시 실현되지 않았습니다. 예를 들어 스웨덴 회사인 Klarna는 2022년 약 700명의 직원을 AI로 대체하기 위해 해고하기로 결정했으나, 올해 봄 다시 인간 직원을 재고용하기로 결정하였습니다.

해럴 시장은 시가 AI를 이용해 근로자를 대체할 의도가 없음을 강조하며 노조 지도자들과의 협력을 약속했습니다.

“우리는 노동 파트너들과 협력하여 일하고 있습니다.”라고 해럴 시장은 말했습니다. “AI로 대체될 수 있는 특정 작업을 고려하면서, 우리는 항상 인간 중심의 접근 방식을 가지고 있으며, 이러한 논의가 개방적이고 투명하게 이루어지도록 합니다.”

AI 계획은 “[a]지능형 시스템이 일상적이고/또는 행정적 작업을 자동화하기 시작함에 따라, 직무가 높은 가치의 창의적인, 사람 중심의, 의사 결정 책임으로 재편될 것입니다.”라고 추가하였습니다.

The Urbanist는 많은 시 공무원을 대표하는 노조인 Protec 17에 연락을 취했습니다. “우리는 최근에 시의 AI 계획에 대한 정보를 알게 되었으며, PROTEC17 구성원에게 미치는 영향을 분석하고 정보를 수집하는 과정에 있습니다.”라고 그들의 전무이사인 카렌 에스테베닌이 말했습니다.

“AI 사용이 근무 형태에 미치는 영향, 특히 고용 감소 가능성에 대한 많은 우려가 있지만, 시 직원의 작업을 지원하고 근무 조건을 개선할 수 있는 스마트하고 안전하며 효과적인 AI의 사용을 위해 탐색하는 데 관심이 있습니다.”

AI 사용이 시 직원의 기술 저하를 초래할 수 있다는 문제 또한 있습니다. 최근 The Lancet의 한 논문은 대장내시경에서 AI를 이용한 폴립 탐지가 정기적으로 이루어지는 내시경 의사들이 6개월 내에 기술이 저하되어, AI 사용 없이 특정 유형의 폴립 탐지 비율이 28%에서 22%로 떨어졌다고 보고하였습니다.

올해 초 MIT 미디어 연구소는 에세이 작성을 위해 대형 언어 모델(LLM)을 사용한 결과 “인지적 비용”이 발생하며, 단순히 두뇌와 검색 엔진만 사용하는 경우보다 약한 인지적 참여가 나타났다고 보고하였습니다.

“파일럿을 실행하고 평가하는 것이 목표라면, 도시는 근로자의 기술 저하와 제공 가능한 서비스의 품질에 미치는 영향을 평가할 필요가 있습니다.”라고 벤더 박사는 언급했습니다.

또한, 공공 부문에서 AI를 사용할 때 책임 문제도 제기되고 있습니다. 해럴 시장과 AI 계획 모두 이러한 도구를 사용할 때 인간의 개입이 필요하다고 명확히 하고 있지만, 이러한 근로자들은 AI 오류에 대한 도덕적 범블존(moral crumple zone)으로 사용될 수 있습니다.

“때때로 루프 안의 사람은 뭐가 잘못되었을 때 영향을 받게 되어 있으며, 그들은 자동화를 결정한 더 큰 조직을 보호하는 역할을 합니다.”라고 벤더 박사는 경고했습니다.

AI 채택을 향한 추진

가능성에도 불구하고, 해럴 시장은 시애틀에 AI를 도입하는 것에 대해 긍정적입니다.

“인공지능은 시애틀에서 단순한 유행어 이상입니다. 이는 우리가 더 나은 도시를 만들기 위해 활용하는 강력한 도구입니다.”라고 해럴 시장은 밝혔습니다.

“이 기술을 의도적이고 책임 있게 사용함으로써, 우리는 국가 최고의 AI 경제를 조성하고, 우리 주민들에게 일자리와 기회를 창출하며, 모두를 위한 보다 혁신적이고 공정하며 효율적인 미래를 위한 진전을 이끌고 있습니다.”라고 언급했습니다.

지난해 해럴 시장은 미국 내무부의 인공지능 안전 및 보안 위원회에 참여 초청을 받았으며, 이 위원회의 목적은 인프라 이해관계자들이 AI를 책임 있게 활용하도록 권장하고 AI 관련 중단에 대비하고 예방하기 위한 권고사항을 개발하는 것입니다.

해럴 시장은 또한 미국 시장협회 기술 및 혁신 상임위원회의 의장을 맡고 있습니다.

올해 2월, 다운타운 시애틀 협회가 주최한 ‘다운타운 상태’ 행사에서 해럴 시장은 사이버 보안과 AI에 대한 우려를 언급하면서도 트럼프 캠페인을 지원했던 우파 기술 리더를 칭찬하는 듯한 발언을 했습니다.

“현재 우리 대통령은 가장 똑똑한 혁신가들과 밀접하게 연결되어 있습니다.”라고 그는 언급했습니다. “안드레센, 피터 질, 데이비드 색스, 엘론 머스크와 같은 이름을 언급하면, 이는 명확히 똑똑한 혁신가들입니다.”

아이러니하게도, 머스크는 정부의 AI LLM을 활용한 사용에 대한 좋은 교훈이 되며, 그의 부서(DOGE)는 효율성의 목표에도 불구하고 실제로는 올 해 2월과 3월에 미국 정부가 지난해 같은 시기에 비해 더 많은 비용을 지출하게 만들었습니다.

오히려 DOGE와 연방 차원의 LLM 도입 촉진은 풍부한 기술 CEO들에게 전례 없는 권력을 넘기는 결과를 낳았습니다. 현재 연방 정부에서 사용 중인 AI 시스템은 책임성, 투명성을 감소시키고 대규모 감시 국가를 형성하고 있습니다.

대조적으로 해럴 시장은 시애틀을 책임 있는 AI 구현의 선두주자로 포지셔닝하고 있습니다.

“우리는 AI 정책을 통해 설정한 통제를 볼 수 있습니다. 우리의 계획은 책임 있는 사용을 통해 가야 하며, 보안 프로세스와 프라이버시 고려가 필요합니다. 그리고 우리는 이 과정을 진행함에 따라 AI가 시애틀이 시민 문제를 해결할 수 있도록 할 것이라는 것을 알고 있습니다.”라고 로이드가 말했습니다.

AI 계획은 도시 전역의 AI 거버넌스 그룹의 설립을 요구하고 있으며, 이 그룹은 AI 계획의 방향과 우선 순위에 대한 의견과 지침을 제공할 책임이 있습니다. 이 그룹은 AI 리더십 직위가 채워진 후 가을 중에 소집될 예정입니다.

시 민권국은 AI 계획 작성에 참여하지 않았으나, 향후 거버넌스 그룹에 참여할 예정입니다. 얼브는 이렇게 전했습니다.

벤더 박사는 도시가 자동화하려는 내용을 구체화하고, 합성 텍스트 기계를 피하며, 명확한 책임을 보장하는 신중하고 잘 테스트된 사용 사례를 선택하는 것이 중요하다고 강조했습니다.

한편 시가 구조적 예산 적자를 직면하고 있는 상황에서 AI 도구를 임시방편으로 사용하려는 유혹이 클 수 있습니다. 그러나 이는 역설적으로 더 큰 불평등을 초래할 수 있습니다.

“잘 제공되지 않는 도시 서비스에서 탈출할 수 있는 능력을 가진 사람들은 누구일까요? 바로 부유층입니다.”라고 벤더 박사는 말합니다. “모든 사람은 우리가 집단적으로 하는 것에 갇히게 됩니다. 그러므로 우리는 잘 해야 하지 않을까요?”

이미지 출처：theurbanist