틱톡, 자살 콘텐츠 차단 기능 일부러 제한 논란…내부 보고서 유출
기사 입력시간 : | 원수연 기자
AI요약
인공지능이 자동으로 줄인 ‘세줄 요약’ 기술을 사용합니다.
전체 내용을 이해하기 위해서는 기사 본문과 함께 읽어야 합니다.
결론
- 블룸버그가 입수한 내부 보고서에 따르면, 틱톡은 2022년 미국 이용자를 대상으로 추천 알고리즘의 안전 기능 효과를 검증하기 위해 대규모 A/B 테스트를 실시했으며, 이 과정에서 약 10%의 이용자가 보호 기능이 적용되지 않은 알고리즘을 사용한 것으로 나타났습니다.
- 보고서에는 당시 16세였던 체이스 나스카가 대조군에 포함되어 그의 추천 피드에 우울증, 외로움, 자살 관련 영상 7,500건 이상이 노출되었고, 이후 그는 스스로 생을 마감했다고 기록되어 있습니다.
- 틱톡은 이용자 안전이 최우선이라고 성명했으나, 유출된 문건은 안전 기능과 이용자 참여도 사이의 영향을 분석하기 위한 실험이 진행되었음을 보여주어 추천 알고리즘 운영 방식과 기업의 책임을 둘러싼 논란이 확산될 것으로 보입니다.
- #틱톡
- #자살
- #자해
- #추천알고리즘
- #이용자안전

틱톡이 이용자 참여도 변화를 측정하기 위해 자살 및 자해 관련 콘텐츠 차단 기능을 일부 이용자에게 의도적으로 적용하지 않았다는 내부 문건이 공개되면서 논란이 커지고 있다.
블룸버그가 입수한 틱톡 내부 보고서에 따르면, 틱톡은 2022년 미국 이용자를 대상으로 추천 알고리즘의 안전 기능 효과를 검증하기 위해 대규모 A/B 테스트를 실시했다. 이 과정에서 미국 이용자의 약 10%인 1,500만 명은 자살 및 자해 콘텐츠 노출을 줄이는 보호 기능이 적용되지 않은 기존 알고리즘을 사용한 것으로 나타났다.
보고서에는 당시 16세였던 체이스 나스카도 해당 대조군에 포함됐다고 적시됐다. 보호 기능이 제외된 결과 그의 추천 피드에는 우울증, 외로움, 자살 관련 영상 7,500건 이상이 집중적으로 노출됐으며, 이후 그는 스스로 생을 마감했다. 내부 조사에서는 안전 장치가 설계에 따라 적용되지 않았다고 기록된 것으로 알려졌다.
논란은 틱톡의 대외 설명과 내부 기록이 엇갈린다는 점에서 더욱 커지고 있다. 내부 조사 이후에도 틱톡 경영진은 미 의회에서 청소년 안전을 최우선으로 하고 있다고 증언했으며, 알고리즘 실험으로 이용자 피해가 발생한 적이 있는지에 대한 질의에도 모든 이용자에게 동일한 안전 정책이 적용된다는 취지로 답변한 것으로 전해졌다.
틱톡은 성명을 통해 이용자 안전이 최우선이며 신뢰 및 안전 분야에 지속적으로 투자하고 있다고 밝혔다. 다만 유출된 내부 문건은 안전 기능과 이용자 참여도 사이의 영향을 분석하기 위해 일부 이용자를 대상으로 실험이 진행됐음을 보여주고 있어, 추천 알고리즘 운영 방식과 기업의 책임을 둘러싼 논란이 다시 확산될 것으로 보인다.
이번 사건은 생성형 AI와 추천 알고리즘이 플랫폼 이용 경험을 좌우하는 시대에, 이용자 안전과 서비스 성장 사이의 균형을 어떻게 확보할 것인지에 대한 규제 당국과 업계의 논의를 더욱 가속화할 것으로 전망된다.
원수연 기자 press@appstory.co.kr
국내 최초 스마트 & 앱매거진 - 앱스토리
Copyright © 앱스토리, 무단전재 및 재배포 금지