[IT]암시적 혐오 표현 탐지를 위한 함축적 의미 기반의 대조적 학습 방법, 이를 수행하는 장치 및 컴퓨터 프로그램

관리자


권리형태등록 특허
출원번호10-2022-0136485
등록번호

10-2973710

권리자연세대학교 산학협력단
기술분야혐오 표현 탐지 / 대조 학습 / 자연어처리 / 포지티브 샘플 생성 / 텍스트 분류
기술분류 IT



● 기술 설명

기술개요
본 기술은 직접적인 욕설이나 비속어 없이 돌려 말하는 방식으로 표현되는 암시적 혐오 표현을 인공지능이 정확하게 찾아내도록 학습시키는 방법과 이를 수행하는 장치 및 컴퓨터 프로그램에 관한 것이다. 핵심은 혐오 표현 문장이 실제로 담고 있는 숨은 의미, 즉 함축적 의미를 학습 데이터로 함께 활용하여 대조 학습(contrastive learning)을 수행하는 데 있다. 혐오 표현이 아닌 문장은 일부 단어를 유의어로 바꾼 문장을 짝으로 삼고, 혐오 표현 문장은 그 문장이 내포한 함축적 의미를 풀어 쓴 문장을 짝으로 삼아 서로 가까운 표현으로 학습되도록 한다. 이와 함께 일반적인 분류 학습에 쓰이는 크로스 엔트로피 손실을 대조 손실과 결합하여 혐오 여부 판별 성능을 함께 높인다. 그 결과 표면적인 단어 단서가 부족한 암시적 혐오 표현에 대해서도 학습에 쓰지 않은 새로운 데이터에서 더 높은 일반화 성능을 갖는 탐지 모델을 얻을 수 있다.
수요설명

온라인 커뮤니티, 소셜미디어, 댓글 서비스 등에서 혐오 표현은 사회적 갈등과 플랫폼 신뢰도 저하를 일으키는 주요 문제로, 이를 자동으로 걸러내는 기술에 대한 수요가 지속적으로 늘고 있다. 그러나 최근의 혐오 표현은 금지어 필터를 피하기 위해 비유, 풍자, 우회적 표현을 사용하는 경우가 많아 단어 기반 탐지로는 대응하기 어렵다. 기존 딥러닝 기반 탐지 모델은 입력 문장과 정답 레이블의 관계만을 크로스 엔트로피 손실로 학습하기 때문에 특정 단어와 레이블 사이의 가짜 상관관계를 학습하기 쉽다. 이로 인해 학습에 사용한 데이터셋과 다른 데이터셋에서 평가하면 성능이 현저히 떨어지는 일반화 문제가 발생한다. 특히 표면적 신호가 부족한 암시적 혐오 표현은 이러한 문제가 더 두드러지므로, 문장의 숨은 의미까지 반영하여 다양한 환경에서 안정적으로 작동하는 탐지 기술이 필요하다.

해결방안

본 기술은 먼저 컴퓨터가 훈련 데이터로 사용할 여러 입력 문장을 확보하고, 각 입력 문장마다 의미적으로 짝이 되는 포지티브 샘플을 만들어 훈련 데이터셋을 구성한다. 이때 입력 문장이 혐오 표현이 아니면 문장의 일정 비율의 단어를 유의어로 바꾸어 의미는 비슷하지만 겉모습은 다른 문장을 포지티브 샘플로 삼고, 혐오 표현이면 그 문장이 가진 함축적 의미를 나타내는 문장을 포지티브 샘플로 삼는다. 탐지 모델은 입력 문장을 인코딩하는 제1 인코더, 포지티브 샘플을 인코딩하는 제2 인코더, 제1 인코더의 출력으로 혐오 여부를 판단하는 분류기로 구성된다. 학습 단계에서는 분류 결과와 정답을 비교하는 크로스 엔트로피 손실과, 입력 문장과 포지티브 샘플의 인코딩 표현을 가깝게 만드는 대조 손실을 함께 사용하여 모델을 반복 학습시킨다. 학습이 끝나면 제2 인코더를 제거하고 제1 인코더와 분류기만으로 탐지를 수행하므로, 실제 운영 단계에서는 추가 연산 부담 없이 가벼운 구조로 활용할 수 있다.

적용분야 및 장점

본 기술은 포털, 소셜미디어, 온라인 게임, 동영상 플랫폼, 커뮤니티 서비스의 댓글 및 게시글 자동 모니터링 시스템에 적용할 수 있다. 또한 고객 상담 챗봇, 생성형 AI 서비스의 유해 발화 필터링, 콘텐츠 검수 솔루션, 사이버 괴롭힘 탐지 서비스 등 텍스트 기반 안전성 관리가 필요한 분야로 확장할 수 있다. 단순 금지어 목록이나 표면적 단어 패턴에 의존하지 않고 문장의 함축적 의미를 학습하므로 우회적·은유적 혐오 표현에 대한 탐지력이 높다는 장점이 있다. 학습 데이터와 다른 성격의 데이터에서도 성능 저하가 적은 일반화 성능을 지향하므로 서비스 환경이나 사용자층이 달라져도 재학습 부담을 줄일 수 있다. 학습 완료 후 보조 인코더를 제거하는 구조이므로 실제 서비스 배포 시 모델 크기와 추론 비용을 기존 분류 모델 수준으로 유지할 수 있다.

개발단계 및 TRL

TRL 3~4 (학습 방법과 모델 구조, 손실 함수 수식 중심의 알고리즘 설계 단계로 공보상 구체적 실시예 실험 데이터는 제시되지 않음)



● 기술이전 조건




● 첨부문서

 02-598-2760

평일 09:00 ~ 18:00 (주말/공휴일 제외)


엔터씨스 주식회사 | 대표. 이권우 | 사업자등록번호. 143-88-00417 | 개인정보관리책임자. 이권우 | 전화. 02-598-2760 | 이메일. manager@entersees.co.kr | 주소. (본사) 서울특별시 동대문구 왕산로 200, 1205호 (전농동, 롯데캐슬 SKY-L65 섹션오피스)  (기업부설연구소) 서울특별시 동대문구 왕산로 200, 1205호 (전농동, 롯데캐슬 SKY-L65 섹션오피스) 


엔터씨스 주식회사 | 대표. 이권우 | 사업자등록번호. 143-88-00417

개인정보관리책임자. 이권우 | 전화. 1811-1905 | 이메일. manager@entersees.co.kr

주소. (본사) 서울특별시 동대문구 왕산로 200, 1205호 (전농동, 롯데캐슬 SKY-L65 섹션오피스) 

(기업부설연구소) 서울특별시 동대문구 왕산로 200, 1205호 (전농동, 롯데캐슬 SKY-L65 섹션오피스)

고객센터


  1811-1905

평일 09:00 ~ 18:00 (주말/공휴일 제외)