논문에 숨긴 '명령어', 일본 언론이 찾았다…카이스트 '발칵'

논문 속 '비밀 명령어'…"조작 아냐?" 카이스트 '발칵'
https://n.news.naver.com/mnews/article/055/0001271393?sid=102

연구 논문의 서론이 끝난 직후의 빈 공간을 마우스로 드래그했더니 숨겨진 문장이 드러납니다.

흰 바탕에 작은 흰색 글씨로 쓰여 있어서 사람은 볼 수 없지만 AI 모델은 이를 숨겨진 명령어로 인식합니다.

인간이 직접 동료 연구자의 논문 평가를 한다면 이 숨겨진 문장은 기능을 하지 않겠지만, 그 연구자가 귀찮아서 LLM에게 동료 연구자의 논문 평가를 떠넘긴다면 LLM은 이 숨겨진 명령어에 영향을 받겠죠.

일본 언론이 찾아낸 이 비밀 명령어가 숨겨져있는 이 논문은 카이스트의 것이고, 해당 언론은 카이스트 외에도 8개국 14개 유명 대학 연구자들이 논문 속에 이런 비밀 명령어를 몰래 숨겨 놓은 걸 찾았다고 합니다.

동료 연구 평가를 그냥 AI 모델에 맡기는 안일한 행태를 역이용한 이 방식은 이미 지난해 엔비디아의 어떤 엔지니어가 SNS에 공개한 바 있습니다.

카이스트는 적발된 논문 3건의 게재를 철회하고 진상 조사를 한다고 합니다.