2024 게임 개발자 컨퍼런스의 일정을 살펴보던 중에 놀라운 시간이 생겼다는 사실을 알게 되어 하나의 디지털 디스플레이에서 그날의 이벤트를 보여주는 것을 봤다. 기계 학습 세미나에서 열린 한 강연이 내 눈을 사로 잡았다: '기계 학습 세미나: 발전 콘텐츠의 위험을 피하기 위한 소설 언어 합성'.

'소설 언어 합성?' 정말 멋진 거였다. 판타지 팬이 내세울 가치가 있는 적어도 요점을 알고 있다면 반지의 제왬, 스타 트렉의 Klingon과 같은 허구의 언어에 들어간 수많은 노력을 알고 있다. 이는 커대한 세계 구축에 큰 열정이 담긴 프로젝트이다. Square Enix가 이 기술을 활용해 수많은 판타지 게임에서 이 언어 기법을 효율적으로 사용하려는 것일까?

답은 애매하다. AI 연구자인 Yusuke Mori는 자신의 연구가 현재 실행중인 게임 제작에서 활용되고 있는지를 나타내지 않았다. 이 강연은 기술을 사용하는 것이 아닌 연구 및 기술을 사용할 가능성에 대한 학술 발표에 가까웠다.

그럼에도 그의 작업 일부를 포착하는 것은 흥미로웠다. 그가 제시한 내용은 '왕좌의 게임'을 집어삼키려는 누군가에게 즉시 유용하게 보이지는 않았지만, '심릿어'로 여기어진 '심즈' 프랜차이즈나 '동물의 숲' 시리즈의 캐릭터들의 말듯한, 보다 정교한 버전의 것을 닮았다.

관련 기사:SAG-AFTRA, 논란의 AI 음성 계약 조건이 나중 협상에 영향을 미치게 될 것이라고 말합니다

Mori가 소개한 내용을 간략하게 살펴보겠다.

Square Enix의 AI 도구는 동적 및 정적 언어 생성을 지원합니다

Mori는 기술이 디지털 환경에서 어떻게 활용될 수 있는지 설명하는 데 사용된 데모 두 개를 보여주었다. 첫 번째는 AI 텍스트 음성 변환 도구를 사용하여 허먼 멜빌의 모비 딕의 시작 문을 변환하는 방법을 보여주었다. 두 번째는 플레이어가 이러한 언어를 3D 공간에서 어떻게 만날 수 있는지를 보여 주었다.

전자에서 '나를 이슬란이라 부르게. 몇 년 전—얼마나 오래되었느냐 정확히 기억 나지 않지만—내 주머니에 현금이 적거나 전혀 없었고, 해변에서 나를 흥미롭게 할 만한 것이 없어서, 나는 조금 배를 타고 세계의 물 부분을 보고 싶다고 생각해 보았다' 라는 문장이 AI 텍스트 음성 변환 도구에 의해 말로 들려졌지만, 단어를 들을 수 있는 것은 '이슬란' 뿐이었다. Mori는 만약 모비 딕이 판타지 세계에서 읽어진다면 어떻게 소리가 나올지 상상해 보라고 청할 것이다. 명사는 보존되지만, 다른 모든 단어는 그 게임 세계에 자연스럽게 맞추어야 한다.

그는 판타지 텍스트의 세 가지 변형을 보여 주었는데, 각각이 특정한 문법으로 단어를 더 정교하게 조정하여 '임의'로 보이지 않도록 보장했다.

다음 데모에서(아주 간단한 3D 에셋으로 렌더링되었다), 플레이어가 '새로운 세상에 오신 것을 환영합니다. 우리는 이 곳에 마을을 만들고 있습니다.'라고 말하는 NPC에 다가갔다. 그런 다음 두 명의 다른 NPC에 다가갔는데, 그들은 어떤 대화에서 동일한 언어로 말하고 있었다(Mori는 정확히 무슨 말을 하는지 공유할 수 없었다).

Mori의 다음 설명은 약간 혼란스러웠다. 만일 단어가 일관된 패턴으로 나타나면, 플레이어들은 그 의미를 유추하고 최종적으로 게임 내 모든 언어를 번역할 수 있게 될 것이라고 시사했다. 대신에, '정답이 없는'으로 만들어져 '모든 플레이어의 텍스트 해석이 유효하게 될 것이라고 제안했다.

개발자들은 자국어로 문자를 작성하여 자동으로 판타지 언어로 변환할 수 있다.

사실, 그것은 다소 정확하지 않다. Mori는 특정 언어가 이 시스템에 포함되기 쉽다는 것을 설명했다. '한국어 텍스트를 쉽게 변환할 수 있습니다. 한자, 히라가나, 가타카나를 포함하고 있기 때문이온 "라고 그는 말했다. 그는 '서양의 알파벳으로 쓰여진 언어에는 문제가 있었다'고 말했다.

영어로 작성된 텍스트는 잘 작동했지만, 프랑스어와 독일어 텍스트는 시스템과 깔끔하게 맞지 않았다. 미숙한 귀에는 Mori가 설명한 문제가 무엇인지 쉽게 구분되지 않았다.

Mori는 간단한 해결책을 제안했다: 그저 한 언어에서 다른 언어로 언어를 복사하고, 그런 다음 도구에 입력하면 된다.

도구가 어떻게 작동하는지 설명하는 것이 어려웠다. 그것은 기계학습 기반 텍스트 생성에 관한 Gore의 이전 연구에 의존한다.

이 기술의 위험은 무엇입니까?

Mori는 이 기술을 사용하는 데 따르는 단점에 대해 매우 확연하게 이야기했다. "일반적인 텍스트에는 해로운 내용이 포함될 수 있습니다,"라고 인정했다. 그는 이것이 NPC의 입에서 나올 수 있는 혐오스러운 메시지를 의미하는지, 혹은 기술이 충분한 시간과 제어되지 않은 변수를 제공하면 욕설을 실수로 내뱉을 수 있다는 것을 명시하지 않았다.

그는 허구 언어가 일관성이 있을 수는 있지만, 자연 언어가 어떻게 진화하는 문법 체계를 포착할 수 없다고 우려를 표했다. 언어의 역사와 세계의 문화적 배경을 실제 언어만큼 진짜 언어로 생성할 수 없다.

게임에서 어떤 언어의 의미를 해석하려고하는 플레이어가 그것을 오해하여 개발자가 게임에서 의도한 부분에 대한 잘못된 가정을 할 수 있다는 가능성도 있다.

그는 "이것을 어떻게 사용하는가가 매우 중요하다"고 강조했다.

이 AI 생성 된 소설 언어 기술의 신뢰성은 어떤가요?

GDC 주변의 다른 참가자들이 이 기술에 대해 설명할 때, 나는 그 사용에 대해 자주 불편해 하는 소리를 들었다. 내 한 동료는 이 프로세스가 엘비시와 클링곤 같은 언어가 그런매력적인 지점을 제거 한 것이라고 주장했다. 이들 모두는 Mori가 그의 창조물이 가지고 있는 특징 중 일부를 시뮬레이트 할 수 있는 언어 전문가들에 의해 만들어졌다.

인공적으로 생성된 음성 성능에 의해 교체되는 데 대한 보호에 싸우는 보컬 퍼포머들이 언어 생성에 관련된 도구를 조립하는 것에 대해 불편함을 느낄 수 있는 다른 요소가 있다.

Mori의 프레젠테이션은 단순히 말된 언어에서 허구 언어로 텍스트를 변환하는 것이 아니라, 텍스트 음성 프로그램이 단어와 발음 규칙을 바로 생성할 수 있는 도구를 조립하는 데 관한 것이었다.

그러나 Square Enix가 이 기술을 어떻게 사용할 지 해석하는 것은 자각에 약간의 필요성이 있다. 이것은 근본적으로 인공 번역을 위한 도구이며, 일본어에서 영어로의 번역이 GDC 참가자들이 Mori의 강연을 어떻게 인식하게하는지에 영향을 줄 수있다. 영어는 그의 첫 번째 언어가 아니며, 기술 사용에 대한 세부 사항은 번역 과정에서 소실되었을 수도 있다.

기계 학습 개발자, 오디오 엔지니어, 심지어 나 같은 작가들은 이 기술을 통해 Square Enix의 진전상황을 연구함으로써 이익을 얻을 수 있다. 절차적 생성이 Mori가 설명한 위험 요소를 극복할 수 없다면, 이것이 더 나은 경험을 위한 가장 좋은 방법일지도 모른다.

Game Developer와 Game Developers Conference는 Informa Tech의 자매 조직이다.