AI 이해와 주요 용어

이 책을 준비하면서 AI에 관한 책의 저자로서 ‘책임 있는’ 일이 무엇인지 고민했습니다. 전통적인 접근 방식은 과학에 대한 간단한 설명과 자주 사용되는 용어에 대한 검토를 제공하는 것입니다.

저는 그렇게 하지 않을 것입니다.

여기서 AI 기본 사항에 대한 몇 가지 이해하기 쉬운 외부 링크를 제공하겠습니다.

AI의 미래는?: 맥킨지 & 컴퍼니 (2024년 4월) 좋은 설명 세트를 가지고 있습니다.

마찬가지로 가트너의 생성적 인공지능 (날짜 없음)도 나쁘지 않습니다.

퓨처피디아는 AI 기본 사항 (2024년 5월)에 대한 괜찮은 요약을 제공합니다.

어떻게 하는지에 대한 설명을 마쳤으니 이제 이해하는 것이 가치 있다고 생각하는 몇 가지 용어를 소개하겠습니다. 소프트웨어 사용에 필요한 것이 아니라, 현재 AI가 실제로 어떻게 작동하는지 이해하는 데 중요한 몇 가지 측면을 참조하는 용어 세트를 제공하기 위함입니다.

이 용어와 개념을 다루는 제 사용 사례는 (i) 어떤 이유에서든 AI에 대해 더 깊이 알고 싶은 저자와 출판사, (ii) AI에 대한 현재 비판의 맥락을 이해하고 싶은 사람들, 또는 (iii) 동료나 조직이 AI에 접근하는 방법에 대한 전략적 논의에 기여하고 싶은 사람들을 위한 것입니다.

다시 말해, 이것은 꼭 알아야 할 내용은 아니지만, 알고 싶을 수 있는 내용입니다. 여기 비알파벳 순서로 나열되어 있습니다:

Chat AI 소프트웨어를 열고 현재 Google에서 질문을 입력하는 것과 매우 유사하게 질문을 입력할 수 있습니다.

대규모 언어 모델은 주로 서면 자료의 엄청난 양을 분석하여 대화나 글쓰기에서 다음에 올 단어나 문장을 예측할 수 있도록 합니다. 인간의 의미에서 언어를 ’이해’하는 것이 아니라, 텍스트를 작은 조각(토큰이라고 함)으로 나누고, 그런 다음 토큰을 숫자로 변환합니다. 숫자로 텍스트를 처리하고, 다시 숫자를 생성하여 출력 시 텍스트로 변환합니다. 이는 Chat AI가 저작권이 있는 작업을 ’포함’하지 않는 이유에 대한 지나치게 간단한 설명입니다: 그것은 기본 텍스트로부터의 광대한 추상화를 나타내는 숫자로 구성되어 있습니다.

LLM은 일반적으로 언어가 어떻게 사용되는지에 대해 훈련되고, 이 이해를 바탕으로 응답을 생성합니다. 우리는 대부분의 언어가 얼마나 예측 가능한지 과소평가하는 경향이 있습니다. Chat AI는 기존 문학과 (때로는 충격적으로) 유사한 텍스트를 생성할 수 있지만, 설계상 특정 발췌문이나 저작권이 있는 텍스트의 사본을 검색할 수 있는 기능은 없습니다. (많은 분들이 New York Times의 OpenAI에 대한 소송에 대해 들어보셨을 것입니다. Times는 ChatGPT가 이전에 출판된 기사 일부를 정확히 재생산하도록 할 수 있었습니다.)

이 용어를 이해하는 데 가장 중요한 것은 “생성형” 부분입니다. 생성형 AI는 새로운 텍스트를 생성합니다.

이것은 여기에서 가장 기술적인 용어로, OpenAI가 개발한 특정 유형의 대규모 언어 모델을 설명합니다. “생성형“은 텍스트를 생성할 수 있는 능력을 나타내고, “사전 훈련“은 대량의 텍스트 데이터로 훈련되었음을 의미하며, “변환기“는 그것이 사용하는 소프트웨어를 참조합니다. GPT가 무엇을 의미하는지 아는 것은 ChatGPT에서 GPT가 무엇을 의미하는지 이해하는 데 도움이 됩니다.

ChatGPT는 사용자가 보는 소프트웨어이며, GPT는 그 뒤에 있는 것입니다. 사용자는 ChatGPT를 경험하며, GPT는 그 뒤에 있습니다. 위에서 언급한 것처럼, ChatGPT는 여러 Chat AI 온라인 소프트웨어 시스템 중 하나로, 유사한 기능을 가지고 있습니다.

많은 사람들이 익숙하지 않은 또 다른 용어는 다음과 같습니다:

사전적 정의에 따르면 코퍼스는 “서면 텍스트의 모음“입니다(사실 텍스트가 아닐 수도 있습니다). 이 용어는 GPT가 훈련되는 방대한 텍스트 모음을 나타내는 데 사용됩니다. 가장 큰 코퍼스는 수천억 개의 단어를 포함하고 있다고 합니다. 일반인에게는 이해하기 어렵습니다. Wikipedia가 방대한 단어 수를 포함하고 있다고 생각하지 않습니까? Wikipedia에는 단지 45억 단어가 있습니다. GPT-4는 1조 개가 넘는 단어로 훈련되었습니다.

이 규모를 고려하는 것이 중요하다고 생각합니다. 저자들은 이해할 만하게도 그들의 책에 있는 75,000 단어가 대규모 언어 모델에 포함되었을 수 있다고 걱정합니다. 아마도 그렇습니다(더 아래에서 설명합니다). 하지만 이것이 사실이라고 가정하더라도, 오늘날의 대규모 언어 모델의 총 능력에 단 한 권의 책이 얼마나 적은 가치를 가지고 있는지 생각해 보십시오. 그것은 정말로 미미합니다. 심지어 10,000권의 책도 별 것 아닙니다.