이 책은 딥러닝 기초부터 최신 생성 AI 모델까지 설명합니다. 텐서플로와 케라스를 사용해 변이형 오토인코더(VAE), 생성적 적대 신경망(GAN), 트랜스포머, 노멀라이징 플로 모델, 에너지 기반 모델, 잡음 제거 확산 모델 등 인상적인 생성 딥러닝 모델을 만드는 법을 다룹니다. 다양한 생성 AI 활용법을 배워 모델을 효율적으로 학습시키고 창의적인 생성 모델을 만들어보세요.
저자소개
저자
데이비드 포스터
크리에이티브 AI 애플리케이션을 전문으로 다루는 데이터 과학자이자 기업가, 교육자. ADSP의 공동 창립자이며 조직이 데이터와 AI의 혁신적 힘을 활용하도록 영감을 주고 역량을 강화하는 일을 합니다. 영국의 케임브리지 대학교 트리니티 칼리지에서 수학 석사 학위를, 워릭 대학교에서 운영 연구 석사 학위를 받았습니다. 머신러닝 연구소의 교수진으로 실용적인 AI 애플리케이션과 실전 문제 해결에 중점을 두고 있습니다. AI 알고리즘의 투명성과 해석 가능성을 높이는 데 관심이 있으며, 의료 분야에서 설명 가능한 머신러닝에 관한 논문을 발표했습니다.
역자
박해선
기계공학을 전공했으나 졸업 후엔 줄곧 코드를 읽고 쓰는 일을 했다. 지금은 Microsoft AI MVP와 Google AIGED로 활동하고 있고, 머신러닝과 딥러닝에 관한 책을 집필하고 번역하면서 소프트웨어와 과학의 경계를 흥미롭게 탐험하고 있다. <혼자 공부하는 데이터 분석 with 파이썬>(한빛미디어, 2023), <챗GPT로 대화하는 기술>(한빛미디어, 2023)을 집필했고, <핸즈온 머신러닝(3판)>(한빛미디어, 2023), <머신 러닝 교과서: 파이토치 편>(길벗, 2023)을 포함한 다수의 머신러닝 책을 우리말로 옮겼다.
명쾌하고 설득력 있게 생성 AI를 설명하는 데이비드 포스터가 돌아왔습니다. 이 책의 초판인 『미술관에 GAN 딥러닝 실전 프로젝트』는 GAN을 집중적으로 설명했지만, 초판 출간 이후 생성 AI 분야가 크게 발전했습니다. 세상을 놀라게 한 생성 AI의 눈부신 발전을 담아내기 위해 2판을 새롭게 업데이트했습니다. 기존 내용을 최신 기술 정보로 수정하고, 트랜스포머 설명을 더 상세하게 보완하고, 멀티모달 모델 내용을 새롭게 추가했습니다. 업그레이드된 2판은 GAN에만 국한된 내용을 소개하지 않기에 『만들면서 배우는 생성 AI』라는 새로운 이름으로 찾아왔습니다.
본격적인 설명에 앞서 흥미를 자극하는 이야기와 실용적인 예시, 활용법까지 최신 기술로 무장한 이 책은 여러분을 생성 AI의 전문가로 업그레이드해줄 것입니다. 컴퓨터로 창작하는 가장 진보한 기술을 활용하는 법을 터득해보세요. 생성 AI를 접한 경험이 없더라도 괜찮습니다. 처음부터 따라 하며 차근차근 기술을 습득할 수 있게 친절히 안내합니다. 여러분에게 필요한 건 파이썬 코딩 경험, 그뿐입니다. 생성 모델의 기본 원리부터 파악한 후 파이썬과 케라스로 직접 코딩하며 생성 AI를 배워보세요.
* 2판에서 달라진 점
●1장은 다양한 생성 모델을 소개하고 이들의 연관성을 나타내는 분류 체계를 담았습니다.
●2장은 그림을 개선했으며 주요 개념을 더 자세하게 설명합니다.
●3장은 새로운 예제와 설명을 담았습니다.
●4장은 조건부 GAN 구조를 설명합니다.
●5장은 이미지를 위한 자기회귀 모델(예: PixelCNN)을 설명합니다.
●6장은 완전히 새로운 장으로, RealNVP 모델을 설명합니다.
●7장 역시 새로운 장이며, 랑주뱅 역학 및 대조 발산과 같은 기법에 초점을 맞춥니다.
●8장은 오늘날 많은 최신 애플리케이션의 기반이 되는 잡음 제거 확산 모델을 위해 새로 작성한 장입니다.
●9장은 초판의 마지막 장 내용을 확장한 것으로, 다양한 StyleGAN 모델 구조와 VQ-GAN에 관한 새로운 내용을 심층적으로 다룹니다.
●10장은 트랜스포머 아키텍처를 자세히 살펴보는 새로운 장입니다.
●11장은 초판의 LSTM 모델을 대신하여 최신 트랜스포머 아키텍처를 다룹니다.
●12장은 그림과 설명을 업데이트했으며 이 접근 방식이 오늘날의 최신 강화 학습에 어떻게 영향을 미치는지 소개합니다.
●13장은 새로운 장으로 DALL.E 2, Imagen, 스테이블 디퓨전, 플라밍고와 같은 인상적인 모델이 어떻게 작동하는지 자세히 설명합니다.
●14장은 초판 이후 생성 AI의 놀라운 발전 현황을 반영하고 앞으로 나아갈 방향에 관한 더욱 완벽하고 상세한 시각을 제공합니다.
1. 생성 AI 분야를다양한 관점 및 응용에 대한 내용을 통해 다양한 관심사와 수준의 독자에게 유용한 정보를 제공
2. 1부에서는 딥러닝과 AI의기초 개념을 설명하고, 2부에서는 생성 모델의 핵심 개념과 기법을 3부에서는생성 모델을 어떻게 다양한 응용 분야에서 활용할 수 있는지 음악 생성, 이미지 생성, 텍스트 생성, 강화 학습 등의 예시를 통해 활용 가능성을 보여줌
3. 각 생성 모델 기법에 대한 실용적인 예제와 이론적 설명을 통해독자가 이해하기 쉽고 구체적인 적용 방법을 습득할 수 있음
후기
1. 이 책은 AI 및딥러닝 분야에 대한 폭넓은 내용을 다루기 때문에 처음 접하는 독자에게는 내용이 다소 어려울 수 있다. 하지만어려운 내용을 이해하기 쉽게 설명하고 있어 딥러닝의 기본 개념부터 생성 모델의 다양한 유형까지 포괄적으로 다루고 있기 때문에 기초부터 시작하여지식을 쌓아갈 수 있습니다. 특히 실제 코드 예제를 통해 개념을 설명하기 때문에 이해하는 데 큰 도움이되었으며, 이론적인 내용과 함께 실무적인 능력을 키우고자 하는 사람에게 특히 유용하다.
만들면서 배우는 생성AI라고 하면 뭔가 생성모델 쪽 라이브러리를 가지고 실습만 하는 책으로 생각할 수 있겠지만 그렇지 않다. 이 책은 매우 기초적인 내용부터 하나하나 다루고 실무적인 팁까지 다루는 책이다.
패딩이 무엇인지, 임베딩이란 무엇인지 기초개념까지 저자가 그리고 역자가 하나하나 가르쳐주면서 이끌어가는 책이다.
사실 처음 AI를 접했을 때 임베딩이라는 단어를 많이 접했고 대충 느낌적인 느낌(?!)으로 임베딩이 뭐겠다 라고 알고는 있었지만, 임베딩이 무엇인지와 같이 기초를 잡고 가지 않아서 나중에 헷갈릴 때가 많았다. 그러니 아무리 활용 위주로 AI를 사용한다고 하더라도 기초적인 용어나 개념같은 건 이런 책을 통해 배우고 가면 좋을 거라고 생각한다.
책이 기초부터 다루고 있긴 하지만 쉬운 책은 아니다. AI가 쉬운 분야가 아니기 때문이다. 하나하나 가르쳐준다고 해도 원래 AI 자체가 어려운 것인데 어느 정도 고생은 해야한다.
그렇게 고생하고 이 책을 본다고 해서 바로 전문 엔지니어급이 될 수 있는 것도 아니고, 미래를 예측할 수 있는 것도 아니다. 다만, 조금 더 그럴 확률이 높아질 수 있을거라고 생각한다. 이 책의 초반부에서 생성모델은 결정론적 모델이 아닌 확률적 모델이라고 강조하듯, 확률적인 사고를 해본다면 이 책을 통해 얻을 수 있는 기대가치는 꽤나 크다고 할 수 있다.
밑줄긋기
p.34~35
생성 모델은 또한 결정적(deterministic)이 아니고 확률적(probabilistic)이어야 합니다. 매번 동일한 값을 출력하는 것이 아니라 다양한 출력 결과를 샘플링할 수 있어야 하기 때문입니다. 모델이 데이터셋에 있는 모든 픽셀의 평균값을 구하는 일처럼 고정된 계산만 수행한다면 생성 모델이 아닙니다. 생성 모델은 생성되는 개별 샘플에 영향을 미칠 수 있는 랜덤한 요소를 포함해야 합니다.
다른 말로 하면 어떤 이미지는 훈련 데이터셋에 있을 것 같고, 다른 이미지는 그렇지 않은 이유를 설명하는 알려지지 않은 확률분포가 있다고 가정합니다. 해야 할 일은 최대한 이 분포에 가깝게 흉내 내는 모델을 만드는 것입니다. 그다음 이 분포에서 샘플링하여 원본 훈련 세트(training set)에 있을 것 같은 새롭고 완전히 다른 샘플을 생성합니다.
p.36
수학적으로 생성 모델링과 판별 모델링을 정의해보죠.
판별 모델링은 p(y | x)를 추정(estimation)합니다.
즉, 판별 모델링은 샘플 x가 주어졌을 때 레이블 y의 확률을 모델링하는 것이 목표입니다.
생성 모델링은 p(x)를 추정합니다.
즉, 생성 모델링은 샘플 x를 관측할 확률을 모델링하는 것이 목표입니다.
p.37
최근까지 판별 모델링은 머신러닝 분야에서 대부분의 발전을 이끈 원동력이었습니다. 그 이유는 판별 문제에 상응하는 생성 모델링 문제가 일반적으로 훨씬 해결하기 어렵기 때문입니다. 예를 들어 반 고흐 스타일의 그림을 생성하는 모델을 훈련하는 것보다 반 고흐의 그림인지를 예측하는 모델을 훈련하기가 훨씬 쉽습니다. 마찬가지로 찰스 디킨스 스타일의 문장을 생성하는 모델을 만드는 것보다 찰스 디킨스의 글인지 예측하는 모델을 훈련하기가 훨씬 쉽습니다. 최근까지만 해도 대부분의 생성 문제는 근접할 수 없는 영역이었으며 이를 해결할 수 있을지에 대한 의구심이 많았습니다. 창의성을 AI가 따라올 수 없는 순수한 인간의 능력으로 여겼기 때문입니다.
하지만 머신러닝 기술이 발전함에 따라 이러한 가정은 점차 약해지고 있습니다. 지난 10년 동안 이 분야에서 가장 흥미로운 발전은 생성 모델링 작업에 머신러닝을 새롭게 적용하면서 일어났습니다. 예를 들어 아래 그림은 2014년 이후 얼굴 이미지 생성 분야에서 일어난 놀라운 발전 과정을 보여줍니다.
p.41
생성 모델링 프레임워크
- 샘플 데이터셋 X를 가지고 있습니다.
- 샘플이 알려지지 않은 어떤 P_data 분포로 생성되었다고 가정합니다.
- P_data를 흉내내는 생성 모델 P_model을 만들려고 합니다. 이 목표를 달성하려면 P_model에서 샘플링하여 P_data에서 뽑은 것 같은 샘플을 생성할 수 있습니다.
- 따라서 P_model의 바람직한 속성은 다음과 같습니다.
- 정확도
생성된 샘플의 P_model이 높으면 P_data에서 뽑은 것처럼 보여야 합니다. 생성된 샘플의 P_model이 낮으면 P_data에서 뽑은 것처럼 보여서는 안 됩니다.
- 생성
P_model에서 새로운 샘플을 쉽게 샘플링할 수 있어야 합니다.
- 표현
데이터의 다양한 고수준 특성이 P_model로 어떻게 표현되는지 이해할 수 있어야 합니다.
p.43~45
당신의 외모를 모르면서 군중 속에서 당신을 찾고 있는 사람이 있습니다. 이 사람에게 당신 외모를 설명한다고 가정해봅시다. 당신 사진에 있는 픽셀 1의 색상부터 픽셀 2, 픽셀 3 등의 색상을 말하는 식으로 설명하지 않을 것입니다. 대신 상대방이 평균적인 사람의 외모를 안다는 합리적인 가정을 합니다. 그 다음 '나는 금발이다' 또는 '안경을 쓰고 있다'와 같이 픽셀의 그룹에 해당하는 특성으로 이 가정을 개선해갑니다. 이런 설명이 10개 정도만 있으면 상대방은 이를 다시 픽셀로 매핑하여 머릿속에 당신의 이미지를 생성할 수 있습니다. 이 이미지가 완벽하지는 않겠지만 당신을 본 적이 없는 사람도 수백 명의 사람 중에서 당신을 찾을 수 있을 정도로 실제 모습과 비슷할 것입니다.
이것이 표현 학습(representation learning) 이면의 핵심 아이디어입니다. 고차원 표본 공간을 직접 모델링 하는 방식이 아니라 대신 저차원의 잠재 공간(latent space)을 사용해 훈련 세트의 각 샘플을 표현하고 이를 원본 공간의 포인트에 매핑합니다. 다른 말로 하면, 잠재 공간의 각 포인트는 어떤 고차원 이미지에 대한 표현입니다.
실제로 이것은 무엇을 의미할까요? 회색 비스킷 깡통 이미지로 이루어진 훈련 세트가 있다고 가정해보죠.
깡통의 높이와 너비라는 두 가지 특성으로 각 깡통을 고유하게 표현할 수 있습니다. 즉, 훈련 세트의 이미지가 고차원 픽셀 공간으로 주어지더라도 각 깡통의 이미지를 2차원 잠재 공간의 한 포인트로 변환할 수 있습니다. 특히 아래 그림에서처럼 적절한 매핑함수 f를 잠재 공간의 새로운 포인트에 적용하여 훈련 세트에 없는 깡통 이미지를 생성할 수도 있다는 의미입니다.
원본 데이터셋을 간단한 잠재 공간으로 설명할 수 있음을 기계가 깨닫기는 쉽지 않습니다. 먼저 높이와 너비가 이 데이터셋을 가장 잘 설명하는 두 개의 잠재 공간 차원임을 알아야 합니다. 그 다음 이 공간의 한 포인트를 회색 비스킷 깡통 이미지에 매핑하는 매핑 함수 f를 학습해야 합니다. 머신러닝(특히 딥러닝)을 사용하면 사람의 개입 없이 이런 복잡한 관계를 찾도록 기계를 훈련시킬 수 있습니다.
잠재 공간을 활용하는 모델을 훈련하는 장점 중 하나는 의미 있는 잠재 공간에서 표현 벡터를 조작하여 이미지의 고수준 속성에 영향을 미치는 연산을 수행할 수 있다는 것입니다. 비스킷 깡통 이미지가 주어졌을 때 높이를 크게 하려면 개별 픽셀을 어떻게 조정해야 할지 알지 못합니다. 하지만 잠재 공간에서는 간단히 잠재 공간의 높이 차원에 1을 더하고 매핑 함수를 적용해 이미지를 얻을 수 있습니다. 이어지는 장에서는 비스킷 깡통 대신 얼굴 이미지에 적용한 구체적인 예제를 보겠습니다.
이 책의 뒷부분에서 살펴보겠지만 훈련 데이터셋을 잠재 공간으로 인코딩하고 이 공간에서 샘플링한 다음 디코딩하여 원래 도메인으로 되돌아가는 개념은 많은 생성 모델링 기법에서 널리 사용합니다. 수학적으로 인코더-디코더 기법은 (예를 들면 픽셀 공간에) 데이터가 놓여 있는 고차원 비선현 매니폴드를 샘플링 가능한 단순한 잠재 공간으로 변환합니다. 아래 그림과 같이 이 잠재 공간의 모든 포인트가 잘 구성된 이미지의 표현이 됩니다.
p.48
가능도는 데이터가 아니라 파라미터의 함수입니다. 이를 주어진 파라미터 집합이 올바른지에 대한 확률로 해석해서는 안 됩니다. 다른 말로 하면 파라미터 공간의 확률분포가 아닙니다 (즉, 파라미터에 대해 적분(합)하면 1이 되지 않습니다)
p.49
모든 생성 모델은 궁극적으로 동일한 작업을 해결하는 것이 목표이지만 밀도 함수 p_theta(x)를 모델링하는 방식이 조금씩 다릅니다. 크게 세 가지 방식이 있습니다.
1. 명시적으로 밀도 함수를 모델링하지만 밀도 함수를 다루기 쉽도록 (즉, 계산할 수 있도록) 어떤 식으로 모델을 제약합니다.
2. 다루기 쉬운 밀도 함수의 근사치를 명시적으로 모델링합니다.
3. 데이터를 직접 생성하는 확률적 과정을 통해 밀도 함수를 암묵적으로 모델링합니다.
p.64
이 책의 많은 모델에서는 한 층의 출력이 여러 개의 후속 층으로 전달됩니다. 또는 그 반대로 한 층이 여러 개의 이전 층으로부터 입력받습니다. 이런 모델에는 Sequential클래스가 적합하지 않으며, 훨씬 더 유연한 함수형 API를 사용해야 합니다.
TIP_ 케라스로 처음 선형 모델을 만들 때도 Sequential 모델보다는 함수형 API를 사용하는 것이 좋습니다. 신경망의 구조가 점점 복잡해짐에 따라 장기적으로 더 나은 선택이 됩니다. 함수형 API를 사용하면 심층 신경망의 설계를 완전히 자유롭게 할 수 있습니다.
p.65
Flatten 클래스의 객체를 만든 다음 이 객체를 매개변수 input_layer로 호출했습니다. 파이썬의 객체는 함수처럼 호출할 수 있습니다. 이때 이 객체에 정의된 __call__() 메서드가 호출됩니다. 케라스에서는 이런 식의 객체 호출을 즐겨 사용합니다.
p.65~66
Input 층은 네트워크의 시작점입니다. 네트워크가 기대하는 입력 데이터 크기를 튜플로 알려주어야 합니다. 배치 크기는 지정하지 않습니다. Input 층에 임의의 이미지 개수를 전달할 수 있기 때문에 배치 크기는 필요하지 않습니다. 따라서 Input 층을 정의할 때 배치 크기를 입력하지 않습니다.
그 다음 Flatten 층은 입력을 하나의 벡터로 펼칩니다. 결과 벡터의 길이는 3,072 (32 * 32 * 3) 입니다. 이렇게 하는 이유는 뒤따르는 Dense 층이 다차원 배열이 아니라 평평한 입력을 기대하기 때문입니다. 나중에 보겠지만 다른 종류의 층은 입력으로 다차원 배열을 사용해야 합니다. 언제 Flatten 층을 사용하는지 이해하려면 층마다 필요한 입력과 출력의 크기를 알아야 합니다.
Dense 층은 기본적인 신경망 구성 요소입니다. 이 층에는 이전 층과 완전하게 연결(fully connected)되는 유닛이 있습니다. 즉, 이 층의 각 유닛은 이전 층의 모든 유닛과 연결됩니다. 연결마다 하나의 (양수 또는 음수인) 가중치가 동반됩니다. 유닛의 출력은 이전 층에서 받은 입력과 가중치를 곱하여 더한 것입니다. 그 다음 비선형 활성화 함수 (nonlinear activation function)를 통과하여 다음 층으로 전달됩니다. 활성화 함수는 신경망이 복잡한 함수를 학습하는 데 아주 중요한 역할을 합니다. 그렇지 않으면 입력을 선형적으로 조합한 값만 출력할 것입니다.
p.72
전체 데이터셋을 사용해 훈련 스텝마다 그레이디언트를 계산하는 작업은 너무 시간이 오래 걸리고 계산 비용이 많이 듭니다. 일반적으로 32에서 256 사이의 배치 크기를 사용합니다. 요즘엔 훈련이 진행됨에 따라 배치 크기를 증가시키는 방식을 권장합니다.
Samuel L. Smith et al., "Don't Decay the Learning Rate, Increase the Batch Size.", November 1, 2017. https://arxiv.org/abs/1711.00489. 옮긴이주 -> Adam, RMSProp과 같은 옵티마이저는 훈련이 진행됨에 따라 최솟값을 찾기 쉽도록 학습률을 줄여갑니다. 이 논문은 학습률을 줄이는 대신 배치 크기를 늘리는 방식으로 훈련 반복 횟수를 줄이면서 동일한 정확도를 얻을 수 있다고 소개합니다. 케라스 훈련 과정에서 배치 크기를 조정하려면 fit 메서드 대신 train_on_batch 메서드를 사용하세요.
p.76
합성곱은 원래 계산하기 전에 필터를 뒤집습니다. 필터를 뒤집지 않고 계산하는 것은 교차 상관(cross correlation)입니다. 합성곱 층은 처음에 필터를 랜덤하게 초기화하기 때문에 뒤집는 것이 의미가 없습니다. 실제로 합성곱 층은 교차 상관을 수행하지만 관례적으로 합성곱이라 부릅니다.
p.79
padding = "same"으로 지정하면 여러 개의 합성곱 층을 통과할 때 텐서의 크기를 쉽게 파악할 수 있기 때문에 유용합니다. padding = "same"인 합성곱 층의 출력 크기는 다음과 같습니다.
(입력 높이 / 스트라이드, 입력 너비 / 스트라이드, 필터 개수)
p.81
입력의 크기는 (None, 32, 32, 3)입니다. 케라스는 None을 사용해 한꺼번에 임의 개수의 이미지를 네트워크로 통과시킬 수 있음을 표현합니다. 네트워크는 텐서에 대해 대수학 계산을 수행하므로 이미지를 하나씩 전달할 필요가 없습니다. 대신 여러 개를 묶어 배치로 전달합니다.
p.82
손실 함수가 NaN을 반환하기 시작하면 가중치가 오버플로(overflow) 오류를 발생시킬 만큼 커졌다는 신호입니다.
p.82~83
신경망에 주입되는 입력 데이터를 스케일 조정하는 이유 중 하나는 처음 몇 번의 반복 훈련을 안정적으로 시작하기 위해서입니다. 네트워크의 가중치가 랜덤하게 초기화되었기 때문에 스케일이 조정되지 않은 입력은 큰 활성화 출력을 만들어 그레이디언트 폭주로 바로 이어질 가능성이 있습니다. 그래서 입력층으로 0~255 사이의 픽셀 값을 전달하는 대신 -1에서 1 사이의 값으로 스케일을 바꿉니다.
입력 스케일을 조정했기 때문에 모든 층의 활성화 출력도 비교적 스케일이 안정되리라 기대할 수 있습니다. 초기에는 맞는 말입니다. 하지만 네트워크가 훈련됨에 따라 가중칫값이 랜덤한 초깃값과 멀어지기 때문에 이런 가정이 무너지기 시작합니다. 이런 현상을 공변량 변화(covariate shift)라고 부릅니다.
배치 정규화(batch normalization)는 이 문제를 극적으로 줄이는 해결책입니다. 방법은 놀랍게도 간단합니다. 훈련하는 동안 배치 정규화 층은 배치에 대해 각 입력 채널별로 평균과 표준 편차를 계산한 다음 평균을 빼고 표준 편차로 나누어 정규화합니다. 채널로 학습되는 두 개의 파라미터가 있습니다. 스케일 파라미터(gamma)와 이동 파라미터(beta)입니다. 정규화한 입력을 gamma로 스케일 조정하고 beta로 이동시켜 출력합니다.
p.84~85
예측할 때는 이 층이 어떻게 동작하는지 궁금할 것입니다. 예측을 수행할 때는 하나의 샘플에 대해 예측을 만들기 때문에 평균과 표준 편차를 계산할 배치가 없습니다. 이 문제를 처리하기 위해 훈련 과정에서 배치 정규화 층이 채널별로 평균과 표준 편차의 이동 평균(moving average)을 계산하여 저장합니다. 테스트할 때 이 값을 사용하여 입력을 정규화합니다.
배치 정규화 층에는 몇 개의 파라미터가 필요할까요? 이전 층의 채널마다 스케일(gamma)과 이동(beta)을 위한 2개의 가중치가 학습되어야 합니다. 이 둘은 학습되는 파라미터입니다. 평균과 표준편차의 이동 평균은 채널마다 계산되지만, 역전파를 통해 훈련되는 것이 아니라 층을 통과하는 데이터에서 계산됩니다. 이 둘은 훈련되는 파라미터가 아닙니다. 종합해보면 채널마다 4개의 파라미터가 있고 2개는 훈련되고 2개는 훈련되지 않습니다.
p.86
p의 확률로 유닛을 드롭아웃하여 모델을 훈련하면 테스트할 때는 모든 유닛을 사용하기 때문에 1/(1-p)배 만큼 더 큰 출력이 만들어집니다. 이를 보완하려고 테스트할 때 출력에 (1-p)를 곱하여 감소시킵니다. 케라스와 같은 구현에서는 테스트할 때 출력을 보정하지 않고 훈련할 때 드롭아웃 층의 출력을 (1-p)로 나누어 증폭시킵니다. 두 방식이 완전히 같지는 않지만 잘 작동합니다.
p.97
인코더는 디코더가 정확하게 재구성할 수 있도록 가능한 한 많은 정보를 내포시키려 하므로 이 벡터를 임베딩(embedding)이라고도 합니다.
오토인코더(autoencoder)는 단순히 어떤 항목의 인코딩과 디코딩 작업을 수행하도록 훈련된 신경망입니다. 이 과정을 통해 출력이 가능한 한 원본 아이템에 가까워지도록 합니다.
p.99
오토인코더는 두 부분으로 구성된 신경망입니다.
- 인코더: 네트워크는 이미지 같은 고차원 입력 데이터를 저차원 임베딩 벡터로 압축합니다.
- 디코더: 네트워크는 임베딩 벡터를 원본 도메인으로 압축 해제합니다 (예를 들어 이미지로 되돌립니다).
생성 AI는 현재 기술 분야에서 주목받는 핵심 토픽 중 하나입니다. GPT와 DALL﹒E 등의 기술을 통해 AI가 얼마나 창의적으로 행동할 수 있는지의 가능성을 보여주고 있습니다.
특히 생성 AI는 단순히 데이터를 처리하거나 분류하는 것을 넘어, 새로운 데이터나 내용을 스스로 생성할 수 있는 능력을 지녔습니다.
이러한 AI 기술의 발전은 우리의 일상생활뿐만 아니라 다양한 산업 분야에도 큰 영향을 미치고 있습니다.
따라서 이 분야에 대한 깊은 이해와 연구는 더욱 중요해지고 있습니다.
책에 관하여
『만들면서 배우는 생성 AI』는 생성 AI의 세계를 깊게 이해하고자 하는 독자들을 위한 안내서입니다.
사실 서비스를 이용하는 엔드 유저의 입장에서는 생성 AI의 의세계를 깊게 이해할 할 필요까지는 없습니다. 우리가 자동차를 타고 다니지만, 자동차의 이모저모를 다 파악하고, 고칠 수 있는 역량이 필요하지는 않는 것처럼요. 하지만 깊게 이해해보길 원한다면, 또 그 주제가 생성 AI이라면 생성 AI에 대한 깊은 이해를 위해서는 기초적인 AI와 딥러닝의 지식이 필수적이며, 이 책은 좋은 길잡이가 되어 줄 것입니다.
이러한 데이비드 포스터는 이 책에서 생성 AI의 기본부터 최신 기술에 이르기까지 상세하게 설명하고 있습니다. 초판에서는 GAN에 대한 설명이 주를 이루었지만, 이후 생성 AI 분야의 급격한 발전에 따라 2판에서는 다양한 새로운 내용과 기술들을 추가하였습니다.
책은 크게 세 부분으로 구성되어 있습니다.
첫 번째 부분에서는 생성 AI의 기초와 기본 개념들을 소개하고 있습니다. 여기에서는 생성 AI를 처음 접하는 독자들도 쉽게 이해할 수 있도록 기본적인 내용을 친절하게 설명하고 있습니다.
두 번째 부분에서는 다양한 생성 모델들과 그들의 작동 원리, 장단점 등을 상세하게 다룹니다.
마지막 부분에서는 이러한 기술들이 실제로 어떻게 응용되고 있는지, 그리고 앞으로의 전망에 대해서도 다룹니다.
조금 더 자세히 들여다보면
Part 1은 생성 모델의 핵심 개념을 소개합니다. 여기에서는 '생성 모델의 정의', '기존 AI와의 차이점', 그리고 '생성 모델 학습에 필요한 기본 수학적 개념'에 대해 세세하게 설명합니다. 딥러닝의 주요 개념인 Data type, Multi-Layer Perceptron (MLP), Model, Loss function, Optimizer, Training, Evaluation, CNN, Normalization 등을 체계적으로 다루며, 이를 통해 생성 AI의 세계에 대한 튼튼한 기반을 다질 수 있도록 도와줍니다.
Part 2는 주요 생성 모델링 기법에 대한 깊이 있는 토론을 제공합니다. 변이형 오토인코더 (VAE), 생성적 적대 신경망 (GAN), 자기회귀 모델, 노멀라이징 플로 모델, 에너지 기반 모델, 확산 모델 등 6가지 주요 생성 모델을 중심으로, 이들의 기본 아이디어, 알고리즘, 그리고 한계점 및 발전 방향에 대해 상세히 살펴봅니다.
Part 3은 생성 AI의 실제 응용 사례와 그 중요성에 대해 다룹니다. 딥페이크, 저작권 등 현재 화두가 되고 있는 문제들과 생성 AI의 미래 방향성, 그리고 이에 따른 윤리적 고민에 대한 논의를 통해 독자들에게 깊은 통찰력을 제공합니다.
이 책을 통해 독자는 생성 AI의 본질부터 최신 동향까지 체계적으로 이해하게 될 것입니다. 생성 AI의 미래적 적용과 그로 인한 사회적, 윤리적 문제에 대한 성찰도 함께 제공하여 독자들의 깊은 통찰력을 높이는 데 도움을 줍니다.
마치는 말
● 이 책은 특히 다음과 같은 독자층에 강력히 추천합니다.
- AI 및 딥러닝의 세계에 첫 발을 디딘 초보자
- '생성형' 딥러닝 기술에 깊은 흥미를 가진 이들
-딥러닝의 모든 단계를 체계적으로 학습하고자 하는 연구자 및 학생들
- 챗GPT와 같은 혁신적인 모델의 기원과 발전에 대한 깊은 호기심을 가진 전문가들
● "<만들면서 배우는 생성 AI>"는 딥러닝의 전반적인 개념부터 최첨단 '생성형' 기술까지 깊이 있게 탐구합니다. 이 책은 딥러닝 모델의 구성부터 복잡한 알고리즘까지 단계별로 접근, 특히 텍스트 생성과 관련된 부분은 딥러닝 기반의 콘텐츠 창작에 관심 있는 전문가들에게 매우 유용할 것이라 생각됩니다.
● 분량이 480쪽입니다. 그러나 딱딱하거나 마냥 지루하지 않습니다.
- GAN부터 트랜스포머, 확산 모델에 이르기까지의 다양한 딥러닝 영역을 실제로 구현하며 체험하는 과정을 차근차근 밟아가며, 생성형 딥러닝과 그 세계에 깊숙히 들어가고 싶다면, "<만들면서 배우는 생성 AI>"라는 책의 일독을 꼭 권합니다.
- 인공지능에 관련된 서적을 보면 대부분 비슷비슷하다고 느껴지는 경우가 많다. 경사하강법부터 시작하여 RNN 이 어떻고... 하다 마무리가 되는 경우가 많다. 해당 도서의 경우 PART 1 까지는 동일한 내용으로 이뤄지나, PART2 부터는 실무에서 쓸법한 여러 예제부터 웬만한 도서에서는 다루지 않는 음악생성까지 다루고 있다. 그렇기에, 딥러닝에 대한 여러가지 예제를 통해 학습하고자 하는 분들에게는 해당도서를 추천 드린다.
올해 중반에 회사에서 Generative AI 제품을 출시하며 관련 개념과 콘텐츠들을 접하기 시작했다. 우후죽순으로 나오는 생성형 AI에 큰 궁금증을 가졌으나 개념을 검색해도 추상적으로만 느껴졌다. 그래서 기존의 AI와의 큰 차이점은 무엇일까. 데이비드 포스터가 쓴 '만들면서 배우는 생성 AI'는 생성 AI 개념을 처음 접하는 사람도 읽을 수 있도록 집필했다고 한다. 더 나아가 AI의 개념에 익숙치 않은 독자에게도 예시를 들어 쉽게 설명한다. 표본 공간, 확률 밀도 함수, 모수 모델링, 가능도 등 AI의 원리를 설명하는데 있어 필요한 개념들도 간략히 짚고 넘어간다.
심지어 어떤 이론은 우리가 현실이라고 인지하는 것이 이 생성 모델의 출력이라고 주장합니다. 분명한 것은 이런 능력을 가진 기계를 만드는 방법을 안다면 뇌의 작동 원리와 인공 일반 지능을 이해하는 데 핵심적인 도구가 될 것입니다.
39쪽, 만들면서 배우는 생성 AI.
이 책은 개념을 쉽게 설명하고자 개념별로 쉬운 예시를 든다. 가령, 한 번도 본 적 없는 사람의 외모 묘사를 듣고 상상하는 예시가 있다. 그 사람에 대한 첫번째 정보로는 금발이라는 정보를 얻었다. 이후, 안경을 썼다는 정보를 얻게된다. 이 과정에서 우리는 머릿속에서 누군지 모를 대상의 이미지를 만들어 나간다. 이는 곧 인간이 픽셀 그룹에 해당하는 특성으로 가정을 개선해나간다는 것을 의미한다. 설명이 더해질수록 픽셀을 맵핑하여 머릿속에 이미지를 생성한다. 이러한 사고 과정은 표현 학습에서 착안하여 고차원 표본 공간을 직접 모델링하는 방식이 아닌 저차원의 잠재 공간을 사용해 훈련 세트의 각 샘플을 표현하고 이를 원본 공간 포인트에 맵핑하는 방식을 사용한다. 인공지능의 원리가 말 그대로 인간의 뇌의 사고과정을 착안한 것이 흥미로웠다. 우리가 실제로 생각하는 방식이 담긴 원리라 이해하기에도 어렵지 않았다.
생성 모델링은 주어진 데이터셋과 유사한 새로운 데이터를 생성하도록 모델을 훈련하는 머신러닝의 한 분야입니다.
33쪽, 만들면서 배우는 생성 AI.
최근까지 머신러닝 분야의 주된 연구 사항이었던 판별 모델링을 설명하고 생성 모델링의 예시로 생성형 AI의 개념 또한 설명했다. 판별 모델링이 예측에 중점을 두었다면 생성 모델링은 창조성에 중점을 두는 듯 했다. 포인트가 다른 만큼 쓰이는 분야도 다르다. 생성형 모델링은 콘텐츠에서 조금 더 두각을 드러낼 듯하다.
이 책에서는 생성 AI에 대한 예제가 등장한다. 주로 도커에서 개발하며 깃허브에서 예제코드를 참고할 수 있다고 한다. 아래 url에서 각 용도에 맞게 필요한 자료를 활용하면 도움이 될 것이다.
1. arXiv
이 책에 수록된 논문은 과학 연구 논문을 무료로 호스팅하는 arXiv에서 대부분 확인 가능
https://arxiv.org
2. Papers with Code
다양한 머신러닝 작업에 대한 최신 결과와 논문, 공식 깃허브 저장소 링크를 찾을 수 있는 웹사이트인 Papers with Code. 다양한 작업 중 어떤 방법이 가장 높은 성능을 내는지 빠르게 파악하는데 용이함.
- 이미지, 텍스트, 음악 데이터를 이용해서 이미지, 텍스트, 음악 를 생성해주는 생성AI 에 대한 기본 개념을 이해하는 책이다.
[책 추천 이유]
- 왜 똑같은 데이터를 넣고 똑같은 데이터를 만들어 내는게 무엇인 중요한가? 한때 오토인코더 모델을 보았을때 생각한 적이 있었다. 오토인코더 모델이 엄청나게 중요한게 인코더를 통해서 입력한 피처 데이터를 잠재공간으로 임베딩 시켜서 새로운 변환을 만들어낸 것이었으며, 디코더는 잠재공간에서 다시 원본 피처들을 복원하는 과정을 걸쳐서 새로운 형태의 데이터를 뽑아 낼 수 있다는 사실을 깨달았다. 단순하게 원본 데이터를 그대로 만들어 내는 것은 의미가 없지만, 원본 데이터의 특징을 뽑아낸 잠재공간의 임베딩 모델을 가지고 원본을 만들어 내는 일은 완전히 다른 의미였던 것이다. 이 부분에 대한 궁금증을 이책에서 이미지, 텍스트, 음악 데이터를 통한 생성 AI 로 천천히 이해하기 쉽게 풀어서 설명해 준다..
[내가 찾고자 했던 질문들]
이미지의 생성 모델은 어떻게 있는가?
변이형 오토인코더(VAE) : 고차원 입력 데이터를 저차원 임베딩 벡터로 압축하고 압축 해제 시켜서 이미지를 생성한다.
GAN : 생성자와 판별자 두 적대자의 싸움형태로 이미지를 판별후 생성한다.
자기회귀모델 : 잠재 확률 변수가 아닌 시퀀스에 있는 이전값을 바탕으로 텍스트 (LSTM), 이미지 (PixelCNN)를 생성한다.
노멀라이징 플로 모델(RealNVP) : 다루기 쉽고 명시적인 데이터 생성분포 모델링할 수 있는데, 맵핑함수의 형태에 제약을 두는 점이 차이점이다.
에너지기반 모델(EBM) : 물리시스템 모델링의 실수값 0 ~ 1사이로 정규화 함수인 볼츠만 분포에 어떤 이벤트의 확률을 표현할수 할수 있다.
확산(Diffusion) 모델 : 확산(Diffusion) 열역학 확산의 영감을 받아 연속해서 매우 조금씩 이미지에서 잡음을 제거하여 모델을 훈련시켜서 이미지를 생성시킨다.
텍스트의 생성 모델은 어떻게 있는가?
GPT : 트랜스포퍼의 디코더 부분을 이용하였으며, temperature 이용해서 0~1 사이 조정하여 0일때는 정확한 답을 생성하는 형태로하며, 좀더 다양한 창의적 답변을 만들때는 1에 가깝게 조정해준다.
음악(Music) 생성 모델은 어떻게 있는가?
MuseGAN : 트랜스포터의 디코더 부분을 이용하였으며, midi 파일을 input 으로하여 시퀀스를 에측하는 형태의 음악을 생성한다.
보통 기계와 사람의 차이점은 창조적 능력에 있다고 많이 말하곤 한다. 그러나 이 이야기는 인공지능의 등장과 함께 더 이상 옳은 얘기가 아니게 되었다. 최근 각광을 받고 있는 대화형 인공지능 챗GPT나 미드저니와 같은 인공지능 서비스를 보면, 스스로 글도 창작하고, 다양한 이미지도 그려준다. 심지어 문학이나 사진 공모전에서 수상까지 하고 있다. 창조적 능력은 더 이상 인간만의 전유물이 아니게 된 것이다.
이런 창조적 능력은 생성 AI에서 이뤄지고 있다. 생성 AI는 생성 모델링을 이용한다. 생성 모델링은 훈련과 샘플링을 통해 새로운 샘플을 만든다. 예를 들어 다수의 말 사진 샘플을 인공지능이 훈련해 뒀다가 사용자가 원하는 것을 주문하는 것을 그것에 맞춰 샘플링하여 새로운 이미지의 말 사진을 만들어 내는 것이다. 달리나 미드저니는 이미지를 만들어 내고, 챗GPT는 텍스트를 그렇게 생성하는 것이다.
노래 잘하는 사람, 춤 잘 추는 사람, 외국어를 잘하는 사람, 이렇게 사람마다 잘하는 특기가 다 다르듯이 인공지능도 사용하는 모델에 따라 잘 하는 것이 다르다. X레이나 CT 사진에서 어떤 질병을 찾아내는 것은 판별 모델을 사용한다. 이건 새로운 것을 만드는 일보다는 비교해서 무언가를 찾아내는 데 특화된 모델이다. 반면 생성 모델은 앞에서 말한 뭔가 새로운 것을 만드는 일을 잘한다.
데이터 과학자 데이비드 포스터 저자의 책, '만들면서 배우는 생성 AI 2판'에서 익히는 것이 바로 학습을 통해 새로운 것을 만들어 내는 딥러닝 모델들이다. 생성 AI와 관련된 각종 모델의 개념을 기초부터 배우고, 코드도 작성하며 활용법을 익힌다.
처음 '만들면서 배우는 생성 AI'을 봤을 때는 컬러로 되어 있고, 박스 처리된 각종 보충 설명들이 바로 눈에 들어와 뭔가 자유로운 구성인가 했는데, 차례도 확인하고, 내용도 읽어 보니, 무척 구조적으로 잘 분류된 형태의 책이었다. '이 장의 목표'가 각 장마다 제일 먼저 나오고, 마지막에는 요약으로 구성하고 있다. 학창 시절 자주 봐왔던 각종 학습 교재가 언뜻 교차되면서 교과서라는 단어가 떠올랐다. 생성 인공지능 교과서가 바로 이 책이라 할 수 있었다.
'만들면서 배우는 생성 AI'은 3부 14장으로 구성되어 있다. 1부에서는 생성 AI를 익히는데 가장 기초가 되는 생성 모델링, 딥러닝, 케라스에 관한 설명을 하고 있다. 워밍업 단계로 구체적인 모델들을 배우기 전에 필요한 것들 이야기하고 있다.
2부에서는 생성 인공지능 구축에 쓰이는 6가지 기법, 변이형 오토인코더, 생성적 적대 신경망, 자기회귀모델, 노멀라이징 플로 모델, 에너지 기반 모델, 확산 모델 같은 것을 알아본다. 기초부터 하나씩 알아본다. 그런데 재미있는 것은 각 모델 설명에 앞서 이상한 이야기들이 나온다. 이는 각 모델들의 개념을 스토리텔링 형식을 빌어 말하고 있는 것이다. 이런 비유는 기억을 떠올리는데 트리거, 방아쇠 역할을 한다. 그 이야기를 중심으로 마인드맵을 그리듯이 보다 상세한 내용들을 확장할 수 있었다. 참 영리한 저자다.
3부에서는 앞에서 배운 것들을 활용해 보는 파트다. 챗GPT 개념인 어텐션에 의존하는 신경망인 트랜스포머를 시작으로 GPT가 무엇인지 전체적으로 알아본다. 이어 이미지와 음악 분야에 기능별로 활용하는 보다 구체적인 코드를 작성해 본다. 여기서는 추가로 강화학습, 달리, 플라밍고에 관한 것도 익힌다. 텍스트용 생성 AI에 쓰이는 대규모 언어 모델인 LLM에 대해서도 다루고 있다.
앞에서 '만들면서 배우는 생성 AI'를 교과서라고 지칭했는데, 좀 더 첨언하자면, 친절한 교과서다. 설명이 참 잘되어 있어, 좀 더 쉽게 이해할 수 있었다. 이해와 기억을 오래 지속하기 위해서는 곳곳에 등장하는 개념도와 같은 것을 귀찮아도 명확히 살펴 보는 것이 좋다. 이걸을 잘 알아두면, 다른 책을 보거나, 사람들에게 설명하는 데도 도움이 된다.
다만 '만들면서 배우는 생성 AI'는 저자가 생성 AI에 관한 사전 지식이 없다는 가정하에 지은 책이라고 되어 있으나, 어디까지나 생성 AI를 말하는 것이지, 인공지능 지식이 전혀 없다는 가정이 아니다. 따라서 인공지능 기본 지식이 전혀 없다면, 어려울 수 있다. 파이썬 언어도 알고 있어야 한다. 본문에 나오는 예제 코드는 중요 라인마다 구체적으로 설명이 잘되어 있어, 어려운 편은 아니다.
아울러 수학 지식도 많이 필요하다. 곳곳에 각종 수학 공식들이 나온다. 만일 자신이 수학 지식이 모자란다면, 부족한 부분을 체크해두고, 건너 뛰어도 된다. 일단 전반적인 개념만 알고 있어도 얻는 것이 많기 때문이다. 나중에 저자가 추천하는 수학 공부 자료 또는 인공지능 관련 수학 서적을 참고하면 된다.
이번 '만들면서 배우는 생성 AI'는 2판이다. 안내된 추가 부분을 보면, RealNVP, EBM, DDM, StyleGAN, VQ-GAN, MuseGAN 등 전체적으로 추가된 내용이 많은 것으로 보인다. 보다 더 최신의 생성 AI를 정보를 얻기 위해서는 2판이 유용할 것이다.
요즘 AI 쪽을 보면, 애니에 자주 등장하는 다른 차원의 포탈이 열리며, 각종 마물이 쏟아지는 모습이 연상된다. 그만큼 인공지능 쪽에 다양한 시도와 다양한 서비스가 벌어지고 있다. 이제 개발자도 인공지능이란 마물에 잡아 먹힐 수 있다는 판국인 만큼 더 높은 차원의 스킬과 지식을 쌓을 필요가 있다. '만들면서 배우는 생성 AI'를 교과서 삼아 레벨 업 하면 좋을 것이다.
게다가 생성 AI를 익혀두면 써 먹을 곳도 많다. 이미지, 작곡, 작문 뿐만 아니라, 패션, 자동차 등 각종 디자인이며, 의학, 게임 등 아이디어만 있다면, 도전해 볼 만한 곳이 많다. 아직까지 블루오션인 것이다. '만들면서 배우는 생성 AI'는 개발자, 학생 뿐만 아니라, 생성형 AI 비즈니스를 생각하는 분 모두에게 요긴할 것이다.
Chatgpt 를 시작으로, 생성형 AI 붐이 큰 화두입니다. 이 책에서는, 이와 관련된 딥러닝 모델을 다루면서 실습하고 있습니다.
기본적인 파이썬과 딥러닝에 대한 기본기를 갖춘 상태에서 보면 좋을 책입니다.
코드 자체는 크게 어렵지는 않으나, 딥러닝 프레임워크를 어느정도 써본 상태에서 보는 전제입니다.
박해선님이 번역하신 책이라서, 번역에서 문제를 느끼기 어려웠습니다. 생성형 Ai는 딥러닝 관련 서적에서 일부 챕터로만 다뤘는데, 생성형 AI에 특화되서 모델과 실습을 서술한 이 책은 꽤 재미가 있습니다. 사이드 프로젝트나 회사에서 관련해서 업무를 보고 있다면, 큰 도움을 받을 수 있습니다.
컬러 인쇄와편집이 잘되어 있어서, 가독성이 좋습니다. 생성형 AI에 대한 실습과 기본을 다지고 싶은 분들에게 강력히 권하고 싶습니다.
생성모델.. 정말 쉽지 않다. 최근에 들어서는 Web UI를 활용해서 너도나도 이미지 생성도 해보고, ControlNet, LoRA 등등 다양하게 이에 붙여서 누구나 만들어 볼 수 있도록 활용적인 측면에서는 진입장벽에 매우 낮아졌지만, 이론적으로 접근했을때, 이 영역은 결코 쉽지 않은 영역임에 틀림 없다. 실제 Diffusion의 이론역시 엄청 간단하게, Noise를 점차 더하고, 점차 뺀다. 라고만 설명했지만 사실 이 배경에는 엄청난 수학적인 식들이 존재하고, 이전에 나온 에너지 베이스 모델, 노멀라이징 플로 모델 역시 책을 보면서도 아직 멀었다라고 밖에 안느껴졌다. 이 책은 그만큼 다양한, 거의 모든 생성모델에 대해서 다루고 있으며, 이 책에서 모르는 내용들을 찾아보면서 공부해나가면 틀림없이 생성모델에 대해서는 유사 전문가 타이틀까지도 달 수 있지 않을까 싶다. 무엇보다 Part 3에서 이러한 생성모델들에 대해서 활용 방법들이나, 다양한 생성모델들을 접할 수 있어서 정말 좋은 책이었고, 현재 회사에서도 비슷한 생성모델을 다루기에 업무에도 큰 도움이 될 것 같았다. +. Part3도 내용이 만만치 않음은 절대 잊지 말자. 자세한 내용은 블로그를 참고해주세요 https://blog.naver.com/ab415/223249900784
AI나 빅데이터는 잘 모르지만 Chat GPT의 수집, 작동 원리등이 궁금했는데 좋은 기회가 되어 읽게된 책이다.
크게 3개의 파트로 이루어져 있으며
파트 1은 생성 모델링에 대한 설명과 핵심 확률 이론, 생성 딥러닝 예제 코드를 제공한다. 이후 설명하는 파트들의 핵심 개념을 설명하고 있는 부분이다.
파트 2는 생성 모델링중 6가지 방식인 변이형 오토 인코더, 생성적 적대 신경망, 자기회귀 모델, 노멀라이징 폴로 모델, 에너지 기반 모델, 확산 모델들에 대한 개념들을 설명하고 있는데 챕터 이름만 봐서는 어려워 보이지만 독자의 이해를 도울 수 있는 그림들이 꽤 많이 있어서 흐름을 이해하기 쉽다.
파트 3은 실제 샘플 소스로 학습이 가능한 파트로 챕터 2가 잘 이해가 가지 않더라고 실습과 함께 진행하다보면 어느정도 감이 온다. 아마도...
생성형 AI 에 대한 관심이 많아지고 이 분야를 공부하고 있었는데 마침 좋은 책이 리뷰도서 목록에 있어서 선택하게 되었다. 아무래도 분야가 넓고 수학, 통계, 프로그래밍 등이 섞여서 나오다 보니 무엇이 기초인지, 또는 무엇부터 공부를 해야 되는지 알기가 쉽지가 않았다. 그런데 다행히도 이번에 선택한 책을 보면서 전반적인 지식을 습득할 수 있게 되었다.
이 책에는 이론도 나오고 프로그래밍에 대한 구현도 나온다. 그리고 수학 공식들도 나온다. 하지만 아래 그림처럼 자세한 설명을 해주고 있기 때문에 이론적인 내용을 이해하는데 큰 도움이 된다.
파이썬 코드들도 중간중간 나오면서 따라 하면서 실습을 해볼 수 있다. 하지만 코드가 익숙하지 않더래도 코드부분은 생략하고 내용만 읽어간다면 기초 지식을 충분히 쌓을 수 있다.
하지만 이 책을 가장 효율적으로 사용하는 방법은 실습과 병행하는 것이다. 이 책의 뒷부분으로 갈수록 코드도 길어지고 그래프와 공식들이 많이 나온다. 이런 부분들을 이해하기 위해서는 어느정도 파이썬 코드에 대한 이해가 필요하다.
이 책은 많은 그림과 설명으로 독자들이 이해를 하는데 돕고 있는 책인것은 확실하다. 그리고 이 책을 이해하기 위해 독자가 갖추어야 하는 최소한의 지식으로는 파이썬 코드를 이해할수 있는 능력 정도가 될것 같다.
최근 생성 AI는 AI 분야에서 가장 뜨고 있는 분야라고 생각한다. OpenAI의 GPT4부터 최근에는 DALL·E 3까지 많은 발전을 이루고 있는 분야이다. OpenAI뿐만 아니라 다른 기업들에서도 엄청난 제품들을 만들어내고 있다. AI가 점점 더 우리의 생활을 편하게 해주며 좀 더 가까워지고 있는 모습이다. 이런 세상 속에서 생성 AI에 대해 더 궁금해졌고, 이 책을 읽게 됐다. 정말 GAN을 공부했을 때가 엊그제 같은데, 진짜 빠르게 발전했다. 앞으로 AI가 얼마나 더 발전할지 한편으로는 무섭기도 하지만 인공지능을 공부하겠다고 마음 먹은 이상 포기하지 않고 계속 되는 데까지는 공부해보려고 한다.
정말 제목을 잘 지었다고 생각한다. 직접 케라스로 모델을 만들어 보면서 하나하나 공부하는 구조이다. 이런 책이 정말 좋다. 이론적인 부분만 공부하다가는 이해가 잘되지 않는 경향이 있다. 그래서 이론적인 부분을 공부하면서 실습도 병행하는 것이 정말 좋다. 이 책도 그런 책이다.
저자가 많은 신경을 쓴 책이라 생각한다. AI 분야 중에서도 생성 AI는 정말 어려운 분야라고 느낀다. 그래서 이 책을 읽기 전에는 뭐랄까 예전에 GAN을 공부했던 기억이 떠오르면서 엄청 어려울 것 같았다. 그러나 저자가 충분히 이해할 수 있도록 예시를 들기도 하고 그림 삽화가 매우 적절하게 있어 책을 편하게 읽을 수 있었다. 그림들도 거의 직접 논문에서 발췌한 것이었다. 수많은 논문들을 읽는 대신 이 책을 편하게 읽을 수 있었다. 영어가 어렵고, 논문을 읽기 힘드신 분들께는 도움이 되지 않을까 싶다. 또한, 믿을 수 있는 역자님께서 번역하셨기에 번역에 큰 의심은 하지 않고 읽어도 됐다.
아무래도 가장 좋았던 부분은 이 책의 마지막 부분이었다. 꽤 최신 기술인 DALL·E 2와 스테이블 디퓨전 구조를 조금이나마 공부해 볼 수 있다는 것 또한 이 책의 장점이라 생각한다. 또 좋았던 부분은 마지막에 생성 AI의 타임라인이 나오는데 지금까지 어떤 모델들이 있었고 어떻게 발전하고 있는지 알아볼 수 있어서 좋았다.
"생성 모델에 대해 사전 지식이 없는 독자들을 위해 집필되었으나, 생성 모델을 다루는 분들이 그간 등장한 기법과 활용을 요약 정리하는데도 유익한 책입니다. 생성 AI를 학습한다면 버릴 페이지가 없는 책입니다." 서평 바로가기: https://foss4g.tistory.com/1974
이 책은 미술관에 GAN 딥러닝 실전 프로젝트(GAN으로 쓰기, 그리기, 게임하기, 작곡하기, https://www.hanbit.co.kr/store/books/look.php?p_code=B9882286651 / 2019년 출간)이라는 제목으로 원서 'Generative Deep Learning: Teaching Machines to Paint, Write, Compose, and Play'를 번역하여 한빛미디어에서 출판한 서적의 '2nd Edition'이다. 원서 제목은 1판과 2판 동일하지만 번역서는 '미술관에 GAN 딥러닝 실전 프로젝트'에서 '만들면서 배우는 생성 AI(트랜스포머부터 GPT, DALL.E 2 , 스테이블 디퓨전, 플라밍고까지)'로 변경되었다. 한빛미디어의 '만들면서 배우는' 시리즈로 돌아왔으며, 1판 이후에 대중적으로 많이 알려진 '트랜스포머부터 GPT, DALL.E 2 , 스테이블 디퓨전, 플라밍고까지'에 대한 추가적인 내용을 많이 담고 있다.
원서가 생성 AI에 있어서 워낙에 베스트셀러이며 풍부하고 많은 생성 AI를 담고 있어 훌륭한 서적을 얼마나 잘 한글로 옮겨 전달해 주고 있느냐가 가장 중요하다. 많은 AI서적을 번역, 집필하고 있는 박해선님이 발빠르게 움직여 주어 원서 출간(23년 6월)과 큰 시간차 없이 번역서를 읽어 볼 수 있게 되었다. 박해선님의 번역서는 번역 자체도 굉장히 공을 들이지만 이해하기 힘든 부분이나 도움이 될만한 부분에 있어서 역주(옮긴이)를 많이 달아주어 더더욱 읽기 편하다. 그만큼 AI서적 번역 경험도 많고 AI분야에 있어 많은 경험을 독자에게 전달해 주려고 하는것이 아닌가 싶다. 잘 쓰여진 책을 잘 번역하였으니 이보다 더 좋은 것이 있을까?
이 책은 이미 1판을 읽어본 독자에게도 도움될만한 내용을 많이 담고 있다. AI분야가 워낙 빠르게 발전하고 변화하고 있어 그 변화에서 길을 잃기 쉬운데 앞서도 언급한 '트랜스포머부터 GPT, DALL.E 2 , 스테이블 디퓨전, 플라밍고까지' 등의 최신의 변화된 내용들을 잘 설명해 주고 있다.
잘 쓰여진 그리고 잘 번역된 서적이 있다고 쉽게 딥러닝 및 생성 AI를 쉽게 이해하고 자기것으로 만들기는 쉽지 않다. 이 책이 초심자를 위해서도 단계별로 하나하나 잘 설명해 주고 있다는 장점이 있지만서도 여전히 그 길은 쉽지 않다. 실습을 병행하여 전체적인 생성 AI에 대한 큰 흐름을 읽고 부족한 부분은 다른 참고 도서를 참고하며 한단계 한단계 나를 발전시킬 수 있는 큰 길잡이가 될 수 있는 서적임에는 틀림없다.
이번에는 AI 책을 받아봤다. 요즘에 스테이블 디퓨전, 달리2라던지 챗GPT 덕에 생성형 AI가 아주 핫한것 같다. 특히 AI가 이제 평범한 사람들에게 흔히 접할 수 있는 제품들이 나오면서 더욱 생성형 AI에 관심이 많아지는 것 같아서 한번 책을 선택해봤다.
마지막 챕터에 있는 생성형 AI의 간단한 타임라인이다. 이 부분을 보니까 확실히 큰 줄기들이 보이는 것 같다. 내가 연구실에 있을때 연구 한참 할때가 2019년이었는데, 그때 이미 트랜스포머랑 어텐션 관련해서 페이스북이 아주 뜨거웠었다. 근데 그것들이 이제 엄청 활용되고 있어서, 그런 것들이 뭔지 한번 보고 싶었다.
확실히 AI에 대한 지식이 엄청 많이 있진 않아서 팍 이해되진 않았지만, 전체적인 큰 그림에서 이해하는데에는 무리가 없었다.
실제적으로 그림들과 표와 케라스, 텐서플로우 코드들을 첨부해서 책을 읽으면서 이해하는데 큰 무리가 없었다.
현재의 기술 트렌드는 단순히 데이터를 분석하는 것에서 벗어나, 창조와 발명을 하는 AI의 세계로 확장되고 있다. 이러한 변화의 중심에는 '생성형 딥러닝'이 있다. 그런 생성 AI를 탐구하며 실질적으로 만들어나가는 방법을 알려주는 책이 바로 <만들면서 배우는 생성 AI>이다.
일반적으로 AI와 딥러닝의 원리나 개념에 대해서는 많은 책들이 소개되어 있다. 그러나 이 책은 다르다. 실제로 생성형 AI를 만들어보면서 배울 수 있는 실전적인 내용과 예제 코드가 풍부하게 담겨 있다.
생성형 AI의 세계에서는 단순히 데이터를 처리하는 것이 아니라, 그것을 통해 새로운 글이나 이미지, 심지어 영상까지 만들어낼 수 있다. <만들면서 배우는 생성 AI>는 이러한 과정을 기본 모델에서부터 복잡한 모델까지 이해하기 쉽게 설명하고 있다.
생성 AI의 기본부터 고급 기술까지 단계별로 학습할 수 있다는 점은 이 책의 큰 장점이다. 파이썬 코딩 경험이 있다면, 누구나 쉽게 AI를 활용한 창작에 도전할 수 있다. 그리고 그 과정에서 AI의 무한한 가능성과 창작의 기쁨을 느낄 수 있다.
이 책을 다음과 같은 분들께 추천하고 싶다.
- AI와 딥러닝에 관심이 있는 초보자
- '생성형' 딥러닝에 특별한 관심이 있는 분들
- 기본부터 심화까지 체계적으로 딥러닝을 배우고 싶은 분들
- 챗GPT와 같은 모델의 발전 과정에 궁금증을 가진 분들
<만들면서 배우는 생성 AI>를 통해 딥러닝의 기초부터 최신의 '생성형' 기술까지 배울 수 있었다. 특히, 딥러닝 모델을 처음 만들어 보는 것부터 복잡한 모델을 단계별로 직접 구현해볼 수 있다는 것에 큰 매력을 느꼈다. 텍스트 생성에 관한 부분은 딥러닝을 활용한 콘텐츠 생성에 관심이 있는 사람들에게 눈길을 끌 것 같다.
<만들면서 배우는 생성 AI>는 최신 딥러닝 기술의 핵심을 알차게 담아낸 가이드북이다. 이 책을 통해 GAN에서 시작해 트랜스포머, 확산 모델까지, 딥러닝의 다양한 영역을 직접 구현하며 체험할 수 있다는 것을 깨달았다. 딥러닝의 세계에 발을 디디고 싶다면, 이 책을 한번 쯤은 꼭 펼쳐봐야 할 것이다.
생성 AI는 최근 AI 필드에서 가장 뜨거운 감자가 아닐까 생각합니다. 오픈AI가 2018년 6월 발표한 GPT는 발전의 발전을 거듭하였고, 최근에는 GPT-4까지 출시되었습니다. GPT-4는 현재 유료 구독 서비스 체제로 운영하면서 본격적으로 AI의 상업화를 알렸습니다. 자연어처리 뿐만 아니라 이미지를 생성할 수 있는 오픈AI의 DALL﹒E 2, 구글 브레인의 Imagen, Stability AI의 Stable diffusion와 같은 모델들이 출시되었다. 이러한 생성 모델들은 대중들의 예상을 뛰어넘는 성능을 보여주며 관심을 받고 있습니다.
특히나 생성 AI가 주목을 받으면서 실제로 AI가 인간을 대체할 수 있는가에 대한 논의도 대두되고 있습니다. AI가 이전까지는 소수의 엔지니어들의 전유물이었다고 생각할 수 있지만, 계속해서 우리의 생활에 밀접해지고 있기 때문에 우리들도 이를 공부할 필요가 있습니다. 앞으로 점점 AI 기술들이 상용화된다면 기술의 자세한 부분까지는 모르더라도 어떤 모델이 어떤 역할을 하는지, 그 기술을 어떻게 활용할 수 있을지를 고민해야 한다는 것입니다.
책에 관하여
이 책에서는 우리의 삶에 한 발짝 가까워진 생성 AI에 대해서 소개합니다. 생성 AI를 공부하기 전, 기본적인 AI 및 딥러닝에 대한 지식이 필요로 됩니다.
하지만 걱정하지 마세요! 이 책에서는 Part 1을 통해 '생성 모델이 무엇인지', '생성 모델이 기존의 AI 기술과 어떻게 다른지', '생성 모델을 공부하기 위해 필요한 수학적 개념에는 어떤 것들이 있는지'부터 딥러닝을 이해하기 위한 개념들을 정리하고 있습니다. Data type, Multi-Layer Perceptron (MLP), Model, Loss function, Optimizer, Training, Evaluation, CNN, Normalization 등 중요한 deep learning 개념들을 소개하고 있기 때문에 Part 1을 잘 숙지한다면 생성 AI를 이해하기 위한 준비는 충분히 될 것입니다.
Part 2에서는 본격적으로 생성 모델링에 대해 설명합니다. 이 책에서는 총 6가지 생성 모델 - 변이형 오토인코더 (Variational AutoEncoder; VAE), 생성적 적대 신경망 (Generative Adversarial Network; GAN), 자기회귀 모델 (Autogressive model), 노멀라이징 플로 모델 (Normalizing flow model), 에너지 기반 모델(Energy-based model), 확산 모델 (Diffusion model) - 을 소개하고 있습니다.
각각의 파트는 어떤 아이디어에서부터 뻗어나와 모델이 디자인되었는지부터, 모델의 알고리즘을 표현한 수식, 모델의 한계점과 이를 극복하기 위한 모델들은 어떤 것들이 있는지까지 상세하게 설명되어 있습니다. 제 경우에는 딥러닝 지식을 어느정도 보유하고 있는데도, 책에서 심화적인 내용까지 다루고 있어 생성 분야를 예상보다 더 깊이 알아볼 수 있었습니다. 심화적인 내용을 다루기는 하지만 기본적인 모델부터 설명을 시작하여 '이 모델의 한계점이 무엇이고, 이 한계점을 어떤 방식으로 극복한 것이 다음 단계의 모델이다'로 책이 전개되고 있기 때문에 이해를 하는데는 큰 어려움이 없었습니다.
Part 3에서 이러한 모델들이 실제로 어떻게 응용되고 있는지 그 예시와 사용된 기술들, 그 한계점에 대해서 설명합니다. 그리고 생생 AI의 앞으로의 방향성에 대한 부분으로 책이 마무리되면서, 독자들도 이에 대해 다시 생각해볼 수 있도록 합니다. 실제로 생성 AI로 인한 딥페이크, 저작권 등의 문제가 많이 논의되고 있는 것으로 알고 있습니다. 이러한 부분 또한 AI가 우리의 삶에 접목됨에 있어서 굉장히 중요한 부분이 될 것이라고 생각합니다. 생성 AI가 일상생활에 어떻게 새로운 영향을 미칠 수 있을지, 그 과정에서 발생할 수 있는 윤리적 문제는 어떤 것들이 있을지 같이 고민해 보면 좋을 것 같습니다.
마무리하며
제가 앞으로 공부해 나갈 분야는 생성 분야가 아닌 AI의 다른 분야이지만, 이 책을 읽으면서 새로운 시각의 생각을 해볼 수 있어 좋았습니다.
예를 들어, 책에서 GAN의 손실함수에 대해 "생성자는 현재 판별자에 의해서만 평가되고 판별자는 계속 향상되기 때문에 훈련 과정의 다른 지점에서 평가된 손실을 비교할 수 없습니다. 시간이 갈수록 이미지 품질은 확실히 향상되는데도 생성자의 손실 함수는 증가합니다. 생성자의 손실과 이미지 품질 사이의 연관성 부족은 이따금 GAN 훈련 과정을 모니터링하기 어렵게 합니다." 라고 이야기 한 부분은 Loss function에 대한 개념을 다시 한 번 일깨워주는 문장이었습니다. Loss function은 우리가 원하는 만큼 모델이 결과를 잘 내고 있는지를 평가하는 지표가 되어야 하는데, 경쟁적으로 학습을 하는 GAN의 경우 결과를 잘 내더라도 오히려 Loss function의 값은 증가한다는 것은 Loss function의 의미를 퇴색시킨다고 볼 수 있다는 것입니다. 이처럼 책을 통해 생각지 못했던 방향으로 제가 지식을 다시 되짚어 볼 수 있었습니다.
또한 현재 연구하고 있는 분야에서 에너지 함수를 다루는데, Part 2의 Ch.7 에너지 기반 모델에서 생성 AI에서는 이 함수를 어떻게 활용하고 있는지를 살펴볼 수 있어 도움이 되었습니다.
생성 모델이 현재도 활발하게 연구가 되고 있는 분야이니만큼 과거의 연구 분야들과 지식들이 총 집합되어 있어, AI에 관심이 있는 사람이라면 저처럼 이 책으로부터 배경 지식을 얻어갈 수 있을 것이라 생각합니다.
요새는 정말 대-생성 AI의 시대인데, 나름 인공지능 쪽 공부하고 있는 사람으로써 이것들을 잘 알아야 하지 않나 싶은데,.
논문들도 정말 너무 많이 나오고 너무 바빠서 석사 때에 비해서는 여러 논문들을 딥하게 공부는 못하고 있는 것 같다. 뭔가, 석사 때 수업에서 배우고 공부했던 것들이 꽤 자세했다는 생각이 든다. 물론, 최신 트렌드를 어느 정도는 다 러프하게 알고 있지만, 디테일이 조금 떨어지는 것 같다. (이제 보니, 여러 교수님들이 수업을 듣는 것이 중요하고 좋은 것이라고 하셨던 게 이해가 간다)
이미지 생성, 챗지피티 등 요새 모든 것들이 마구 생성이 되고 있다. 사실 연구 쪽에서는 Point cloud나 시계열 데이터 등 정말 다양하게 많지만, 아무래도 일반인들에게 제일 가까운 것은 DALL-E 같은 이미지 생성 모델이나 ChatGPT일 것 같다.
요새는 뭐, 사진으로부터 동영상도 만들어주고 그러다보니 뭐 유튜브 쇼츠도 자동으로 만들어주는 게 있는 것 같았다. 참 이제 컨텐츠를 생산하는 것이 단순히 개인의 노력이나 지식으로 되지 않는다는 것을 느끼고 있다.
이번 책은 만들면서 배우는 생성 AI라는 책인데, 오레일리 책이다. 최신 책이다보니 최신 기술들을 빠짐없이 잘 설명하고 있었고, 나도 몰랐던 기법들도 조금 있었다. 특히, 만들면서 배우는 것이기 때문에 앞서 말한 디테일들을 모두 잘 가지고 있었다. 정말 재미있게 읽을 만하고 나에게 유용한 책이었다.
2019년 초판 이후 최근에 새로운 2판이 나온 것이라고 한다.
그림도 많아지고, 새로운 모델들이 많이 들어왔다. Conditional GAN이나 PixelCNN은 뭐 조금 오래된 애들인데, 얘도 새로 들어왔고, 역시 빠질 수 없는 Diffusion Model과 Langevin dynamics도 나온다. 또, 트랜스포머도 빠질 수 없고.
게다가 중요한 것이 최근 유행하고 있는 DALL-E 2나 Imagen 등 어떻게보면 상업적으로 꽤 성공한 핫한 생성 모델들을 다룬다.
생성 모델이 무엇인지부터 시작해서 Energy based model, Diffusion model, Transformer 등 다양하게 다룬다. 사실 "고급 GAN"이라고 불리는 챕터의 StyleGAN이나 VQ-GAN 등은 조금 오래된 것 같기도 하고, "음악 생성" 챕터도 뭐 그냥 알려주고 싶어서 넣어놓은 것 같긴 한데, 전반적으로 저 카테고리 순서가 이상한 것 같긴 하다.
원래 이런 코딩 관련된 책이 쉽게 재미 없어지기 마련인데, 그림이 정말 많고 무슨 짧은 스토리를 이용해 설명을 해준다. 독창적이었다. 아마 일반인들에게는 많이 도움이 될 것 같았다. 또, 원래 인공 지능 책들이 번역이 정말 거슬리는데, 이 책은 괜찮았다. 거슬리는 것들이 사실 정말 모든 영어 단어를 강제로 한국어로 바꿔버리면서 이상해지는 것인데, 이 책에서는 "그레이디언트 패널티", "립시츠 제약" 처럼 어쩔 수 없는 것들은 잘 영어로 유지해놔서 그런 것 같다.
현시대는 쳇GPT와 스테이블 디퓨전에서 시작된 생성 AI의 열풍이 정말 뜨겁습니다. 생성 AI는 우리 시대의 매우 혁신적인 기술로, 우리가 기계와 상호작용하는 방식을 변화시키고 있습니다. 우리가 생활하고 일하고 노는 방식을 혁신할 수 있는 이 기술의 잠재력은 수많은 대화와 토론, 그리고 많은 추측을 양산했습니다. 이 기술은 인간의 언어, 예술, 창의성을 비추는 거울이 되어 인간이 창조한 것뿐만 아니라 인간이 창조할 수 있는 것을 반영함으로써 새로운 지능의 시대가 시작되고 있음을 상기시킵니다. 생성 AI란 대화, 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 만들 수 있는 인공 지능의 일종입니다. 모든 인공 지능과 마찬가지로 생성 AI는 기계 학습 모델, 즉 방대한 양의 데이터로 사전 훈련되며 일반적으로 파운데이션 모델(FM)이라고 불리는 대규모 모델을 기반으로 구동되며 콘텐츠 제작 외에 디지털 이미지의 품질을 개선하고, 동영상을 편집하며, 제조용 프로토타입을 빠르게 제작하고, 가상 데이터 세트로 데이터를 보강하는 등의 작업에도 사용되는 기술입니다.
제가 이 책을 선택한 이유는 이 책이 생성 모델링용 딥러닝 도구를 소개하는 책으로써 능숙한 기본 개념과 최신 생성 AI의 중요한 기술을 모두 설명하며 생성 모델링을 알아보고 혁신적인 기술을 직접 활용하는 방법을 완벽하게 알려주기 때문입니다.
이 책의 특성은 모델 이면의 중요한 이론, 높은 가독성과 실용적인 예제 코드, 직관적인 시각 자료 및 설명과 연습 문제를 풍부하게 제공하며 영리한 비유가 담겨있어 복잡한 개념을 명확하고 간결하게 설명하면서도 기술적 세부 사항을 간과하지 않으면서 잠재적인 위험도 함께 설명한다는 점입니다. 이 책은 모든 핵심 개념을 직관적이고 따라 하기 쉬운 방식으로 처음부터 차근차근 설명하고 관련된 주요 논문의 모델을 모두 다뤄 각 기술을 뒷받침하는 이론을 코드로 어떻게 구현하는지 명확하게 설명하며 단계별로 하나씩 코드를 살펴볼 수 있습니다.
구성
PART 1: 생성 딥러닝 소개
Chapter 1: 생성 모델링
Chapter 2: 딥러닝
PART 2: 6가지 생성 모델링 방식
Chapter 3: 변이형 오토인코더
Chapter 4: 생성적 적대 신경망
Chapter 5: 자기회귀 모델
Chapter 6: 노멀라이징 플로 모델
Chapter 7: 에너지 기반 모델
Chapter 8: 확산 모델
PART 3: 생성 모델링의 응용 분야
Chapter 9: 트랜스포머
Chapter 10: 고급 GAN
Chapter 11: 음악 생성
Chapter 12: 월드 모델
Chapter 13: 멀티모달 모델
Chapter 14: 결론
파트별로 나누어 봤을때 책에서 나온 대로 1부에서는 생성 모델링과 딥러닝에 대한 일반적인 소개로 후반부에 나오는 모든 기법의 기반이 되는 핵심 개념을 살펴보는 것으로 1~2장은 생성 모델링을 정의하고 간단한 예제를 활용해 모든 생성 모델에서 중요한 몇가지 핵심 개념과 2부에서 살펴볼 생성 모델의 분류 체계와 케라스를 사용해 다층 퍼셉트론(MLP) 예제를 만들면서 딥러닝과 신경망 탐구를 시작해서 합성곱 층과 다른 개선사항을 적용하여 성능의 차이를 비교하는 방법에 대해, 2부는 생성 모델를 구축하는데 사용할 여섯가지 핵심 기법을 실제 예제와 함께 살펴보는 것으로 3~8장은 변이형 오토인코더(VAE)를 살펴보고 이를 사용하여 얼굴 이미지를 생성 후 모델의 잠재 공간에서 두 얼굴 사이를 전환하는 방법, 이미지 생성을 위한 생성적 적대 신경망(GAN)을 살펴보고 심층 합성곱GAN, 조건부 GAN, 그리고 훈련 과정을 더욱 안정적으로 만들어 주는 와서스테인GAN과 같은 개선사항, 텍스트 생성을 위한 LSTM과 같은 순환 신경망과 이미지 생성을 위한 PixelCNN 같은 자기회귀 모델, 노멀라이징 플로 기법의 이론과 이미지 생성을 위한 RealNVP모델, 에너지 기반 모델을 다루며 대조 발산을 사용해 훈련하는 방법과 랑주뱅 역학을 사용하여 샘플링하는 방법, E2 및 스테이블 디퓨전과 같은 많은 최신 이미지 생성 모델을 탄생시킨 확산 모델을 구축하는데 필요한 실용적인 가이드에 대해, 3부는 지금까지의 기술을 기반으로 이미지 생성, 글쓰기, 음악 작곡, 모델 기반 강화 학습을 위한 최신 모델의 작동 방식을 설명하는 것으로 9~14장은 트랜스포머 구조를 알아보고 텍스트 생성을 위한 GPT 모델을 만드는 실용적인 방법, VQ-GAN과 같은 이미지 생성을 위한 최신 GAN, 트랜스포머 및 MuseGAN과 같은 기법을 적용하는 음악 생성, 월드 모델과 트랜스포머 기반 방법을 적용하여 생성 모델을 강화 학습에 사용하는 방법, 텍스트 투 이미지 생성을 위한 E2, Imagen, 스테이블 디퓨전과 시각 전용 모델인 플라밍고 등 두 가지 이상의 데이터 유형을 통합하는 4가지 최신 멀티모달 모델의 내부 작동 방식, 향후 생성 AI가 우리의 일상을 어떻게 혁신할지에 대해 설명하고 있습니다.
개인적인 생각으로 학습은 머신러닝 엔지니어 및 연구자, AI 개발자, 애플리케이션 개발자, DevOps 엔지니어로 취업 및 이직을 희망하시는 분들께서는 우선 파이썬 프로그래밍과 선형 대수학, 일반 확률 이론, 텐서플로와 케라스, 핸즈온에 대해 학습하신 다음에 1장부터 시작하시면 좋을 것 같고 어느정도 경험이 있으신 분들(머신러닝 엔지니어 및 연구자 2년차~ 또는 개발자 2년차~)부터는 2장까지는 쭉 훓으시면서 생성 모델링과 텐서플로, 케라스를 생성 AI에 접목시키는 방법에 대해 파악한다는 방식으로 보시고 3장부터 학습하시는 것이 좋을것 같습니다.
개인적으로 약간의 단점이 어쩌면 욕심일수도 있는게 좀더 많은 실습 예제 및 비즈니스 케이스가 담겨있으면 더 좋았지 않았을까라는 아쉬움이 있습니다.
저의 리뷰를 읽어주셔서 감사합니다. 다음에는 좀더 유용하고 좋은 책으로 더 나은 리뷰를 통해 여러분께 책을 소개시켜드릴 수 있도록 더 노력하겠습니다.
명쾌하고 설득력 있게 생성 AI를 설명하는 데이비드 포스터가 돌아왔습니다. 이 책의 초판인 『미술관에 GAN 딥러닝 실전 프로젝트』는 GAN을 집중적으로 설명했지만, 초판 출간 이후 생성 AI 분야가 크게 발전했습니다. 세상을 놀라게 한 생성 AI의 눈부신 발전을 담아내기 위해 2판을 새롭게 업데이트했습니다. 기존 내용을 최신 기술 정보로 수정하고, 트랜스포머 설명을 더 상세하게 보완하고, 멀티모달 모델 내용을 새롭게 추가했습니다. 업그레이드된 2판은 GAN에만 국한된 내용을 소개하지 않기에 『만들면서 배우는 생성 AI』라는 새로운 이름으로 찾아왔습니다.
본격적인 설명에 앞서 흥미를 자극하는 이야기와 실용적인 예시, 활용법까지 최신 기술로 무장한 이 책은 여러분을 생성 AI의 전문가로 업그레이드해줄 것입니다. 컴퓨터로 창작하는 가장 진보한 기술을 활용하는 법을 터득해보세요. 생성 AI를 접한 경험이 없더라도 괜찮습니다. 처음부터 따라 하며 차근차근 기술을 습득할 수 있게 친절히 안내합니다. 여러분에게 필요한 건 파이썬 코딩 경험, 그뿐입니다. 생성 모델의 기본 원리부터 파악한 후 파이썬과 케라스로 직접 코딩하며 생성 AI를 배워보세요.
2판에서 달라진 점
-1장은 다양한 생성 모델을 소개하고 이들의 연관성을 나타내는 분류 체계를 담았습니다.
-2장은 그림을 개선했으며 주요 개념을 더 자세하게 설명합니다.
-3장은 새로운 예제와 설명을 담았습니다.
-4장은 조건부 GAN 구조를 설명합니다.
-5장은 이미지를 위한 자기회귀 모델(예: PixelCNN)을 설명합니다.
-6장은 완전히 새로운 장으로, RealNVP 모델을 설명합니다.
-7장 역시 새로운 장이며, 랑주뱅 역학 및 대조 발산과 같은 기법에 초점을 맞춥니다.
-8장은 오늘날 많은 최신 애플리케이션의 기반이 되는 잡음 제거 확산 모델을 위해 새로 작성한 장입니다.
-9장은 초판의 마지막 장 내용을 확장한 것으로, 다양한 StyleGAN 모델 구조와 VQ-GAN에 관한 새로운 내용을 심층적으로 다룹니다.
-10장은 트랜스포머 아키텍처를 자세히 살펴보는 새로운 장입니다.
-11장은 초판의 LSTM 모델을 대신하여 최신 트랜스포머 아키텍처를 다룹니다.
-12장은 그림과 설명을 업데이트했으며 이 접근 방식이 오늘날의 최신 강화 학습에 어떻게 영향을 미치는지 소개합니다.
-13장은 새로운 장으로 DALL·E 2, Imagen, 스테이블 디퓨전, 플라밍고와 같은 인상적인 모델이 어떻게 작동하는지 자세히 설명합니다.
-14장은 초판 이후 생성 AI의 놀라운 발전 현황을 반영하고 앞으로 나아갈 방향에 관한 더욱 완벽하고 상세한 시각을 제공합니다.
[대상 독자]
-생성형 AI의 작동 방식을 이해하고, 직접 사용해보고 싶은 학부생 및 개발자
-최신 딥러닝 기술에 관심 있는 머신러닝 엔지니어, 데이터 과학자 및 연구원
[주요 내용]
-VAE로 사진 속 얼굴 표정 바꾸기
-자체 데이터셋을 학습한 GAN으로 이미지 생성하기
-확산 모델로 새로운 꽃 종류 만들기
-텍스트 생성을 위한 자체 GPT 훈련하기
-대규모 언어 모델인 챗GPT 훈련 방법 알아보기
-StyleGAN2, ViT VQ-GAN과 같은 최신 아키텍처 조사하기
-트랜스포머와 MuseGAN을 사용해 다성 음악 작곡하기
-월드 모델이 강화 학습 과제를 해결하는 방법 이해하기
-DALL·E 2, Imagen, 스테이블 디퓨전과 같은 멀티모달 모델 알아보기
[서평]
제너레이티브 인공지능(GAN)은 David Foster의 책 1판 이후로 패러다임 변화를 겪었고, 최신 기술과 발전 상황을 제공하는 업데이트된 2판인 "Generative AI that learns by making it"은 이 분야의 복잡성을 깊이 있게 파헤치는 종합적인 가이드입니다. 이 판에서 포스터는 생성 AI의 복잡성을 능숙하게 이끌어내며 독자들에게 최신 기법과 진보를 갖추게 합니다.
콘텐과 구조: 책은 잘 구성되어 있으며, 초보자부터 숙련된 머신러닝 전문가까지 다양한 독자를 고려하고 있습니다. 서론 장들은 다양한 생성 모델과 그들의 관계를 명확히 설명하며 견고한 기초를 제공합니다. 분류 체계의 포함은 명료성을 높여, 이 분야가 처음인 사람들에게도 접근성을 제공합니다. 후속 장들은 조건부 GAN 구조, 자기회귀 모델, RealNVP, 랑주뱅 역학, 대조 발산 등 본격적인 주제를 더 깊게 다룹니다.
기술적 깊이와 명료성: 작가의 기술적 깊이와 명료성 사이에 잘 균형을 맞추며, 독자들이 복잡한 개념을 잘 이해하도록 쉽게 설명합니다. 특히, 세부 설명 전에 흥미로운 이야기, 실용적인 예시, 쉬운 사용 방법을 통합하는 책의 접근 방식은 매우 효과적입니다. 이 방식은 원활한 학습 경험을 제공하며, 기본 원칙에서 고급 기술로 자신감 있게 진행할 수 있게 합니다.
업데이트와 추가 내용: 2판은 특히 큰 업데이트와 최신 기술 추가로 인해 두드러집니다. 생성 AI의 핵심 요소인 트랜스포머 설명의 상세화는 값진 개선 사항입니다. 잡음 제거 확산 모델 탐색과 트랜스포머 아키텍처에 대한 자세한 살펴보기 등 새로운 장의 소개는 저자가 빠르게 변화하는 이 분야에 대해 최신 상태를 유지하려는 의지를 보여줍니다. 또한, DALL·E 2와 Imagen과 같은 멀티모달 모델의 다룸은 최신 생성 AI의 발전을 반영하는 미래 지향적인 시각을 추가합니다.
대상 독자: 책은 학부생, 개발자, 머신러닝 엔지니어, 데이터 과학자, 연구원 등 다양한 독자에게 적합합니다. 기본적인 파이썬 코딩 능력을 요구하면서도 생성 AI 경험은 가정하지 않음으로써 포스터는 포괄성을 보장하며, 책을 더 넓은 독자에게 접근 가능하게 만듭니다.
주목할 만한 주제: 이 책은 실용적인 응용에 중점을 둬 독자들이 제너레이티브 인공지능의 실제적인 활용 가능성을 파악할 수 있도록 돕습니다. 사진에서 표정을 바꾸는 미술적인 작업부터 트랜스포머를 사용하여 다중 음향을 작곡하는 등 다양한 현실 세계 응용 사례를 제시합니다. 더불어, 제너레이티브 모델이 현대 강화 학습에 어떻게 영향을 미치는지, 특히 World Model의 맥락에서 설명한 부분은 제너레이티브 인공지능과 다른 분야의 교차점에 대한 통찰을 제공합니다.
결론: David Foster의 "Generative AI that learns by making it" (2판)은 제너레이티브 인공지능을 이해하고 숙달하고자 하는 모든 이에게 권할 만한 도서입니다. 이 책은 포괄적인 내용, 매력적인 스타일, 그리고 포용성 있는 접근 방식으로 빛납니다. 제너레이티브 인공지능의 매혹적인 세계를 철저하고 접근 가능한 탐험을 제공하며, 기초를 탄탄하게 다지려는 초보자든, 최신 기술을 찾는 숙련자든 이 책은 필수적인 안내서 역할을 합니다.
이번 9월에 2차로 출판된 따끈따끈한 생성 AI 책을 리뷰하도록 하겠습니다! 이 분야는 항상 변화가 빠르기에 어떤 새로운 내용을 배울 수 있을지 기대가 되는데요,1판과 다르게 2판에서만 만나볼 수 있는 내용과 함께 2판에서는 주로 어떤 주제를 중심으로 책이 전개되는지를 설명드리도록 하겠습니다! 생성형 AI에 관심있으신 분들께 도움이 될 수 있길 바라며 시작할게요 :) !
1. 2판에서만 만나볼 수 있는 신규 추가된 내용
RealNVP 모델 - 노멀라이징 플로 모델의 예시 중 하나
랑주뱅 역학 및 대조 발산 기법 - EBM(Energy-based ,model)
잡음 제거 확산 모델- DDM
StyleGAN 모델에 대한 추가 내용
VQ-GAN 모델에 대한 새로운 내용
최신 트랜스포머 아키텍처 - MuseGAN 모델 활용
DALL E 2, Imagen, 스테이블 디퓨전, 플라밍고 같은 모델의 작동 방식
초판 이후 발전된 생성 AI의 현황 및 앞으로 나아갈 방향에 대한 시각
1판에서 볼 수 없었던 다양한 내용들이 신규로 추가가 됐는데요, 1판이 나왔던 4년 사이에 굉장히 많은 발전이 있었던 것을 확인할 수 있었습니다. 위의 신규 컨텐츠 외에도 1판에서 나왔던 내용들에 추가 설명이 붙은 게 많아서 1판보다 2판을 구입하시길 <적극!> 추천 드립니다! 훨씬 다채로운 내용을 배우실 수 있을거예요 ㅎㅎㅎ
2. 목차 및 책 구성 설명
그럼 이제 '만들면서 배우는 생성 AI'가 어떻게 구성돼 있는지에 대해 조금 더 자세한 설명 드리도록 할게요! 1판에서 추가된 내용만 해도 많은데, 여기서 끝이 아니라니..!
<목차>
Part1 - 생성 딥러닝 소개
Part2 - 6가지 생성 모델링 방식
Part3 - 생성 모델링의 응용 분야
크게는 이렇게 3가지 파트로 나눌 수 있는데요,
첫 번째 파트는 생성 딥러닝을 처음 배우시는 분들을 위한 챕터로 '생성 모델링'과 '판별 모델링'이 어떻게 다른지, 생성 모델링은 무엇인지에 대해 모델에 대한 예시와 함께 배울 수 있습니다. 또한 딥러닝이 생소하신 분들을 위해 '심층 신경망'이나 '합성곱 신경망' 등의 개념들이 무엇인지에 대한 설명까지 확인하실 수 있습니다.
두 번째 파트는 6가지 생성 모델링에 대한 설명인데요,
- 변이형 오토인코더
- 생성적 적대 신경망
- 자기회귀 모델
- 노멀라이징 플로 모델
- 에너지 기반 모델
- 확산 모델
출처 입력
위와 같은 모델에 대한 내용입니다. 기존에 볼 수 있었던 모델도 있고, 이번에 새로 보는 모델도 있는데요. 모든 내용들은 개념과 예시 코드, 실습을 통해서 단계별로 학습할 수 있도록 구성돼 있어 처음 보는 내용도 보다 쉽게 학습 가능합니다.
마지막으로, 세 번째 파트는 파트 2에서 배웠던 생성 모델링 외 응용 분야에 대한 설명입니다! 대표적으로 트랜스포머, 고급 GAN(ProGAN, StyleGAN,, etc), 음악 생성 등등에 대한 내용으로 이뤄져 있습니다. 처음 보는 모델들이 있어 신기하면서도 흥미롭게 볼 수 있는 파트였습니다.
딥러닝을 처음 공부하는 사람들을 위한 파트 1, 생성형 AI에 대한 기초적 지식이 있는 사람들을 위한 파트2, 생성형 AI를 잘 알고 계신 분들을 위한 응용 모델에 대한 파트3로 구성돼 있습니다. 이를 통해 저자가 폭넓은 독자층 모두가 만족할 수 있는 책을 작성하기 위해 많은 노력을 했다는 사실을 잘 알 수 있었습니다ㅎㅎㅎ
파트별 설명Part Explanation
파트가 시작하기에 앞서 해당 파트에서는 어떤 내용들을 배우게 될지에 대한 설명을 확인할 수 있습니다. 저는 사실 이런 파트 설명을 굉장히 좋아하는 편인데요, 어떤 내용을 배우게 될지 미리 알고 공부를 시작하면 마음의 준비도 할 수 있어 습득력이 높아지는 기분이더라구요.
그런데 이 책은 단순히 전체적인 파트에 대한 설명 뿐 아니라 각 챕터에서 어떤 내용을 배우게 될지 간략하면서도 구체적으로 설명돼 있어, 내가 배우고 싶은 내용을 먼저 배우거나 재독할 때 헷갈렸던 내용 위주로 보기에도 굉장히 좋았습니다!
그 외에도 챕터별 목표가 굉장히 상세하게 서술돼 있는 점이 좋았습니다. 저는 챕터를 다 읽고 나면 앞의 내용이 좀 잊혀지는 경향이 있는 사람이라...ㅠㅠ 챕터를 다 읽고 나서 다시 앞으로 돌아와 '이 장의 목표'를 읽고 나면 다시 기억을 되살리기에 좋더라구요. 저처럼 뒤돌면 잊어버리는 내 머리 속의 지우개를 가지고 계신 분들께 좋은 기능이 될 것 같습니다.
그 외에도 예제 코드에 대한 설명이 구체적으로 나와있는 점이 좋았는데요, 각 코드별로 숫자를 달아놓고 어떤 의도에서 이 코드가 작성됐는지를 알 수 있게 해줘서 헷갈리는 코드에 대한 이해를 정확히 할 수 있었습니다.
또한 해당 내용을 이해하기 위해 필요한 수학적, 혹은 통계적 지식에 대해서도 빼놓지 않고 서술이 돼 있어 체계적으로 공부할 수 있는 책이었습니다.
오랜만에 AI 관련 도서를 리뷰했는데요, 단계별로 체계적으로 공부하며 생성 AI의 최신 트렌드까지 파악하기 좋은 도서였습니다. 어떤 단계에 계시든 다 추천드릴만한 책입니다! '만들면서 배우는 생성 AI'의 책 제목처럼 실제로 직접 코드로 만들면서 학습하시면 훨씬 재밌게 학습 가능하실거예요. 추천드립니다 :)
완전 기본서는 아니고 파이썬과 머신러닝을 조금 알아야 수월하게 읽을 수 있는 책이다. 두께도 있고 논문을 다루는 챕터도 있기 때문에 꽤나 많은 것들을 알아갈 수 있다. 완독을 한다면 아마 생성 모델에 대해서 꽤나 안다고 할 수 있지 않을까 싶기도 하다. 세상은 넓고 배울 건 많다...
직접 실습 코드를 만지면서 이리저리 바꿔보는 재미도 생성 모델만의 재미인 듯 하다.
다양한 시각 자료도 좋고, 내용도 딱딱한 느낌은 아니라 읽는 재미는 있다. 하지만 내용이 결코 쉽진 않다. 수식을 보고 있자니 수학도 좀 알아야 할 것 같고 ...ㅠㅠ
코세라 머신러닝 강의를 수강했었는데, 수강을 했음에도 모델이 어떻게 구성되어있는지 글로 알 수는 있어도 그걸 온전히 이해하고 어떻게 응용하는 것을 아는 것은 또 다른 차원임을 느낀다...
오토인코더(Auto Encoder)란 입력이 들어왔을 때, 해당 입력 데이터를 최대한 compression 시킨 후, compressed data를 다시 본래의 입력 형태로 복원 시키는 신경망입니다. 이때, 데이터를 압축하는 부분을 Encoder라고 하고, 복원하는 부분을 Decoder라고 부릅니다. 압축 과정에서 추출한 의미 있는 데이터 Z를 보통 latent vector라고 부르고, 이 외에도 ‘latent variable’, ‘latent vector’, ‘code’, ‘feature’등과 같은 용어로 부른다.
오토인코더의 압축된 정보를 어떻게 다시 복원하는가에 대한 연구가 바로 생성형 AI의 시초이기 때문이다.
이를 근간으로 GAN은 Generative Adversarial Networks 이 출현하게 된다.
이는 Generative Model의 한 종류입니다. 우리말로는 적대적 생성 신경망이 2014년 출현하게 된다.
GAN은 구글 브레인에서 머신러닝을 연구했던 Ian Goodfellow에 의해 2014년 처음으로 신경정보처리시스템학회(NIPS)에서 제안되었고 이후 이미지 생성, 영상 생성, 텍스트 생성 등에 다양하게 응용되고 있습니다.
GAN은 실제에 가까운 이미지나 사람이 쓴 것과 같은 글 등 여러 가짜 데이터들을 생성하는 모델입니다. “적대적 생성 신경망”이라는 이름에서 알 수 있듯 GAN은 서로 다른 두 개의 네트워크를 적대적으로(adversarial) 학습시키며 실제 데이터와 비슷한 데이터를 생성(generative)해내는 모델이며 이렇게 생성된 데이터에 정해진 label값이 없기 때문에 Un-supervised learning 기반 생성모델로 분류됩니다.
인공지능이 실제 예제를 학습하고 공통점을 추론하여 매우 정교한 위조품을 만들어내는 것이 목표입니다.
이런 비슷한 일을 하는 생성형 모델이 통계, 계량 경제학 및 신호 처리에서는 자기회귀 모형(自己回歸模型, autoregressive model, AR)이라고 불리워진다. 자연, 경제 등에서 시간에 따라 변하는 특정 프로세스를 설명하는 데 사용된다. 자기회귀 모형은 출력 변수가 자신의 이전 값과 확률적 항(불완전하게 예측 가능한 항)에 선형적으로 의존함을 지정한다. 따라서 모델은 확률적 차이 방정식(또는 미분 방정식과 혼동되어서는 안 되는 반복 관계)의 형태이다. MA (이동 평균) 모델과 함께 더 복잡한 확률론적 특성을 갖는 시계열의 보다 일반적인 ARMA(자기 회귀 이동 평균) 및 ARIMA(자기회귀누적이동평균) 모형의 특수한 경우이자 핵심 구성요소이다.
데이터에 따라서 모형의 설계가 조금씩 달라지기 때문에 동작은 같지만 그 안에 목적함수가 다르기 때문에 위와 같이 불리워지는 것이다.
이런 생성 모델의 이론들은 Attention is all you need라는 논문이 출현하면서 Transformer 아키텍처로 일치 단결하게 된다. 이를 통해 다양한 멀티모델과 적용이 되는 길이 열리게 된 것이다.
