第二章　生成式 AI 技術基礎

# 第二章　生成式 AI 技術基礎 本章將深入探討支撐虛擬偶像的三大技術領域： 1️⃣ 影像生成（深度學習、GAN、擴散模型） 2️⃣ 語音與文字（語音合成 TTS、自然語言處理 NLP） 3️⃣ 動態影像與 3D 建模（AI 驅動的動畫、模型建構） 透過概念說明、實作範例與產業案例，協助讀者快速建構屬於自己的 AI‑偶像流水線。 --- ## 2.1 深度學習、生成對抗網路（GAN）與擴散模型 ### 2.1.1 深度學習概述 | 項目 | 核心概念 | 常見框架 | 典型應用 | |------|-----------|----------|----------| | **神經元** | 模擬生物神經元的訊號傳遞 | `nn.Linear`, `Conv2d` | 特徵抽取、分類 | | **層（Layer）** | 多層堆疊形成「深」網路 | `ResNet`, `Transformer` | 影像辨識、語言模型 | | **損失函數** | 評估預測與真值的差距 | `CrossEntropy`, `MSE` | 監督學習訓練 | | **優化器** | 調整權重以最小化損失 | `Adam`, `SGD` | 加速收斂 | > **實務小技巧**：在虛擬偶像的圖像生成階段，建議先使用 *預訓練模型*（如 `StyleGAN2`）作為基礎，再以自有資料微調（Fine‑tune），可在 10–20 小時內得到高品質角色圖。 ### 2.1.2 生成對抗網路（GAN） 1. **基本結構**： - **Generator（生成器）**：接受隨機噪聲 \(z\) ，輸出偽造影像 \(G(z)\)。 - **Discriminator（鑑別器）**：判斷輸入影像是真實還是偽造，輸出概率 \(D(x)\)。 2. **損失函式**（原始 GAN）： ```math \min_G \max_D V(D, G) = \mathbb{E}_{x\sim p_{data}}[\log D(x)] + \mathbb{E}_{z\sim p_z}[\log(1 - D(G(z)))] ``` 3. **變種**： - **StyleGAN / StyleGAN2**：引入「風格向量」與「逐層調整」，適合高解析度人物生成。 - **BigGAN**：大規模類別多樣化，適合產出不同風格的次元角色。 4. **在虛擬偶像中的應用**： - **概念圖快速產出**：從文字提示 (Prompt) 產生多樣化角色草圖。 - **角色變體**：透過 *latent space interpolation*（潛在空間插值）產生同一角色的不同表情、服裝或髮型。 #### 案例：使用 StyleGAN2‑ADA 微調產出「星瀾」系列形象 | 步驟 | 操作 | 主要參數 | |------|------|----------| | 1️⃣ 數據收集 | 收集 2,000 張 512×512 人物插畫（含風格一致性） | — | | 2️⃣ 前處理 | 轉為 `TFRecord`、正則化至 \[-1, 1\] | — | | 3️⃣ 訓練 | `python train.py --outdir=./results --gpus=2 --data=./data --aug=ada` | ADA (Adaptive Data Augmentation) 自動調整增強力度 | | 4️⃣ 微調 | 加入 200 張「星瀾」概念圖作為 *target domain* | learning_rate=0.002, batch=4 | | 5️⃣ 生成 | `python generate.py --network=./results/network-snapshot.pkl --seeds=1-10` | 可視化 10 個隨機種子 | > **結果**：在 12 小時內得到 10 張 1024×1024 高品質角色圖，已直接用於後續 3D 模型建模參考。 ### 2.1.3 擴散模型（Diffusion Model） > **核心概念**：擴散模型將資料逐步加入噪聲（forward diffusion），再學習逆向去噪的過程，最終在純噪聲下生成真實樣本。 #### 2.1.3.1 數學描述 - **Forward 过程**（固定）： $$x_t = \sqrt{\alpha_t}\,x_{t-1} + \sqrt{1-\alpha_t}\,\epsilon_t,\quad \epsilon_t \sim \mathcal{N}(0,I)$$ - **Reverse 过程**（學習）： $$p_θ(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_θ(x_t, t), \Sigma_θ(x_t, t))$$ #### 2.1.3.2 主流架構 | 模型 | 特色 | 代表應用 | |------|------|-----------| | **DDPM**（Denoising Diffusion Probabilistic Model） | 訓練穩定、可生成 1024px 以上高解析度 | 影像生成、概念圖 | **Latent Diffusion Model (LDM)** | 在潛在空間 (latent) 中擴散，計算成本降低 10× | Stable Diffusion、DreamBooth | **Imagen / DALL·E 3** | 大規模語言‑影像對應，文本條件化強 | 商業廣告、虛擬偶像宣傳圖 #### 2.1.3.3 在虛擬偶像工作流中的角色 1️⃣ **概念設計**：利用 *Stable Diffusion* 搭配 **Prompt Engineering**，快速產出不同情境的角色插畫（如「未來都市夜景」「古風茶會」）。 2️⃣ **服裝/道具變體**：右鍵插入 *ControlNet*（姿勢/輪廓控制），保持身形一致，同時變換服裝細節。 3️⃣ **動畫關鍵幀生成**：將影片關鍵幀分別生成，再透過 *插值*（Interpolation）產生流暢過渡。 --- ## 2.2 語音合成（TTS）與自然語言處理（NLP） ### 2.2.1 語音合成（Text‑to‑Speech） | 技術路線 | 代表模型 | 特色 | |----------|----------|------| | **端到端 Tacotron 2** | `Tacotron2 + WaveGlow` | 文本→頻譜→波形，易於訓練微調 | | **FastSpeech / FastSpeech 2** | `FastSpeech2` | 速度快、可控音高、速率 | | **VITS**（Variational Inference TTS） | `VITS` | 端到端、無需額外 Vocoder，音質接近真實 | | **聲線克隆** | `YourTTS`, `Ada‑Voice` | 少量樣本即可複製特定人物聲音 | #### 2.2.1.1 實務操作流程（以 VITS 為例） ```bash # 1. 準備資料： # - wav (16kHz, mono) # - 對應的文字稿 (UTF‑8) # - metadata.csv (audio_path|transcript) # 2. 下載預訓練模型 wget https://huggingface.co/espnet/vits_ljspeech/blob/main/vits.pth # 3. 微調（僅 5 小時） python train.py \ --config configs/vits.yaml \ --train_set data/train \ --valid_set data/valid \ --outdir exp/vits_finetune \ --pretrained_model vits.pth # 4. 合成測試 python synthesize.py \ --model exp/vits_finetune/model.pth \ --text "大家好，我是星瀾，歡迎來到我的直播間！" ``` > **提示**：若要打造 *情感化* 的虛擬偶像聲線，可在訓練資料中加入情緒標記（`<happy>`, `<sad>`），並在推理時加上相應標籤。 ### 2.2.2 自然語言處理（NLP） #### 2.2.2.1 核心技術 | 領域 | 主流模型 | 常見任務 | |------|----------|----------| | **語言模型** | GPT‑4, LLaMA, Bloom | 文本生成、對話、腳本撰寫 | | **情感分析** | BERT‑based, RoBERTa | 觀眾情緒即時感知 | | **意圖辨識** | DialogRNN, ELMo | 指令解析、互動觸發 | | **多語言** | mT5, XLM‑R | 跨國粉絲互動 | #### 2.2.2.2 虛擬偶像對話系統設計 1. **意圖辨識**：使用 `IntentClassifier`（微調自有對話資料）辨別觀眾是「點歌」還是「問候」。 2. **回應生成**：將辨識結果作為 *System Prompt*，交給 `GPT‑4` 產生自然回覆。 3. **情感調節**：根據觀眾情緒（正/負）調整語氣，例如： - 正向 → 活潑、使用 Emoji - 負向 → 安慰、使用柔和語氣 4. **語音輸出**：將文字回覆送入前述 TTS，引出聲音回覆。 #### 2.2.2.3 範例程式碼（Python + OpenAI API） ```python import openai, json from transformers import pipeline # 1. Intent classification (簡化版) intent_classifier = pipeline('text-classification', model='ckiplab/albert-base-chinese-entity-recognition') def get_intent(text): result = intent_classifier(text)[0] return result['label'] # 2. Generate response via GPT‑4 openai.api_key = "YOUR_API_KEY" def generate_reply(user_msg): intent = get_intent(user_msg) system_prompt = f"You are a lively virtual idol named 星瀾. Respond in a friendly tone. Detected intent: {intent}." response = openai.ChatCompletion.create( model="gpt-4", messages=[{"role": "system", "content": system_prompt}, {"role": "user", "content": user_msg}], temperature=0.8) return response.choices[0].message.content # 3. TTS (VITS) – 假設已有本地服務 def synthesize(text): # 這裡呼叫本地 VITS API，簡化示意 import requests r = requests.post('http://localhost:5000/synthesize', json={'text': text}) return r.content # 返回 wav binary # 整合示例 user_input = "星瀾，幫我點一首抒情歌吧" reply = generate_reply(user_input) audio = synthesize(reply) # 播放 audio 或回傳給前端 ``` > **最佳實踐**：將 Intent 與情感辨識分層，確保模型回應的「正確性」與「情緒貼合」兩方面皆達標。 --- ## 2.3 動態影像與 3D 建模的 AI 驅動方法 ### 2.3.1 AI 生成的 2D 動畫（動畫帧） | 方法 | 代表工具 | 應用說明 | |------|----------|----------| | **基於姿態的影片合成** | `AnimateDiff`, `ControlNet (pose)` | 從 2D 姿勢圖自動生成行走、舞蹈等動作帧 | | **影片‑到‑影片（Video‑to‑Video）** | `Dreamix`, `Sora`（OpenAI） | 將概念影片風格化（如卡通化、霓虹化） | | **光流補帧（Frame Interpolation）** | `RIFE`, `DAIN` | 將低幀率動作升至 60fps，提升直播流暢度 | #### 2.3.1.1 案例：利用 AnimateDiff 產出「即興舞蹈」 1️⃣ **取得姿勢序列**（OpenPose） ```python import cv2, numpy as np from openpose import OpenPoseWrapper pose_seq = OpenPoseWrapper().extract(video_path='input.mp4') ``` 2️⃣ **把姿勢序列餵給 AnimateDiff** ```bash python animate_diff.py \ --pose_seq ./pose_seq.npy \ --prompt "a futuristic idol dancing with neon lights" \ --output ./dance.mp4 ``` > **效果**：原始 15fps 影片在 30 秒內被轉為 30fps、光影渲染的 3D 風格舞蹈，適合即時直播的 **多模態互動**（觀眾文字指令 → 姿勢變換 → 動畫即時回饋）。 ### 2.3.2 3D 模型生成與自動化建模 | 技術 | 代表平台/模型 | 特色 | |------|--------------|------| | **NeRF（神經輻射場）** | `Instant‑NeRF`, `Plenoxels` | 從少量照片重建 3D 形體，適合快速迭代角色外觀 | | **Text‑to‑3D** | `DreamFusion`, `Magic3D` | 輸入文字描述直接產出 3D mesh（支援 UV、材質） | | **自動綁定與動作捕捉** | `AutoRig`, `Mixamo` + `DeepMotion` | 自動生成骨骼、綁定權重，支援即時姿勢驅動 | #### 2.3.2.1 工作流示例（從 Prompt 到可即時渲染的 Unity 模型） 1️⃣ **文字到 3D（Magic3D）** ```bash python magic3d.py \ --prompt "a cute cyber‑punk idol with glowing cyan hair" \ --output ./starling.obj ``` 2️⃣ **自動 UV 展開與貼圖**（Blender Python API） ```python import bpy bpy.ops.import_scene.obj(filepath='./starling.obj') obj = bpy.context.selected_objects[0] # UV unwrap bpy.ops.object.mode_set(mode='EDIT') bpy.ops.uv.smart_project() # 生成 PBR 材質 (使用 Diffusion 產生貼圖) # 省略細節，示意性程式碼 ``` 3️⃣ **自動綁定骨骼（AutoRig）** ```bash autorig --input ./starling.obj --output ./starling_rigged.fbx ``` 4️⃣ **匯入 Unity 並加入即時渲染插件（URP + Shader Graph）** - 使用 Unity Hub 匯入 `starling_rigged.fbx` - 套用自訂 Shader（發光髮絲、透明服飾） - 透過 `WebSocket` 接收外部姿勢資料，即可在直播中即時驅動角色動畫。 ### 2.3.3 多模態即時渲染管線 | 元件 | 功能 | 推薦實作方式 | |------|------|--------------| | **輸入層** | 文字/語音指令、觀眾 Emoji、相機捕捉 | WebSocket、gRPC、OBS 輸入插件 | | **指令解析** | NLP → Intent → 轉換為姿勢/表情參數 | 前述 NLP 模型 + 姿勢映射表 | | **姿勢生成** | PoseNet / ControlNet → 3D 骨骼參數 | 使用 `DeepMotion` 雲端 API（低延遲） | | **渲染引擎** | 實時光線追蹤或光柵化渲染 | Unity URP + NVIDIA DLSS 或 Unreal Engine → Live Link | | **音效/語音** | TTS 合成、背景音樂 | VITS + 音訊混音器（如 VoiceMeeter） | > **關鍵 KPI**：端到端延遲 < 200ms（文字指令 → 虛擬偶像動作），保持觀眾沉浸感。 --- ## 小結與實務操作清單 | 項目 | 建議工具/資源 | 實作時間估計 | |------|----------------|----------------| | **影像生成** | StyleGAN2‑ADA、Stable Diffusion、ControlNet | 1–2 天（資料收集 + 微調） | | **語音合成** | VITS、YourTTS、Azure Speech Service | 4–6 小時（微調） | | **NLP 對話** | GPT‑4、LLaMA、OpenAI Function Calling | 1 天（意圖模型 + 測試） | | **2D 動畫** | AnimateDiff、RIFE、ControlNet | 0.5 天（姿勢擷取 + 合成） | | **3D 建模** | Magic3D、AutoRig、Unity URP | 2–3 天（從 Prompt 到即時渲染） | > **作者提示**：本章的每項技術皆可獨立使用，也可組合成完整的「AI‑偶像即時製作」流水線。讀者在實作時，可先以「單一模組」驗證可行性，再逐步整合形成可商用的多模態互動平台。