第2章 虛擬偶像資料來源剖析

# 第2章 虛擬偶像資料來源剖析 在虛擬偶像產業中，資料是「靈魂」。 本章將帶領你從觀眾互動、社群媒體指標到內容元資料，逐層拆解可用於建模的資料來源；並說明採集策略（API、爬蟲、傳感器）與資料品質管理。以下以繁體中文撰寫，結合實務案例與程式範例，讓你能即刻落實。 ## 2.1 觀眾互動數據 | 互動類型 | 說明 | 典型指標 | 產出範例 | |---|---|---|---| | **點贊** | 觀眾對內容的正向回饋 | 點贊數 | `{'user_id': 123, 'post_id': 456, 'like': 1}` | | **留言** | 觀眾文字或語音訊息 | 留言數、留言長度 | `{'user_id': 123, 'comment': '好可愛！'}` | | **分享** | 觀眾將內容轉發至他平台 | 分享數 | `{'user_id': 123, 'share': 1}` | | **關注** | 觀眾追蹤虛擬偶像帳號 | 新增關注數 | `{'user_id': 123, 'follow': 1}` | | **觀看時長** | 觀眾在影片中的停留時間 | 秒數 | `{'user_id': 123, 'duration': 180}` | > **實務提示**：直播平台通常提供 **WebSocket** 或 **RTMP** 的即時事件訂閱，能即時抓取上述互動，適用於實時營運分析。 ### 2.1.1 直播平台 API 範例 以下以 **YouTube Live Streaming API** 為例，展示如何抓取直播間的即時評論（Live Chat）並存儲為 Pandas DataFrame。 python import os import google.auth from googleapiclient.discovery import build import pandas as pd # 取得授權 creds, project = google.auth.default(scopes=['https://www.googleapis.com/auth/youtube.readonly']) service = build('youtube', 'v3', credentials=creds) # 指定直播 ID live_id = 'YOUR_LIVE_STREAM_ID' # 取得聊天訊息 response = service.liveChatMessages().list( liveChatId=live_id, part='snippet,authorDetails', maxResults=2000 ).execute() # 轉成 DataFrame chat_items = [] for item in response['items']: chat_items.append({ 'publishedAt': item['snippet']['publishedAt'], 'author': item['authorDetails']['displayName'], 'text': item['snippet']['displayMessage'], 'likeCount': item['snippet'].get('likeCount', 0) }) df_chat = pd.DataFrame(chat_items) print(df_chat.head()) > **注意**：在實際部署時，請設計**輪詢機制**（`pageToken`）以持續抓取新訊息，並加入資料流管線（如 Kafka）以支援後續即時分析。 ## 2.2 社群媒體指標 虛擬偶像的社群平台（Twitter、Instagram、TikTok、LINE OA）各有其特有指標，以下以**Instagram**與**Twitter**為例。 ### 2.2.1 Instagram | 指標 | 含義 | 取得方式 | |---|---|---| | 媒體曝光量 | 貼文被瀏覽次數 | `engagement` API 或 `insights` 端點 | | 互動率 | (喜歡 + 留言 + 分享) / 追蹤者 | 透過 `engagement` 計算 | | 追蹤者增長 | 每日新增追蹤者數 | `followerCount` 變化 | python import requests import json access_token = 'YOUR_ACCESS_TOKEN' url = f'https://graph.facebook.com/v17.0/17841400000000000/insights?metric=impressions,reach,engagement,story_views&access_token={access_token}' response = requests.get(url) print(json.dumps(response.json(), indent=2)) ### 2.2.2 Twitter > **Twitter API v2** 需要申請 **Academic Research** 許可，才能取得完整推文互動數據。 python import requests import os bearer_token = os.getenv('TWITTER_BEARER_TOKEN') headers = { 'Authorization': f'Bearer {bearer_token}', } # 取得最近 10 筆推文 url = 'https://api.twitter.com/2/users/1234567890/tweets?max_results=10' response = requests.get(url, headers=headers) print(response.json()) > **實務建議**：對於多平台資料，請統一**時間戳**（UTC）與**語言編碼**（UTF‑8），並將原始資料存入 **Data Lake**，以備後續資料清洗與分析。 ## 2.3 內容元資料 虛擬偶像產出（MV、直播、短影片）本身就攜帶大量元資料： | 元資料 | 描述 | 典型欄位 | |---|---|---| | **視頻** | 影片長度、解析度、編碼格式 | `duration`, `resolution`, `codec` | | **音訊** | 音量、頻率、聲道 | `sample_rate`, `channels` | | **字幕** | 語言、字元數 | `language`, `subtitle_text` | | **場景資訊** | 背景、道具 | `scene_description` | | **使用者交互元** | 視頻上貼圖、投票結果 | `emojis`, `poll_responses` | > **資料來源**：通常由 **內容製作工具**（如 Adobe Premiere、OBS Studio）產生的 **XML / JSON** 檔案；也可透過 **媒體檢索 API**（e.g. FFmpeg）自動抽取。 bash # 使用 FFprobe 取得視頻元資料範例 ffprobe -v quiet -print_format json -show_format -show_streams video.mp4 > meta.json ## 2.4 資料採集策略 ### 2.4.1 API - **優點**：資料結構化、更新頻率高、官方支援、可限制存取權。 - **缺點**：速率限制、授權需求、資料格式多樣。 - **工具**：`requests`、`tweepy`、`google-api-python-client`。 ### 2.4.2 爬蟲 - **適用場景**：平台無 API 或需取得非結構化資料（如網頁評論、圖片）。 - **工具**：`BeautifulSoup`、`Scrapy`、`Playwright`（JavaScript 渲染） - **注意事項**：遵守 robots.txt、使用代理、限制爬取頻率，避免 IP 被封。 python import scrapy class CommentSpider(scrapy.Spider): name = 'comment' start_urls = ['https://example.com/live/123'] def parse(self, response): for item in response.css('.comment'): yield { 'user': item.css('.user::text').get(), 'content': item.css('.content::text').get(), 'time': item.css('.time::text').get(), } ### 2.4.3 傳感器 虛擬偶像直播時，可透過 **VR / AR** 設備或 **動作捕捉器**（OptiTrack、Azure Kinect）收集姿勢、手勢、面部表情等多模態資料。 | 傳感器 | 主要輸出 | 應用場景 | |---|---|---| | **光學動作捕捉** | 3D 骨骼座標 | 高品質動畫、舞蹈同步 | | **IMU** | 傾斜角、加速度 | 手勢檢測、體感互動 | | **面部捕捉** | 口型、表情指數 | 角色臉部動畫、語音合成 | > **實務建議**：將傳感器資料 **批次寫入** 至 **時間序列資料庫**（如 InfluxDB），並與直播事件同步，形成完整的多模態事件流。 ## 2.5 資料品質管理 | 風險 | 檢測方法 | 對策 | |---|---|---| | **遺失值** | 描述統計、`isnull()` | 補值、刪除、使用模型補齊 | | **重複資料** | `drop_duplicates()` | 合併、檢查來源衝突 | | **異常值** | IQR、Z-score | 風險評估、資料修正 | | **時序漂移** | 差分、滑動窗口 | 時間標記統一、重新同步 | | **格式不統一** | 型別轉換、正則表達式 | 事前規範、統一欄位標準 | > **工具**：`pandas`, `polars`, `pyjanitor`, `great_expectations`（資料驗證） ## 2.6 小結 虛擬偶像資料來源多樣，涵蓋從 **即時互動**、**社群指標**、**內容元資料** 到 **多模態傳感器**。採集策略應因應平台規範、資料結構與分析需求而選擇 API、爬蟲或硬體裝置；同時要建立資料品質管線，確保後續模型擁有可靠基礎。 本章的重點在於**「資料是虛擬偶像營運的核心」**，未來各章節將以此為基礎，探討如何進行資料清洗、探索性分析、模型訓練，最終打造全自動化的 AI 產生與營運流程。