• 本身是一種 Unsupervised Learning (非監督式學習) 和 Self-supervised Learning (自監督式學習)，或稱為 pre-training
• Encoder將輸入 $X$ 壓縮到一個 $Z$ 維的潛在空間（Latent Space），
  再透過Decoder重建成和輸入很像的 $X^{\prime }$

Basic Idea of Auto-encoder

• 讓輸入與輸出越接近越好
• 訓練的過程無標註資料
• 由 Encoder 輸出可稱為: Embedding, Representation, Code

如何用到 Downstream(下游) 裡面？

• 通過Encoder的壓縮之後變成叫低維的向量（用於下游任務）
  這一段可稱為 bottleneck, Dimension reduction ⇒ 高維 to 低維

大致流程:

• 生成資料可以利用Auto-encoder，利用nn來壓縮，再利用nn來解壓，輸入與輸出愈接近愈好
• 訓練好nn之後，後段的Decoder就可以拿來做生成器使用

因為圖片的變化是有限的，所以可以化繁為簡來表示

De-noising Auto-encoder

• Encoder 的輸入( $x^{\prime }$ ) 是透過原始輸入( $x$ ) 加上一點雜訊變換而成
• Decoder 的輸出( $y^{\prime }$ ) 要跟原本的輸入( $x$ ) 越像越好

this example like a BERT, Bidirectional Encoder Representations from Transformers

Related

• Feature Disentanglement → Encoder
• Discrete Latent Representation (離散的潛在表徵) → Encoder

Application

Compression： Auto-Encoder看作一個壓縮的過程

• Encoder當作壓縮後的輸出
• Decoder就是解壓縮，但Decoder後的輸出必定會有些差距
  • Lossy 失真

• Generator
  Decoder其實就像是Generator, 給一段vector給一段近似於輸入的輸出

• Anomaly Detection (異常偵測)
  來判斷之後的輸出和先前訓練的資料是否異常，可以稱為 outlier, novelty, exception, anomaly
  • application:
    • Fraud Detection(欺詐交易偵測)
    • Network Intrusion Detection(網路入侵偵測)
    • Cancer Detection(癌細胞偵測)