Meta Learning
Introduction
Meta Learning = Learn 2 Learn
Life-Long Learning & Meta Learning
Life-Long Learning: 不断用同一个模型进行学习
Meta Learning: 不同任务拥有不同的模型
ML
Meta Learning
Machine Learning & Meta Learning
Training
Loss函数，多任务loss值之和
数据集划分
ML为训练集&测试集，Meta Learning为训练任务&测试任务
Meta Learning常与few-shot learning联系，仅用少量数据集进行训练
Support & Query set
整体流程
Omniglot
Few-Shot Classification
常见方法
MAML
固定模型架构，仅针对初始化参数
MAML & Model Pre-Training
MAML训练仅update一次，测试中为取得更好效果可update多次
Example：拟合三角函数
数学推理
first-order approximation 近似简化计算
实际应用：
MAML参数进行两次update：
（1）得到训练后参数theta
（2）得到theta对loss的偏微分，用于更新初始参数
Reptile
训练
区别：Pre-train & MAML & Reptile
Gradient Descent as LSTM
V1
GD视为LSTM简化版：
input & forget gate的参数并非学习而来，而是人为设定
LSTM for GD
动态调整学习率并对先前参数进行处理
training
简化运算
实际应用
LSTM适用于所有参数的更新，仅有一个LSTM cell
training&testing 应用不同model：CNN&RNN (MAML无法做到)
v2
下层LSTM类似于倒数（加速度）
Metric-based Approach
概述
Face Verification & Face Identification
Face Identification:判断是一组人中哪一个
Face Verification:判断是否是同一个人
Face Verification训练
类似word2vec
实例
Prototypical Network
效果大于Matching
n-shots情景，对embedding取平均值：
Matching Network:
Relation Network
不同于Prototypical Network & Matching Network，Relation Network采用两个module，第一个用于提取embedding，第二个用于计算class与test set的embedding之间的相似度。
（彩色长方体为提取出的各类别embedding，黄色为输入embedding）
之前方法的相似度使用特定的计算方式（eg.余弦）
Imaginary Data
GAN网络部分与learning+prediction网络共同权重更新进行训练
Test as RNN
一般思路 general
但实验中模型无法成功训练
MANN & SNAIL
SNAIL类似wavenet网络构造，加强输入之间的联系
