Transformer

Masked Autoencoders (MAE) 論文解説：高マスク率と非対称設計の理由

Vision Transformer時代の自己教師あり学習において不可欠なMasked Autoencoders（MAE）は、その高マスク率と非対称設計が、画像版BERTという表面的な理解を超えた本質的な強みを持つことを解説します。このアプローチは、画像特徴学習に革新をもたらしました。