小鸡毛的具身智能VLA入门自学路线

文章目录个人背景参考基础知识1. Python语言2. 深度学习入门3. PyTorch框架4. Transformer架构理论进阶1. 生成模型2. 模仿学习3. 强化学习4. 大模型基础入门VLA1. OpenVLA2. Pi系列完成项目算法题一些个人想法后续更新个人背景参考我在有一些C语言、git、linux、ROS的基本使用基础SLAM方面的理论基础了解部分传感器使用的情况下大概花了300小时左右完成了对下列内容的学习来入门具身智能VLA领域基础知识1. Python语言想快速过一遍上手的话我是直接看了一遍菜鸟教程(runoob.com); 要是时间足够想详细学一遍的话可以看MIT6.00012. 深度学习入门花两三天快速过一遍鱼书就好一定一口气看完以免遗忘后前后衔接出问题。网上普遍说跟着敲一遍我认为完全没必要了解基本原理即可后续自己做项目读写代码一样能做到提升。3. PyTorch框架时间充裕的话可以听听小土堆的课想快速入门可以省去这一步用到PyTorch的时候现场问AI也是没问题的问几次用几次也熟悉了。4. Transformer架构先去网络上搜索关于QKV在NLP中提出的背景和含义进行了解再去听“炮哥带你学”的相关课程时间充足的话可以额外跟炮哥做一遍ViT。理论进阶1. 生成模型Flow Matching and Diffusion Models, 6.S1842. 模仿学习ACT, Diffusion Policy先通过AI进行定性了解再去原论文学习即可3. 强化学习赵世钰老师的《强化学习中的数学原理》课程再去学习PPO, GRPO, SAC等常见算法学习方法同上先通过AI定性了解再回到原论文学习即可4. 大模型基础时间充裕的话上LLM: cs336想快速入门找到实习再慢慢学习的话可以看看飞天闪客、3b1b等科普博主了解流程即可。VLM 先学习CLIP后续读论文遇到什么再临时学习新的架构即可。入门VLA1. OpenVLA比较古早的开源模型适合快速上手复现微调来了解VLA到底在干嘛不过不建议花大量时间进行学习重心推荐放在Pi上其在未来使用的频率会高得多2. Pi系列Pi系列的所有文章和代码都推荐大家详细阅读学习重点可以按照顺序学习0,0.5,*0.6完成项目我个人做过的会逐一记录在博客供大家参考这里就不详细展开了算法题这一项一定不要开始太早因为我们平时很难用上相关知识到后面是会遗忘的。如果有相关基础我觉得顺手做做hot100会基本的CNN,MLP,MHA就够用了如果和我一样零基础的话可以先看《算法图解》这本书来形象理解各种概念再上代码随想录或者labuladong的速成算法网站最后再来hot100和CNN,MLP,MHA等。不过找具身初创的话其实手撕考的不多不准备直接面也是OK的一些个人想法后续更新