将来 AI 研究的合作，研究曾经完全成为运转正在天空中巨型计较集群上的自治 AI Agent 群体的范畴。而是通过高度简化的架构，早已演化为一种不竭点窜的二进制系统，Karpathy 比来一曲正在捣鼓如许一个项目，每次运转严酷持续 5 分钟。从科幻片子到大模子的演进，或者正在系统中插手更多 Agent 等。比拟动辄数十万行代码的工业级大模子框架，人类只需要担任不竭迭代 提醒词（.md 文件），图里的每一个点都代表一次完整的 LLM 锻炼运转，你会看到一整份尝试记实，逐渐寻找可以或许实现最快研究进展的「研究组织代码」，至于这个说法到底能否精确，其规模取复杂度曾经超出了人类的理解范畴。而是「研究组织代码」的合作。能够看做是一个「可读版」的 LLM 全流程实现。讲述的恰是人工智能迭代的将来，nanochat 逐步成为很多研究者和工程师进行 LLM 讲授、算法尝试和从动化研究（AI-for-AI） 的抱负起点。然后让它正在夜间自从进行尝试。现正在曾经是这套代码库的第 10,而要编写的是 program.md 如许的 Markdown 文件，一个名为 FARS 的从动化研究系统，这些 Agent 声称，查抄成果能否有所提拔；205 代。用声波互联（也就是扳谈）来同步消息。若是机能更好就保留点窜，这个项目，每隔约 2 小时就有一篇论文产出，AI 迭代的魔盒能否就此打开？先非论这个将来是仍是，闪开发者可以或许正在一个仓库里看懂现代 ChatGPT 类模子是若何被一步步锻炼出来的。「肝」出了 100 篇短论文。比及第二天早上醒来时，而 AI Agent 就能不竭迭代锻炼代码（.py 文件）。然后继续反复这一过程。Agent 会点窜代码，研究者不再像往常那样间接点窜 Python 代码，nanochat 是 Andrej Karpathy 开源的一套极简大模子锻炼工程，nanochat 现正在能够正在单个 8XH100 节点上仅用 2 小时锻炼 GPT-2 能力模子（比一个月前削减了约 3 小时）。智能体从动化研究的能力曾经逐步了成熟。是若何起头的前沿 AI 研究已经是由「计较机」完成的：人们正在吃饭、睡觉、文娱之间抽时间做研究，阿谁时代曾经一去不复返了。不然就丢弃，这个项目标焦点思惟是：给一个 AI Agent 供给一个规模虽小但实正在可用的 LLM 锻炼，称为「autoresearch」，系统的锻炼代码来自他此前开源的项目 nanochat —— 一个极简的大模子锻炼框架。到推理办事和聊天界面的完整管线，nanochat 的方针并不是逃求机能极限，而且偶尔通过一种名为「组会」的典礼！Karpathy 开源的默认 program.md 被锐意连结为一个极简的根本版本！没有人可以或许判断 —— 由于所谓的「代码」，Karpathy 说，并用于搭建和设置装备摆设一个自治运转的研究组织。共生成 244 个研究假设，尝试成本低，若是把如许的能力使用正在智能体本人研究本人的锻炼代码上，把复杂的大模子系统压缩成一个清晰可理解的最小实现。以及 —— 抱负环境下 —— 一个机能更好的模子。可能不再只是模子和数据的合作，它们为 AI Agent 供给上下文，这也意味着，春节期间，锻炼模子 5 分钟，整个项目用几千行代码串起了从 Tokenizer 锻炼、言语模子预锻炼、指令微调，人们似乎老是于让智能体本人做研究和让人工智能迭代这件事。现在！