“gpt-from-scratch”项目，在单个JupyterNotebook

又仁看科技 2025-02-21 13:20:33

“gpt-from-scratch”项目，在单个Jupyter Notebook中，实现从零开始训练一个小型GPT风格的解码器语言模型。

github.com/kevinpdev/gpt-from-scratch

一个5.3 MB大小的Jupyter Notebook。涵盖了从文本分词、位置编码、自注意力机制到模型训练和推理的完整过程。同时每一步还有详细的讲解。读者可以通过该项目深入理解GPT模型的内部机制、训练流程等。

0 阅读：0

又仁看科技

感谢大家的关注

作者最新文章

1

康奈尔大学的教程：理解GPU架构“Understanding GPU Arch

2

拿自己id试了几个问题. 图1直接搜蚁工厂能根据其他人提及我id的微博来总结我是

3

General Reasoning，一个用于构建大型推理模型的新开源资源。网址很

4

电子书《动手学 Ollama 教程》datawhalechina.github.

5

Lightpanda Browser，一个专为 AI 和自动化设计的无头浏览器项

6

昨天介绍的huggingface的交互式电子书《终极调参指南：在大规模GPU集群

7

“gpt-from-scratch”项目，在单个Jupyter Notebook

8

DeepSeek对技术真是太Open了。刚发了预告，从下周开始，将开源 5 个库

9

TinyCompiler：用一个周末的时间来写一个编译器ssloy.github

10

一个讲解如何从头开始构建 DeepSeek R1的项目github.com/Fa

热门分类

推荐热榜军事 NBA 体育社会明星八卦娱乐财经科技汽车历史国际游戏动漫公益搞笑商业互联网数码国际足球房产家居时尚科学探索职场育儿股票教育影视情感热点中国军情武器中国南海中国足球亚洲杯科比综合体育 CBA 投资楼市大咖秀外汇创业风口 SUV 豪车概念车优惠新能源美国欧洲朝日韩俄罗斯孕期街拍恋爱攻略婚姻正能量

科技TOP

1

有没有注意到海尔老板的领带上都是空调、洗衣机，双开门冰箱，细节满满。

2

美团王兴的刀，终于砍向了京东的命门！当刘强东用“零佣金”撬走美团商家、用“五险一

3

选华为还是荣耀从参数对比来看华为的优势在于拍照，USB速度，全系北斗卫星

4

选荣耀手机，看这四款就够了❗️这四款荣耀手机绝对有代表性，从旗舰到中端，再到

5

雷军传奇的一生，寝室6人，一人不落：1、林斌现任小米集团副董事长、执行董事，

6

其实iPhone15Pro的电池也还行吧，我这个循环计数都840了电池健康还有

7

哪个记者这么牛，抓拍到雷军的这张照片。雷军是比较辛苦的，产业比较大，管着造车、造

8

2千档的高性价比手机对比指南2000元左右的手机，这几款都很能打，配置拉满了，

9

2024年初江哥预测FindX7Ultra降价趋势，你们就说准不准吧？期待Fi

10

要颜值有颜值，拍照有拍照！现在这几款手机都是非常不错的手机，个人认为荣耀300系

科技最新文章

1

当雷军宣布SU7Ultra售价52.99万时，整个车圈都在算账：三电机成本25

2

我问我老公，假如你手握60万，你是买宝马X5还是买小米SU7Ultra？我老公

3

华为新机颜值杀疯了！这设计友商得连夜开会学！刚曝光的nova14真机图直接炸

4

董明珠大大咧咧地跟雷军说：你那车的空调，交给姐来做！雷军不慌不忙，推了推眼镜，

5

有没有注意到海尔老板的领带上都是空调、洗衣机，双开门冰箱，细节满满。

6

马斯克要被美国内斗毁了，星舰第八次又炸了，特斯拉的销量极速下滑，脑机接口，超级高

7

6000元以上手机的国补政策也来了！某宝的国补页面显示，针对指定手机（

8

6000以上国补真来了🙌🙌目前只针对手机，北京地区viv

9

雷军传奇的一生，寝室6人，一人不落：1、林斌现任小米集团副董事长、执行董事，

10

雷军为啥这么多年没绯闻？