分类目录归档:通识

4张图揭示AI发展为什么不会放缓
  1. SOTA模型基准测试 vs 人类的表现

  • 手写识别(MNIST)、语音识别(Switchboard)、图像识别(ImageNet)、阅读理解(SQuAD 1.1 & SQuAD 2.0)、语言理解(GLUE)、常识完成(HellaSwag)、小学数学(GSK8k)、代码生成(HumanEval
  1. 训练AI模型的算力需求趋势

  • 2010年以前,用于AI训练的算力每 20 个月翻一倍;2010年以后,算力每 6 个月翻一倍
  • 摩尔定律(集成电路中的晶体管数量大约每两年翻一番)意味着算力的价格一直在稳步下降
  • 据OpenAI CEO Sam Altman透露,GPT-

Read more

Mojo 编程语言

Mojo 是一种新的编程语言,通过将 Python 语法和生态系统与系统编程和元编程功能相结合,借鉴学习其他语言的特点和优势,弥合了研究和生产之间的差距。

  • 一种创新且可扩展的编程模型,面向各种加速器的高性能支持
  • 能够构建特定领域的编译器(如AI芯片、量子计算系统、FPGA 等)
  • 使用 CPython 来实现互操作性,所以与 Python 生态系统完全兼容
  • Mojo 还很年轻,因此目前只支持Python的核心功能(暂不支持Class)
  • 此外还有很多Python功能缺失,正确的长期目标是提供 Python 的超集
  • 目前可用于 Ubuntu Linux 系统,并且即将推出对 Windows 和

Read more

生物圈2号

生物圈2号是一个占地1.3万平方米,由玻璃和钢架构成的巨型建筑物,位于美国亚利桑那州图森市北部的Oracle地区。它由美国石油大王爱德华·巴斯投资2亿美元建造,于1989年完成。它的名字来源于它的原始模型“生物圈1号”,即地球。

生物圈2号内部模拟了地球上五种不同的生态系统,分别是热带雨林、海洋、荒漠、草原和沼泽。每个生态系统都有自己的气候、植被、动物和微生物。此外,还有一个居住区和一个农业区,为人类提供住所、食物和水源。

生物圈2号的设计理念是一个完全自给自足和循环利用的系统,没有任何外界的干扰和补给。利用太阳能作为能源来源,利用植物产生氧气,利用废物进行肥料和燃料。旨在模拟地球上各种

Read more

提问的智慧

1 简介

能否得到有用的回答,往往取决于你所提问和追问的方式

本书将教你如何正确的提问以获得你满意的答案

能立刻得到快速并有效答案的最好方法,就是像赢家那样提问──聪明、自信、有解决问题的思路,只是偶尔在特定的问题上需要获得一点帮助

2 在提问之前

在提问之前,请先做到以下事情:

  • 尝试在你准备提问的论坛的旧文章中搜寻答案。
  • 尝试上网搜寻来找到答案。
  • 尝试阅读手册来找到答案。
  • 尝试阅读常见

Read more

大模型的显存占用

前置知识:模型参数的数据类型

工具推荐:常见模型的显存占用计算器

模型占用

大模型的显存占用主要取决于以下几点:

  1. 参数量:以常见的大模型 Llama2为例,其常见的参数量包括7B、13B、70B;其中B表示十亿(billion)的参数级别,7B也就代表70亿个参数
  2. 参数精度:常见的浮点精度包括float32(占用4字节,32bit)、float16(16bit)、int8(8bit)、int4(4bit)等,占用空间依次递减,但模型的预测效果也会下滑

以Llama2-7B模型为例,在精度为float32的情况下,模型占用显存为: $$7

Read more

潘德明

1 基本信息

潘德明(1908年1月8日—1976年10月18日)是近代中国第一位以徒步和自行车方式周游世界的旅行家。

2 个人经历

  • 1908年1月8日出生在浙江湖州城内的一个教会家庭,祖籍江苏省南汇县沈庄陈家宅(今属上海浦东新区),父亲是一位裁缝。
  • 曾就读于东吴大学第三附中(今湖州二中)和南洋高等商业学校
  • 在旅行出发前潘德明与人合伙在南京开了一家西餐厅
  • 1930年6月下旬,潘德明加入了“中国青年亚细亚步行团”。步行团一行8人从上海出发,经杭州、广州、由海口抵达当时的法属印度支那,
  • 至清化(今属越南)时,仅剩潘德

Read more

论文审稿必提的42个问题

——来自 taylor and francis 学术出版机构

标题
这个标题清晰地表达了手稿的内容吗?
它是否包含了必要的关键词,以便让领域内的读者能够找到它?
它是否包含了任何不必要的描述或术语?
它是否清晰易懂?

摘要
摘要是对目标、主要论点、研究方法、创新贡献和结论的简短明确总结吗?
它是否包含了不必要的信息、术语或未定义的缩写词?
它是否夸大或过分强调了结论或其潜在应用/影响?

引言
引言是否清楚地总结了当前研究领域的现状?
它是否涉及到当前知识在该领域的限制?
它是否解释了手稿对现有文献的贡献和更广泛的影响?
它是否定义了手稿的目标,并且这一点是否始终如一?
主题和/或研究问题是

Read more

Andrej Karpathy

1 基本信息

Andrej Karpathy(生于 1986 年 10 月 23 日 )是一名斯洛伐克裔加拿大计算机科学家,曾在特斯拉担任人工智能和自动驾驶视觉总监。他目前在 OpenAI 工作,专攻深度学习和计算机视觉

2 个人经历

2015 年获得斯坦福大学博士学位,师从李飞飞

斯坦福大学第一门深度学习课程 CS 231n 的作者和主要讲师

2015 年至 2017 年,人工智能研究小组 OpenAI 的创始成员

2017 年 6 月~ 2022 年 7 月,特斯拉的人工智能总监

2023 年 2 月,Karp

Read more

林纳斯·托瓦兹

1 基本信息

林纳斯·贝内迪克特·托瓦兹(Linus Benedict Torvalds),生于芬兰赫尔辛基市,拥有美国国籍,Linux内核的最早作者,随后发起了这个开源项目,担任Linux内核的首要架构师与项目协调者,是当今世界最著名的电脑程序员、黑客之一。他还发起了开源项目Git,并为主要的开发者。

2 个人经历

1969年12月28日托瓦兹出生于芬兰赫尔辛基

1988年至1996年托瓦兹就读于赫尔辛基大学,并获得计算机硕士学位

1991年托瓦兹开始接触GNU项目,并于1991年底公开发布第一个 Linux 原

Read more

理查德·马修·斯托曼

1 基本信息

理查德·马修·斯托曼(Richard Matthew Stallman, RMS),于1953年出生,自由软件运动的精神领袖、GNU计划以及自由软件基金会(Free Software Foundation)的创立者、著名黑客。

2 个人经历

1953年3月,斯托曼出生于美国纽约一个犹太人家庭

早年他就对计算机有很深的兴趣;1970年秋季考入哈佛大学物理系

1971年,成为麻省理工学院人工智能实验室助理程序员,同时也成为黑客社区的常客

斯托曼在1983年9月推出了GNU项目。借此又发起了自由软件运动

Read more