分类目录归档:通识

大模型的显存占用

大模型的显存占用主要取决于以下几点:

  1. 参数量:以常见的大模型 Llama2为例,其常见的参数量包括7B、13B、70B;其中B表示十亿(billion)的参数级别,7B也就代表70亿个参数
  2. 参数精度:常见的浮点精度包括float32(占用4字节,32bit)、float16(16bit)、int8(8bit)、int4(4bit)等,占用空间依次递减,但模型的预测效果也会下滑

以Llama2-7B模型为例,在精度为float32的情况下,模型占用显存为: $$7\times 10^9\times 4 bit=28\times 10^9/1024 KB=28\times 10^9/102

Read more

潘德明

1 基本信息

潘德明(1908年1月8日—1976年10月18日)是近代中国第一位以徒步和自行车方式周游世界的旅行家。

2 个人经历

  • 1908年1月8日出生在浙江湖州城内的一个教会家庭,祖籍江苏省南汇县沈庄陈家宅(今属上海浦东新区),父亲是一位裁缝。
  • 曾就读于东吴大学第三附中(今湖州二中)和南洋高等商业学校
  • 在旅行出发前潘德明与人合伙在南京开了一家西餐厅
  • 1930年6月下旬,潘德明加入了“中国青年亚细亚步行团”。步行团一行8人从上海出发,经杭州、广州、由海口抵达当时的法属印度支那,
  • 至清化(今属越南)时,仅剩潘德

Read more

论文审稿必提的42个问题

——来自 taylor and francis 学术出版机构

标题
这个标题清晰地表达了手稿的内容吗?
它是否包含了必要的关键词,以便让领域内的读者能够找到它?
它是否包含了任何不必要的描述或术语?
它是否清晰易懂?

摘要
摘要是对目标、主要论点、研究方法、创新贡献和结论的简短明确总结吗?
它是否包含了不必要的信息、术语或未定义的缩写词?
它是否夸大或过分强调了结论或其潜在应用/影响?

引言
引言是否清楚地总结了当前研究领域的现状?
它是否涉及到当前知识在该领域的限制?
它是否解释了手稿对现有文献的贡献和更广泛的影响?
它是否定义了手稿的目标,并且这一点是否始终如一?
主题和/或研究问题是

Read more

Andrej Karpathy

1 基本信息

Andrej Karpathy(生于 1986 年 10 月 23 日 )是一名斯洛伐克裔加拿大计算机科学家,曾在特斯拉担任人工智能和自动驾驶视觉总监。他目前在 OpenAI 工作,专攻深度学习和计算机视觉

2 个人经历

2015 年获得斯坦福大学博士学位,师从李飞飞

斯坦福大学第一门深度学习课程 CS 231n 的作者和主要讲师

2015 年至 2017 年,人工智能研究小组 OpenAI 的创始成员

2017 年 6 月~ 2022 年 7 月,特斯拉的人工智能总监

2023 年 2 月,Karp

Read more

林纳斯·托瓦兹

1 基本信息

林纳斯·贝内迪克特·托瓦兹(Linus Benedict Torvalds),生于芬兰赫尔辛基市,拥有美国国籍,Linux内核的最早作者,随后发起了这个开源项目,担任Linux内核的首要架构师与项目协调者,是当今世界最著名的电脑程序员、黑客之一。他还发起了开源项目Git,并为主要的开发者。

2 个人经历

1969年12月28日托瓦兹出生于芬兰赫尔辛基

1988年至1996年托瓦兹就读于赫尔辛基大学,并获得计算机硕士学位

1991年托瓦兹开始接触GNU项目,并于1991年底公开发布第一个 Linux 原

Read more

理查德·马修·斯托曼

1 基本信息

理查德·马修·斯托曼(Richard Matthew Stallman, RMS),于1953年出生,自由软件运动的精神领袖、GNU计划以及自由软件基金会(Free Software Foundation)的创立者、著名黑客。

2 个人经历

1953年3月,斯托曼出生于美国纽约一个犹太人家庭

早年他就对计算机有很深的兴趣;1970年秋季考入哈佛大学物理系

1971年,成为麻省理工学院人工智能实验室助理程序员,同时也成为黑客社区的常客

斯托曼在1983年9月推出了GNU项目。借此又发起了自由软件运动

Read more

许立志

1 基本信息

许立志(1990年7月28日-2014年9月30日),曾用笔名浅晓痕,中国诗人

2 个人经历

1990年7月28日,许立志生于广东省揭阳市玉湖镇东寮村。2010年,开始诗歌创作。2011年初,进入深圳富士康工厂成为一名流水线工人。2012年起,在厂刊《富士康人》上发表诗歌、散文等30余篇。2014年9月30日,从深圳龙华一座大厦的17层跳楼身亡,终年24岁。

按照习俗,自杀者不能归葬祖坟。2014年10月15日傍晚,许立志的哥哥将他的骨灰撒进了深圳南澳的海水中。

这大海葬着立志——陈年喜

后来人们

Read more

乌巴·巴特勒(Oobah Butler)

1 基本信息

英国作家和电影制作人,内容创意制作者和网络搞怪小能手

2 个人经历

2.1 达利奇小屋

在兼职水军帮餐厅写好评的过程中,乌巴·巴特勒发现,一个精选好评只价值10英镑

面对着越来越多的虚假好评,餐厅的生意会越来越好,而味道反倒变得不再那么重要

由此乌巴·巴特勒产生了一个大胆的想法,就是构建一个《不存在的网红餐厅》

具体操作过程:

  • 购买一处偏远的房屋,配备上最简单的设备
  • 在猫途鹰网站注册餐厅,起名为“达利奇小屋”
  • 为餐厅打造官网,伪造诱人

Read more

字符编码基础

ASCII

ASCII(American Standard Code for Information Interchange),也称 ANSI

  • 每个字符都对应唯一的一个数字,比如字符 A 对应的二进制数值是 01000001,对应的十进制就是65
  • 最开始 ASCII 只定义了128个字符编码,包括96个文字和32个控制符号

EASCII ,在 ASCII 基础上的扩展(由原来的 7 位扩充到 8 位),它完全兼容 ASCII,额外包括表格符号、计算符号、希腊字母和特殊拉丁符号

GBK

GB2312 编码,又称 GB0,1981由中国国

Read more

Tal Ben-Shahar

1 基本信息

Tal Ben-Shahar ,以色列裔美国人,教师,作家,专长于积极心理学和领导学

2 个人经历

哈佛大学哲学和心理学学士学位。他于 1996 年完成的本科论文题为“诚实付出代价:弥合道德理论与实践之间的差距(Honesty Pays: Bridging the Gap Between Moral Theory and Practice)”。于 2004 年在哈佛大学获得组织行为学博士学位,完成的论文题为“恢复自尊的自尊:依赖和独立能力与价值的构建(Restoring Self-Esteem's Sel

Read more