前端技术简史

"切图仔"(2006)

  • 在 css3 之前,前端开发者能做的事情很有限,前端语言的能力非常薄弱
  • 一个简单的圆角矩形样式要拼八张图片,更别提动画阴影之类的特效
  • 大量的工作时间都是在拆卸设计稿,然后将做完后的静态页面交给后端

jQuery 问世(2006)

  • jQuery 是对原生 js 的封装,简化了繁琐的 js 开发
  • 开发人员可以更容易地操作 html 、处理事件、创建动画和发起 AJAX 请求
  • 前端开发者已经可以承担一部分交互了,比如异步表单之类的
  • 最终实现较为稳定的开发方式:DIV+CSS+jQuery+后端渲染

随着 web 项目开发越来越复杂,原生 cc

Read more

EvoLLM:自动化模型融合进化框架

中文标题:模型融合配方的迭代优化

英文标题:Evolutionary Optimization of Model Merging Recipes

发布平台:预印本

发布日期:2024-03-19

引用量(非实时):

DO

Read more

模型融合 ModelMerge

基本概念

模型融合(model merging):

  • 将多个神经网络模型进行合并,得到一个融合模型
  • 优势在于节省计算/时间成本、无需训练数据(隐私保护)
  • 有时能取得类似多任务学习的效果,也可能具备更好的泛化性

思考:如何验证模型融合的合理性? (此处

Read more

struc2vec:从结构性标识中学习节点的表示

中文标题:struc2vec: 从结构性标识中学习节点的表示

英文标题:struc2vec: Learning Node Represen

Read more

LINE:针对大规模信息网络的嵌入表示

中文标题:LINE:针对大规模信息网络的嵌入表示

英文标题:LINE: Large-scale Information Network Embedding

发布平台:

Read more

Bilibili 评论-压缩现代性

“压缩现代性”,这个词很生动、贴切。中(含台湾)、日、韩三个国家的普通民众的生活都有明显的“压缩”特征:
1、住房是压缩的。美国人住别墅,中日韩绝大多数人住公寓。东亚城市人口密度远高于美国,也高于欧洲。这节约了土地,也导致普通人的个人空间严重不足;
2、学习是压缩的。“做题家”,这一个词描述了以高考为人才选拔的高压模式。进大学前,想考个好大学、好专业,那就只有拼命做题;
3、工作是压缩的。“加班、超时劳动”被普遍接受,只要老板给高一点的加班费,打工者对加班一般持欢迎与接受的态度。但这也极大地减少了可用于关心家庭、个人再学习、社交等一系列的工作之外的时间;
4、生育也是压缩的。一对夫妻,生一

Read more

图表示学习

图表示学习方法一般包括图嵌入表示和图神经网络

  • 图嵌入表示(Node Embedding)为每个节点学习一个嵌入表示(低维稠密向量),使得在原始网络中相似的节点,它们的嵌入表示也更为相似
  • 图神经网络(Graph Neural Networks)通过聚合邻域节点的信息来生成节点的表示

图嵌入表示

基于随机游走的图嵌入经典方法:

  • 等长度、无偏的随机游走:DeepWalk (2014 KDD Perozzi et al.)
  • 有偏的、局部与全局视

Read more

CS224W 图机器学习02:图嵌入表示

1 图嵌入表示

传统图机器学习 VS 图表示学习

  • 给定输入图,传统图机器学习需要提取节点、链接和图级特征;然后学习将特征映射到/预测标签的模型(SVM、普通神经网络等),并应用于下游任务
  • 图表示学习则不需要额外特征工程,而是给定输入图,自动学习独立于任务的特征(节点、链接和图级嵌入表示),然后用于算法的训练学习和下游任务

嵌入表示的好处:

  • 节点间嵌入的相似性表明了它们在网络中的相似性

Read more

CS224W 图机器学习01:基本介绍

1 课程简介

课程内容大纲:

  • 图嵌入表示(Node Embedding)方法:DeepWalk,Node2vec
  • 图神经网络(GNN):GCN、GraphSAGE、GAT…
  • 图自注意力(Graph Transformers)
  • 知识图谱和推理:TransE,BetaE
  • 图生成模型:GraphRNN
  • 3D 图模型:Molecules
  • 扩展到大规模的图数据
  • 图应用:生物医学、科学技术

背景要求:机器学习、算法和图论、概率论与数理统计、Python/PyTorch

其他推荐工具:

  • 基于 PyTorch 构建的图神经网络库

Read more

瑞士奶酪理论

瑞士奶酪理论(英语:Swiss Cheese Model),又称乳酪理论或瑞士起司理论,是英国曼彻斯特大学教授詹姆斯·瑞森(James Reason)于 1990 年提出的关于意外发生的风险分析与控管的模型

主要是讲,瑞士起司在制造与发酵过程当中,很自然的会产生小孔洞。如果把许多片起司重叠在一起,正常情况下,每片起司的空洞位置不同,光线透不过。只有在很极端的情况下,空洞刚好连成一直线,才会让光线透过去。导致严重事故发生的从来都不是因为某个单独的原因,而是多个问题同时出现。

瑞士起司理论示意图:左方是危险(Hazards),穿过数个孔洞后导致损失(Losses)

上图的一片片乳酪,往往代表

Read more