分类目录归档:学习

强类型与弱类型

1 定义

强类型语言是一种强制类型定义的语言,即一旦某一个变量被定义类型,如果不经强制转换,那么它永远就死该数据类型。而弱类型语言是一种弱类型定义的语言,某一个变量被定义类型,该变量可以根据环境变化自动进行转换,不需要经过现行强制转换。

2 语言分类

强类型语言包括:Java、.net、Python、C++等语言。其中Python是动态语言,是强类型定义语言,是类型安全的语言,Java是静态语言,是强类型定义语言,也是;类型安全的语言;

弱类型语言包括:VB,PHP,JavaScript等语言。其中VBScript是动态语言,是一种类型不安全的原

Read more

seaborn 快速入门

Read more

skleran数据集

datasets数据集

sklearn的数据集库datasets提供很多不同的

Read more

基础神经元

一个典型的神经元

附件/Pasted image 20210902165153.png

  • Axon 轴突
  • Dendritic tress 树突
  • Axon hillock 轴突体

线性神经元

$$y = b+\sum_ix_iw_i$$ 附件/Pasted image 20210903141612.png

二进制阈值神经元

对线性加权运算的结果,进行阈值判定

$$z = b+\sum_ix_iw_i$$ $$\begin{equation} y = \left\{ \begin{array}{rl} 1 & \mbox{if } z \geq 0, \\ 0 &

Read more

词嵌入表示 Embeddings

词嵌入表示方法:应用 NLP 技术,将单词/Token 转化为向量的数值表示形式

随着 LLMs 的进步和发展,该技术也逐渐应用到图像、音频等非文本领域

传统嵌入表示

One-hot(独热)编码

One-hot(独热)编码过程:

  • 用 $N$ 维仅包含 0、1 值的向量去唯一地表示 $N$ 种词
  • 每个词编码后的向量包含 $N-1$ 个 0 和 1 个1

算法分析:

  • One-hot 编码简单实用,是很多进

Read more

集成算法

1 集成学习概述

核心思想:三个臭皮匠顶个诸葛亮

集成学习三步走

  1. 特征抽取
  2. 反复建模(弱学习器)
  3. 模型集成(强学习器)

1.1 模型集成的策略

1.1.1 平均法

最终的预测输出 = 若干个弱学习器的预测输出的平均

1.1.2 投票法

最终的预测输出 = 若干个弱学习器的预测输出的投票结果

  • 常见的几种投票法
  • 相对多数投票法:少数服从多数

Read more

树算法族

1 决策树

决策树通过树结构存储判断流程和规则,实现复杂规则的有效记录

一般来说,树的非叶节点存储了判断逻辑,并通过树分支表达多个判断结果 通过自上而下的多层逻辑判断,最终在叶节点输出预测的分类结果

决策树示例:

1.1 决策树ID3算法

ID3算法主要利用信息增益进行特征的选择,并通过递归方法构建特征

  • 从根节点开始,计算所有特征的信息增益
  • 选择信息增益最大的特征作为此节点的判断逻辑,并构建子节点
  • 对子节点递归地调用以上方法,直到最大信息增益过低或没有特征停止递归

Read more

Python 读取xml文件

1 XML文件

XML 指的是可扩展标记语言(eXtensible Markup Language),和json类似也是用于存储和传输数据,还可以用作配置文件。类似于HTML超文本标记语言,但是HTML所有的标签都是预定义的,而xml的标签可以随便定义。

<!--注释-->
<book category="python">
    <title> xml test <\title>	
<\bo

Read more

贝叶斯算法

贝叶斯定理: $$P(B|A)=\frac{P(A,B)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}$$

  • 其中 $P(B|A)$ 表示后验概率 $posterior$
  • $P(A,B)$ 表示联合概率,$P(A)$ 表示历史经验 $evidence$
  • $P(A|B)$ 表示似然估计值 $likelihood$,$P(B)$ 表示先验概率 $prior$

朴素贝叶斯

朴素贝叶斯(Naive Bayes classifier)以贝叶斯定理为基础的简单分类器,主要通过统计历史数据中各种事件的发生频率,并从中寻找统计上的相关性,以实现对事件的预测

Read more

粒子群算法

1 基本概念

粒子群优化(particle swarm optimization,PSO)算法是计算智能领域的一种群体智能的优化算法(其他群体算法举例:蚁群算法,鱼群算法等),该算法最早由Kennedy和Eberhart在1995年提出的,该算法源自对鸟类捕食问题的研究。

鸟类捕食的生物过程:

  • 假设一群鸟在觅食,在觅食范围内,只在一个地方有食物
  • 所有鸟儿都看不到食物(即不知道食物的具体位置。当然不知道了,知道了就不用觅食了),但是能闻到食物的味道(即能知道食物距离自己是远是近。鸟的嗅觉是很灵敏的)
  • 假设鸟与鸟之间能共享信息(即互

Read more