NYC's Blog 集成学习介绍（4）——GBDT&XGBoost
GBDT概述GBDT全称Gradient Boosting Decision Trees，即梯度提升回归树。GBDT可以拆分2部分：GB+DT。GB是一种通用思想或者算法，GBDT只是众多GBM（Gradient Boosting Machine）里面的一种。所以先来看GB。Boosting前面已经介绍过了，就是用多个弱学习器顺序迭代生成一个强学习器，GB里面的重点在于每次迭代的时候是拟合残...
集成学习介绍（3）——Random Forest
随机森林是一个非常直观，理解起来也比较容易的Bagging算法。前面我们介绍过决策树，其最大的一个缺点就是容易过拟合。随机森林则是由若干决策树组成的模型，其思想就是“三个臭皮匠顶个诸葛亮”。比如下图，就是由9个决策树组成的一个随机森林，其中6个决策树预测值为1，三个预测为0 ，所以最终预测值取多数方：1。如果是回归问题，一般取所有决策树预测结果的均值。理解随机森林的关键点在于理解“相关度低甚...
集成学习介绍（2）——AdaBoost
概述AdaBoost是Adaptive Boosting的缩写，即自适应提升法，是最成功的Boosting算法。具体算法如下：Step1: Initialise the dataset and assign equal weight to each of the data point.
Step2: Provide this as input to the model and identif...
决策树介绍
在接下来介绍的具体的集成算法里面，大都是以决策树作为最底层的算法，所以本篇先介绍一下决策树。本文整理自2017年的学习笔记。决策树是一个非常简单的算法，至少其思想是非常简单的。生活中我们经常会使用，看几个例子。场景1，母亲给女儿介绍男朋友，下面是二人的对话：女儿：多大年纪了？母亲：26。女儿：长的帅不帅？母亲：挺帅的。女儿：收入高不？母亲：不算很高，中等情况。女儿：是公务员不？母亲：是，在税...
集成学习介绍（1）——Boosting&Bagging
最近准备整理一下之前关于集成学习的学习笔记，写一个关于集成学习的系列文章，毕竟目前用的比较多的机器学习算法基本都属于集成学习，整理一下，也算温习一下。有些笔记时间比较久了，里面的一些引用来源找不到了，所以有些引用可能附不全，敬请谅解。目前确定的几篇包括：集成学习介绍（1）——Boosting && Bagging集成学习介绍（2）——AdaBoost集成学习介绍（3）——Random For...
机器视觉实战5：安卓端目标检测App开发
上篇文章《机器视觉实战4：OpenCV Android环境搭建（喂饭版）》中介绍了如何使用Android Studio搭建OpenCV开发环境，本节基于之前搭建好的环境开发一个基于神经网络的目标检测App。准备模型首先从这里下载已经训练好的模型文件：deploy.prototxt：神经网络结构的描述文件mobilenet_iter_73000.caffemodel：神经网络的参数信息这个模型...
机器视觉实战4：OpenCV Android环境搭建（喂饭版）
本文介绍如何构建OpenCV Android开发环境，在OpenCV与Android Studio集成的过程中，看了很多文章，但实际操作的时候都还是多多少少碰到了一些问题，所以写一篇文章，总结记录一下，也希望能够帮助到他人。我使用的环境是：MacOS 10.15.3Android Studio 3.6.1（下载，包含MacOS Android SDK）OpenCV Android SDK 3...
机器视觉实战3：基于Hog特征的目标检测
上篇文章《机器视觉实战2：基于Haar特征的目标检测》中介绍了如何使用Haar特征进行目标检测，本文介绍另外一种目标检测算法：基于HOG特征的目标检测。该算法是在Dalal和Triggs于2005年发表的论文 Histogram of Oriented Gradients for Human Detection 中提出的，他们当时正在研究行人检测。HOG特征和Haar特征类似，都是一种提取特...