NYC's Blog 集成学习介绍（4）——GBDT&XGBoost
GBDT概述GBDT全称Gradient Boosting Decision Trees，即梯度提升回归树。GBDT可以拆分2部分：GB+DT。GB是一种通用思想或者算法，GBDT只是众多GBM（Gradient Boosting Machine）里面的一种。所以先来看GB。Boosting前面已经介绍过了，就是用多个弱学习器顺序迭代生成一个强学习器，GB里面的重点在于每次迭代的时候是拟合残...
集成学习介绍（3）——Random Forest
随机森林是一个非常直观，理解起来也比较容易的Bagging算法。前面我们介绍过决策树，其最大的一个缺点就是容易过拟合。随机森林则是由若干决策树组成的模型，其思想就是“三个臭皮匠顶个诸葛亮”。比如下图，就是由9个决策树组成的一个随机森林，其中6个决策树预测值为1，三个预测为0 ，所以最终预测值取多数方：1。如果是回归问题，一般取所有决策树预测结果的均值。理解随机森林的关键点在于理解“相关度低甚...
集成学习介绍（2）——AdaBoost
概述AdaBoost是Adaptive Boosting的缩写，即自适应提升法，是最成功的Boosting算法。具体算法如下：Step1: Initialise the dataset and assign equal weight to each of the data point.
Step2: Provide this as input to the model and identif...
决策树介绍
在接下来介绍的具体的集成算法里面，大都是以决策树作为最底层的算法，所以本篇先介绍一下决策树。本文整理自2017年的学习笔记。决策树是一个非常简单的算法，至少其思想是非常简单的。生活中我们经常会使用，看几个例子。场景1，母亲给女儿介绍男朋友，下面是二人的对话：女儿：多大年纪了？母亲：26。女儿：长的帅不帅？母亲：挺帅的。女儿：收入高不？母亲：不算很高，中等情况。女儿：是公务员不？母亲：是，在税...
集成学习介绍（1）——Boosting&Bagging
最近准备整理一下之前关于集成学习的学习笔记，写一个关于集成学习的系列文章，毕竟目前用的比较多的机器学习算法基本都属于集成学习，整理一下，也算温习一下。有些笔记时间比较久了，里面的一些引用来源找不到了，所以有些引用可能附不全，敬请谅解。目前确定的几篇包括：集成学习介绍（1）——Boosting && Bagging集成学习介绍（2）——AdaBoost集成学习介绍（3）——Random For...
如何修改Pandas中列的类型
问题如题。一般pandas读取数据的时候，会自动检测数据的类型，但有时候可能不是特别准确，还需要我们自己做类型转换。比如下面这种：a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']]
df = pd.DataFrame(a)
df.dtypes
# 0 object
# 1 object
# 2 o...
从数仓到数据湖，再到Data LakeHouse
Data LakeHouse是一种新型的湖仓一体架构，该架构旨在用一套系统实现原来的数据仓库（Data Warehouse）加数据湖（Data Lake）的功能。数仓、数据湖、LakeHouse的发展演进过程如下图（图片出自Databricks）：本文简单梳理一下整个发展演进的过程。Data WarehouseData Warehouse就是我们平时说的数据仓库（简称数仓），数仓最典型的代表...
Kafka的消费者分区分配策略
本文是《Kafka的Consumer Group Rebalance》一文的补充部分，主要附加介绍一下Kafka内置的几种分区分配策略。Kafka定义了一个消费者组内分区分配的接口ConsumerPartitionAssignor，该接口里面最核心的是assign方法：package org.apache.kafka.clients.consumer;
public interface C...