Home on Zhenguo Chen

RL基础学习

Fri, 17 Apr 2026 00:00:00 +0000

强化学习基本概念

概念

结构

常见强化学习算法

DQN

AC

A2C

PPO

graph LR
    A[Agent] -->|action| B[Environment]
    B -->|observation| A
    B -->|reward| A

使用推测解码对LLM推理进行加速

Thu, 15 Jan 2026 00:00:00 +0000

简介

LLM推理的自回归机制导致了其推理效率低下的问题，这种机制需要频繁的从HBM中加载参数/上下文进行计算。推测解码（Speculative Decoding，SD）针对自回归特性进行了加速优化，其通过一个更小更快的草稿模型（Draft Model，DM）进行推测，将推测的结果交给目标模型（Target Model，TM）进行并行验证。这种并行机制能极大提高并行计算单元的利用率，提高模型推理速度。

推测解码相关工作划分

当前推测解码相关工作可以分为三类 ^[1] ^[2] ：

草稿生成的优化。
草稿验证流程的优化。
系统层面的优化, 包括在流水线、硬件和分布式协同上改进。

接下来我们从学术和项目两个方向解读各个工作。

拒绝采样 有建议分布$q(x)$和目标分布$p(x)$，对于$u \sim U(0,1)$，$u<\frac{p(x)}{M \cdot q(x)}$为接受样本的标准，那么获得的样本和直接从$p(x)$采样概率相同

学术研究

SpecInfer

An overview of SpecInfer’s tree-based speculative inference and verification mechanism.

SpecInfer ^[3] 提出了基于树的推测推理，通过提高单次验证吞吐有效降低了内存访问和端到端延迟。其设计实现了Learning-based Speculator和Token Tree Verifier两个组件来完成Token Tree的生成和验证。

Learning-based Speculator

Illustration of token tree expansion.

Kubernetes拓展调度器

Wed, 16 Jul 2025 00:00:00 +0000

现实中复杂的业务场景kubernetes原生调度功能并不能完全Cover，如缺少的Job调度、重调度等功能。为了增强Kubernetes功能，实现对各种业务场景的适配，许多的拓展调度框架应运而生，接下来本文将分析这些调度器并比较它们的异同。

Kubernetes Default Scheduler

kube-scheduler是kubernetes集群默认调度器，其会对每个尚未被调度的Pod执行调度，选择一个最优的节点运行这个Pod。由于不同Pod对计算要求不同，所以要考虑诸多不同的因素。

调度框架

Schedule Framework

K8s调度框架支持如上拓展点，可以使用默认或者自定义插件实现对一个或多个拓展点的支持，通过配置文件将调度插件组合起来形成调度器。如下创建了一个默认调度器和一个禁用所有打分插件的调度器。可以在Pod中声明调度器来指定调度策略。

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: default-scheduler
  - schedulerName: no-scoring-scheduler
    plugins:
      preScore:
        disabled:
        - name: '*'
      score:
        disabled:
        - name: '*'

默认调度功能

K8s默认调度插件如下:

调度插件名称	实现的扩展点	功能说明
ImageLocality	`score`	优先选择已缓存 Pod 所需容器镜像的节点
TaintToleration	`filter`, `preScore`, `score`	实现污点和容忍机制，过滤不容忍的节点并影响打分
NodeName	`filter`	检查 Pod 指定的节点名称是否与当前节点匹配
NodePorts	`preFilter`, `filter`	检查 Pod 请求的端口在节点上是否可用
NodeAffinity	`filter`, `score`	实现节点选择器 (`nodeSelector`) 和节点亲和性 (`nodeAffinity`)
PodTopologySpread	`preFilter`, `filter`, `preScore`, `score`	实现 Pod 拓扑分布约束（如跨可用区/机架调度）
NodeUnschedulable	`filter`	过滤 `.spec.unschedulable=true` 的节点
NodeResourcesFit	`preFilter`, `filter`, `score`	检查节点资源是否满足 Pod 请求，支持多种打分策略（如 `LeastAllocated`）
NodeResourcesBalancedAllocation	`score`	优先选择 CPU/内存等资源使用更均衡的节点
VolumeBinding	`preFilter`, `filter`, `reserve`, `preBind`, `score`	检查卷绑定状态，启用 `StorageCapacityScoring` 时优先选择有足够存储的节点
VolumeRestrictions	`filter`	检查卷挂载是否符合提供商的限制（如只读卷）
VolumeZone	`filter`	检查请求的卷是否满足区域拓扑约束
NodeVolumeLimits	`filter`	检查节点是否满足 CSI 卷的数量限制
EBSLimits	`filter`	检查节点是否满足 AWS EBS 卷限制
GCEPDLimits	`filter`	检查节点是否满足 GCP Persistent Disk 卷限制
AzureDiskLimits	`filter`	检查节点是否满足 Azure Disk 卷限制
InterPodAffinity	`preFilter`, `filter`, `preScore`, `score`	实现 Pod 间亲和性与反亲和性（如共置或隔离）
PrioritySort	`queueSort`	提供默认的基于优先级的 Pod 排序（高优先级优先调度）
DefaultBinder	`bind`	提供默认的 Pod-Node 绑定机制
DefaultPreemption	`postFilter`	实现抢占逻辑，为高优先级 Pod 腾出资源

Volcano

Volcano的系统架构

在裸金属集群上部署Kubernetes

Tue, 08 Jul 2025 00:00:00 +0000

容器运行时

使用docker作为容器运行时

安装docker

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

由于当前国内无法拉取镜像，需配置代理，有两种方式

Zhenguo Chen

Mon, 01 Jan 0001 00:00:00 +0000

I am a Master’s candidate at Beijing University of Posts and Telecommunications (BUPT), specializing in distributed computing systems and large language model inference optimization.