Stochastic Processes

type
status
date
slug
summary
tags
category
icon
password

What is a Stochastic Processes?

A probability model that describes the evolution of a system evolving randomly in time;
  • If we observe the system at a set of discrete times, we get a discrete-time stochastic process;
  • If we observe the system continuously at all times, we get a continuous-time stochastic process.
Probability Theory
Stochastic Processes
Single random variable
Multiple random variables
Probability mass function, Expectation, Variance, etc.
the relationship among the group of random variables; the dynamics of the stochastic process.(整個過程的演化過程/演化方式)
💡
在上述内容中，可以看出Stochastic Processes 可以看成是Probability Theory的一种扩展，那么从这个思路出发，开始思考以下问题
  1. Probability Theory 有什么作用
  1. 为什么有了Probability Theory以后仍然需要构建Stochastic Processes

Probability Theory

Probability Theory即概率论，其关注单一随机变量，同时有相应的基本工具来分析和量化不确定性，广泛应用于统计学、机器学习中。 显然：概率论是帮助理解单一变量的随机行为
概率论的基本工具有：
  1. Probability Distribution,描述随机变量的取值范围及其对应概率。
  1. Expectation,随机变量的加权平均值。
  1. Variance,随机变量偏离期望的程度。
  1. Independence,描述两个随机变量之间是否相关。
  1. Conditional Probability,在已知某个事件发生的情况下，另一个事件发生的概率。
 

Modeling by Probability Theory

假设有一个银行柜台，客户随机到达并排队等待服务。银行系统的目标是预测排队长度、客户等待时间等动态行为。
用概率论描述一个随机变量（如到达时间间隔）：
  • 假设每个客户到达的时间间隔是随机的，可以用指数分布来描述：
其中    是到达时间间隔， 是平均到达率。
概率论可以计算：
  • 单个到达间隔的期望值：
  • 单个客户到达时间间隔的概率：例如，某个时间段内是否有客户到达。
💡
从上述例子中可以看出，概率论只能针对一个事件，而不是整个系统去建模。同时，其缺乏动态性，即无法直接描述整个系统在时间上的演化，例如：
  • 下一时刻排队人数是多少？
  • 排队长度如何随着时间变化？
  • 某段时间后系统是否达到稳定状态？
而针对整个系统去建模则需要采用随机过程

Modeling by Stochastic Processes

随机过程可以描述整个系统的动态演化：
  • 定义状态  ：表示时间    时系统中的排队人数。
  • 用泊松过程（Poisson Process）描述客户到达，用指数分布描述服务时间。
动态转移：随机过程的状态随着时间变化，例如：
  • 每当有客户到达，状态    增加 1。
  • 每当一个客户完成服务，状态    减少 1。
💡
显然，从功能性来看，随机过程对整个系统的动态行为刻画的更全面，即可以预测更多的长期行为。
特点
概率模型
随机过程
分析对象
单个事件、单个随机变量
多个随机变量的动态关系
时间特性
静态分析，无法描述时间演化
动态分析，研究系统随时间变化的行为
适用范围
简单的单变量问题，例如一次到达时间间隔
动态系统问题，例如整个排队系统
💡
更通俗的理解：
  • 概率论好比告诉你：“下一个客户的到达时间可能在 1 分钟内，有 80% 的概率。”但它并不会告诉你“接下来的 5 个小时排队人数会如何变化”。
  • 随机过程则可以模拟整个系统的演化，例如：“每小时预计有 20 人到达，当前排队人数为 5 个，经过 2 小时后，排队人数可能在 10 到 15 人之间。”

How to characterize a discrete stochastic process?

Define

a system that evolves randomly over time.
  1. Observation:
      • The system is observed at discrete time points:  .
  1. Random Variables:
      • : The random state of the system at time    (noted as a random variable, r.v.).
  1. Sequence of Random Variables:
      • The collection    is the discrete-time stochastic process.
  1. State Space:
      • : The set of all possible values that    can take for any  .
      •   is referred to as the state space of the stochastic process  .
💡
从上述描述中可以看出，可以通过定义随机变量，来构建一个随机过程。举一个简单的例子来说明。
假设要描述连续抛硬币的过程，我们可以通过以下步骤定义随机变量并构建随机过程：
  1. 定义随机变脸
      • 定义 表示第 次抛硬币的结果：
        • ，表示正面；
        • ，表示反面；
  1. 构建随机过程
      • 通过 构建一个随机过程，表示每次抛硬币的结果。
      • 其中 (State Space):{正面，反面}
  1. 进一步分析：
      • 如果研究的是“累计正面次数”，我们可以定义另一个随机过程：
      • 这个随机过程  描述了前    次抛硬币中正面的总数。

How to characterize a continuous-time stochastic process?

Define

a system that evolves randomly in time.
  1. Observation:
      • The system is observed at times :  .
  1. Random Variables:
      • : be the random state of the system at time t ; (r.v.)
  1. State Space:
      • : The set of all possible values that    can take for any  .
      •   is referred to as the state space of the stochastic process  .

What Do We Do With a Stochastic Process?

state space of the stochastic process can be taken to be = (-50, 150). Note that this implies that the temperature never goes below or over F. In theory, the temperature could go all the way down to absolute zero and all the way up to infinity!
考虑关于温度的随机过程：
  • 可以研究第10天的温度 ，比如预测它的期望值（expected value）或累积分布函数（cdf）。
  • 另一个研究方向是预测温度高于90°F的持续时间（transient behavior），假设当前温度高于90°F。这里涉及到计算第一次下降到90°F以下的时间 的均值或分布。
Prev
Transformer Series
Next
Linear RNN development
Loading...