UA STAT675 統(tǒng)計(jì)計(jì)算I 隨機(jī)數(shù)生成2 線性遞歸模m

• • Multiple Recursive Generator (MRG)
  • MRG設(shè)計(jì)方法

線性遞歸模m是最常用的一種算法RNG(random number generator)，它的工作原理基礎(chǔ)是下面的遞歸式子
$$x_i=(a_1{x}_{i?1}+?+a_k{x}_{i?k})\mathrm{m}\mathrm{o}\mathrm{d}m$$

其中$m,k$均是自然數(shù)，$m$被稱為模數(shù)(modulus)，$k$被稱為階，$a_1,?,a_k\in {\mathbb{Z}}_m=\{0,1,?,m?1\}$，環(huán)${\mathbb{Z}}_m$上的運(yùn)算在關(guān)于$m$同余的意義下封閉，當(dāng)$m$是素?cái)?shù)時(shí)，${\mathbb{Z}}_m=GL(m)$ (Galois域)。

上一講我們定義RNG的抽象結(jié)構(gòu)：
$$RNG=(S,\mu ,f,U,g)$$

這里$S$是狀態(tài)集，$f$是狀態(tài)轉(zhuǎn)移函數(shù)，$f:S\to S$，$U$是輸出集，$U(0,1)$的RNG滿足$U=(0,1)$，$g:S\to U$是輸出函數(shù)，$f,g$都是確定性的函數(shù)，不產(chǎn)生隨機(jī)性，$\mu$是$S$的概率分布，是用來選擇初始狀態(tài)(initial state或者seed)的，記選擇的seed為$s_0$，則RNG的狀態(tài)轉(zhuǎn)移序列滿足：
$$s_t=f(s_{t?1})$$

從而輸出的隨機(jī)數(shù)為$\{u_t:u_t=g(u_t)\}$。

Multiple Recursive Generator (MRG)

Knuth (1998)證明了當(dāng)$m$是素?cái)?shù)時(shí)，最大的周期為$\rho =m^k?1$，當(dāng)且僅當(dāng)線性遞歸
$$x_i=(a_1{x}_{i?1}+?+a_k{x}_{i?k})\mathrm{m}\mathrm{o}\mathrm{d}m$$

的特征多項(xiàng)式
$$P(z)=z^k?a_1{z}^{k?1}??a_k$$

是Galois域$GL(m)$上的primitive polynomial；另一種等價(jià)敘述是
$$\underset{\nu \in {\mathbb{Z}}^{+}}{\inf }\{(z^{\nu }\mathrm{m}\mathrm{o}\mathrm{d}P(z))\mathrm{m}\mathrm{o}\mathrm{d}m=1\}=m^k?1$$

Knuth (1998)敘述了一種尋找primitive polynomial的簡(jiǎn)化方法，如果$P(z)$是primitive polynomial，則遞歸的系數(shù)中除了$a_k$非零外，至少還有一個(gè)系數(shù)非零(記為$a_r$)；于是線性遞歸可以簡(jiǎn)化為
$$x_n=(a_r{x}_{n?r}+a_k{x}_{n?k})\mathrm{m}\mathrm{o}\mathrm{d}m$$

即我們只需要確定$a_r,a_k$兩個(gè)系數(shù)的值，使得
$$P(z)=z^k?a_r{z}^{k?r}?a_k$$

是primitive polynomial即可。

根據(jù)這些結(jié)果，我們來構(gòu)造隨機(jī)數(shù)生成器，為此我們需要確定狀態(tài)集、狀態(tài)轉(zhuǎn)移規(guī)則、輸出函數(shù)：

第$n$步的狀態(tài)集為
$$s_n=\{x_{n?k},x_{n?r},x_n\}$$

狀態(tài)轉(zhuǎn)移規(guī)則
$$x_n=(a_r{x}_{n?r}+a_k{x}_{n?k})\mathrm{m}\mathrm{o}\mathrm{d}m$$

輸出函數(shù)
$$u_n=\frac{x_n}{m}$$

這樣的隨機(jī)數(shù)生成器叫做Multiple Recursive Generator (MRG)。

一種特例是$k=1$時(shí)，

第$n$步的狀態(tài)集為
$$s_n=\{x_{n?1},x_n\}$$

狀態(tài)轉(zhuǎn)移規(guī)則
$$x_n=(a_1{x}_{n?1})\mathrm{m}\mathrm{o}\mathrm{d}m$$

輸出函數(shù)
$$u_n=\frac{x_n}{m}$$

這樣的隨機(jī)數(shù)生成器叫做linear congruential generator (LCG)。

MRG設(shè)計(jì)方法

要設(shè)計(jì)一個(gè)MRG，我們只需要確定系數(shù)$a_1,?,a_k,m$即可。注意到$x_n$與$m$都是整數(shù)，所以$u_n$是有理數(shù)，我們希望$u_n{～}_{iid}U(0,1)$，就需要$m$越大越好。另外，MRG涉及的主要計(jì)算就是在模$m$的意義下做線性遞歸，所以MRG的實(shí)現(xiàn)細(xì)節(jié)主要就是討論遞歸取模的計(jì)算。

Exact representation Method
第一種設(shè)計(jì)思路是讓遞歸式能夠被計(jì)算機(jī)準(zhǔn)確表達(dá)，考慮在64-bit計(jì)算機(jī)IEEE float-point standard下的雙精度浮點(diǎn)數(shù)下進(jìn)行模$m$計(jì)算，所有不超過$2^{53}$的整數(shù)都可以被準(zhǔn)備表示，因此只要我們?cè)谠O(shè)計(jì)參數(shù)時(shí)保證：
$$(|a_1|+?+|a_k|)(m?1)\le 2^{53}$$

$a_1{x}_{i?1}+?+a_k{x}_{i?k}$就可以被準(zhǔn)確表示。

以遞歸中的一項(xiàng)為例，記$z_j=|a_j|x_{i?j}$，則$z_j\mathrm{m}\mathrm{o}\mathrm{d}m$用下面的算法計(jì)算：
$$\begin{gathered} y=|a_j|x_{i?j} \\ {z}_j=y?m?y/m? \end{gathered}$$

Approximate Factoring Method
以遞歸中的一項(xiàng)為例，記$z_j=|a_j|x_{i?j}$，取$|a_j|=i,i<\sqrt{m}$或者$|a_j|=?m/i?$，則$z_j\mathrm{m}\mathrm{o}\mathrm{d}m$用下面的算法計(jì)算：
$$\begin{gathered} q_j=?m/|a_j|? \\ {r}_j=m\mathrm{m}\mathrm{o}\mathrm{d}|a_j| \\ z=|a_j|(x_{i?j}?y{q}_j)?y{r}_j \end{gathered}$$

如果$z<0$，取$z_j=m+z$，否則$z_j=z$。

關(guān)于MRG的設(shè)計(jì)方法還有很多其他的觀點(diǎn)，感興趣的同學(xué)可以參考handbook of computational statistics chapter 3.

總結(jié)

以上是生活随笔為你收集整理的UA STAT675 统计计算I 随机数生成2 线性递归模m与Multiple Recursive Generator (MRG)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。