日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

CFS调度器

發(fā)布時間:2023/12/19 编程问答 51 豆豆
生活随笔 收集整理的這篇文章主要介紹了 CFS调度器 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

一、前言

隨著內(nèi)核版本的演進(jìn),其源代碼的膨脹速度也在遞增,這讓Linux的學(xué)習(xí)曲線變得越來越陡峭了。這對初識內(nèi)核的同學(xué)而言當(dāng)然不是什么好事情,滿腔熱情很容易被當(dāng)頭澆滅。我有一個循序漸進(jìn)的方法,那就是先不要看最新的內(nèi)核,首先找到一個古老版本的內(nèi)核(一般都會比較簡單),將其吃透,然后一點(diǎn)點(diǎn)的迭代,理解每個版本變更背后的緣由和目的,最終推進(jìn)到最新內(nèi)核版本。

本文就是從2.4時代的任務(wù)調(diào)度器開始,詳細(xì)描述其實(shí)現(xiàn)并慢慢向前遞進(jìn)。當(dāng)然,為了更好的理解Linux調(diào)度器設(shè)計(jì)和實(shí)現(xiàn),我們在第二章給出了一些通用的概念。之后,我們會在第四章講述O(1)調(diào)度器如何改進(jìn)并提升調(diào)度器性能。真正有劃時代意義的是CFS調(diào)度器,在2.6.23版本的內(nèi)核中并入主線。它的設(shè)計(jì)思想是那么的眩目,即便是目前最新的內(nèi)核中,完全公平的設(shè)計(jì)思想仍然沒有太大變化,這些我們會在第六章描述。第五章是關(guān)于公平調(diào)度思想的引入,通過這一章可以了解Con Kolivas的RSDL調(diào)度器,它是開啟公平調(diào)度的先鋒,通過這一章的鋪墊,我們可以更順暢的理解CFS。

二、任務(wù)調(diào)度器概述

為了不引起混亂,我們一開始先澄清幾個概念。進(jìn)程調(diào)度器是傳統(tǒng)的說法,但是實(shí)際上進(jìn)程是資源管理的單位,線程才是調(diào)度的單位,但是線程調(diào)度器的說法讓我覺得很不舒服,因此最終采用進(jìn)程調(diào)度器或者任務(wù)調(diào)度器的說法。為了節(jié)省字,本文有些地方也直接簡稱調(diào)度器,此外,除非特別說明,本文中的“進(jìn)程”指的是task struct代表的那個實(shí)體,畢竟這是一篇講調(diào)度器的文檔。

任務(wù)調(diào)度器是操作系統(tǒng)一個很重要的部件,它的主要功能就是把系統(tǒng)中的task調(diào)度到各個CPU上去執(zhí)行滿足如下的性能需求:

1、對于time-sharing的進(jìn)程,調(diào)度器必須是公平的

2、快速的進(jìn)程響應(yīng)時間

3、系統(tǒng)的throughput要高

4、功耗要小

當(dāng)然,不同的任務(wù)有不同的需求,因此我們需要對任務(wù)進(jìn)行分類:一種是普通進(jìn)程,另外一種是實(shí)時進(jìn)程。對于實(shí)時進(jìn)程,毫無疑問快速響應(yīng)的需求是最重要的,而對于普通進(jìn)程,我們需要兼顧前三點(diǎn)的需求。相信你也發(fā)現(xiàn)了,這些需求是互相沖突的,對于這些time-sharing的普通進(jìn)程如何平衡設(shè)計(jì)呢?這里需要進(jìn)一步將普通進(jìn)程細(xì)分為交互式進(jìn)程(interactive processs)和批處理進(jìn)程(batch process)。交互式進(jìn)程需要和用戶進(jìn)行交流,因此對調(diào)度延遲比較敏感,而批處理進(jìn)程屬于那種在后臺默默干活的,因此它更注重throughput的需求。當(dāng)然,無論如何,分享時間片的普通進(jìn)程還是需要兼顧公平,不能有人大魚大肉,有人連湯都喝不上。功耗的需求其實(shí)一直以來都沒有特別被調(diào)度器重視,當(dāng)然在linux大量在手持設(shè)備上應(yīng)用之后,調(diào)度器不得不面對這個問題了,當(dāng)然限于篇幅,本文就不展開了。

為了達(dá)到這些設(shè)計(jì)目標(biāo),調(diào)度器必須要考慮某些調(diào)度因素,比如說“優(yōu)先級”、“時間片”等。很多RTOS的調(diào)度器都是priority-based的,官大一級壓死人,調(diào)度器總是選擇優(yōu)先級最高的那個進(jìn)程執(zhí)行。而在Linux內(nèi)核中,優(yōu)先級就是實(shí)時進(jìn)程調(diào)度的主要考慮因素。而對于普通進(jìn)程,如何細(xì)分時間片則是調(diào)度器的核心思考點(diǎn)。過大的時間片會嚴(yán)重?fù)p傷系統(tǒng)的響應(yīng)延遲,讓用戶明顯能夠感知到延遲,卡頓,從而影響用戶體驗(yàn)。較小的時間片雖然有助于減少調(diào)度延遲,但是頻繁的切換對系統(tǒng)的throughput會造成嚴(yán)重的影響。因?yàn)檫@時候大部分的CPU時間用于進(jìn)程切換,而忘記了它本來的功能其實(shí)就是推動任務(wù)的執(zhí)行。

由于Linux是一個通用操作系統(tǒng),它的目標(biāo)是星辰大海,既能運(yùn)行在嵌入式平臺上,又能在服務(wù)器領(lǐng)域中獲得很好的性能表現(xiàn),此外在桌面應(yīng)用場景中,也不能讓用戶有較差的用戶體驗(yàn)。因此,Linux任務(wù)調(diào)度器的設(shè)計(jì)是一個極具挑戰(zhàn)性的工作,需要在各種有沖突的需求中維持平衡。還好,經(jīng)過幾十年內(nèi)核黑客孜孜不倦的努力,Linux內(nèi)核正在向著最終目標(biāo)邁進(jìn)。

三、2.4時代的O(n)調(diào)度器

網(wǎng)上有很多的linux內(nèi)核考古隊(duì),挖掘非常古老內(nèi)核的設(shè)計(jì)和實(shí)現(xiàn)。雖然我對進(jìn)程調(diào)度器歷史感興趣,但是我只對“近代史”感興趣,因此,讓我們從2.4時代開始吧,具體的內(nèi)核版本我選擇的是2.4.18版本,該版本的調(diào)度器相關(guān)軟件結(jié)構(gòu)可以參考下面的圖片:

本章所有的描述都是基于上面的軟件結(jié)構(gòu)圖。

1、進(jìn)程描述符

struct task_struct {

volatile long need_resched;

long counter;

long nice;

unsigned long policy;

int processor;

unsigned long cpus_runnable, cpus_allowed;

struct list_head run_list;

unsigned long rt_priority;

......

};

對于2.4內(nèi)核,進(jìn)程切換有兩種,一種是當(dāng)進(jìn)程由于需要等待某種資源而無法繼續(xù)執(zhí)行下去,這時候只能是主動將自己掛起(調(diào)用schedule函數(shù)),引發(fā)一次任務(wù)調(diào)度過程。另外一種是進(jìn)程歡快執(zhí)行,但是由于各種調(diào)度事件的發(fā)生(例如時間片用完)而被迫讓出CPU,被其他進(jìn)程搶占。這時候的調(diào)度并不是立刻發(fā)送,而是延遲執(zhí)行,具體的方法是設(shè)定當(dāng)前進(jìn)程的need_resched等于1,然后靜靜的等待最近一個調(diào)度點(diǎn)的來臨,當(dāng)調(diào)度點(diǎn)到來的時候,內(nèi)核會調(diào)用schedule函數(shù),搶占當(dāng)前task的執(zhí)行。

nice成員就是普通進(jìn)程的靜態(tài)優(yōu)先級,通過NICE_TO_TICKS宏可以將一個進(jìn)程的靜態(tài)優(yōu)先級映射成缺省時間片,保存在counter成員中。因此在一次調(diào)度周期開始的時候,counter其實(shí)就是該進(jìn)程分配的CPU時間額度(對于睡眠的進(jìn)程還有些獎勵,后面會描述),以tick為單位,并且在每個tick到來的時候減一,直到耗盡其時間片,然后等待下一個調(diào)度周期從頭再來。

Policy是調(diào)度策略,2.4內(nèi)核主要支持三種調(diào)度策略,SCHED_OTHER是普通進(jìn)程,SCHED_RR和SCHED_FIFO是實(shí)時進(jìn)程。SCHED_RR和SCHED_FIFO的調(diào)度策略在rt_priority不同的時候,都是誰的優(yōu)先級高誰先執(zhí)行,唯一的不同是相同優(yōu)先級的處理:SCHED_RR采用時間片輪轉(zhuǎn),而SCHED_FIFO采用的策略是先到先得,先占有CPU的進(jìn)程會持續(xù)執(zhí)行,直到退出或者阻塞的時候才會讓出CPU。也只有這時候,其他同優(yōu)先級的實(shí)時進(jìn)程才有機(jī)會執(zhí)行。如果進(jìn)程是實(shí)時進(jìn)程,那么rt_priority表示該進(jìn)程的靜態(tài)優(yōu)先級。這個成員對普通進(jìn)程是無效的,可以設(shè)定為0。除了上面描述的三種調(diào)度策略,policy成員也可以設(shè)定SCHED_YIELD的標(biāo)記,當(dāng)然它和調(diào)度策略無關(guān),主要處理sched_yield系統(tǒng)調(diào)用的。

Processor、cpus_runnable和cpus_allowed這三個成員都是和CPU相關(guān)。Processor說明了該進(jìn)程正在執(zhí)行(或者上次執(zhí)行)的邏輯CPU號;cpus_allowed是該task允許在那些CPU上執(zhí)行的掩碼;cpus_runnable是為了計(jì)算一個指定的進(jìn)程是否適合調(diào)度到指定的CPU上去執(zhí)行而引入的,如果該進(jìn)程沒有被任何CPU執(zhí)行,那么所有的bit被設(shè)定為1,如果進(jìn)程正在被某個CPU執(zhí)行,那么正在執(zhí)行的CPU bit設(shè)定為1,其他設(shè)定為0。具體如何使用cpus_runnable可以參考can_schedule函數(shù)。

run_list成員是鏈接入各種鏈表的節(jié)點(diǎn),下一小節(jié)會描述內(nèi)核如何組織task,這里不再贅述。

2、如何組織task

Linux2.4版本的進(jìn)程調(diào)度器使用了非常簡陋的方法來管理可運(yùn)行狀態(tài)的進(jìn)程。調(diào)度器模塊定義了一個runqueue_head的鏈表頭變量,無論進(jìn)程是普通進(jìn)程還是實(shí)時進(jìn)程,只要進(jìn)程狀態(tài)變成可運(yùn)行狀態(tài)的時候,它會被掛入這個全局runqueue鏈表中。隨著系統(tǒng)的運(yùn)行,runqueue鏈表中的進(jìn)程會不斷的插入或者移除。例如當(dāng)fork進(jìn)程的時候,新鮮出爐的子進(jìn)程會掛入這個runqueue。當(dāng)阻塞或者退出的時候,進(jìn)程會從這個runqueue中刪除。但是無論如何變遷,調(diào)度器始終只是關(guān)注這個全局runqueue鏈表中的task,并把最適合的那個任務(wù)丟到CPU上去執(zhí)行。由于整個系統(tǒng)中的所有CPU共享一個runqueue,為了解決同步問題,調(diào)度器模塊定義了一個自旋鎖來保護(hù)對這個全局runqueue的并發(fā)訪問

除了這個runqueue隊(duì)列,系統(tǒng)還有一個囊括所有task(不管其進(jìn)程狀態(tài)為何)的鏈表,鏈表頭定義為init_task,在一個調(diào)度周期結(jié)束后,重新為task賦初始時間片值的時候會用到該鏈表。此外,進(jìn)入sleep狀態(tài)的進(jìn)程分別掛入了不同的等待隊(duì)列中。當(dāng)然,由于這些進(jìn)程鏈表和調(diào)度關(guān)系不是那么密切,因此上圖中并沒有標(biāo)識出來。

3、動態(tài)優(yōu)先級和靜態(tài)優(yōu)先級

所謂靜態(tài)優(yōu)先級就是task固有的優(yōu)先級,不會隨著進(jìn)程的行為而改變。對于實(shí)時進(jìn)程,靜態(tài)優(yōu)先級就是rt_priority,而對于普通進(jìn)程,靜態(tài)優(yōu)先級就是(20 – nice)。然而實(shí)際上調(diào)度器在進(jìn)行調(diào)度的時候,并沒有采用靜態(tài)優(yōu)先級,而是比對動態(tài)優(yōu)先級來決定誰更有資格獲得CPU資源,當(dāng)然動態(tài)優(yōu)先級的計(jì)算是基于靜態(tài)優(yōu)先級的。

在計(jì)算動態(tài)優(yōu)先級(goodness函數(shù))的時候,我們可以分成兩種情況:實(shí)時進(jìn)程和普通進(jìn)程。對于實(shí)時進(jìn)程而言,動態(tài)優(yōu)先級等于靜態(tài)優(yōu)先級加上一個固定的偏移:

weight = 1000 + p->rt_priority;

之所以這么做是為了將實(shí)時進(jìn)程和普通進(jìn)程區(qū)別開,這樣的操作也保證了實(shí)時進(jìn)程會完全優(yōu)先于普通進(jìn)程的調(diào)度。而對于普通進(jìn)程,動態(tài)優(yōu)先級的計(jì)算稍微有些復(fù)雜,我們可以摘錄部分代碼如下:

weight = p->counter;

if (!weight)

goto out;

weight += 20 - p->nice;

對于普通進(jìn)程,計(jì)算動態(tài)優(yōu)先級的策略如下:

(1) 如果該進(jìn)程的時間片已經(jīng)耗盡,那么動態(tài)優(yōu)先級是0,這也意味著在本次調(diào)度周期中該進(jìn)程已經(jīng)再也沒有機(jī)會獲取CPU資源了。

(2) 如果該進(jìn)程的時間片還有剩余,那么其動態(tài)優(yōu)先級等于該進(jìn)程剩余的時間片和靜態(tài)優(yōu)先級之和。之所以用(20-nice value)表示靜態(tài)優(yōu)先級,主要是為了讓靜態(tài)優(yōu)先級變成單調(diào)上升。之所以要考慮剩余時間片是為了獎勵睡眠的進(jìn)程,因?yàn)樗叩倪M(jìn)程剩余的時間片較多,因此動態(tài)優(yōu)先級也就會高一些,更容易被調(diào)度器調(diào)度執(zhí)行。

調(diào)度器是根據(jù)動態(tài)優(yōu)先級來進(jìn)行調(diào)度,誰大就先執(zhí)行誰。我們可以用普通進(jìn)程作為例子:如果進(jìn)程靜態(tài)優(yōu)先級高(即nice value小),剩余時間片多,那么必定是優(yōu)先執(zhí)行。如果靜態(tài)優(yōu)先級高,但是所剩時間片無幾,那么可能會讓位給其他剩余時間片較多,優(yōu)先級適中的任務(wù)。靜態(tài)優(yōu)先級低的任務(wù)毫無疑問是受到雙重打擊,因?yàn)楸緛硭娜笔r間片就不多,而且優(yōu)先級也很低。不過,無論靜態(tài)優(yōu)先級如何高,只要時間片用完,那么低優(yōu)先級的任務(wù)總是能夠有機(jī)會執(zhí)行,不至于餓死。

在計(jì)算普通進(jìn)程的動態(tài)優(yōu)先級的時候,除了考慮進(jìn)程剩余時間片信息和靜態(tài)優(yōu)先級,調(diào)度器也會酌情考慮cache和TLB的性能問題。例如,例如A和B進(jìn)程優(yōu)先級相同,剩余的時間片都是3個tick,但是A進(jìn)程上一次就是運(yùn)行在本CPU上,如果選擇A,可能會有更好的cache和TLB的命中率,從而提高性能。在這種情況下,調(diào)度器會提升A進(jìn)程的動態(tài)優(yōu)先級。此外,如果備選進(jìn)程和當(dāng)前進(jìn)程共享同一個地址空間,那么在計(jì)算調(diào)度指數(shù)的時候也會做小小的傾斜。這里有兩種可能的情況:一種是備選進(jìn)程和當(dāng)前進(jìn)程在一個線程組中(即是進(jìn)程中的兩個線程),另外一種情況是備選進(jìn)程是內(nèi)核線程,這時候,它往往會借用上一個進(jìn)程地址空間。不論是哪一種情況,在進(jìn)程切換的時候,由于不需要進(jìn)行進(jìn)程地址空間的切換,因此也會有性能的優(yōu)勢。

3、調(diào)度時機(jī)

對于2.4內(nèi)核,產(chǎn)生調(diào)度的時機(jī)主要包括:

(1) 進(jìn)程主動發(fā)起調(diào)度。

(2) 在timer中斷處理中發(fā)現(xiàn)當(dāng)前進(jìn)程耗盡其時間片

(3) 進(jìn)程喚醒的時候(例如喚醒一個RT進(jìn)程)。更詳細(xì)的信息可以參考下一個小節(jié)。

(4) 父進(jìn)程在fork的時候,其時間片會均分到父子進(jìn)程,但是如果只剩下一個tick,這個tick會分配給子進(jìn)程,而父進(jìn)程的時間片則被清零,這時候,進(jìn)程遭遇的場景等同與在timer中斷處理中發(fā)現(xiàn)當(dāng)前進(jìn)程耗盡其時間片。如果父進(jìn)程在fork的時候,其時間片較大,父子進(jìn)程的時間片都不為0,這時候的場景類似于喚醒進(jìn)程。因?yàn)檫@兩個場景都是向runqueue中添加了一個task node,從而引發(fā)的調(diào)度。

(5) 進(jìn)程切換的時候。當(dāng)在系統(tǒng)中的某個CPU上發(fā)生了進(jìn)程切換,例如A任務(wù)切換到了B任務(wù),這時候是否A任務(wù)就失去了執(zhí)行的機(jī)會了呢?當(dāng)然也未必,因?yàn)殡m然競爭本CPU失敗,但是也許其他的CPU上運(yùn)行的task動態(tài)優(yōu)先級還不如A呢,抑或正好其他CPU有進(jìn)入idle狀態(tài),正等待著新進(jìn)程入駐。

(6) 用戶進(jìn)程主動讓出CPU的時候

(7) 用戶進(jìn)程修改調(diào)度參數(shù)的時候

上面的種種場景,除了進(jìn)程主動調(diào)度之外,其他的場景都不是立刻調(diào)度schedule函數(shù),而是設(shè)定need_resched標(biāo)記,然后等待調(diào)度點(diǎn)的到來。由于2.4內(nèi)核不是preemptive kernel,因此調(diào)度點(diǎn)總是在返回用戶空間的時候才會到來。當(dāng)調(diào)度點(diǎn)到來的時候,進(jìn)程調(diào)度就會在該CPU上啟動。搶占的場景太多,我們選擇進(jìn)程喚醒的場景來詳細(xì)描述,其他場景大家自行分析吧。

4、進(jìn)程喚醒的處理

當(dāng)進(jìn)程被喚醒的時候(try_to_wake_up),該task會被加入到那個全局runqueue中,但是是否啟動調(diào)度還需要進(jìn)行一系列的判斷。為了能清楚的描述這個場景,我們定義執(zhí)行喚醒的那個進(jìn)程是waker,而被喚醒的進(jìn)程是wakee。Wakeup有兩種,一種是sync wakeup,另外一種是non-sync wakeup。所謂sync wakeup就是waker在喚醒wakee的時候就已經(jīng)知道自己很快就進(jìn)入sleep狀態(tài),而在調(diào)用try_to_wake_up的時候最好不要進(jìn)行搶占,因?yàn)閣aker很快就主動發(fā)起調(diào)度了。此外,一般而言,waker和wakee會有一定的親和性(例如它們通過share memory進(jìn)行通信),在SMP場景下,waker和wakee調(diào)度在一個CPU上執(zhí)行的時候往往可以獲取較佳的性能。而如果在try_to_wake_up的時候就進(jìn)行調(diào)度,這時候wakee往往會調(diào)度到系統(tǒng)中其他空閑的CPU上去。這時候,通過sync wakeup,我們往往可以避免不必要的CPU bouncing。對于non-sync wakeup而言,waker和wakee沒有上面描述的同步關(guān)系,waker在喚醒wakee之后,它們之間是獨(dú)立運(yùn)作,因此在喚醒的時候就可以嘗試去觸發(fā)一次調(diào)度。

當(dāng)然,也不是說sync wakeup就一定不調(diào)度,假設(shè)waker在CPU A上喚醒wakee,而根據(jù)wakee進(jìn)程的cpus_allowed成員發(fā)現(xiàn)它根本不能在CPU A上調(diào)度執(zhí)行,那么管他sync不sync,這時候都需要去嘗試調(diào)度(調(diào)用reschedule_idle函數(shù)),反正waker和wakee命中注定是天各一方(在不同的CPU上執(zhí)行)。

我們首先看看UP上的情況。這時候waker和wakee在同一個CPU上運(yùn)行(當(dāng)然系統(tǒng)中也只有一個CPU,哈哈),這時候誰能搶占CPU資源完全取決于waker和wakee的動態(tài)優(yōu)先級,如果wakee的動態(tài)優(yōu)先級大于waker,那么就標(biāo)記waker的need_resched標(biāo)志,并在調(diào)度點(diǎn)到來的時候調(diào)用schedule函數(shù)進(jìn)行調(diào)度。

SMP情況下,由于系統(tǒng)的CPU資源比較多,waker和wakee沒有必要爭個你死我活,wakee其實(shí)也可以選擇去其他CPU執(zhí)行,相關(guān)的算法大致如下:

(1) 優(yōu)先調(diào)度wakee去系統(tǒng)其他空閑的CPU上執(zhí)行,如果wakee上次運(yùn)行的CPU恰好處于idle狀態(tài)的時候,可以考慮優(yōu)先將wakee調(diào)度到那個CPU上執(zhí)行。如果不是,那么需要掃描系統(tǒng)中所有的CPU找到最合適的idle CPU。所謂最合適就是指最近才進(jìn)入idle的那個CPU。

(2) 如果所有的CPU都是busy的,那么需要遍歷所有CPU上當(dāng)前運(yùn)行的task,比對它們的動態(tài)優(yōu)先級,找到動態(tài)優(yōu)先級最低的那個CPU。

(3) 如果動態(tài)優(yōu)先級最低的那個task的優(yōu)先級仍然高于wakee,那么沒有必要調(diào)度,runqueue中的wakee需要耐心等待下一次機(jī)會。如果wakee的動態(tài)優(yōu)先級高于找到的那個動態(tài)優(yōu)先級最低的task,那么標(biāo)記其need_resched標(biāo)志。如果不是搶占waker,那么我們還需要發(fā)送IPI去觸發(fā)該CPU的調(diào)度。

當(dāng)然,這是2.4內(nèi)核調(diào)度器的設(shè)計(jì)選擇,實(shí)際上這樣的操作值得商榷。限于篇幅,本文就不再展開敘述,如果有機(jī)會寫負(fù)載均衡的文章就可以好好的把這些關(guān)系梳理一下。

5、主調(diào)度器算法

主調(diào)度器(schedule函數(shù))核心代碼如下:

list_for_each(tmp, &runqueue_head) {

p = list_entry(tmp, struct task_struct, run_list);

int weight = goodness(p, this_cpu, prev->active_mm);

if (weight > c)

c = weight, next = p;

}

list_for_each用來遍歷runqueue_head鏈表上的所有的進(jìn)程,臨時變量p就是本次需要檢查的進(jìn)程描述符。如何判斷哪一個進(jìn)程是最適合調(diào)度執(zhí)行的進(jìn)程呢?我們需要計(jì)算進(jìn)程的動態(tài)優(yōu)先級(對應(yīng)上面程序中的變量weight),它是通過goodness函數(shù)實(shí)現(xiàn)的。動態(tài)優(yōu)先級最大的那個進(jìn)程就是當(dāng)前最適合調(diào)度到CPU執(zhí)行的進(jìn)程。一旦選中,調(diào)度器會啟動進(jìn)程切換,運(yùn)行該進(jìn)程以替換之前的那個進(jìn)程。

根據(jù)代碼可知:即便鏈表第一個節(jié)點(diǎn)就是最合的下一個要調(diào)度執(zhí)行的進(jìn)程,調(diào)度器算法仍然會遍歷全局runqueue鏈表,一一比對。由此我們可以判斷2.4內(nèi)核中的調(diào)度器的算法復(fù)雜度是O(n)。一旦選中了下一個要執(zhí)行的進(jìn)程,進(jìn)程切換模塊就會在該CPU上執(zhí)行具體的進(jìn)程切換。

對于SCHED_RR的實(shí)時進(jìn)程,優(yōu)先級相等的情況下還需要有一個時間片輪轉(zhuǎn)的概念。因此,在遍歷鏈表之前我們就先處理該進(jìn)程的時間片處理:

if (unlikely(prev->policy == SCHED_RR))

if (!prev->counter) {

prev->counter = NICE_TO_TICKS(prev->nice);

move_last_runqueue(prev);

}

如果時間片(對應(yīng)上面程序中的prev->counter)用完,SCHED_RR的實(shí)時進(jìn)程會被移到runqueue鏈表的尾部。通過這樣的處理,優(yōu)先級相等的SCHED_RR在遍歷runqueue鏈表的時候會命中鏈表中的第一個task,從而實(shí)現(xiàn)時間片輪轉(zhuǎn)的概念。這里有一個比較奇葩的事情就是SCHED_RR的時間片是根據(jù)其nice value設(shè)定,而實(shí)際上nice value應(yīng)該只適用于普通進(jìn)程的。

6、時間片處理

普通進(jìn)程的時間片處理思路是這樣:

(1)每個進(jìn)程根據(jù)其靜態(tài)優(yōu)先級可以固定分配一個缺省的時間片,靜態(tài)優(yōu)先級越大,分配的時間片就越大。

(2)一旦Runqueue中的進(jìn)程被調(diào)度執(zhí)行,那么其時間片就會在tick到來的時候遞減,如果進(jìn)程時間片耗盡,那么該進(jìn)程將失去分配CPU資源的資格。

(3)Runqueue中的進(jìn)程的時間片全部被用完之后,我們稱一個調(diào)度周期結(jié)束,這時候需要為runqueue中的進(jìn)程重新設(shè)定其缺省時間片,這樣,一個新的調(diào)度周期又開始了。

如何確定每個進(jìn)程的缺省時間片呢?由于時間片是按照tick來分配的,那么最小的時間片也是1個tick,也就是說最低優(yōu)先級(nice value等于19)的缺省時間片就是1個tick。對于中間優(yōu)先級(nice value等于0)的時間片,我們將其設(shè)定為50ms左右,具體的算法大家可以自行參考NICE_TO_TICKS的代碼實(shí)現(xiàn)。不得不承認(rèn)這個根據(jù)nice value計(jì)算缺省時間片的過程還是很丑陋的,不同的HZ設(shè)定,計(jì)算得到的缺省時間片是不一樣的。也就是說系統(tǒng)的調(diào)度行為和HZ的設(shè)定有關(guān),這叫有代碼潔癖的同學(xué)如何能夠接受。不論如何,我們還是給出實(shí)際的例子來感受一下:

?

-20

-10

0

10

19

HZ=100

11個tick

110ms

8個tick

80ms

6個tick

60ms

3個tick

30ms

1個tick

10ms

HZ=1000

81個tick

81ms

61個tick

61ms

41個tick

41ms

21tick

21ms

3個tick

3ms

當(dāng)runqueue中所有進(jìn)程的時間片耗盡之后,這時候就會開啟一次重新加載進(jìn)程缺省時間片的過程,代碼如下(在schedule函數(shù)中):

if (unlikely(!c)) {

struct task_struct *p;

for_each_task(p)

p->counter = (p->counter >> 1) + NICE_TO_TICKS(p->nice);

goto repeat_schedule;

}

這里c就是遍歷runqueue鏈表之后找到的最大動態(tài)優(yōu)先級,如果它等于0則說明:首先,系統(tǒng)中沒有處于可運(yùn)行狀態(tài)的實(shí)時進(jìn)程,其次,所有的處于可運(yùn)行狀態(tài)的普通進(jìn)程都已經(jīng)消耗完了它們的時間片,這時候是需要重新“充值”了。for_each_task這個宏是遍歷所有系統(tǒng)中的進(jìn)程描述符,不論是否是可運(yùn)行狀態(tài)的。對于掛入runqueue鏈表中的普通進(jìn)程而言,其當(dāng)前的時間片p->counter已經(jīng)是等于0了,因此它獲得的新的時間片就是NICE_TO_TICKS(p->nice),也就是根據(jù)nice value計(jì)算得到的缺省時間片。對于掛入等待隊(duì)列中處于睡眠狀態(tài)的進(jìn)程而言,其時間片p->counter還有剩余,當(dāng)然會累積到進(jìn)程時間片配額中,這也算是對睡眠進(jìn)程的一種獎勵吧。為了防止經(jīng)常睡眠的交互式進(jìn)程獲得過于龐大的時間片,這里并不是累積其全部存留時間片,而是打了個對折(p->counter >> 1)。

新的一個周期開始了,當(dāng)前進(jìn)程已經(jīng)在CPU上奔跑了,消耗其時間片的代碼位于timer中斷處理中,如下:

if (--p->counter <= 0) {

p->counter = 0;

p->need_resched = 1;

}

每一個tick到來的時候,進(jìn)程的時間片都會減一,當(dāng)時間片是0的時候,調(diào)度器剝奪其執(zhí)行的權(quán)力,從而從而引發(fā)一次調(diào)度,選擇其他時間片不是0的進(jìn)程運(yùn)行,直到runqueue中的所有進(jìn)程時間片耗盡,又會重新賦值,開始一個新的周期。調(diào)度器就這樣周而復(fù)始,推動整個系統(tǒng)的運(yùn)作。

四、2.6時代的O(1)調(diào)度器

1、Why O(1)調(diào)度器

如果簡單是判斷調(diào)度器好壞的唯一標(biāo)準(zhǔn),那么無疑O(n)調(diào)度器是最優(yōu)秀的調(diào)度器。雖然它非常的簡單,容易理解,但是存在嚴(yán)重的擴(kuò)展性問題和性能問題。下面讓我們一起來控訴O(n)調(diào)度器的“七宗罪”,同時這也是Ingo Molnar發(fā)起O(1)調(diào)度器項(xiàng)目背后的原因。

(1)算法復(fù)雜度問題

讓人最不爽的就是對runqueue隊(duì)列的遍歷,當(dāng)系統(tǒng)中runnable進(jìn)程不多的時候,遍歷鏈表的開銷還可以接受,但是隨著系統(tǒng)中runnable狀態(tài)的進(jìn)程數(shù)目增多,那么調(diào)度器select next的運(yùn)算量也隨之呈線性的增長,這也是我們?yōu)槭裁唇兴麿(n)調(diào)度器的原因。

此外,調(diào)度周期結(jié)束后,調(diào)度器會為所有進(jìn)程的時間片進(jìn)行“充值“的動作。在大型系統(tǒng)中,同時存在的進(jìn)程(包括睡眠的進(jìn)程)可能會有數(shù)千個,為每一個進(jìn)程計(jì)算其時間片的過程太耗費(fèi)時間。

(2)SMP擴(kuò)展性問題

2.4內(nèi)核的O(n)調(diào)度器有非常差的SMP擴(kuò)展性。我們知道,O(n)調(diào)度器是通過一個鏈表來管理系統(tǒng)中的所有的等待調(diào)度的進(jìn)程,訪問這個runqueue鏈表的場景很多:進(jìn)行調(diào)度的時候,我們需要遍歷runqueue,找到合適的next task;wakeup或者block進(jìn)程的時候,我們需要從runqueue中增加節(jié)點(diǎn)或者刪除節(jié)點(diǎn)……在訪問runqueue這個鏈表的時候,我們都會首先會上自旋鎖,同時disable本地CPU中斷,然后訪問鏈表執(zhí)行相應(yīng)的動作,完成之后釋放鎖,開中斷。通過這樣的內(nèi)核同步機(jī)制,我們可以保證來自多個CPU對runqueue鏈表的并發(fā)訪問。當(dāng)系統(tǒng)中的CPU數(shù)目比較少的時候,自旋鎖的開銷還可以接受,但是在大型系統(tǒng)中,CPU數(shù)目非常多,這時候runqueue spin lock就成為系統(tǒng)的性能瓶頸。

(3)CPU空轉(zhuǎn)問題

每當(dāng)runqueue鏈表中的所有進(jìn)程耗盡了其時間片,這時候就需要啟動對系統(tǒng)中所有進(jìn)程時間片重新計(jì)算的過程。這個計(jì)算過程異常丑陋,需要遍歷系統(tǒng)中的所有進(jìn)程(注意:是所有進(jìn)程!),為進(jìn)程描述符的counter成員賦一個新值。而這個操作足以把該CPU上的L1 cache全部干掉。當(dāng)完成了時間片重新計(jì)算過程后,你幾乎面對的就是一個全空的L1 cache(當(dāng)然不是全空,主要是cache中的數(shù)據(jù)沒有任何意義,這時候L1 cache的命中率急劇下降)。除此之外,時間片重新計(jì)算過程會帶來CPU資源的浪費(fèi),我們用下面的圖片來描述:

在runqueue隊(duì)列中的全部進(jìn)程時間片被耗盡之前,系統(tǒng)總會處于這樣一個狀態(tài):最后的一組尚存時間片的進(jìn)程分分別調(diào)度到各個CPU上去。我們以4個CPU為例,T0~T3分別運(yùn)行在CPU0~CPU3上。隨著系統(tǒng)的運(yùn)行,CPU2上的T2首先耗盡了其時間片,但是這時候,其實(shí)CPU2上也是無法進(jìn)行調(diào)度的,因?yàn)楸闅vrunqueue鏈表,找不到適合的進(jìn)程調(diào)度運(yùn)行,因此它只能是處于idle狀態(tài)。也許隨后T0和T3也耗盡其時間片,從而導(dǎo)致CPU0和CPU3也進(jìn)入了idle狀態(tài)。現(xiàn)在只剩下最后一個進(jìn)程T1仍然在CPU1上運(yùn)行,而其他系統(tǒng)中的處理器處于idle狀態(tài),白白的浪費(fèi)資源。唯一能改變這個狀態(tài)的是T1耗盡其時間片,從而啟動一個重新計(jì)算時間片的過程,這時候,正常的調(diào)度就可以恢復(fù)了。隨著系統(tǒng)中CPU數(shù)目的加大,資源浪費(fèi)會越來越嚴(yán)重。

(4)task bouncing issue

一般而言,一個進(jìn)程最好是從一而終,假如它運(yùn)行在系統(tǒng)中的某個CPU中,那么在其處于可運(yùn)行狀態(tài)的過程中,最好是一直保持在該CPU上運(yùn)行。不過在O(n)調(diào)度器下,很多人都反映有進(jìn)程在CPU之間跳來跳去的現(xiàn)象。其根本的原因也是和時間片算法相關(guān)。在一個新的周期開后,runqueue中的進(jìn)程時間片都是滿滿的,在各個CPU上調(diào)度進(jìn)程的時候,它可選擇的比較多,再加上調(diào)度器傾向于調(diào)度上次運(yùn)行在本CPU的進(jìn)程,因此調(diào)度器有很大的機(jī)會把上次運(yùn)行的進(jìn)程調(diào)度到同一個處理器上。但是隨著runqueue中的進(jìn)程一個個的耗盡其時間片,cpu可選擇的余地在不斷的壓縮,從而導(dǎo)致進(jìn)程執(zhí)行在一個和它親和性不大的處理器(例如上次該進(jìn)程運(yùn)行在CPU0,但是這個將其調(diào)度到CPU1執(zhí)行,但是實(shí)際上該進(jìn)程和CPU0的親和性更大些)。

(5)RT進(jìn)程調(diào)度性能問題

實(shí)時調(diào)度的性能一般。通過上一節(jié)的介紹,我們知道,實(shí)時進(jìn)程和普通進(jìn)程掛在一個鏈表中。當(dāng)調(diào)度實(shí)時進(jìn)程的時候,我們需要遍歷整個runqueue列表,掃描并計(jì)算所有進(jìn)程的調(diào)度指數(shù),從而選擇出心儀的那個實(shí)時進(jìn)程。按理說實(shí)時進(jìn)程和普通進(jìn)程位于不同的調(diào)度空間,兩不相干,但是現(xiàn)在調(diào)度實(shí)時進(jìn)程還需要掃描計(jì)算普通進(jìn)程,這樣糟糕的算法讓那些關(guān)注實(shí)時性的工程師不能忍受。

當(dāng)然,上面的這些還不是關(guān)鍵,最重要的是整個linux內(nèi)核不是搶占式內(nèi)核,在整個內(nèi)核態(tài)都不能被搶占。對于一些比較耗時(可能幾個毫秒)的系統(tǒng)調(diào)用或者中斷處理,必須返回用戶空間才啟動調(diào)度是不可接受的。除了內(nèi)核搶占性之外,優(yōu)先級翻轉(zhuǎn)問題也需要引起調(diào)度器的重視,否則即便一個rt進(jìn)程變成runnable狀態(tài)了,但是也只能眼睜睜的看著比它優(yōu)先級低的進(jìn)程運(yùn)行,直到該rt進(jìn)程等待的資源被釋放。

(6)交互式普通進(jìn)程的調(diào)度延遲問題

O(n)并不區(qū)分交互式進(jìn)程和批處理進(jìn)程,它只是獎勵經(jīng)常睡眠的那些進(jìn)程。但是有些批處理進(jìn)程也屬于IO-bound進(jìn)程,例如數(shù)據(jù)庫服務(wù)進(jìn)程,它本身是一個后臺進(jìn)程,對調(diào)度延遲不敏感,但是由于它需要和磁盤打交道,因此也會經(jīng)常阻塞在disk IO上。對這樣的后臺進(jìn)程進(jìn)行動態(tài)優(yōu)先級的升高其實(shí)是沒有意義的,會增大其他交互式進(jìn)程的調(diào)度延遲。另外一方面,用戶交互式進(jìn)程也可能是CPU-bound的,而這時候調(diào)度器不會正確的了解到該進(jìn)程的調(diào)度需求并對其進(jìn)行補(bǔ)償。

(7)時間片粒度問題。

用戶感知到的響應(yīng)延遲是和系統(tǒng)負(fù)載相關(guān),我們可以用runnable進(jìn)程數(shù)目來粗略的描述系統(tǒng)的負(fù)載。當(dāng)系統(tǒng)負(fù)載高的時候,runqueue中的進(jìn)程數(shù)目會比較多,一次調(diào)度周期的時間就會比較長,例如在HZ=100的情況下,runqueue上有5個runnable進(jìn)程,nice value是0,每個時間片配額是60ms,那么一個調(diào)度周期就是300ms。隨著runnable進(jìn)程增大,調(diào)度周期也變大。當(dāng)一個進(jìn)程耗盡其時間片之后,只能等待下一個調(diào)度周期到來。因此隨著調(diào)度周期變大,系統(tǒng)響應(yīng)也會變的較差。

雖然O(n)調(diào)度器存在不少的issue,但是社區(qū)的人還是基本認(rèn)可這套算法的,因此在設(shè)計(jì)新的調(diào)度器的時候并不是完全推翻O(n)調(diào)度器的設(shè)計(jì),而是針對O(n)調(diào)度器的問題進(jìn)行改進(jìn)。在本章中我們選擇2.6.11版本的內(nèi)核來描述O(1)調(diào)度器如何運(yùn)作。鑒于O(1)調(diào)度器和O(n)調(diào)度器沒有本質(zhì)區(qū)別,因此我們只是描述它們之間不同的地方。

2、O(1)調(diào)度器的軟件功能劃分

下圖是一個O(1)調(diào)度器的軟件框架:

O(n)調(diào)度器中只有一個全局的runqueue,嚴(yán)重影響了擴(kuò)展性,因此在O(1)調(diào)度器中引入了per-CPU runqueue的概念。系統(tǒng)中所有的可運(yùn)行狀態(tài)的進(jìn)程首先經(jīng)過負(fù)載均衡模塊掛入各個CPU的runqueue,然后由主調(diào)度器和tick調(diào)度器驅(qū)動該CPU上的調(diào)度行為。由于篇幅的原因,我們在本文中不講解負(fù)載均衡模塊,把重點(diǎn)放在單個CPU上的任務(wù)調(diào)度算法。

由于引入了per-CPU runqueue,O(1)調(diào)度器刪除了全局runqueue的spin lock,而是把這個spin lock放入到per-CPU runqueue數(shù)據(jù)結(jié)構(gòu)中(rq->lock),通過把一個大鎖細(xì)分成小鎖,可以大大降低調(diào)度延遲,提升系統(tǒng)響應(yīng)時間。這種方法在內(nèi)核中經(jīng)常使用,是一個比較通用的性能優(yōu)化方法。

通過上面的軟件結(jié)構(gòu)劃分可以解決O(n)調(diào)度的SMP擴(kuò)展性問題和CPU空轉(zhuǎn)問題。此外,好的復(fù)雜均衡算法也可以解決O(n)調(diào)度器的task bouncing 問題。

3、O(1)調(diào)度器的runqueue結(jié)構(gòu)

O(1)調(diào)度器的基本優(yōu)化思路就是把原來runqueue上的單鏈表變成多個鏈表,即每一個優(yōu)先級的進(jìn)程被掛入不同鏈表中。相關(guān)的軟件結(jié)構(gòu)可以參考下面的圖片:

在調(diào)度器中,runqueue是一個很重要的數(shù)據(jù)結(jié)構(gòu),它最重要的作用是管理那些處于可運(yùn)行狀態(tài)的進(jìn)程。O(1)調(diào)度器引入了優(yōu)先級隊(duì)列的概念來管理task,具體由struct prio_array抽象:

struct prio_array {

unsigned int nr_active;

unsigned long bitmap[BITMAP_SIZE];

struct list_head queue[MAX_PRIO];

};

由于支持140個優(yōu)先級,因此queue成員中有140個分別表示各個優(yōu)先級的鏈表頭,不同優(yōu)先級的進(jìn)程掛入不同的鏈表中。bitmap 是表示各個優(yōu)先級進(jìn)程鏈表是空還是非空。nr_active表示這個隊(duì)列中有多少個task。在這些隊(duì)列中,100~139是普通進(jìn)程的優(yōu)先級,其他的是實(shí)時進(jìn)程的優(yōu)先級。因此,在O(1)調(diào)度器中,RT進(jìn)程和普通進(jìn)程被區(qū)分開了,普通進(jìn)程根本不會影響RT進(jìn)程的調(diào)度。

Runqueue中有兩個優(yōu)先級隊(duì)列(struct prio_array)分別用來管理active(即時間片還有剩余)和expired(時間片耗盡)的進(jìn)程。Runqueue中有兩個優(yōu)先級隊(duì)列的指針,分別指向這兩個優(yōu)先級隊(duì)列。隨著系統(tǒng)的運(yùn)行,active隊(duì)列的task一個個的耗盡其時間片,掛入到expired隊(duì)列。當(dāng)active隊(duì)列的task為空的時候,切換active和expired隊(duì)列,開始一輪新的調(diào)度過程。

雖然在O(1)調(diào)度器中task組織的形式發(fā)生了變化,但是其核心思想仍然和O(n)調(diào)度器一致的,都是把CPU資源分成一個個的時間片,分配給每一個runnable的進(jìn)程。進(jìn)程用完其額度后被搶占,等待下一個調(diào)度周期的到來。

4、核心調(diào)度算法

主調(diào)度器(就是schedule函數(shù))的主要功能是從該CPU的runqueue找到一個最合適的進(jìn)程調(diào)度執(zhí)行。其基本的思路就是從active優(yōu)先級隊(duì)列中尋找,代碼如下:

idx = sched_find_first_bit(array->bitmap);

queue = array->queue + idx;

next = list_entry(queue->next, task_t, run_list);

首先在當(dāng)前active優(yōu)先級隊(duì)列的bitmap尋找第一個非空的進(jìn)程鏈表,然后從該鏈表中找到的第一個節(jié)點(diǎn)就是最適合下一個調(diào)度執(zhí)行的進(jìn)程。由于沒有遍歷整個鏈表的操作,因此這個調(diào)度器的算法復(fù)雜度是一個常量,從而解決了O(n)算法復(fù)雜度的issue。

如果當(dāng)前active優(yōu)先級隊(duì)列中“空無一人”(nr_active等于0),那么這時候就需要切換active和expired優(yōu)先級隊(duì)列了:

if (unlikely(!array->nr_active)) {

rq->active = rq->expired;

rq->expired = array;

array = rq->active;

}

切換很快,并沒有一個遍歷所有進(jìn)程重新賦default時間片的操作(大大縮減了runqueue臨界區(qū)的size)。這些都避免了O(n)調(diào)度器帶來的種種問題,從而提高了調(diào)度器的性能。

5、靜態(tài)優(yōu)先級和動態(tài)優(yōu)先級

在前面的小節(jié)中,我們有意的忽略了優(yōu)先級隊(duì)列中“優(yōu)先級”的具體含義,現(xiàn)在是需要澄清的時候了。其實(shí)優(yōu)先級隊(duì)列中“優(yōu)先級”指的是動態(tài)優(yōu)先級,從這個角度看,O(1)和O(n)調(diào)度器的調(diào)度算法又統(tǒng)一了,都是根據(jù)動態(tài)優(yōu)先級進(jìn)行調(diào)度。

O(1)的靜態(tài)優(yōu)先級的概念和O(n)是類似的,對于實(shí)時進(jìn)程保存在進(jìn)程描述符的rt_priority成員中,取值范圍是1(優(yōu)先級最低)~99(優(yōu)先級最高)。對于普通進(jìn)程,靜態(tài)優(yōu)先級則保存在static_prio成員中,取值范圍是100(優(yōu)先級最高)~139(優(yōu)先級最低),分別對應(yīng)nice value的-20 ~ 19。

了解了靜態(tài)優(yōu)先級之后,我們一起來看看動態(tài)優(yōu)先級(保存在進(jìn)程描述符的prio成員中)。鑒于在實(shí)際調(diào)度的時候使用的是動態(tài)優(yōu)先級,我們必須要保證它是單調(diào)的(靜態(tài)優(yōu)先級未能保持單調(diào),rt的99和普通進(jìn)程的100都是靜態(tài)優(yōu)先級的最高點(diǎn),也就是說在靜態(tài)優(yōu)先級數(shù)軸上,rt段是單調(diào)上升,而在普通進(jìn)程段是單調(diào)下降的)。為了解決這個問題,在計(jì)算實(shí)時進(jìn)程動態(tài)優(yōu)先級的時候進(jìn)行了一個簡單的映射:

p->prio = MAX_USER_RT_PRIO-1 - p->rt_priority;

通過這樣的轉(zhuǎn)換,rt的動態(tài)優(yōu)先級在數(shù)軸上也是單調(diào)下降的了。普通進(jìn)程的動態(tài)優(yōu)先級計(jì)算沒有那么簡單,除了靜態(tài)優(yōu)先級,還需要考慮進(jìn)程的平均睡眠時間(保存在進(jìn)程描述符的sleep_avg成員中),并根據(jù)該值對進(jìn)程進(jìn)行獎懲。具體代碼可以參考effective_prio函數(shù),這里不再詳述,最終普通進(jìn)程的動態(tài)優(yōu)先級是100(優(yōu)先級最高)~139(優(yōu)先級最低),和靜態(tài)優(yōu)先級的取值范圍是一致的。

在本小節(jié)的最后,我們一起來對比普通進(jìn)程在O(1)和O(n)調(diào)度器的動態(tài)優(yōu)先級算法。這個兩個調(diào)度器的基本思路是一致的:考慮靜態(tài)優(yōu)先級,輔以對該進(jìn)程的“用戶交互指數(shù)”的評估,用戶交互指數(shù)高的,調(diào)升其動態(tài)優(yōu)先級,反之則降低。不過在評估用戶交互指數(shù)上,O(1)顯然做的更好。O(n)調(diào)度器僅僅考慮了睡眠進(jìn)程的剩余時間片,而O(1)的“平均睡眠時間”算法顯然考慮更多的因素:在cpu上的執(zhí)行時間、在runqueue中的等待時間、睡眠時間、睡眠時候的進(jìn)程狀態(tài)(是否可被信號打斷),什么上下文喚醒(中斷上下文喚醒還是在進(jìn)程上下文中喚醒)……因此O(1)調(diào)度器更好的判斷了進(jìn)程是屬于interactive process還是batch process,從而精準(zhǔn)的為interactive process打call。

6、時間片處理

缺省時間片的計(jì)算是通過task_timeslice完成的,在O(1)調(diào)度器中,缺省時間片已經(jīng)和HZ無關(guān)了,無論如何設(shè)置HZ,靜態(tài)優(yōu)先級為[ -20 ... 0 ... 19 ]的普通進(jìn)程其缺省時間片為[800ms ... 100ms ... 5ms]。

在tick到來的時候,當(dāng)前task的時間片會遞減(--p->time_slice),當(dāng)時間片等于0的時候,會將該task從active優(yōu)先級列表中摘下,設(shè)定resched標(biāo)記,并且重置時間片,代碼如下:

dequeue_task(p, rq->active);

set_tsk_need_resched(p);

p->time_slice = task_timeslice(p);

task_timeslice函數(shù)就是用來計(jì)算進(jìn)程時間片的配額的。對于O(1)調(diào)度器,時間片的重新賦值是分散處理的,在各個task耗盡其時間片之后立刻進(jìn)行的。這樣的改動也修正了O(n)調(diào)度器一次性的遍歷系統(tǒng)所有進(jìn)程,重新為時間片賦值的過程。

6、識別用戶交互式進(jìn)程

一般而言,時間片耗盡之后,該task會被掛入到expired優(yōu)先級隊(duì)列,這時候如果想要被調(diào)度只能等到下次active和expired切換了。不過,有些特殊的場景需要特殊處理:

if (!TASK_INTERACTIVE(p) || EXPIRED_STARVING(rq)) {

enqueue_task(p, rq->expired);

if (p->static_prio < rq->best_expired_prio)

rq->best_expired_prio = p->static_prio;

} else

enqueue_task(p, rq->active);

這里TASK_INTERACTIVE是用來判斷一個進(jìn)程是否是一個用戶交互式進(jìn)程(也是和平均睡眠時間相關(guān),由此可見,平均睡眠時間不僅用于計(jì)算動態(tài)優(yōu)先級,還用來決定一個進(jìn)程是否回插入active隊(duì)列),如果是的話,說明該進(jìn)程對用戶響應(yīng)比較敏感,這時候不能粗暴的掛入expired隊(duì)列,而是重新掛入active隊(duì)列,繼續(xù)有機(jī)會獲取調(diào)度執(zhí)行的機(jī)會。由此可見,O(1)調(diào)度器真是對用戶交互式進(jìn)程非常的照顧,一旦被判斷是用戶交互型進(jìn)程,那么它將獲取連續(xù)執(zhí)行的機(jī)會。當(dāng)然,調(diào)度器也不能太過分,如果用戶交互型進(jìn)程持續(xù)占用CPU,那么在expired隊(duì)列中苦苦等待進(jìn)程怎么辦?這時候就要看看expired隊(duì)列中的進(jìn)程的饑餓狀態(tài)了,這也就是EXPIRED_STARVING這個宏定義的功能。如果expired隊(duì)列中的進(jìn)程等待了太長的時間,那么說明調(diào)度器已經(jīng)出現(xiàn)嚴(yán)重不公平的現(xiàn)象,因此這時候即便是判斷當(dāng)前耗盡時間片的進(jìn)程是用戶交互型進(jìn)程,也把它掛入expired隊(duì)列,盡快的完成本次調(diào)度周期,讓active和expired發(fā)生切換。

O(1)調(diào)度器使用非常復(fù)雜的算法來判斷進(jìn)程的用戶交互指數(shù)以及進(jìn)程是否是交互式進(jìn)程,hardcode了很多的不知其所以然的常數(shù),估計(jì)也是通過各種大量的實(shí)驗(yàn)場景總結(jié)出來的。這部分的設(shè)計(jì)概念我是在是沒有勇氣去探索,因此這里就略過了。但是無論如何,它總是比僅僅考慮睡眠時間的O(n)調(diào)度器性能要好。

7、搶占式內(nèi)核

2.4時代,大部分的Linux應(yīng)用都集中在服務(wù)器領(lǐng)域,因此非搶占式內(nèi)核的設(shè)計(jì)選擇也無可厚非。不過隨著Linux在桌面和嵌入式上的滲透,系統(tǒng)響應(yīng)慢慢的稱為用戶投訴的主要方面,因此,在2.5的開發(fā)過程中,Linux引入了搶占式內(nèi)核的概念(CONFIG_PREEMPT),如果沒有配置該選項(xiàng),那么一切和2.4內(nèi)核保持一致,如果配置了該選項(xiàng),那么不需要在返回用戶空間的時候才苦苦等到調(diào)度點(diǎn),大部分的內(nèi)核執(zhí)行路徑都是可以被搶占的。同樣的,限于篇幅,這里不再展開描述。

五、公平調(diào)度思想的引入

1、傳統(tǒng)調(diào)度器時間片悖論

在O(n)和O(1)調(diào)度器中,時間片是固定分配的,靜態(tài)優(yōu)先級高的進(jìn)程獲取更大的time slice。例如nice value等于20的進(jìn)程獲取的default timeslice是5ms,而nice value等于0的進(jìn)程獲取的是100ms。直觀上,這樣的策略沒有毛病(高優(yōu)先級的獲取更多的執(zhí)行時間),但是,這樣的設(shè)定潛臺詞就是:高優(yōu)先級的進(jìn)程會獲得更多的連續(xù)執(zhí)行的機(jī)會,這是CPU-bound進(jìn)程期望的,但是實(shí)際上,CPU-bound進(jìn)程往往在后臺執(zhí)行,其優(yōu)先級都是比較低的。

因此,假設(shè)我們調(diào)度策略就是根據(jù)進(jìn)程靜態(tài)優(yōu)先級確定一個固定大小的時間片,這時候我們在如何分配時間片上會遇到兩難的狀況:想要給用戶交互型進(jìn)程設(shè)定高優(yōu)先級,以便它能有更好的用戶體驗(yàn),但是分配一個大的時間片是毫無意義的,因?yàn)檫@種進(jìn)程多半是處于阻塞態(tài),等待用戶的輸入。而后臺進(jìn)程的優(yōu)先級一般不高,但是根據(jù)其優(yōu)先級分配一個較小的時間片往往會影響其性能,這種類型的進(jìn)程最好是趁著cache hot的時候狂奔。

怎么辦?或者傳統(tǒng)調(diào)度器固定分配時間片這個設(shè)計(jì)概念就是錯誤的。

2、傳統(tǒng)調(diào)度器的卡頓問題

在Linux 2.5版本的開發(fā)過程中,Ingo Molnar設(shè)計(jì)的O(1)調(diào)度器替換掉了原始的、簡陋的O(n)調(diào)度器,從而解決了擴(kuò)展性很差,性能不佳的問題。在大部分的場景中,該調(diào)度器都獲得了滿意的性能,在商用的Linux 2.4發(fā)行版中,O(1)調(diào)度器被很多廠商反向移植到Linux 2.4中,由此可見O(1)調(diào)度器性能還是優(yōu)異的。

然而O(1)并非完美,在實(shí)際的使用過程中,還是有不少的桌面用戶在抱怨用戶交互性比較差。當(dāng)一個相當(dāng)消耗CPU資源的進(jìn)程啟動的時候,現(xiàn)存的那些用戶交互程序(例如你在通過瀏覽器查看網(wǎng)頁)都可以感覺到明顯的延遲。針對這些issue,很多天才工程師試圖通過對用戶交互指數(shù)算法的的修改來解決問題,這里面就包括公平調(diào)度思想的提出者Con Kolivas。不過無論如何調(diào)整算法,總是有點(diǎn)拆東墻補(bǔ)西墻的感覺,一個場景的issue修復(fù)了,另外一個場景又冒出來交互性不好的issue,刁鉆的客戶總是能夠在邊邊角角的場景中找到讓用戶感覺到的響應(yīng)延遲。

在反反復(fù)復(fù)修復(fù)用戶卡頓issue的過程中,工程師最容易煩躁,而往往這時候最需要冷靜的思考。Con Kolivas仔細(xì)的檢視了調(diào)度器代碼,他發(fā)現(xiàn)出問題的是評估進(jìn)程用戶交互指數(shù)的代碼。為何調(diào)度器要根據(jù)進(jìn)程的行為猜測其對交互性的需求?這根本是一項(xiàng)不可能完成的任務(wù),因?yàn)槟憧偸遣粫?00%全部猜中,就好像你去猜測你喜歡的女孩子的心事一樣,你細(xì)心的收集了關(guān)于這個女孩子的性格特點(diǎn),業(yè)余愛好,做事風(fēng)格,邏輯思維水平,星座……甚至生理周期,并期望著能總是正確的猜中其心中所想,坦率的講這是不可能的。在進(jìn)程調(diào)度這件事情上為何不能根據(jù)實(shí)實(shí)在在確定的東西來調(diào)度呢?一個進(jìn)程的靜態(tài)優(yōu)先級已經(jīng)完成的說明了其調(diào)度需求了,這就足夠了,不需要猜測進(jìn)程對交互性的需求,只要維持公平就OK了,而所謂的公平就是進(jìn)程獲取和其靜態(tài)優(yōu)先級匹配的CPU執(zhí)行時間。在這樣的思想指導(dǎo)下,Con Kolivas提出了RSDL(Rotating Staircase Deadline)調(diào)度器。

3、RSDL調(diào)度器

RSDL調(diào)度器仍然沿用了O(1)調(diào)度的數(shù)據(jù)結(jié)構(gòu)和軟件結(jié)構(gòu),當(dāng)然刪除了那些令人毛骨悚然的評估進(jìn)程交互指數(shù)的代碼。我們這一小節(jié)不可能詳細(xì)描述RSDL算法,不過只要講清楚Rotating、Staircase和Deadline這三個基本概念,大家就應(yīng)該對RSDL有基本的了解了。

首先看Staircase概念,它更詳細(xì)表述應(yīng)該是priority staircase,即在進(jìn)程調(diào)度過程中,其優(yōu)先級會象下樓梯那樣一點(diǎn)點(diǎn)的降低。在傳統(tǒng)的調(diào)度概念中,一個進(jìn)程有一個和其靜態(tài)優(yōu)先級相匹配的時間片,在RSDL中,同樣也存在這樣的時間片,但是時間片是散布在很多優(yōu)先級中。例如如果一個進(jìn)程的優(yōu)先級是120,那么整個時間片散布在120~139的優(yōu)先級中,在一個調(diào)度周期,進(jìn)程開始是掛入120的優(yōu)先級隊(duì)列,并在其上運(yùn)行6ms(這是一個可調(diào)參數(shù),我們假設(shè)每個優(yōu)先級的時間配額是6ms),一旦在120級別的時間配額使用完畢之后,該進(jìn)程會轉(zhuǎn)入121的隊(duì)列中(優(yōu)先級降低一個level),發(fā)生一次Rotating,更準(zhǔn)確的說是Priority minor rotating。之后,該進(jìn)程沿階而下,直到139的優(yōu)先級,在這個優(yōu)先級上如果耗盡了6ms的時間片,這時候,該進(jìn)程所有的時間片就都耗盡了,就會被掛入到expired隊(duì)列中去等待下一個調(diào)度周期。這次rotating被稱為major rotating。當(dāng)然,這時候該進(jìn)程會掛入其靜態(tài)優(yōu)先級對應(yīng)的expired隊(duì)列,即一切又回到了調(diào)度的起點(diǎn)。

Deadline是指在RSDL算法中,任何一個進(jìn)程可以準(zhǔn)確的預(yù)估其調(diào)度延遲。一個簡單的例子,假設(shè)runqueue中有兩個task,靜態(tài)優(yōu)先級分別是130的A進(jìn)程和139的B進(jìn)程。對于A進(jìn)程,只有在進(jìn)程沿著優(yōu)先級樓梯從130走到139的時候,B進(jìn)程才有機(jī)會執(zhí)行,其調(diào)度延遲是9 x 6ms = 54ms。

多么簡潔的算法,只需要維持公平,沒有對進(jìn)程睡眠/運(yùn)行時間的統(tǒng)計(jì),沒有對用戶交互指數(shù)的計(jì)算,沒有那些奇奇怪怪的常數(shù)……調(diào)度,就是這么簡單。

六、CFS調(diào)度器

Con Kolivas的RSDL調(diào)度器始終沒有能夠進(jìn)入kernel mainline,取而代之的是同樣基于公平調(diào)度思想的CFS調(diào)度器,在CFS調(diào)度器并入主線的同時,仍然提供了模塊化的設(shè)計(jì),為RSDL或者其他的調(diào)度器可以進(jìn)入內(nèi)核提供了方便。然而Con Kolivas帶著對內(nèi)核開發(fā)模式的不滿永遠(yuǎn)的退出了社區(qū),正所謂有人的地方就有江湖,其中的是非留給后人評說吧。

CFS的設(shè)計(jì)理念就是一句話:在真實(shí)的硬件上實(shí)現(xiàn)理想的、精準(zhǔn)、完全公平的多任務(wù)調(diào)度。當(dāng)然,這樣的調(diào)度器不存在,在實(shí)際設(shè)計(jì)和實(shí)現(xiàn)的時候還是需要做一些折衷。其實(shí)CFS調(diào)度器的所有的設(shè)計(jì)思想在上一章都已經(jīng)非常明晰,本章我們唯一需要描述的是Ingo Molnar如何把完全公平調(diào)度的理想照進(jìn)現(xiàn)實(shí)。

1、模塊化思想的引入

從2.6.23內(nèi)核開始,調(diào)度器采用了模塊化設(shè)計(jì)的思想,從而把進(jìn)程調(diào)度的軟件分成了兩個層次,一個是core scheduler layer,另外一個是specific scheduler layer:

從功能層面上看,進(jìn)程調(diào)度仍然分成兩個部分,第一個部分是通過負(fù)載均衡模塊將各個runnable task根據(jù)負(fù)載情況平均分配到各個CPU runqueue上去。第二部分的功能是在各個CPU的Main scheduler和Tick scheduler的驅(qū)動下進(jìn)行單個CPU上的調(diào)度。調(diào)度器處理的task各不相同,有RT task,有normal task,有Deal line task,但是無論哪一種task,它們都有共同的邏輯,這部分被抽象成Core scheduler layer,同時各種特定類型的調(diào)度器定義自己的sched_class,并以鏈表的形式加入到系統(tǒng)中。這樣的模塊化設(shè)計(jì)可以方便用戶根據(jù)自己的場景定義specific scheduler,而不需要改動Core scheduler layer的邏輯。

2、關(guān)于公平

和RSDL調(diào)度器一樣,CFS調(diào)度器追求的公平是CPU資源分配的公平,即CPU的運(yùn)算資源被精準(zhǔn)的平均分配給在其上運(yùn)行的task。例如:如果有2個靜態(tài)優(yōu)先級一樣的task運(yùn)行在某一個CPU上,那么每一個task都消耗50%的CPU計(jì)算資源。如果靜態(tài)優(yōu)先級不一樣,那么,CPU資源是根據(jù)其靜態(tài)優(yōu)先級來具體分配。具體如何根據(jù)優(yōu)先級來分配CPU資源呢?這里就需要引入一個load weight的概念。

在CFS中,我們是通過一個常量數(shù)組(sched_prio_to_weight)可以把進(jìn)程靜態(tài)優(yōu)先級映射成進(jìn)程權(quán)重,而所謂的權(quán)重就是進(jìn)程應(yīng)該占有cpu資源的比重。例如:系統(tǒng)中有3個runnable thread A、B和C,權(quán)重分別是a、b、c,那么A thread應(yīng)該分配到的CPU資源是a/(a+b+c)。因此CFS調(diào)度器的公平就是保證所有的可運(yùn)行狀態(tài)的進(jìn)程按照權(quán)重分配其CPU資源。

3、時間粒度

CPU資源分配是一個抽象的概念,最終在實(shí)現(xiàn)調(diào)度器的時候,我們需要把它具體化。一個最簡單的方法就是把CPU資源的分配變成CPU時間片的分配。看到“時間片”這個術(shù)語,你可能本能的覺得CFS和O(1)也沒有什么不同,不都是分配時間片嗎?其實(shí)不然,Linux內(nèi)核的CFS調(diào)度器已經(jīng)摒棄了傳統(tǒng)的固定時間片的概念了。O(1)調(diào)度器會為每一個進(jìn)程分配一個缺省的時間片,當(dāng)進(jìn)程使用完自己的時間片之后就會被掛入expire隊(duì)列,當(dāng)系統(tǒng)中的所有進(jìn)程都耗光了自己的時間片,那么一切從來,所有的進(jìn)程又恢復(fù)了自己的時間片,進(jìn)入active隊(duì)列。CFS調(diào)度器沒有傳統(tǒng)的靜態(tài)時間片的概念,她的時間片是動態(tài)的,和當(dāng)前CPU的可運(yùn)行狀態(tài)的進(jìn)程以及它們的優(yōu)先級相關(guān),因此CFS調(diào)度器中,時間片是動態(tài)變化的。

對于理想的完全公平調(diào)度算法,無論觀察的時間段多么短,CPU的時間片都是公平分配的。以100ms的粒度來觀察,那么兩個可運(yùn)行狀態(tài)的進(jìn)程A和B(靜態(tài)優(yōu)先級一樣)各分50ms。當(dāng)然,也不是一定是A執(zhí)行50ms,切換到B,然后再執(zhí)行50ms,在觀察過程中,A和B可能切換了很多次,但是A進(jìn)程總共占用CPU的時間和就是50ms,B進(jìn)程亦然。如果用1ms的粒度來觀察呢?是否A和B個運(yùn)行500us?如果繼續(xù)縮減觀察時間,在一個微秒的時間段觀察呢?顯然,不太可能每個進(jìn)程運(yùn)行500ns,如果那樣的話,CPU的時間大量的消耗在了進(jìn)程切換上,真正做事情的CPU時間變得越來越少了。因此,CFS調(diào)度器是有一個時間粒度的定義,我們稱之調(diào)度周期。也就是說,在一個調(diào)度周期內(nèi),CFS調(diào)度器可以保證所有的可運(yùn)行狀態(tài)的進(jìn)程平均分配CPU時間。下一小節(jié)我們會詳細(xì)描述調(diào)度周期的概念。

4、如何保證有界的調(diào)度延遲?

傳統(tǒng)的調(diào)度器無法保證調(diào)度延遲,為了說明這個問題我們設(shè)想這樣一個場景:CPU runqueue中有兩個nice value等于0的runnable進(jìn)程A和B,傳統(tǒng)調(diào)度器會為每一個進(jìn)程分配一個固定的時間片100ms,這時候A先運(yùn)行,直到100ms的時間片耗盡,然后B運(yùn)行。這兩個進(jìn)程會交替運(yùn)行,調(diào)度延遲就是100ms。隨著系統(tǒng)負(fù)荷的加重,例如又有兩個兩個nice value等于0的runnable進(jìn)程C和D掛入runqueue,這時候,A、B、C、D交替運(yùn)行,調(diào)度延遲就是300ms。因此,傳統(tǒng)調(diào)度器的調(diào)度延遲是和系統(tǒng)負(fù)載相關(guān)的,當(dāng)系統(tǒng)負(fù)載增加的時候,用戶更容易觀察到卡頓現(xiàn)象。

CFS調(diào)度器設(shè)計(jì)之初就確定了調(diào)度延遲的參數(shù),我們稱之targeted latency,這個概念類似傳統(tǒng)調(diào)度器中的調(diào)度周期的概念,只不過在過去,一個調(diào)度周期中的時間片被固定分配給了runnable的進(jìn)程,而在CFS中,調(diào)度器會不斷的檢查在一個targeted latency中,公平性是否得到了保證。下面的代碼說明了targeted latency的計(jì)算過程:

static u64 __sched_period(unsigned long nr_running)

{

if (unlikely(nr_running > sched_nr_latency))

return nr_running * sysctl_sched_min_granularity;

else

return sysctl_sched_latency;

}

當(dāng)runqueue中的runnable進(jìn)程的數(shù)目小于sched_nr_latency(8個)的時候,targeted latency就是sysctl_sched_latency(6ms),當(dāng)runqueue中的runnable進(jìn)程的數(shù)目大于等于sched_nr_latency的時候,targeted latency等于runnable進(jìn)程數(shù)目乘以sysctl_sched_min_granularity(0.75ms)。顯然sysctl_sched_min_granularity這個參數(shù)就是一段一個進(jìn)程被調(diào)度執(zhí)行,它需要至少執(zhí)行的時間片大小,設(shè)立這個參數(shù)是為了防止overscheduling而產(chǎn)生的性能下降。

CFS調(diào)度器保證了在一個targeted latency中,所有的runnable進(jìn)程都會至少執(zhí)行一次,從而保證了有界的、可預(yù)測的調(diào)度延遲。

5、為何引入虛擬時間?

雖然Con Kolivas提出了精采絕倫的設(shè)計(jì)思想,但是在具體實(shí)現(xiàn)的時候相對保守。CFS調(diào)度器則不然,它采用了相對激進(jìn)的方法,把runqueue中管理task的優(yōu)先級鏈表變成了紅黑樹結(jié)構(gòu)。有了這樣一顆runnable進(jìn)程的紅黑樹,在插入操作的時候如何確定進(jìn)程在紅黑樹中的位置?也就是說這棵樹的“key”是什么?

CFS的紅黑樹使用vruntime(virtual runtime)作為key,為了理解vruntime,這里需要引入一個虛擬時間軸的概念。在上一章中,我們已經(jīng)清楚的表述了公平的含義:按照進(jìn)程的靜態(tài)優(yōu)先級來分配CPU資源,當(dāng)然,CPU資源也就是CPU的時間片,因此在物理世界中,公平就是分配和靜態(tài)優(yōu)先級匹配的CPU時間片。但是紅黑樹需要一個單一數(shù)軸上的量進(jìn)行比對,而這里有兩個度量因素:靜態(tài)優(yōu)先級和物理時間片,因此我們需要把它們映射到一個虛擬的時間軸上,屏蔽掉靜態(tài)優(yōu)先級的影響,具體的計(jì)算公式如下:

Virtual runtime = (physical runtime) X (nice value 0的權(quán)重)/進(jìn)程的權(quán)重

通過上面的公式,我們構(gòu)造了一個虛擬的世界。二維的(load weight,physical runtime)物理世界變成了一維的virtual runtime的虛擬世界。在這個虛擬的世界中,各個進(jìn)程的vruntime可以比較大小,以便確定其在紅黑樹中的位置,而CFS調(diào)度器的公平也就是維護(hù)虛擬世界vruntime的公平,即各個進(jìn)程的vruntime是相等的。

根據(jù)上面的公式,我們可以看出:實(shí)際上對于靜態(tài)優(yōu)先級是120(即nice value等于0)的進(jìn)程,其物理時間軸等于虛擬時間軸,而其他的靜態(tài)優(yōu)先級的虛擬時間都是根據(jù)其權(quán)重和nice 0的權(quán)重進(jìn)行尺度縮放。對于更高優(yōu)先級的進(jìn)程,其虛擬時間軸過的比較慢,而對于優(yōu)先級比較低的進(jìn)程,其虛擬時間軸過的比較快。

我們可以舉一個簡單的例子來描述虛擬世界的公平性:例如在時間點(diǎn)a到b之間(虛擬時間軸),如果有兩個可運(yùn)行狀態(tài)的進(jìn)程A和B,那么從a到b這個時間段上去觀察,CPU的時間是平均分配到每個一個進(jìn)程上,也就是說A和B進(jìn)程各自運(yùn)行了(b-a)/2的時間,也就是各占50%的時間片。在b時間點(diǎn),一個新的可運(yùn)行狀態(tài)的進(jìn)程C產(chǎn)生了,直到c時間點(diǎn)。那么從b到c這個時間段上去觀察,進(jìn)程A、B和進(jìn)程C都是執(zhí)行了(c-b)/3的時間,也就是各占1/3的CPU資源。再強(qiáng)調(diào)一次,上面說的時間都是虛擬時間。

6、如何計(jì)算virtual runtime

想要計(jì)算時間我們必須有類似手表這樣的計(jì)時工具,對于CFS調(diào)度器,這個“手表”保存在runqueue中(clock和clock_task成員)。Runqueue戴兩塊表,一塊記錄實(shí)際的物理時間,另外一塊則是記錄執(zhí)行task的時間(clock_task)。之所以有clock_task是為了更準(zhǔn)確的記錄進(jìn)程執(zhí)行時間。實(shí)際上一個task執(zhí)行過程中不免會遇到一些異步事件,例如中斷。這時候,進(jìn)程的執(zhí)行被打斷從而轉(zhuǎn)入到對異步事件的處理過程。如果把這些時間也算入該進(jìn)程的執(zhí)行時間會有失偏頗,因此clock_task會把這些異步事件的處理時間去掉,只有在真正執(zhí)行任務(wù)的時候,clock_task的counter才會不斷累加計(jì)時。

有了clock進(jìn)程計(jì)時變得比較簡單了,當(dāng)進(jìn)程進(jìn)入執(zhí)行狀態(tài)的時候,看一下clock_task這塊“手表”,記錄數(shù)值為A。在需要統(tǒng)計(jì)運(yùn)行時間的時候,再次看一下clock_task這塊“手表”,記錄數(shù)值為B。B-A就是該進(jìn)程已經(jīng)運(yùn)行的物理時間。當(dāng)然,CFS關(guān)心的是虛擬時間,這時候還需要通過calc_delta_fair函數(shù)將這個物理時間轉(zhuǎn)換成虛擬時間,然后累積的該進(jìn)程的virtual runtime中(sched_entity中的vruntime),而這個vruntime就是紅黑樹的key。

7、CFS調(diào)度器的運(yùn)作

對于CFS調(diào)度器,沒有固定分配時間片的概念,只有一個固定權(quán)重的概念,是根據(jù)進(jìn)程靜態(tài)優(yōu)先級計(jì)算出來的。CFS調(diào)度器一旦選擇了一個進(jìn)程進(jìn)入執(zhí)行狀態(tài),會立刻開啟對其virtual runtime的跟蹤過程,并且在tick到來時會更新這個virtual runtime。有了這個virtual runtime信息,調(diào)度器就可以不斷的檢查目前系統(tǒng)的公平性(而不是檢查是否時間片用完),具體的方法是:根據(jù)當(dāng)前系統(tǒng)的情況計(jì)算targeted latency(調(diào)度周期),在這個調(diào)度周期中計(jì)算當(dāng)前進(jìn)程應(yīng)該獲得的時間片(物理時間),然后計(jì)算當(dāng)前進(jìn)程已經(jīng)累積執(zhí)行的物理時間,如果大于當(dāng)前應(yīng)該獲得的時間片,那么更新本進(jìn)程的vruntime并標(biāo)記need resched flag,并在最近的一個調(diào)度點(diǎn)發(fā)起調(diào)度。

在進(jìn)行進(jìn)程調(diào)度時候,調(diào)度器需要選擇下一個占用CPU資源的那個next thread。對于CFS而言,其算法就是從紅黑樹中找到left most的那個task并調(diào)度其運(yùn)行。這時候,失去CPU執(zhí)行權(quán)的那個task會被重新插入紅黑樹,其在紅黑樹中的位置是由task的vruntime值決定的。

總結(jié)

以上是生活随笔為你收集整理的CFS调度器的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。

久久精品免费观看 | 99免在线观看免费视频高清 | 夜又临在线观看 | 精品久久久久久久久中文字幕 | 国产小视频在线免费观看 | 亚洲日本韩国一区二区 | 97爱| 婷婷丁香九月 | 97电影网手机版 | a视频免费 | 亚洲综合色av | www.69xx | 久草视频精品 | 丁香电影小说免费视频观看 | 欧美一级激情 | 超碰97免费 | 激情大尺度视频 | 人人澡人人干 | 国产精品久久嫩一区二区免费 | 欧美久久99 | 特级西西444www高清大视频 | 国产精品久久久久久一区二区 | av手机版 | 久久这里只有精品首页 | 国产免费黄视频在线观看 | 九九九九精品九九九九 | 91网站免费观看 | 99视频在线| 天天操天天干天天 | 91久久久久久国产精品 | 欧美久久99 | 中文字幕精品视频 | 黄色免费看片网站 | 99热99re6国产在线播放 | 三级黄在线 | 天天操天天操一操 | 国产 中文 日韩 欧美 | 91av蜜桃| 国产高清免费在线观看 | 久久无码精品一区二区三区 | 中文字幕视频播放 | 久久免费视频在线 | 国产色视频网站 | 色偷偷人人澡久久超碰69 | 欧美整片sss | 国产精品永久久久久久久久久 | 久久精品99国产精品酒店日本 | 在线观看视频在线 | 国精产品999国精产品视频 | 成年人在线| 欧美性天天 | 午夜私人影院久久久久 | 中文字幕在线观看视频一区二区三区 | 国产精品成人一区二区三区吃奶 | 欧亚日韩精品一区二区在线 | 免费看的黄色片 | 国产麻豆视频在线观看 | 精品国产中文字幕 | 日韩美女免费线视频 | 久青草电影 | 日韩精品一区二区在线 | 久久久久久久久久电影 | 成年人三级网站 | 国产自在线 | 在线国产能看的 | 97在线免费视频 | 五月天激情视频在线观看 | 国产明星视频三级a三级点| 一级精品视频在线观看宜春院 | 亚一亚二国产专区 | 免费色视频网站 | 91精品国产综合久久久久久久 | 午夜久久影视 | 日韩黄色免费 | 91精品国产福利在线观看 | 正在播放国产91 | 成人在线一区二区三区 | 91视频91蝌蚪 | 手机在线欧美 | 中文字幕在线播放日韩 | 免费国产在线精品 | 中文字幕免费久久 | 日韩 精品 一区 国产 麻豆 | 欧美日韩电影在线播放 | 亚洲影视资源 | 午夜精品久久久久久久久久久久 | 欧美成年人在线视频 | 伊人伊成久久人综合网站 | 国产丝袜制服在线 | 一区二区三区在线观看免费视频 | 毛片1000部免费看 | 天堂在线成人 | 国产综合在线视频 | 久久99久久99精品免视看婷婷 | 91中文字幕在线视频 | 91精品国产乱码久久 | 成人99免费视频 | 免费在线观看污网站 | av三级在线看 | 免费高清在线视频一区· | av在线不卡观看 | 欧美孕妇与黑人孕交 | 天天综合网天天综合色 | 国产一级免费观看 | 视频99爱 | 国产在线精品一区二区 | 久99久视频| 黄色电影在线免费观看 | 在线观看一级 | 99热只有精品在线观看 | 亚洲成人麻豆 | 午夜精品在线看 | 国产精品一区二区在线观看 | 天天射,天天干 | 精品国产伦一区二区三区观看说明 | 999超碰 | 国产成人精品在线 | www夜夜| 99久久久成人国产精品 | 国产精品18毛片一区二区 | 日韩在线观看第一页 | 国产在线观看91 | 欧美热久久| 欧美日韩国产免费视频 | 2024国产精品视频 | 999抗病毒口服液 | 国产小视频国产精品 | 国产一区二区精品久久 | 亚州精品天堂中文字幕 | 久久综合免费视频影院 | 中文字幕在线免费看线人 | 国产午夜精品一区二区三区四区 | 丁香午夜 | 精品在线观看一区二区 | 美女网站在线观看 | 在线一级片 | 成人免费观看视频大全 | 丁香婷婷色综合亚洲电影 | 91精品在线麻豆 | 永久免费精品视频网站 | 99热999| 久久国产免费视频 | 美女黄网站视频免费 | 91手机电影 | 国产特黄色片 | 欧美日韩久 | 精品欧美乱码久久久久久 | 国产精品久久久久久影院 | 欧美性生活小视频 | 米奇影视7777| 日韩综合一区二区 | 国产区网址 | 一本色道久久综合亚洲二区三区 | 狠狠狠色丁香综合久久天下网 | 一区二区三区播放 | 久久精品国产第一区二区三区 | 日韩欧美电影在线 | 国产99区 | 夜夜夜夜猛噜噜噜噜噜初音未来 | 亚洲成a人片综合在线 | 狠狠躁18三区二区一区ai明星 | 亚洲视频免费视频 | 东方av在线免费观看 | 天天干天天拍天天操天天拍 | 久久人人爽爽人人爽人人片av | 四季av综合网站 | 国产国产人免费人成免费视频 | 久草精品视频在线看网站免费 | 黄色软件网站在线观看 | 成人精品亚洲 | 久久久久国产一区二区三区四区 | 亚洲美女久久 | 亚洲视频1 | 成人一区二区三区在线 | 国产精品黄色在线观看 | 香蕉在线播放 | av东方在线 | 人人揉人人揉人人揉人人揉97 | 最新日韩视频 | 久久99精品国产99久久 | 欧美一级片免费 | 久久高清免费视频 | 国产剧情久久 | 99国产免费网址 | 国产视频不卡 | 主播av在线 | 亚洲精品黄网站 | 国产黄视频在线观看 | 玖玖视频国产 | 中文字幕视频观看 | 在线一级片 | 日韩免费电影一区二区 | 97精品电影院 | 国产精品免费在线播放 | 黄色亚洲大片免费在线观看 | 国产91影院 | 国产精品免费观看久久 | 欧美日韩中文字幕视频 | 国产精品毛片久久久久久久久久99999999 | 五月婷婷婷婷婷 | 日韩视频一区二区三区 | 欧美极品xxx | 久久精品免费播放 | 麻豆传媒一区二区 | 午夜黄色| 欧美一级片播放 | 人人爽人人爱 | 亚洲a资源 | 亚洲一二三区精品 | 最近高清中文在线字幕在线观看 | 欧美性色综合 | 亚洲国产中文字幕 | 91成年人视频 | 国产一级电影免费观看 | 中文乱码视频在线观看 | 综合网在线视频 | 精品女同一区二区三区在线观看 | 在线免费三级 | 97视频在线免费播放 | 免费观看国产视频 | 久草在线免费看视频 | 综合色综合色 | 国产黄色精品在线观看 | 国产一级在线免费观看 | 99热这里只有精品免费 | 激情视频免费在线观看 | 午夜精品一区二区三区在线播放 | 国产99re| 久久综合影视 | 国产黄色av| 国产午夜三级一二三区 | 丁香色综合 | 日本中文字幕视频 | 久久久影片 | 久久夜色电影 | 精品国产自在精品国产精野外直播 | 日韩一区正在播放 | 欧美日韩在线视频观看 | av天天草 | 四虎影视8848dvd | 热久在线 | 婷婷丁香九月 | 国产香蕉av | 草久中文字幕 | 免费观看黄色av | 99热99| 一级片免费观看视频 | 日韩欧美高清不卡 | 日韩高清av | 国产在线精品播放 | 激情综合啪 | 久久国产精品久久精品国产演员表 | 一本色道久久综合亚洲二区三区 | 国产在线精品播放 | www五月天婷婷 | 天天亚洲综合 | 亚洲综合激情小说 | 免费看一级片 | 国产综合精品一区二区三区 | 日本黄色大片免费 | 国外成人在线视频网站 | 毛片久久久| 欧美性色网站 | 91中文字幕在线观看 | 天天弄天天干 | 国产网站色 | 成人黄色免费观看 | 日韩欧美一区二区在线 | 久久三级视频 | 亚洲午夜av | 久久久久久久久久网站 | 欧美一级欧美一级 | 国产人成看黄久久久久久久久 | 欧美一二三区在线观看 | 日日操日日干 | 中国一级特黄毛片大片久久 | 91九色porny蝌蚪视频 | www久草 | 91视视频在线直接观看在线看网页在线看 | 中文字幕在线资源 | 欧美一区视频 | 91最新中文字幕 | 国产精品理论在线观看 | 久久精彩视频 | 精品96久久久久久中文字幕无 | 国产高清久久 | 久久久久久久国产精品影院 | 国产精品一区免费在线观看 | 黄色成人在线观看 | 一区二区三区四区五区在线 | 午夜精品剧场 | 综合色中文 | 狠狠色丁香婷婷综合久小说久 | 精品国产一区二区三区久久影院 | 91成人精品一区在线播放69 | 久久久久观看 | 天天干天天想 | 国产一级免费av | 亚洲国产精久久久久久久 | av成人黄色 | 亚洲欧美日韩国产一区二区三区 | 三级av中文字幕 | 亚洲午夜久久久久久久久 | 欧美一区二区三区在线播放 | 国产精品婷婷 | 在线看污网站 | av网站在线观看播放 | 成人黄视频 | 五月婷婷操 | 日本99精品 | 国产高清精品在线观看 | 久久在线看 | 五月天中文字幕mv在线 | 午夜av色| 日韩精品一区二区三区在线播放 | 日韩高清免费在线 | 99久久久久久久久久 | 日日干av | 97色在线| 亚洲久久视频 | 美女免费黄网站 | 亚洲情婷婷 | 免费电影一区二区三区 | 美女免费网站 | 国产色影院 | 色a网 | 国内精品久久久久久久影视简单 | 国产精品毛片一区视频播不卡 | 久视频在线 | 在线观看亚洲精品 | av中文字幕网站 | 色综合久久综合中文综合网 | 深夜成人av | 日韩成人在线免费观看 | 岛国大片免费视频 | 激情丁香综合五月 | 国产1级毛片 | 欧美日韩一区二区三区在线免费观看 | 深爱五月激情五月 | 精品毛片在线 | 韩国三级一区 | 国产99久 | 国产精品久久久久久久久久免费 | 国产中的精品av小宝探花 | 黄色一级免费网站 | av一级在线| 国产色综合 | 免费色视频网址 | 日韩欧美精品免费 | 久久超 | 日一日操一操 | 天天干天天上 | 2021国产在线| av在线电影网站 | 精品国产免费av | 色先锋av资源中文字幕 | 毛片网站在线 | 日韩成人精品一区二区三区 | 国产精品免费在线观看视频 | 成人久久18免费网站麻豆 | 亚洲精品午夜久久久久久久 | 亚洲综合色激情五月 | 玖玖在线看 | 美女视频黄的免费的 | 亚洲最大免费成人网 | 久久99九九99精品 | 亚洲精品国产精品久久99 | 日本护士三级少妇三级999 | 久草在线免费新视频 | 六月丁香激情综合色啪小说 | 久久久网页 | 在线精品视频免费观看 | 欧美精品久久天天躁 | 999久久久精品视频 日韩高清www | 亚洲精品在线网站 | 亚洲日本国产精品 | 在线视频 一区二区 | 国产玖玖精品视频 | 国产在线播放不卡 | 香蕉视频在线视频 | 美女久久久久久 | 久草视频在线资源站 | 中文字幕欧美日韩va免费视频 | 亚洲女人天堂成人av在线 | 91麻豆精品国产91久久久更新时间 | 国产麻豆剧传媒免费观看 | 亚洲午夜精品一区二区三区电影院 | 久草视频免费看 | 亚洲综合色婷婷 | 成人黄色在线电影 | 日av免费| 日韩一区二区三区高清免费看看 | 4p变态网欧美系列 | 日韩在线二区 | 在线中文字幕一区二区 | 高潮久久久久久 | 91av免费在线观看 | 久久免费视频1 | 国产专区在线播放 | 亚洲国产成人久久 | 99日精品| 国产精品午夜在线 | 97超碰人人模人人人爽人人爱 | 国产视频中文字幕在线观看 | 日日碰狠狠躁久久躁综合网 | 亚洲午夜久久久综合37日本 | 久久99国产视频 | 日韩高清黄色 | 波多野结衣资源 | 国产精品热视频 | 国产精品av久久久久久无 | 在线 高清 中文字幕 | 91成人蝌蚪 | 亚洲丝袜一区 | 夜夜天天干 | 国产又黄又猛又粗 | 香蕉视频在线观看免费 | 一区二区三区日韩精品 | 免费国产在线观看 | 精品中文字幕视频 | av久久在线 | 国产自产高清不卡 | 亚洲国产av精品毛片鲁大师 | 久久久久久久久久久免费av | 久久综合天天 | 日韩理论电影网 | 69视频网站 | 在线观看蜜桃视频 | 91精品天码美女少妇 | 色亚洲网 | 在线网址你懂得 | 亚洲一区二区视频在线 | 久久精品99精品国产香蕉 | 超碰成人网 | 99精品国产99久久久久久福利 | 国产乱对白刺激视频不卡 | 国产精品成人一区二区三区吃奶 | 6080yy精品一区二区三区 | 国产精品美女视频网站 | 日韩电影在线观看一区二区 | 欧美日韩视频观看 | 欧美性极品xxxx娇小 | 91av资源在线| 国产在线国偷精品产拍 | 亚洲国产精品va在线 | 亚洲精品美女视频 | 黄色午夜 | 欧美精品久久久久久久 | 精品伊人久久久 | 天天综合视频在线观看 | 亚洲视频在线免费看 | 人人搞人人干 | 亚洲毛片视频 | 综合色综合色 | 久久99热这里只有精品 | 国产成人精品999 | 激情黄色av | 国产一区二区久久精品 | 欧美日韩中文在线观看 | 天天综合网 天天综合色 | 另类五月激情 | 天天干天天草天天爽 | 国产精品久久久久久吹潮天美传媒 | 亚洲第一区在线播放 | 在线a人片免费观看视频 | 成人免费在线观看av | 免费看的黄色录像 | 天堂av高清| 在线一区二区三区 | 中文字幕久久精品一区 | 热久久最新地址 | 亚洲三级视频 | 亚洲国产精品成人精品 | 久久新视频| 久久久久久欧美二区电影网 | 亚洲国产精品电影 | 成人午夜电影在线观看 | 激情久久一区二区三区 | 亚州黄色一级 | 国产亚洲精品日韩在线tv黄 | 国产一性一爱一乱一交 | 综合激情 | 国产高清视频在线播放 | 欧美日韩精品在线观看视频 | 亚洲国产一区在线观看 | 美女视频免费精品 | 国产精品久久久久一区二区国产 | 久久国产精品系列 | 亚洲综合激情小说 | 亚洲 欧美 成人 | 中文在线字幕免 | 在线观看韩国av | 国内精品久久久久国产 | 亚洲欧洲精品视频 | 精品人人爽 | av观看在线观看 | 特级西西人体444是什么意思 | 91免费国产在线观看 | 丁香婷婷久久 | 丁香花在线视频观看免费 | 成人一级免费电影 | 国产在线观看黄 | 国产永久免费观看 | 91亚洲国产成人久久精品网站 | 一区二区三区免费播放 | 亚洲欧洲精品一区 | 欧美日韩精品在线免费观看 | 在线视频精品 | 久久视频免费在线观看 | 日日夜夜骑 | 米奇狠狠狠888 | 97在线免费视频 | 欧洲亚洲精品 | 欧美精品视 | 久久久久国产精品午夜一区 | 91禁看片 | 日产中文字幕 | 美女视频网站久久 | 欧美二区视频 | 天天干天天干天天干天天干天天干天天干 | 国产成人久久久77777 | 亚洲午夜剧场 | 欧美999| 中文字幕一区二区三区精华液 | 91精品成人久久 | www.久久色 | 日日激情 | 丁香五香天综合情 | 69视频在线| 久久人人爽人人爽人人片av免费 | 黄色成人av | 四虎在线免费观看 | 免费福利影院 | 国产午夜精品一区二区三区四区 | 在线看成人 | 国产理论免费 | 中文字幕乱在线伦视频中文字幕乱码在线 | 成人在线视频免费观看 | 能在线看的av| 日日干网| 国模视频一区二区三区 | av免费福利 | 久久久久黄色 | 精品一二三四视频 | 久久精品99国产精品 | 久操视频在线 | 久久久免费在线观看 | av电影一区二区三区 | 久久综合久色欧美综合狠狠 | 久久热亚洲 | 一区二区三区在线不卡 | 色婷久久 | www.com久久| 日韩高清精品一区二区 | 国产在线观看免费观看 | 亚洲久草在线 | 99热最新网址 | 国产一级特黄毛片在线毛片 | 91福利视频免费观看 | av 一区 二区 久久 | 久草视频在 | 免费观看的av网站 | 日韩av男人的天堂 | 青草视频在线 | 777久久久 | 日韩久久久| 99高清视频有精品视频 | 婷婷六月综合亚洲 | 国产福利91精品一区二区三区 | 久久精品视频在线观看免费 | 人人干免费 | 96国产在线 | 在线观看完整版免费 | 国产精品丝袜 | 91在线看视频 | 91重口视频| 国产精品男女 | 精品主播网红福利资源观看 | 综合色天天 | 久久久久久久久久久久久久av | 91香蕉视频黄 | 国产一区福利在线 | 在线国产观看 | 国产高清在线观看 | 久久免费国产精品1 | a久久久久久 | 91精品在线免费观看视频 | 少妇资源站| 亚洲午夜精品久久久久久久久 | 操高跟美女 | 日本精品久久久一区二区三区 | 黄色精品一区二区 | 国产福利午夜 | 国产小视频在线免费观看 | 天天艹天天爽 | 久久久精品久久日韩一区综合 | 成人av网站在线播放 | 久久久久久久久久久国产精品 | 成人黄色免费在线观看 | 91传媒在线观看 | 草久久久久久久 | 久久午夜视频 | 久久男女视频 | 国产精品视频app | 日本狠狠色| 天天操伊人 | 亚洲精品综合久久 | 天天色综合三 | 亚洲免费av片 | 中文字幕在线观看网址 | 亚洲香蕉在线观看 | 女人18片毛片90分钟 | 在线一区观看 | 久久久视屏| 97日日碰人人模人人澡分享吧 | 久久激情五月激情 | 国产在线999 | 日韩精品一区二区不卡 | 狠狠干中文字幕 | 在线播放一区 | 久久久综合九色合综国产精品 | 一区二区三区在线免费播放 | 欧美性做爰猛烈叫床潮 | 视频一区二区在线观看 | 又色又爽又黄高潮的免费视频 | 香蕉免费在线 | 97人人模人人爽人人喊网 | 911亚洲精品第一 | 中文字幕免费观看视频 | 91精品久久久久 | 国产视 | 六月婷婷网 | 在线观看小视频 | 国内外成人在线视频 | 国产精品久久久久永久免费观看 | 日本福利视频在线 | 狠狠狠色丁香综合久久天下网 | 四虎国产| 日本超碰在线 | 在线一区二区三区 | 精品99在线观看 | 一区二区视频在线看 | 色婷婷激婷婷情综天天 | 亚洲黄色免费在线看 | 91精品视频免费观看 | 亚洲成年人免费网站 | 国产成人三级三级三级97 | 亚洲美女久久 | free,性欧美| 三级在线视频播放 | 少妇bbb好爽| 欧美黑人性爽 | 操少妇视频 | 久久艹国产视频 | 久久精品中文字幕免费mv | 欧美精品一区在线发布 | 99热这里只有精品国产首页 | 日韩在线观看av | 在线免费黄网站 | 视频一区二区在线观看 | 丁香婷婷综合色啪 | 在线观看第一页 | 最近免费观看的电影完整版 | 91精品国产92久久久久 | 在线免费观看视频一区 | 久久国产色 | 久久婷综合 | 美女久久99 | 日韩精品一区二区三区三炮视频 | 久草在| 黄色三级免费网址 | 狠狠狠狠干 | 国产91免费在线 | 91在线中字 | 免费a视频在线 | 亚洲伦理一区二区 | 亚洲欧洲精品一区二区精品久久久 | 日韩精品一区二区在线视频 | 国产成人av电影在线 | 国产午夜精品福利视频 | 免费观看视频黄 | 怡红院成人在线 | 久草免费福利在线观看 | 久草在线免费资源 | 在线免费观看一区二区三区 | 日本在线观看视频一区 | 亚洲天堂在线观看完整版 | 亚洲码国产日韩欧美高潮在线播放 | 97超碰国产在线 | 欧美日韩国产伦理 | 日韩一区二区三区高清在线观看 | 91污在线观看 | 免费在线成人 | 色九九影院 | 欧美日韩国产精品一区二区亚洲 | 在线激情网| 国产中文伊人 | 蜜桃传媒一区二区 | 久久精品国产免费看久久精品 | 最近中文字幕高清字幕在线视频 | 国产日产精品一区二区三区四区的观看方式 | 欧美大荫蒂xxx | 超碰日韩在线 | www日韩精品 | 超碰人人舔 | 国产黄色精品在线观看 | 成年人黄色av | 久久久久免费精品视频 | 国产精品激情 | 国产成人三级三级三级97 | 在线综合色| 日本中文字幕久久 | 射射射av | 日韩中文字幕免费视频 | 久久这里只有精品久久 | 亚洲午夜精品久久久久久久久久久久 | 最近中文字幕大全 | 久久久久国产成人精品亚洲午夜 | 日韩精品一区二区三区外面 | 韩国精品视频在线观看 | 美女视频黄是免费的 | 亚洲人成网站精品片在线观看 | 久久免费在线观看 | 日韩一级成人av | 亚洲精品自拍视频在线观看 | 日日操操 | 亚洲黄色在线观看 | 狠狠搞,com | 国产精品成人自拍 | 久久久久久久久久久网站 | 日韩精品免费在线视频 | 国产 日韩 中文字幕 | 91在线观看视频网站 | 91精品区| a视频在线看 | 国产精品6 | 成年人视频免费在线播放 | 丰满少妇在线观看资源站 | 一区二区三区韩国免费中文网站 | 国产 中文 日韩 欧美 | 色欧美成人精品a∨在线观看 | 免费精品在线视频 | 日韩综合精品 | 国产丝袜一区二区三区 | 天天搞天天干 | 免费一级黄色 | 波多野结衣在线观看一区 | 久久艹99| 97超碰人人爱 | 中文区中文字幕免费看 | 在线观看免费视频你懂的 | 2020天天干夜夜爽 | 亚洲精品国产精品国自产观看 | 99精品久久精品一区二区 | 天天操夜夜操天天射 | 中文字幕免费观看全部电影 | 久久久亚洲国产精品麻豆综合天堂 | 992tv又爽又黄的免费视频 | 国产原创av在线 | 91av综合| 中文字幕 影院 | 91av在线免费视频 | 在线观看一区视频 | 久久激情综合 | 久久亚洲美女 | 五月婷婷色 | 亚洲,国产成人av | 在线看成人片 | 日韩网站在线看片你懂的 | 激情欧美国产 | 91欧美精品 | 日韩簧片在线观看 | 亚洲国产免费网站 | 国产一区精品在线观看 | 九色视频网址 | 五月天综合色 | 国产亚洲精品中文字幕 | 在线观看网站av | 国产精品久久久免费 | 97视频播放 | 国产专区精品视频 | 欧美地下肉体性派对 | 日韩精品 在线视频 | 亚洲亚洲精品在线观看 | 日韩av不卡在线播放 | 日韩免费b| 日韩在线免费视频观看 | 亚洲国产欧美一区二区三区丁香婷 | 国产欧美精品一区二区三区 | 久久y| 国产99久久精品一区二区永久免费 | 免费在线播放av电影 | 亚洲尺码电影av久久 | 亚洲经典在线 | 奇米777777 | 一级特黄aaa大片在线观看 | 亚洲一级影院 | 狠狠操狠狠插 | 久久高清 | 少妇bbw揉bbb欧美 | 亚洲精品xxx| 九九在线国产视频 | 9i看片成人免费看片 | 六月天综合网 | 草久久久久 | 91免费网 | 国产字幕av| 黄色软件网站在线观看 | 香蕉在线视频观看 | 91九色在线观看 | 黄色毛片网站在线观看 | 天天干,天天射,天天操,天天摸 | 特黄一级毛片 | 99精品亚洲| 在线成人观看 | 香蕉在线视频播放网站 | 中文字幕在线网 | 久久精品中文视频 | 中文字幕在线观看三区 | 国产不卡免费视频 | 狠狠的干 | 激情五月色播五月 | 一区二区不卡视频在线观看 | 欧美亚洲一级片 | 六月丁香激情综合色啪小说 | 夜夜躁日日躁狠狠躁 | 免费成人在线观看视频 | 国产精品99精品久久免费 | 一区二区欧美在线观看 | 探花视频免费观看 | 成人国产亚洲 | 黄色www在线观看 | 在线免费亚洲 | 中文字幕在线观看的网站 | 亚洲视频六区 | 粉嫩一区二区三区粉嫩91 | 超碰av在线播放 | 天天爽天天爽夜夜爽 | 精品影院一区二区久久久 | 操高跟美女 | 最新av在线免费观看 | 国产18精品乱码免费看 | 天天操天天操 | 91在线播放综合 | 手机版av在线 | 成人av一区二区在线观看 | 麻豆久久一区二区 | 最近中文国产在线视频 | 欧美精品中文字幕亚洲专区 | 在线播放一区 | 成人久久毛片 | 婷婷国产一区二区三区 | 欧美日韩高清在线 | 日韩黄色中文字幕 | 成人av播放| 2019久久精品| 国产精品高潮呻吟久久久久 | 亚洲国产中文字幕在线 | 国产精品2018 | 99精品在线直播 | 免费久久网 | 深夜福利视频一区二区 | 精品久久久久久国产偷窥 | 欧美色综合天天久久综合精品 | 天天综合五月天 | 国产在线播放一区 | 国产美女精品视频 | 91亚洲欧美激情 | 久久久国产一区二区三区四区小说 | 亚洲国产成人精品在线观看 | 久久九九影视网 | 91人人澡人人爽人人精品 | 国产天天综合 | www.久久婷婷| 视频一区亚洲 | 三级大片网站 | 中文字幕国产精品一区二区 | 黄色一及电影 | 色99之美女主播在线视频 | 亚洲欧美少妇 | 最近中文国产在线视频 | av日韩国产 | 热99久久精品 | 97精品国产97久久久久久久久久久久 | 日韩免费| 婷婷精品国产欧美精品亚洲人人爽 | av免费看av | 91日本在线播放 | 欧美一区二区三区不卡 | 成人播放器 | 91视频88av| 欧美在一区 | 国产精品h在线观看 | 日日激情 | 色大片免费看 | 色婷婷丁香 | 精品欧美一区二区在线观看 | 国产精品久久片 | 中文在线中文资源 | 亚洲综合精品视频 | 香蕉网站在线观看 | 美女视频黄免费的久久 | 午夜久久影视 | 狠狠色丁香久久综合网 | 国产高清视频 | av成人免费 | 婷婷在线网 | 91在线国内视频 | 亚洲综合色激情五月 | 免费亚洲婷婷 | 成年美女黄网站色大片免费看 | 亚洲精品中文在线资源 | 九九精品毛片 | 久久久久国产一区二区 | 免费在线观看av网址 | 成 人 黄 色 视频免费播放 | 91av手机在线观看 | 色资源二区在线视频 | 99久高清在线观看视频99精品热在线观看视频 | 国产精品日韩高清 | 一级欧美一级日韩 | 成人禁用看黄a在线 | zzijzzij亚洲成熟少妇 | 超碰人人干人人 | 久久久久久99精品 | 久久99国产一区二区三区 | 天天摸天天操天天舔 | 国产黄色精品在线 | 久久国精品 | 69久久夜色精品国产69 | 江苏妇搡bbbb搡bbbb | 欧美a级片网站 | 99精品视频免费全部在线 | 国产精品视频在线观看 | 麻豆影音先锋 | 黄色大片av | 天天干天天干天天 | 日日夜夜天天久久 | 欧美久久久久久久久中文字幕 | av在线免费播放网站 | 国产日韩精品一区二区三区在线 | 午夜av一区二区三区 | 欧美激情精品久久久久久免费 | 欧美视频国产视频 | 91精品在线看 | 亚洲成人黄色在线观看 | 91插插视频 | 欧美在线free | 五月婷婷色 | a视频免费看 | 久久国产乱 | 国语麻豆 | 狠狠狠的干 | 精品久久九九 | 国产精品国产亚洲精品看不卡15 | 精品一二三四五区 | 91香蕉国产在线观看软件 | 日韩精品中文字幕在线播放 | 最近最新中文字幕视频 | 欧美激情视频一区二区三区免费 | 久久综合射| 天天操狠狠干 | 亚洲狠狠丁香婷婷综合久久久 | 91黄色影视 | 中文成人字幕 | 蜜臀久久99精品久久久无需会员 | 不卡av在线 | 91激情在线视频 | 久草在线免费看视频 | 日日操日日 | 久久成年视频 | 成人免费在线视频 | 久久美女精品 | 亚洲影院色 | 日本不卡一区二区三区在线观看 | 国产成人av免费在线观看 | 日韩欧美精品在线 | 天天干天天干天天干 | 精品美女久久久久 | 久草视频播放 | 国产在线精品一区二区三区 | av在线专区 | 十八岁以下禁止观看的1000个网站 | 久久久久美女 | 在线观看www91| 国产精品正在播放 | 国内精品美女在线观看 | 国产精品久久久毛片 | 免费高清在线视频一区· | 在线最新av | 免费精品在线观看 | 狠狠干狠狠久久 | 片网站 | 看黄色91| 日韩欧美在线综合网 | 欧美va日韩va| 亚洲视频 在线观看 | 天天色图|