日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

enfuzion与lsf构建渲染集群_渲染农场 - 秦瑞It行程实录 - 博客园

發(fā)布時(shí)間:2023/12/20 编程问答 42 豆豆
生活随笔 收集整理的這篇文章主要介紹了 enfuzion与lsf构建渲染集群_渲染农场 - 秦瑞It行程实录 - 博客园 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

渲染農(nóng)場(chǎng),從誕生起就是跟“大”聯(lián)系在一起的。大項(xiàng)目,大團(tuán)隊(duì),大集群,隨著渲染農(nóng)場(chǎng)誕生,其關(guān)鍵詞就是——— 大!超級(jí)大!但是由于客戶對(duì)CG的品質(zhì)要求提升得越來(lái)越快,所以一定品質(zhì)的CG畫面都需要大量的時(shí)間進(jìn)行渲染。著名的摩爾定律至今仍然在發(fā)揮著作用,他預(yù) 言每18個(gè)月硬件性能能提高一倍。以前只有好萊塢大型制作公司才能支付得起的渲染農(nóng)場(chǎng),現(xiàn)在對(duì)于10—40人左右的團(tuán)隊(duì)也可以通過(guò)細(xì)心規(guī)劃和設(shè)計(jì)來(lái)搭建可 以滿足自己需求的渲染農(nóng)場(chǎng)了。

(一)渲染農(nóng)場(chǎng)概況

在影視動(dòng)畫行業(yè),我們稱Cluster(集群)為“Render

farm”。很多網(wǎng)絡(luò)管理技術(shù)人員喜歡稱“集群計(jì)算系統(tǒng)”,而業(yè)內(nèi)人士更愿意叫他“渲染農(nóng)場(chǎng)”———

很形象,也很人性化的感覺(jué)。要了解三維動(dòng)畫集群渲染系統(tǒng),我們就要提高到運(yùn)用超級(jí)計(jì)算機(jī):集群計(jì)算機(jī)可以指稱所有高性能計(jì)算機(jī),它分為兩種:

1)??SMP(symmetric multiprocessing

對(duì)稱多處理),計(jì)算機(jī)的1/0總裁、多處理器、內(nèi)存等所有的控制都運(yùn)行在一個(gè)操作系統(tǒng)中(通常為Unix或Linux),可以對(duì)單位任務(wù)進(jìn)行最高性能計(jì)算

機(jī)只能由1BM、SGI提供,而現(xiàn)在AMD的8路CPU的方案,使得很多硬件廠商都能提供這樣的超級(jí)計(jì)算機(jī)了。

2)??MPP (massively parallel processing

,大規(guī)模并行處理):每個(gè)處理器都有屬于自己的操作系統(tǒng),通過(guò)某種通信協(xié)議連接這些操作系統(tǒng),從而可以同時(shí)處理同一程序的不同部分。MPP方式一般都使用

通用的計(jì)算機(jī),具有較高性價(jià)比,但是系統(tǒng)也變得更為復(fù)雜。通過(guò)自己的協(xié)議或者通信接口來(lái)使CPU彼此連接,這需要照顧到系統(tǒng)資源以及任務(wù)分配等很多問(wèn)題,

特別是網(wǎng)絡(luò)性能。

國(guó)內(nèi)的典型用戶有中央電視臺(tái)、華龍等公司。他們將80—150顆CPU的服務(wù)器連接起來(lái)渲染動(dòng)畫或者特效鏡頭。在集群系統(tǒng)中,所有提交和管理的工作可以在

圖形工作站或者PC上完成,并且可以監(jiān)視整個(gè)渲染進(jìn)程。這些正在渲染和等待渲染的工作,在集群渲染管理軟件中叫Queud(渲染隊(duì)列)。渲染任務(wù)的提交過(guò)

程是動(dòng)態(tài)的。集群渲染系統(tǒng)的管理軟件會(huì)檢查每個(gè)節(jié)點(diǎn)的當(dāng)前工作狀態(tài):如果某個(gè)計(jì)算服務(wù)器硬件配置比較高,很快完成了第一次分配的渲染農(nóng)場(chǎng)工作,那么集群管

理軟件繼續(xù)會(huì)將剩余工作分割為若干單元,然后再發(fā)送給這個(gè)已經(jīng)完成渲染的空閑計(jì)算節(jié)點(diǎn),直到渲染工作完成。

集群系統(tǒng)按照功能來(lái)進(jìn)行分類,可以分為以下4類:

渲染節(jié)點(diǎn):

渲染節(jié)點(diǎn)是整個(gè)集群系統(tǒng)的計(jì)算核心,他的功能就是執(zhí)行渲染,具體選擇什么樣的硬件配置,需要根據(jù)自己的需求和預(yù)算來(lái)決定。初期,可以購(gòu)買小型系統(tǒng)

來(lái)實(shí)現(xiàn),比如5個(gè)節(jié)點(diǎn);添加工作站,讓其在閑暇的時(shí)候加入渲染,可以根據(jù)公司的日后的發(fā)展需要擴(kuò)展規(guī)模,可以擴(kuò)大到幾十甚至上百個(gè)節(jié)點(diǎn)系統(tǒng)。

主流的制作公司都會(huì)選擇1U服務(wù)器,布置2顆處理器如果現(xiàn)在配制,會(huì)是雙核處理器,配上1——2GB內(nèi)存。但也有很多公司會(huì)選擇刀片服務(wù)器,刀片

服務(wù)器,刀片服務(wù)器在企業(yè)級(jí)別的應(yīng)用中有很不錯(cuò)的優(yōu)勢(shì),如節(jié)省布置空間、方便連接、方便管理等。主要考慮的問(wèn)題包括以下幾個(gè)方面;

CPU架構(gòu)靈活

一般的情況下,集群系統(tǒng)都是很靈活的,允許不同的服務(wù)器、工作站乃至辦公用機(jī),靈活加入渲染隊(duì)列,但這樣的環(huán)境也意味著某些潛藏的未知風(fēng)險(xiǎn)。北京

天文館是一個(gè)特例:他們制作的項(xiàng)目包括了大量流體,計(jì)算非常復(fù)雜,普通的雙處理器服務(wù)器甚至不能渲染出結(jié)果。他們根據(jù)自己的特殊情況,選擇了8路處理器的

高性能計(jì)算機(jī)來(lái)做渲染服務(wù)器。

其中,特別是AMD和INTEL平臺(tái)的混用容易出現(xiàn)問(wèn)題。在渲染同一任務(wù)的時(shí)候,AMD平臺(tái)和Intel平臺(tái)渲染出來(lái)的同意畫片,其色彩亮度和飽

和度會(huì)出現(xiàn)不一致的情況。而且,由于混合渲染的方式,渲染結(jié)果都混合在了一起組成電影序列,所以很難在后期進(jìn)行整理,出現(xiàn)這樣的情況就只能重新渲染了。

解決的方法需要注意兩點(diǎn);1)規(guī)劃的時(shí)候,統(tǒng)一平臺(tái),避免關(guān)鍵硬件設(shè)備混合不同型號(hào)、不同廠家2)如果一定要使用混合平臺(tái),就有必要進(jìn)行分組,一個(gè)組渲染一個(gè)任務(wù)。

操作系統(tǒng)自主選擇

Linux是做集群服務(wù)器的最佳操作系統(tǒng),其穩(wěn)定性和速度都比Windows更優(yōu)秀,但是問(wèn)題也是存在的。如果你是Maya為主要

Pipeline(是指流水線作業(yè), 一般是將一個(gè)復(fù)雜費(fèi)時(shí)的任務(wù)劃分成大致相等的幾個(gè)小的步驟,

以提高處理連續(xù)任務(wù)的速度和最優(yōu)使用資源的目的.)的公司,選擇Linux會(huì)有很多好處,包括比Windows快1倍以上的網(wǎng)絡(luò)訪問(wèn)速度,幾乎沒(méi)有病毒煩

惱等;如果你是3dmax或者是3DMAX和MAYA的混合使用環(huán)境,那么就只能選擇Windows了。

為了節(jié)約成本,可以在分發(fā)管理服務(wù)器安裝Windows服務(wù)器版本,為渲染服務(wù)器安裝OEM的Windows xp。

渲染管理和任務(wù)分發(fā)服務(wù)器

單個(gè)渲染節(jié)點(diǎn)再?gòu)?qiáng)勁,沒(méi)有好的管理,同樣會(huì)造成非常大的浪費(fèi)。不要以為現(xiàn)在的渲染管理就是簡(jiǎn)單的調(diào)用命令進(jìn)行渲染器而已,真正經(jīng)受過(guò)制作考驗(yàn)的渲

染管理方案都有著嚴(yán)禁的架構(gòu)設(shè)計(jì),關(guān)鍵的技術(shù)指標(biāo)不同,方案之間就差別非常大。可以說(shuō),硬件的選型與搭建僅僅完成了我們工作的20%,你還需要花50%的

精力對(duì)渲染投資進(jìn)行規(guī)劃。

渲染管理和任務(wù)分發(fā)服務(wù)器主要承擔(dān)兩種任務(wù),提供基本的網(wǎng)絡(luò)服務(wù),調(diào)度渲染服務(wù)器上的任務(wù),分發(fā)軟件如果安裝渲染引擎,也可以假如渲染隊(duì)列,但是實(shí)際上我們需要安裝集群渲染管理軟件。

網(wǎng)絡(luò)和存儲(chǔ)

集群系統(tǒng)需要連接海量存儲(chǔ)以保存渲染出來(lái)的電影序列,渲染一小時(shí)的高清序列大概需要1TB左右的存儲(chǔ)上。當(dāng)所有的渲染服務(wù)器同時(shí)向中央存儲(chǔ)寫入數(shù)據(jù)的時(shí)候,網(wǎng)絡(luò)規(guī)劃成為衡量集群系統(tǒng)最終性能的標(biāo)尺,中央存儲(chǔ)訪問(wèn)技術(shù)可以選擇:

a)??NAS,使用NFS、Samba等協(xié)議;

b)??Direct Attached SAN, 需要使用SAN管理軟件;

c)??IP SCSI。

Digital

Weta的集群系統(tǒng)是一個(gè)典型的不太成功的案例。他們的CPU數(shù)量遠(yuǎn)遠(yuǎn)多于夢(mèng)工廠和迪斯尼,整體硬件配置也比他們更新一代,但是在超級(jí)計(jì)算機(jī)500強(qiáng)的排

名中遠(yuǎn)遠(yuǎn)落后這兩家。原因就是他們?cè)谡w規(guī)劃的時(shí)候沒(méi)有作好,網(wǎng)絡(luò)出現(xiàn)了瓶頸。所以,并不是`CPU越多,集群系統(tǒng)就會(huì)越強(qiáng)大。

通信性能

我們可以簡(jiǎn)單的把集群渲染管理軟件分為高端和低端兩種。高端的管理和任務(wù)分發(fā)服務(wù)器由于其優(yōu)秀的算法,可以讓系統(tǒng)能夠接近線性的性能提高,而低端管理軟件在達(dá)到一定規(guī)模以后,會(huì)影響任務(wù)調(diào)度的性能。以中小型團(tuán)隊(duì)常用的Muster 為例,

他在達(dá)到25——40個(gè)節(jié)點(diǎn)以后,性能會(huì)明顯下降,甚至渲染的時(shí)候會(huì)丟失數(shù)據(jù)。

集群計(jì)算有一個(gè)效率發(fā)揮的問(wèn)題,理論上CPU的數(shù)量和渲染時(shí)間與實(shí)際情況會(huì)有差別而且不同系統(tǒng)所用的實(shí)際時(shí)間也不盡相同。CPU數(shù)量越大,渲染時(shí)間越短,他們成反比關(guān)系。

但事實(shí)上,動(dòng)畫渲染花費(fèi)的時(shí)間和CPU的數(shù)量并非成線形反比。問(wèn)題的瓶頸主要在于通信(不止網(wǎng)絡(luò)通信,還包括PC內(nèi)部CPU、內(nèi)存和硬盤之間的通

信)和軟件的算法;系統(tǒng)中使用多少個(gè)節(jié)點(diǎn)計(jì)算機(jī)(基于CPU的數(shù)量)也是需要考慮的問(wèn)題。這就需要一個(gè)擁有優(yōu)秀算法的集群渲染管理軟件進(jìn)行調(diào)度,并發(fā)揮每

個(gè)CPU的效能,使用性能優(yōu)異的硬件配置。

渲染農(nóng)場(chǎng)的渲染節(jié)點(diǎn)是整個(gè)集群系統(tǒng)的計(jì)算核心,選擇什么樣的渲染引擎則要根據(jù)各個(gè)制作公司的 流程來(lái)決定的。比如獨(dú)立的mental

ray standalone 渲染器、應(yīng)用程序提供的免費(fèi)渲染接口。如3dmax

掃描線渲染器和Maya內(nèi)置渲染器。還有一些插件等。不同的工作流程決定了渲染引擎的多種搭配方案。

以3DMAX為主要的工具的制作公司

用戶 ??山東某展覽館

規(guī)模??小型公司

業(yè)務(wù)范圍??建筑動(dòng)畫

應(yīng)用軟件??3dmax

渲染引擎??Deadline

為3dmax Max搭建集群系統(tǒng)情況很少,3dmax

Max用戶主要集中在建筑動(dòng)畫和視景仿真領(lǐng)域。而這些行業(yè)主要對(duì)靜幀圖像質(zhì)量又較高要求,對(duì)與序列圖像的精度要求卻很低。及時(shí)一些公司的業(yè)務(wù)很忙。需熬渲

染農(nóng)場(chǎng)提高效率,3dmax Max自帶的backburner Manager 足可解決問(wèn)題。backburner Manager無(wú)法讓3dmax

Max 6及其插件在同一臺(tái)渲染服務(wù)器并存,他只能讓3dmax Max

9去渲染所有的場(chǎng)景,但是很多插件并不支持高版本。Enfuzion和Deadline等管理軟件可以解決這個(gè)問(wèn)題。

Frantic Film 開(kāi)發(fā)的Deadline 將3dmax作為主要的工具完全整合了著名的Render pass

Manager管理軟件。對(duì)3dmax以及各種插件有著較好的支持。又Reference導(dǎo)致的問(wèn)題能夠在Deadline得到講稿,并且通過(guò)忽略錯(cuò)誤的

命令,讓場(chǎng)景繼續(xù)渲染下去。

以Maya為主要工具的制作公司

用戶 ??北京天文館

規(guī)模??大中型公司

業(yè)務(wù)范圍??流體動(dòng)畫

應(yīng)用軟件??mental ray for Maya

渲染引擎??Enfuzion

在國(guó)內(nèi),以Maya 為主要工具的制作公司主要使用Maya 內(nèi)置渲染器和mental ray渲染器。很少使用Render man 作為渲染引擎的。在實(shí)際的使用中,mental ray for Maya 的問(wèn)題成為衡量集群渲染管理軟件優(yōu)劣的焦點(diǎn)了。

國(guó)內(nèi)使用Muster 的大小公司實(shí)際有不少

用戶 ??中視遠(yuǎn)圖

規(guī)模??小型公司

業(yè)務(wù)范圍??影視特效

應(yīng)用軟件??Maya

渲染引擎??Muster

國(guó)內(nèi)使用Muster

的大小公司實(shí)際有不少,中視遠(yuǎn)圖是極少數(shù)使用Muster正版軟件的公司之一。他們?cè)诠ぷ髡旧鲜褂肕aya制作特效,然后使用Combustion合成。

購(gòu)置一臺(tái)千兆交換機(jī),并且配有一臺(tái)服務(wù)器作為分發(fā)管理,連接閑暇的圖形工作站,讓渲染組能夠在較好的網(wǎng)絡(luò)環(huán)境下運(yùn)行。這是一種典型的小型制作公司的渲染農(nóng)

場(chǎng),成本低而且非常有效。

在使用Muster和Dealine的某些版本對(duì)mental ray場(chǎng)景進(jìn)行任務(wù)分發(fā)的時(shí)候,會(huì)出現(xiàn)下述情況:

(1)??渲染第一個(gè)任務(wù)以后服務(wù)器停止渲染:

(2)??重啟服務(wù)器開(kāi)始渲染,完成第一個(gè)任務(wù)后,又停止渲染:

(3)??這里的停止渲染指不停地隊(duì)列渲染,但是沒(méi)有渲染結(jié)果:

(4)??網(wǎng)絡(luò)中只有一臺(tái)渲染服務(wù)器正常工作

(5)??日志報(bào)告不能找到錯(cuò)誤原因

(6)??Deadline報(bào)告找不到License.

出現(xiàn)這一問(wèn)題在于任務(wù)提交的模板錯(cuò)誤,最后將軟件替換成Enfuzion以后。沒(méi)有再出現(xiàn)類似問(wèn)題。

混合環(huán)境的制作公司

用戶 ??中央電視臺(tái)動(dòng)畫制作中心

規(guī)模??大型公司

業(yè)務(wù)范圍??動(dòng)畫制作

應(yīng)用軟件??Maya

渲染引擎??Enfuzion

對(duì)于混合平臺(tái)來(lái)說(shuō),更多要考慮到的問(wèn)題主要集中在項(xiàng)目管理的方面,當(dāng)然。為了方便管理,使用渲染分發(fā)管理軟件也更有必要,并且可以防止操作失誤而導(dǎo)致單機(jī)多任務(wù)渲染的情況出現(xiàn)。

中央電視臺(tái)早在2002年就開(kāi)始使用渲染農(nóng)場(chǎng),管理軟件使用Enfuzion。由于那時(shí)的Enfuzion與現(xiàn)在的LSF是一樣的命令形式,中央電視臺(tái)自己研發(fā)了圖形界面,一直使用到現(xiàn)在。

希望使用Mental ray standalone并不能解決所有的問(wèn)題———雖然目前主流三維動(dòng)畫染件都內(nèi)置了Mental ray渲染器。都能輸出mi文件,但是這個(gè)文件由于各個(gè)三維動(dòng)化軟件的接口不同,所以并不是通用的。

比如Maya的Mental ray standalone版本和3d max輸出的mi文件,不能給3d max或者XSL的Mental ray standalone使用。

TIP

對(duì)于渲染農(nóng)場(chǎng)的搭建,技術(shù)難度并不在硬件設(shè)備的挑選上,而是整體工作流程的科學(xué)規(guī)劃。檢驗(yàn)集群渲染軟件的技術(shù)的技術(shù)指標(biāo)主要有以下幾點(diǎn):

1、??能否保證渲染引擎能夠正常調(diào)用?

2、??在相同硬件和網(wǎng)絡(luò)平臺(tái)下,提交任務(wù)的速度和性能如何?

3、??能否保證渲染過(guò)程不丟失數(shù)據(jù):

4、??單機(jī)拓機(jī),是否影響整體網(wǎng)絡(luò)性能,并且修復(fù)失敗渲染任務(wù)的方便性如何;

5、??能否支持現(xiàn)有的主流三維動(dòng)畫和后期合成軟件?

6、??能否支持靜禎分割渲染?

7、??是否簡(jiǎn)單易用?

8、??是否易于維護(hù)?

其他的集群渲染管理軟件如Alfred、LSF、SPIDER、DRDUEUE、ROYALRENDER等,在國(guó)內(nèi)應(yīng)用比較少。其中SPIDER

和DRDUEUE是開(kāi)源軟件項(xiàng)目,對(duì)于有開(kāi)發(fā)能力的制作公司來(lái)說(shuō),是可以考慮的方案。例如,上影數(shù)碼曾在SPIDER項(xiàng)目上進(jìn)行開(kāi)發(fā),作為自有軟件使用。

而LSF目前只是一個(gè)網(wǎng)格計(jì)算數(shù)據(jù)庫(kù),并沒(méi)有專門對(duì)渲染農(nóng)場(chǎng)的工具,開(kāi)發(fā)難度會(huì)相對(duì)高一些。

渲染農(nóng)場(chǎng)的管理軟件:

Axceleon Enfuzion(新型集群技術(shù))

是國(guó)內(nèi)最早建立集群渲染的管理軟件,中央電視臺(tái)在Enfuzion的內(nèi)核上自己開(kāi)發(fā)了中文圖形界面,并且一直在使用,Enfuzion是從小型到大型制作公司都適合的管理軟件。

Enfuzion其優(yōu)勢(shì)

1.??Enfuzion不限平臺(tái),幾乎支持所有的Windows、Osx、Linux版本,包括支持64位操作系統(tǒng),可以為最新的64位的渲染系統(tǒng)環(huán)境,最大的獲取硬件性能,

2.??Enfuzion支持tile

rendering方式,可以將一幀高分辨率的圖像,分割成若干畫面進(jìn)行渲染,并且可以設(shè)置融合邊的寬度,對(duì)于復(fù)雜計(jì)算和電影分辨率渲染尤其有效,這個(gè)功

能受限于渲染引擎,可以支持mental ray以及Maya掃描線渲染器以及Renderman .

3.??Enfuzion對(duì)mental ray又很優(yōu)秀的支持,為大規(guī)模使用mental ray進(jìn)行渲染的時(shí)候,使用其他分發(fā)軟件只是在第一次分發(fā)任務(wù)時(shí)可以渲染成功,但 不能自動(dòng)獲取下一個(gè)任務(wù)來(lái)繼續(xù)工作,要重啟才行。

4.??圖像瀏覽器和縮略圖瀏覽器方便觀看渲染的情況,這是Enfuzion最令人喜愛(ài)的獨(dú)特功能,其他軟件需要切換到圖像瀏覽器里去查看渲染結(jié)

果如果渲染成了TIFF文件就會(huì)更加麻煩,但在每個(gè)Enfuzion提交節(jié)點(diǎn)里都能看到渲染出的縮略圖,點(diǎn)擊縮略圖可以瀏覽圖像,也可以播放渲染序列。

PipelineFX Qube

PipelineFX Qube以其高貴的出生和傳奇的經(jīng)歷獲得了最多的關(guān)注,早在2001年,square

USA組建了1500顆CPU的render

farm系統(tǒng),并且開(kāi)發(fā)了SQB管理工具用于渲染動(dòng)畫電影《最終幻想》和《駭客帝國(guó)》。隨后,SQB發(fā)行了商業(yè)版本,就是現(xiàn)在的Qube。優(yōu)秀的性能,它

已經(jīng)在《最終幻想》和《螞蟻雄兵》、《怪物史萊克》等動(dòng)畫電影得到應(yīng)用。

PipelineFX Qube其優(yōu)勢(shì)

1.??Qube有一個(gè)多線程管理員技術(shù)(專利申請(qǐng)中)。目前市場(chǎng)上的同類產(chǎn)品中沒(méi)有一種擁有類似于運(yùn)行在Qube上的這一引擎,該技術(shù)被證實(shí)可將渲染時(shí)間縮短一半。

2.??Qube在應(yīng)用層面上完全整合了Maya、3dmax、softimage IXSI After Effrct shake 和Light wave3d等軟件,與各個(gè)軟件開(kāi)發(fā)公司建立了良好的合作關(guān)系。另外, Qube支持大多數(shù)其他接受命令行的程序。

Virtual Vertex Muster

Muster是較早擁有圖形化界面進(jìn)行任務(wù)分發(fā)管理的軟件之一,可以說(shuō),Muster是最先以GUI界面獲得客戶好感的管理軟件,到現(xiàn)在Muster已有六年歷史,最新的5.2版本已經(jīng)擁有了一系列容易使用的功能。

Muster其優(yōu)勢(shì)

1.??支持多平臺(tái)的渲染客戶端,Muster需要使用Windows NT/XP作為渲染器,但可以使用Linux和Mac OSX作為渲染服務(wù)器。

2.??Muster支持主流的應(yīng)用軟件,如, Maya、3dmax、softimage IXSI 、After Effrct、 shake、mental ray.等渲染引擎。而且價(jià)格較低,最小型制作公司最具性價(jià)比的選擇。

3.??支持mental ray等某些渲染器的分割渲染功能,通過(guò)幾臺(tái)機(jī)器分別對(duì)同一臺(tái)圖形進(jìn)行渲染。

Frantic Film Deadline

Deadline是著名的Frantic Films電影特效制作公司開(kāi)發(fā)的基于Windows

的網(wǎng)絡(luò)渲染管理系統(tǒng),允許你在Windows上排列和分配,管理電影序列的渲染工作,提供強(qiáng)大高效的3D和2D網(wǎng)絡(luò)渲染解決方案。Deadling是在制

作公司成長(zhǎng)起來(lái)的最貼近用戶的方案,其用戶除了Frantic Films自己以外,還有著名的暴雪游戲公司,對(duì)于小型的制作公司,特別3d

max用戶來(lái)說(shuō),是不錯(cuò)的選擇。

Deadline其優(yōu)勢(shì)

1.??支持幾乎所有的渲染引擎,Deadline包括已經(jīng)定制了Maya、3dmax、softimage IXSI 、After Effrct、 shake、mental ray.等應(yīng)用提交窗口,還支持Blender 和Gelato。

2.??支持Real Flow流體計(jì)算軟件。

3.??Deadine整合了Render Pass Manger管理軟件,使它能夠?yàn)?D max提供最優(yōu)秀的支持。比如在同一臺(tái)機(jī)器上調(diào)用多個(gè)3D max版本進(jìn)行渲染,進(jìn)行良好的用戶體驗(yàn)。

4.??工作優(yōu)先權(quán)、機(jī)器Pools、限制組、特別工作黑名單、等功能允許明確控制分配了的渲染任務(wù),管理不同部門的資源。Deadline提供

了非常詳細(xì)和精確的的任務(wù)日志,不僅可以很方便的找到問(wèn)題的原因,以最快的速度解決問(wèn)題。而且可以為項(xiàng)目管理人員提供詳細(xì)的工作數(shù)據(jù)。

5.??Deadine支持遠(yuǎn)程控制軟件,如Realvnc等,通過(guò)遠(yuǎn)程計(jì)算機(jī)操作維護(hù)系統(tǒng)。

6.??Deadine新版本支持半幀分割渲染

7.??節(jié)電模式

Drqueue

Drqueue是一個(gè)開(kāi)放源碼的集群渲染管理軟件,目前支持Maya8的任務(wù)提交,其他支持軟件包括mental ray ,shake ,

Renderman, 以及Blender

3D。Drqueue有一個(gè)Drkeewee服務(wù)程序用來(lái)通信轉(zhuǎn)遞渲染任務(wù)的情況,這些都可以通過(guò)Drqman圖形界面來(lái)操作渲染任務(wù)的停止,重啟,優(yōu)先

級(jí)別等。目前在國(guó)內(nèi)外都有一些小的項(xiàng)目在使用Drqueue,比如Martian

Labs,一家如《加勒比海盜》、《驅(qū)魔人》、等。Drqueue的缺點(diǎn)是更新緩慢,效率一般。

Drqueue其優(yōu)勢(shì):

1.??免費(fèi),開(kāi)放源代碼 這對(duì)于很多希望自主研發(fā)的公司來(lái)說(shuō),是很有誘惑力的。

2.??直接內(nèi)置了Python,可以通過(guò)Python腳本擴(kuò)展功能。

國(guó)內(nèi)主流集群渲染管理軟件對(duì)比

Enfuzion??Qube??Muster??Deadline

廠商資歷??美國(guó)Axceleon

inc是專門從事高性能計(jì)算研究和軟件開(kāi)發(fā)的公司,已有30年網(wǎng)格計(jì)算研究??PipelineFX是美國(guó)游戲公司SQUARE

USA的程序開(kāi)發(fā)小組于2003年獨(dú)立出來(lái)的軟件公司??Virtual

Vertex是一個(gè)在美國(guó)的小型軟件開(kāi)發(fā)公司,公司規(guī)模在5人左右,已成立6年??Frantic

Film是著名的電影特效制作公司,其燈光組兼軟件開(kāi)發(fā)任務(wù),其軟件為Inhousu類型的軟件,商業(yè)目的不強(qiáng)

涉及行業(yè)??金融、石油、教育、HPC、影視動(dòng)畫、游戲?影視動(dòng)畫、游戲影視特效、游戲國(guó)際合作伴??Intel/AMD/IBM/HP/Autodesk/Softimage??SGI/NVIDIA/IBM/

Autodesk/Adobe/D2/Softimage/Syflex??未知??Nvidia

軟件結(jié)構(gòu)??專有網(wǎng)格計(jì)算程序,在高性能計(jì)算方面有獨(dú)特的優(yōu)勢(shì),網(wǎng)格計(jì)算效率高??基于Mysqi數(shù)據(jù)庫(kù)??基于P2P(點(diǎn)對(duì)點(diǎn))技術(shù)。效率低Mysql日志記錄,AJAX提交??基于NET技術(shù)。

運(yùn)行平臺(tái)??支持所有32位和64位Windows,OSX和Linux,

Unix,IRIX支持所有發(fā)布的Linux版本??支持所有32位和64位Windows,OSX和Linux,只支持Redhat,Suse的某些發(fā)

布版本??支持所有32位Windows,Linux支持OSX,服務(wù)器必須是Windows(沒(méi)有實(shí)際客戶使用)??只支持Windows。跨平臺(tái)支

持??可提交不同平臺(tái)的計(jì)算任務(wù),自動(dòng)路徑分析轉(zhuǎn)換??文件分析會(huì)出錯(cuò)?,不能交叉使用?,沒(méi)有任務(wù)調(diào)度效率??線性增加計(jì)算能力??線性增加計(jì)算能

力??使用點(diǎn)對(duì)點(diǎn)協(xié)議,占用帶寬很大,25節(jié)點(diǎn)以上效率下降明顯,50節(jié)點(diǎn)以上可能會(huì)出現(xiàn)丟失數(shù)據(jù)包現(xiàn)象。?國(guó)內(nèi)用戶??中央電視臺(tái)(二次開(kāi)發(fā))、北京天

文館(正在使用)、航天512聲像中心、重慶動(dòng)漫平臺(tái)??大連動(dòng)漫基地??未知(有小型工作室使用)??有一些工作室使用

總結(jié)

以上是生活随笔為你收集整理的enfuzion与lsf构建渲染集群_渲染农场 - 秦瑞It行程实录 - 博客园的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

免费色视频网站 | 国产美女视频网站 | 一区二区三区在线不卡 | 麻豆久久久久 | 一级黄色片在线免费观看 | 国产色视频一区二区三区qq号 | 亚洲黄色免费电影 | 久久综合综合久久综合 | 综合黄色网 | 日韩在线免费视频 | 99婷婷狠狠成为人免费视频 | 日韩中文字幕免费在线播放 | 国产精品综合在线观看 | 特级西西444www大胆高清无视频 | 98久久| 91精品免费| 久久久国产在线视频 | 一区二区不卡 | 国产色婷婷| 永久免费的啪啪网站免费观看浪潮 | 日韩电影在线一区二区 | 操操操干干干 | 综合国产在线观看 | 免费观看av网站 | 在线观看黄网 | 香蕉97视频观看在线观看 | 亚洲精品美女在线观看 | 日韩最新在线视频 | 国产精品 日韩 | 成人久久久电影 | 视频在线精品 | 激情av综合 | 国产中文字幕一区 | 天天操综合网站 | 国产一级二级三级视频 | x99av成人免费 | 亚洲成人免费 | 国产一区二区高清不卡 | 精品亚洲国产视频 | 在线你懂| 五月天综合在线 | 天天草天天摸 | 日韩精品欧美一区 | 日韩日韩日韩日韩 | 91av亚洲| bbbb操bbbb| 国产精品一区在线观看 | 天天射天天射 | 日韩精品一区不卡 | 日韩欧美一区二区三区免费观看 | 丁香六月在线 | 综合网色 | 日本中文字幕在线电影 | 国产91精品一区二区麻豆亚洲 | 日韩大片在线观看 | 国内视频在线 | 天天综合网久久综合网 | 久久深夜福利免费观看 | ww视频在线观看 | 99久久婷婷国产一区二区三区 | 91香蕉视频 | 搡bbbb搡bbb视频 | 在线看av的网址 | 2019av在线视频| 国内一区二区视频 | 久久久视频在线 | 日韩中文字幕视频在线观看 | 中文字幕高清免费日韩视频在线 | 免费看黄色91 | av在线一二三区 | 热久久这里只有精品 | 97色视频在线 | 99精品视频播放 | 人人操日日干 | 久久精品免费看 | 亚洲精品小视频 | 色综合久久中文字幕综合网 | 欧美久久久久久久久久久 | 九九一级片 | 精品成人久久 | 成人av免费电影 | 色综合a | 久久久久久久影院 | 免费精品在线 | 国产午夜精品免费一区二区三区视频 | 97热视频 | 天天干天天看 | www.超碰 | 在线成人免费电影 | 麻豆一区在线观看 | 欧美日韩在线观看一区二区 | 国产精品毛片一区二区 | 久久久www成人免费毛片 | 91亚洲精品在线 | 久久伊人精品一区二区三区 | 久久午夜色播影院免费高清 | 美女网站在线看 | 久久99视频免费 | 中文字幕在线一区二区三区 | 中文字幕韩在线第一页 | 日韩av中文在线 | 四虎成人免费观看 | 久久久久久影视 | 国产精品麻豆欧美日韩ww | 午夜精品久久久久久99热明星 | 香蕉日日| 毛片永久新网址首页 | 东方av免费在线观看 | 2023年中文无字幕文字 | 免费精品视频在线 | 狠狠干天天射 | 免费在线视频一区二区 | 人人爽人人爽人人片av免 | 亚洲午夜久久久久 | 日韩在线免费看 | 中文在线8资源库 | 欧美日韩综合在线 | 五月婷婷六月丁香激情 | 免费人成在线观看网站 | 狠狠的日 | 婷婷网在线| 色婷婷在线观看视频 | 国产偷v国产偷∨精品视频 在线草 | 国产高清视频在线播放 | 天天五月天色 | 久久精品79国产精品 | 国产午夜免费视频 | 国产精品黑丝在线观看 | 成人免费在线视频观看 | 久99久在线视频 | 中文字幕在线视频国产 | 日韩免费一级a毛片在线播放一级 | 99久久精品免费看国产免费软件 | 欧美精品xxx | 久久免费视频一区 | 婷婷色影院 | 91麻豆精品国产91久久久久 | 久久av高清 | 涩涩网站在线看 | 免费人成在线观看网站 | 欧美久久久久久久久久久 | av电影一区 | 在线天堂中文在线资源网 | 丁香婷婷深情五月亚洲 | 国产视频在线一区二区 | 综合国产视频 | 欧美成人在线免费观看 | 美女国产在线 | 久久精品国产精品亚洲 | 久久综合五月 | 日本高清久久久 | 999久久久国产精品 高清av免费观看 | 天天操偷偷干 | 麻豆 91 在线 | 久久综合久久综合这里只有精品 | www.夜夜操 | 国产视频一区二区在线播放 | 亚洲精品乱码久久久久 | 97超碰国产在线 | 色视频在线观看免费 | 波多野结衣理论片 | 91成人网在线 | 日批视频| 中文字幕亚洲不卡 | 中文字幕在线免费看线人 | 欧美精品一区二区三区一线天视频 | 999久久国产 | 国产精品高潮呻吟久久av无 | 亚洲欧美偷拍另类 | 天天色天天干天天色 | 国产91在线免费视频 | 日韩伦理片一区二区三区 | 国产理论片在线观看 | 中文字幕av在线不卡 | 久久国产三级 | 国产高清在线a视频大全 | 国产欧美久久久精品影院 | 最近中文字幕在线播放 | 久久中文字幕视频 | 日韩精品视频久久 | 日韩久久一区二区 | 91精品区 | 久久最新| 久久热亚洲 | 日本中文字幕在线一区 | 亚洲毛片视频 | 2019国产精品 | av免费网站在线观看 | 天天操比| 中文字幕一区二区三区精华液 | 91久久奴性调教 | 免费视频 你懂的 | 婷婷视频 | 亚洲免费一级电影 | 蜜桃传媒一区二区 | 在线观看视频免费播放 | 国产成人一区二区在线观看 | 在线免费看片 | 一区中文字幕电影 | 色视频网站在线 | 狠狠躁夜夜躁人人爽超碰97香蕉 | 国产精品久久嫩一区二区免费 | 日韩中文字幕第一页 | 精品国产99国产精品 | 国产又粗又猛又黄又爽 | 亚洲h在线播放在线观看h | 国产福利91精品一区二区三区 | 国产 欧美 日韩 | 欧美在线一级片 | 很黄很黄的网站免费的 | 成人免费在线观看av | 黄色片免费看 | 免费视频黄 | 91成人黄色 | www.狠狠操.com | 在线看片视频 | 成人av亚洲 | 久精品在线 | 一级黄色毛片 | 99九九视频 | 一级黄色a视频 | 综合久久2023| 午夜精品久久久久久久99无限制 | 国产成人精品一区二 | 国产精品久久久久影视 | 99久久99久久精品免费 | av免费看电影| 中文字幕一区二区三区久久 | 免费观看成人 | 亚洲成人国产精品 | 国产成人三级在线观看 | 91亚洲精品久久久蜜桃网站 | 99在线免费视频 | 国产一二三精品 | 97视频资源 | 在线免费观看视频你懂的 | 玖玖在线资源 | 免费在线观看成人小视频 | 国产精品视频 | 337p日本大胆噜噜噜噜 | 国产精品久久久久久一区二区三区 | 免费精品视频在线观看 | 日韩av一区二区在线播放 | 国产香蕉久久精品综合网 | av电影亚洲 | 少妇性bbb搡bbb爽爽爽欧美 | 成人啪啪18免费游戏链接 | 99热在线观看| 久久久久亚洲精品男人的天堂 | 天堂网一区二区三区 | 国产日韩亚洲 | 精产嫩模国品一二三区 | 国产精品久久久久久久久费观看 | 激情网在线视频 | 在线观看日韩 | 久久免费试看 | 手机看片 | 亚洲精品美女久久17c | 亚洲 综合 专区 | 91精品在线看 | 国产最新视频在线 | 2019中文最近的2019中文在线 | 欧美一级性生活视频 | 2019中文在线观看 | av在线成人 | 国产精品ⅴa有声小说 | 人人舔人人干 | 在线看片91 | 在线色资源 | 国产久草在线观看 | 69国产成人综合久久精品欧美 | 欧美影片 | 精品极品在线 | 在线观看亚洲国产 | 欧美一二三区在线播放 | 欧美成人理伦片 | 99视频精品免费视频 | 九九热在线视频免费观看 | 欧洲激情综合 | 麻豆精品视频在线 | 国产视频不卡 | 探花视频在线观看免费 | 超碰在线观看99 | 综合久久久久久久 | www久久精品| 毛片播放网站 | 最近免费在线观看 | 久久久久久久久久亚洲精品 | 日韩欧美91 | 波多野结衣在线观看一区 | 久久精品这里热有精品 | 色偷偷888欧美精品久久久 | 欧美极品少妇xxxxⅹ欧美极品少妇xxxx亚洲精品 | 久久久久这里只有精品 | 精品视频www| 亚洲国内精品在线 | 色综合天天狠天天透天天伊人 | 久久高清免费视频 | 999精品网 | 国产精品二区在线 | 日韩在线免费视频 | 99九九视频| 色综合天天综合在线视频 | 在线观看免费av片 | 九九视频免费观看视频精品 | 丰满少妇一级 | 成人欧美一区二区三区在线观看 | 中文字幕在线成人 | 久久伊人热 | 激情婷婷欧美 | 国产色视频 | 久久久国产精品成人免费 | 天天操夜夜做 | 在线观看深夜视频 | 玖玖爱在线观看 | 97超碰超碰久久福利超碰 | 99国产精品一区 | 日日躁天天躁 | 97成人在线观看 | 亚洲全部视频 | 亚洲精品国产成人 | 天天色成人 | 日韩欧三级 | 69久久99精品久久久久婷婷 | 国产麻豆剧果冻传媒视频播放量 | 成人av网站在线播放 | 国产福利一区二区三区视频 | 日韩久久精品一区二区三区 | 欧洲亚洲国产视频 | 午夜精品一二区 | 手机在线看a | 日产中文字幕 | 欧美日在线观看 | 99精品视频在线免费观看 | 亚洲午夜av| 精品国产电影一区二区 | 一区二区三区在线影院 | 国产女教师精品久久av | 最近高清中文字幕在线国语5 | 成人小视频在线观看免费 | 公开超碰在线 | 日日夜操 | av激情五月| 成年人在线免费看视频 | 99re8这里有精品热视频免费 | 在线导航av| 中文字幕丝袜一区二区 | 九九九九九国产 | 亚洲欧美日韩在线一区二区 | 91av福利视频 | 欧美激情第八页 | 久久在线精品 | 国产精品一区二区精品视频免费看 | 国产精品ssss在线亚洲 | 日韩精品一区在线播放 | 国产午夜三级一区二区三 | 国产免费又爽又刺激在线观看 | 99视频偷窥在线精品国自产拍 | av高清影院 | 99九九热只有国产精品 | av电影一区二区 | 久久久久国产成人免费精品免费 | 国产无遮挡又黄又爽在线观看 | 久久99免费观看 | 国产亚洲综合性久久久影院 | 久久视频这里有精品 | 欧美日韩一区三区 | 国产精品美女999 | 久久黄色片 | 91麻豆精品国产91久久久久久 | 国产欧美综合视频 | 精品91| 日韩精品一区二区三区视频播放 | 干狠狠| 欧美色久 | 亚洲在线视频网站 | 91中文字幕网 | 亚洲人成免费网站 | 国产 精品 资源 | 欧美日韩精品综合 | 99久久精品日本一区二区免费 | 在线看片中文字幕 | 国产精品自产拍在线观看中文 | 国产美女网站在线观看 | 欧美整片sss | 久久精品综合网 | 97人人模人人爽人人喊网 | 国产午夜精品理论片在线 | 午夜av一区 | 久久香蕉电影网 | 国产精品永久久久久久久www | 免费视频一区 | 美女中文字幕 | 最新成人av | 999成人免费视频 | 日韩深夜在线观看 | aaa黄色毛片 | 国产.精品.日韩.另类.中文.在线.播放 | 亚洲综合国产精品 | 国产一区二区三区高清播放 | 伊人精品影院 | 成 人 a v天堂 | 中文字幕欧美日韩va免费视频 | 精品视频在线视频 | 99久久www免费 | 久久精品一二三区白丝高潮 | 91福利视频网站 | 99免费精品视频 | av三区在线 | 久久精品视频在线播放 | 99人久久精品视频最新地址 | 免费a级黄色毛片 | 一区二区三区在线免费播放 | av中文资源在线 | 久久久精品国产一区二区 | 欧美日韩免费视频 | 青青草久草在线 | av九九 | 国产精品亚洲综合久久 | 午夜av片| 天天草夜夜 | 91精品一区二区在线观看 | 午夜精品电影 | 国产免费视频一区二区裸体 | 日韩 国产| 日韩三级中文字幕 | 天天操天天色天天射 | 韩日精品在线 | 在线精品视频免费播放 | 一二区电影 | 欧美成人精品欧美一级乱 | 国产在线高清精品 | 波多野结衣精品视频 | 中文字幕在线播放第一页 | 天天翘av| 婷婷五月在线视频 | 久久久久久看片 | 精品国内 | 久久中文字幕导航 | 麻豆精品国产传媒 | 黄色h在线观看 | 天天色天天艹 | 福利一区二区在线 | 日韩最新在线 | 精品欧美小视频在线观看 | 激情五月婷婷综合 | 91精品国产电影 | 日韩视频精品在线 | 久久久久高清毛片一级 | 天天操夜夜爱 | 99精品久久精品一区二区 | 美女精品网站 | 黄色免费观看视频 | 99久久久成人国产精品 | 国产亚洲va综合人人澡精品 | 日韩精品欧美专区 | 免费97视频 | 激情五月婷婷综合网 | 久久精品视频在线免费观看 | 996久久国产精品线观看 | 青春草免费视频 | 91视频在线播放视频 | 波多野结衣在线视频一区 | 日韩高清免费电影 | 久久久久久久久免费视频 | 色中色资源站 | 黄污网站在线观看 | 婷婷激情网站 | 欧美性粗大hdvideo | 日日夜夜天天综合 | 97免费在线视频 | 五月婷婷播播 | 夜夜干夜夜 | 免费日韩 精品中文字幕视频在线 | 日韩一区二区三 | 91黄色在线视频 | 天天做天天爱天天爽综合网 | av在线h| 中文字幕在线观看一区二区 | 国产系列 在线观看 | 97超碰人人澡 | av手机版| 中文在线免费视频 | 在线а√天堂中文官网 | 色综合婷婷 | 国产精品久久久一区二区三区网站 | 999久久久久久久久 69av视频在线观看 | 视频一区二区视频 | 日韩免费在线视频 | 国产精品中文在线 | 激情av在线资源 | 黄色毛片视频免费观看中文 | 亚洲91精品| 亚洲精品一区二区三区四区高清 | 国产成人亚洲在线观看 | 99视频网站| 久久精品视频播放 | 国产亚洲一区 | 麻豆成人网 | 国产黄网站在线观看 | 日韩av综合网站 | 国产精品国产精品 | 欧美va天堂va视频va在线 | 亚州成人av在线 | 黄色一级大片在线免费看产 | 日韩免费播放 | 五月开心色 | 国产精品一区二区久久久久 | 国语麻豆| 狠狠干天天 | 麻豆传媒一区二区 | 狠狠激情中文字幕 | 久久国内精品视频 | 久久久国产一区二区三区四区小说 | 99久国产 | 91手机电影 | 色天天中文 | 91av免费看 | 亚洲综合色激情五月 | 亚洲毛片一区二区三区 | 亚洲人成人在线 | 国产免费又爽又刺激在线观看 | 亚洲综合一区二区精品导航 | 91精品国产福利在线观看 | 亚洲涩综合 | 欧美久久久久久久久久久久 | 在线观看精品一区 | www.亚洲精品视频 | 日日操操操 | 成人毛片网 | 奇米网444 | 91最新视频在线观看 | 国产精品va在线 | 欧美久久九九 | 婷婷播播网 | 久久久国产精品成人免费 | 深夜免费福利视频 | av综合站 | 中文字幕av全部资源www中文字幕在线观看 | 手机在线看a | 草久热 | 天堂成人在线 | 91精品国产99久久久久久红楼 | 国产成人精品女人久久久 | 国产精品剧情在线亚洲 | 在线免费视频你懂的 | 久草视频免费观 | 91大神视频网站 | 四虎国产精品免费观看视频优播 | 国产精品久久久久久久久久久久久 | 中文字幕av最新 | 久久精品电影 | 麻豆精品在线视频 | 在线小视频你懂得 | 中文字幕av在线 | 少妇bbr搡bbb搡bbb | 综合伊人久久 | 欧美日韩一区二区免费在线观看 | 久久久久国产精品一区 | 一区二区欧美日韩 | 97超碰超碰久久福利超碰 | 国产黄色免费观看 | 国产成人在线观看 | 在线观看黄色免费视频 | 国产欧美综合在线观看 | h文在线观看免费 | 婷婷成人综合 | 色在线网站 | 欧美一级日韩三级 | 日韩免费一区二区三区 | 免费色视频网址 | 国产精品久久久久久麻豆一区 | 久久精品视频在线免费观看 | 久久大香线蕉app | 欧美成人aa | 天天操网站 | .国产精品成人自产拍在线观看6 | 精品女同一区二区三区在线观看 | 国产亚洲欧美一区 | 激情久久久久久久久久久久久久久久 | 免费黄色网址网站 | www.天天干.com | 色婷婷a | 爱干视频 | 一区二区三区在线影院 | 亚洲精品国产精品国自产观看 | 91香蕉视频黄 | 午夜影院一区 | 热久久免费视频精品 | 久久99久久精品 | 国产日韩在线播放 | 韩国精品视频在线观看 | 六月丁香综合 | 成人欧美亚洲 | 高清不卡毛片 | 日韩中文字幕91 | 久久网站av| 一区二区三区在线观看免费 | 色噜噜狠狠色综合中国 | 免费一级毛毛片 | 美女网站黄在线观看 | 国产成人精品一区二区三区 | 国产xvideos免费视频播放 | 欧美一区在线看 | 九九热只有精品 | 日韩啪视频 | 黄色网www| 超碰人人草 | 美女久久一区 | 国产精品久久久久一区二区三区 | 久久999精品| av亚洲产国偷v产偷v自拍小说 | 国产精品久久久久久久久久久久久久 | 久久婷婷久久 | 久草视频看看 | 天天干夜夜想 | 三级a视频| 久久精品久久国产 | 精品亚洲欧美无人区乱码 | 91成人网在线观看 | 色88久久 | 91免费观看国产 | 四虎免费在线观看视频 | 91九色国产在线 | 五月天婷亚洲天综合网精品偷 | 99视频在线观看一区三区 | 欧美日韩不卡一区二区三区 | 我爱av激情网 | 欧美ⅹxxxxxx| 三级在线视频播放 | 欧洲亚洲国产视频 | 国产在线播放不卡 | 亚洲一二三久久 | 亚州国产精品久久久 | 欧美日韩二区在线 | 免费无遮挡动漫网站 | 天天射天天做 | 国产免费黄视频在线观看 | 国产精品一区欧美 | 超碰在线观看99 | 麻豆一二三精选视频 | 天天综合网久久综合网 | 免费无遮挡动漫网站 | 97在线精品| 日韩在线观看你懂得 | av色影院| 欧美激情视频一二三区 | 日本在线观看中文字幕无线观看 | 日韩午夜av | 欧美人人| 不卡中文字幕在线 | 亚洲精品国久久99热 | 成年人黄色免费网站 | 高清美女视频 | 国产一区免费观看 | 日本不卡视频 | 国产美女视频黄a视频免费 久久综合九色欧美综合狠狠 | 日日日视频| 五月花丁香婷婷 | av中文资源在线 | 亚洲精品在线观看的 | 午夜精品视频一区 | 麻豆国产精品永久免费视频 | 久久人人97超碰com | 97视频播放 | 久久永久视频 | 久久艹国产视频 | 国产精品自产拍在线观看桃花 | 国产精品 视频 | 日韩精品在线视频免费观看 | 日韩在线观看视频网站 | 成片视频在线观看 | 精品国产aⅴ一区二区三区 在线直播av | 草久久久| 正在播放亚洲精品 | 欧美一级性| 中文字幕精品三级久久久 | 色综合亚洲精品激情狠狠 | 成人网中文字幕 | 免费碰碰 | 久久无码精品一区二区三区 | 国产精品黄色av | 亚洲伦理电影在线 | 婷婷在线免费视频 | 日韩大片在线 | 中文字幕国产视频 | 亚洲精品乱码久久久久久高潮 | 在线性视频日韩欧美 | 福利视频一二区 | 日韩欧美视频在线免费观看 | 岛国av在线 | 国产在线观 | 久久er99热精品一区二区 | 十八岁以下禁止观看的1000个网站 | 久草在线免费看视频 | 五月天中文在线 | 久久久久黄 | 色国产精品 | 久青草电影 | 国产亚洲亚洲 | 免费三级黄 | 国产亚洲一区二区在线观看 | 久久小视频 | 日本女人在线观看 | 精品国产一二三四区 | 手机看片国产日韩 | 久久精品91久久久久久再现 | 国产麻豆剧果冻传媒视频播放量 | 久久精品亚洲综合专区 | 免费看的黄网站 | 国产一级大片免费看 | 97色婷婷成人综合在线观看 | 亚洲免费在线观看视频 | 黄色亚洲| 色婷婷精品| 在线播放av网址 | 91成人免费看 | 国产精品福利在线播放 | 亚洲一级片免费观看 | 香蕉久久久久久久 | 午夜aaaa | 日韩视频一区二区在线观看 | 精品久久久久久久久久久久久久久久 | 久久久久久久久久久成人 | av一级久久 | 久操中文字幕在线观看 | 色丁香久久 | 亚洲欧美国产精品久久久久 | 欧美日韩国产一区二区三区 | 中文字幕乱码在线播放 | 99亚洲国产 | 午夜国产福利在线 | 99热日本 | 国产手机在线视频 | 一区二区三区在线观看免费视频 | 91麻豆免费版 | 久久久精品免费看 | 在线观看黄色国产 | 91精品视频在线观看免费 | 一区二区三区在线不卡 | 免费亚洲视频 | 久久99最新地址 | 欧美一区成人 | 欧美精品一区二区在线观看 | 欧美激情精品久久久久 | 日韩免费在线视频 | 999久久久久久 | 香蕉视频亚洲 | 久久国产精品99久久久久 | 久久99热这里只有精品国产 | 亚洲天堂香蕉 | 美女免费视频观看网站 | 黄色一及电影 | 亚洲人成人99网站 | 久久人人精 | 久久看免费视频 | 69视频在线| 免费三级在线 | 精品国产精品久久 | 国产一在线精品一区在线观看 | 成人久久综合 | 久艹在线观看视频 | 西西4444www大胆艺术 | 99精品国自产在线 | 国产清纯在线 | 日韩美一区二区三区 | 国产最新视频在线观看 | 91精品国产九九九久久久亚洲 | 国产在线精 | 玖玖在线免费视频 | 91完整版观看 | 欧美精品久久久久久久久久丰满 | 国产日韩欧美在线一区 | 国产品久精国精产拍 | 欧美日韩aaaa | 高潮久久久 | 在线观看成年人 | 欧美怡红院视频 | 91精品蜜桃 | 日韩av片无码一区二区不卡电影 | 亚洲成人精品av | 日韩一三区 | 国产午夜三级一区二区三桃花影视 | 日韩高清 一区 | 国产精品99久久久精品免费观看 | 91成人免费视频 | 婷婷丁香久久五月婷婷 | 色播六月天| 亚洲永久国产精品 | 国产在线观看中文字幕 | 伊人婷婷综合 | 公与妇乱理三级xxx 在线观看视频在线观看 | 91精品国产一区二区在线观看 | 国产午夜精品久久久久久久久久 | 亚洲电影图片小说 | 一级大片在线观看 | 精品美女国产在线 | 久久黄页| 夜夜躁日日躁狠狠久久88av | 国产精品久久久久久久久婷婷 | 久久美女免费视频 | 亚洲精品2区| 欧美一进一出抽搐大尺度视频 | 中文字幕国语官网在线视频 | 狠狠躁18三区二区一区ai明星 | 日本激情视频中文字幕 | 欧美久久久久久久久久久久 | 成人影片在线免费观看 | 精品一区在线看 | 国产麻豆电影 | 天天草天天摸 | 日本中文字幕在线观看 | 天天色棕合合合合合合 | 欧美一区免费观看 | 国产视频 亚洲视频 | 伊人春色电影网 | 97在线视频免费看 | 波多野结衣在线播放一区 | 久久久久久国产精品亚洲78 | 中文字幕人成人 | 国产精品久久久久免费a∨ 欧美一级性生活片 | 欧美精品中文在线免费观看 | 久久久首页 | 夜夜爽www | 久久免费成人精品视频 | 久久激情视频免费观看 | 国产成人精品午夜在线播放 | 黄网在线免费观看 | 国产午夜小视频 | 伊人电影在线观看 | 婷婷视频在线观看 | www.五月激情.com | 福利视频网站 | 狠狠狠狠狠狠天天爱 | 久久久国产精品网站 | 少妇啪啪av入口 | 国产午夜激情视频 | 色综合中文综合网 | 黄色av电影网 | 天天射天天干天天爽 | 免费男女网站 | 2021国产精品视频 | 国产主播大尺度精品福利免费 | 美女网站视频久久 | 久久久久国产一区二区三区四区 | 国产成人精品av在线 | 五月天久久久久久 | 天天综合色网 | 娇妻呻吟一区二区三区 | 欧美久久99| 综合色在线 | 国产高清视频网 | 成人丝袜 | 国产精品网红直播 | 日韩一区二区三区高清在线观看 | 国产精品久久久久久久久毛片 | 五月开心六月伊人色婷婷 | 国产精品免费视频久久久 | 天天操天天干天天干 | 六月丁香激情综合色啪小说 | 欧美成人视 | 国产特级毛片aaaaaa高清 | 亚洲女欲精品久久久久久久18 | 亚洲综合色婷婷 | 91九色视频在线观看 | 色综合天天爱 | 久久免费精品视频 | 在线观看亚洲精品 | 日韩精品aaa | 久久 一区 | 激情婷婷在线 | 在线视频一区观看 | 在线观看国产 | 国产日韩精品一区二区三区 | 波多野结衣在线视频一区 | 国产精品系列在线 | 激情久久久久久久久久久久久久久久 | 亚洲精品视频在线免费 | 在线观看日韩中文字幕 | 亚洲高清视频在线 | www.国产在线视频 | 欧美日韩在线观看一区 | 久久精品最新 | 欧美a在线免费观看 | 成人av.com| 日本激情动作片免费看 | 在线观看网站你懂的 | 99色在线观看 | 欧美一级久久 | 中文字幕乱偷在线 | 2022中文字幕在线观看 | 天天射狠狠干 | 96亚洲精品久久 | 久久综合天天 | 久久99视频精品 | 欧美永久视频 | 久久国产视频网站 | 久久久.com | 欧美最猛性xxxx | 国际精品久久久久 | 久久av在线播放 | 亚洲永久精品在线观看 | 91大神一区二区三区 | 97视频免费播放 | 伊人五月天综合 | 日韩av一区在线观看 | 成人久久久精品国产乱码一区二区 | 精品久久一区 | 444av| 四虎免费在线观看视频 | 日韩中字在线 | 国产日韩av在线 | av电影中文 | 韩国av免费观看 | 成人丝袜 | 操天天操 | 久久蜜桃av | 久久理伦片 | 久久 精品一区 | 精品美女在线观看 | 99久久激情视频 | 日本黄色免费观看 | 欧美日韩三级在线观看 | 99久e精品热线免费 99国产精品久久久久久久久久 | 日韩精品最新在线观看 | 久久久久女教师免费一区 | 久久精品国产免费 | 国产xxxx做受性欧美88 | 97电影在线观看 | www九九热| 在线观看视频一区二区三区 | 在线观看日韩一区 | 欧美精品日韩 | 国产主播大尺度精品福利免费 | 国产麻豆传媒 | 国产999精品久久久影片官网 | 国产精品一二三 | 亚洲精品乱码久久久久久蜜桃不爽 | 久草视频在线看 | 久久国产美女视频 | 999国内精品永久免费视频 | 国外成人在线视频网站 | 天天色影院 | 精品亚洲一区二区 | 天天爱天天射天天干天天 | 国产日韩一区在线 | 日韩视频1区 | 九九在线视频免费观看 | 一区二区视频在线免费观看 | 久久免费的视频 | 欧美久久久久久久久久久 | 精品爱爱| 天天玩天天干天天操 | 久产久精国产品 | 狠狠干2018 | 在线国产视频一区 | 97在线精品国自产拍中文 | 色婷婷在线播放 | 91成人网在线观看 | 日韩在线视频观看 | 曰本三级在线 | 美女黄视频免费看 | 欧美日韩一区二区视频在线观看 | 天天干天天看 | 91av视频免费观看 | 久久久久久久国产精品 | 欧美日韩国产成人 | 成人黄色在线播放 | 人人添人人澡人人澡人人人爽 | 精品视频免费在线 | 国产在线色视频 | 在线天堂视频 | 久久久九色精品国产一区二区三区 | 欧美精品久久久久久久久久丰满 | 国产自在线 | 久久久久久久久福利 | 美女网站免费福利视频 | 韩国av一区二区三区 | 一级成人网 | 九九九九九国产 | 国产精品福利一区 | 久久人人爽人人爽人人片av软件 | 亚洲欧美国产精品va在线观看 | 在线观看自拍 | 在线观看精品一区 | 草久久久久久 | www.在线看片.com| 一区二区三区污 | 中文在线免费一区三区 | 九九热视频在线播放 | 日本高清中文字幕有码在线 | 日韩在线视频一区二区三区 | 国产视频中文字幕 | 日批视频国产 | 99麻豆久久久国产精品免费 | 91污污视频在线观看 | 激情久久小说 | 免费在线观看av的网站 |