使用celery的backend异步获取结果
慣例先貼出相關(guān)參考的文檔:
http://docs.celeryproject.org/en/stable/getting-started/next-steps.html
http://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends
?
這篇緊接上篇。
其實(shí)我們一般對(duì)這種異步任務(wù)需求是可能需要回調(diào)的。比如說(shuō)我現(xiàn)在有一個(gè)支付的異步任務(wù)發(fā)送到了隊(duì)列。
生產(chǎn)者不需要等待,在發(fā)送到隊(duì)列之后就告訴用戶已經(jīng)支付成功了或者說(shuō)正在支付稍后再來(lái)查看狀態(tài)。
這個(gè)時(shí)候celery的worker獲取到這個(gè)任務(wù)之后開(kāi)始處理,等一會(huì)兒他處理完畢之后可能需要將這個(gè)處理完畢的結(jié)果返回給發(fā)送給他的生產(chǎn)者。
那么問(wèn)題來(lái)了,如何告知生產(chǎn)者?因?yàn)樯a(chǎn)者生產(chǎn)完消息之后就結(jié)束了。
?
那么這個(gè)時(shí)候就使用到了backend這個(gè)參數(shù)了:
當(dāng)我們像指明broker一樣指明了backend之后,當(dāng)worker運(yùn)行完結(jié)果之后就會(huì)把他返回給生產(chǎn)者的唯一id作為鍵,將結(jié)果作為值傳遞給你設(shè)置的worker(backend測(cè)試環(huán)境為redis).這個(gè)時(shí)候你無(wú)論在什么時(shí)候只要拿著這個(gè)值去redis里面查找到結(jié)果就行了。比如你在執(zhí)行一個(gè)任務(wù),你可以設(shè)置一個(gè)周期性輪詢,去查看這個(gè)結(jié)果是否已經(jīng)被生產(chǎn)出來(lái),如果生產(chǎn)出來(lái)便取到該值做相應(yīng)的操作即可。下面為具體操作實(shí)例:
?
先貼出一個(gè)我統(tǒng)一使用的配置文件
# file_name=init_celery.py# coding: utf-8 from celery import CeleryBROKER_URL = 'redis://:password@localhost:6379/0' BACKEND_URL = 'redis://:password@localhost:6379/1'# Add tasks here CELERY_IMPORTS = ('try', )celery = Celery('celery',broker=BROKER_URL,backend=BACKEND_URL,include=CELERY_IMPORTS,)celery.conf.update(CELERY_ACKS_LATE=True,CELERY_ACCEPT_CONTENT=['pickle', 'json'],CELERYD_FORCE_EXECV=True,CELERYD_MAX_TASKS_PER_CHILD=500,BROKER_HEARTBEAT=0, )
?
然后是celery任何函數(shù)
from init_celery import celery@celery.task def add(x, y):result = x + yprint resultreturn result?
最后我們調(diào)用這個(gè)函數(shù)執(zhí)行異步操作
from tasks import adddef notify(a, b):result = add.apply_async((a, b), queue='laplace')return resultif __name__ == '__main__':haha = notify(6, 7)print haha.statusprint haha.idprint haha.get(timeout=1)這里注意我使用了task.apply_async這個(gè)函數(shù)。其實(shí)效果根task.delay差不多只是可以指定更多的參數(shù)。 這里我指定了使用的隊(duì)列為laplace隊(duì)列,所以對(duì)應(yīng)的監(jiān)聽(tīng)的隊(duì)列也必須使用參數(shù)-Q監(jiān)聽(tīng)對(duì)應(yīng)的隊(duì)列,才能獲得結(jié)果。
這里返回的result其實(shí)就是一個(gè)唯一的<class 'celery.result.AsyncResult'>對(duì)象。
我們可以對(duì)這個(gè)對(duì)象查看他的狀態(tài),id 以及使用get去得到他的具體值。
?
合理的使用這個(gè)get方法就可以取得woker處理之后的值,同時(shí)在redis可以清楚的看到,worker處理之后自動(dòng)幫你在redis里面存儲(chǔ)了
?
這么介紹之后對(duì)于backend是不是已經(jīng)一目了然了呢?其實(shí)我在進(jìn)行之類操作的時(shí)候還踩了一些配置文件方面的坑,
所以一定要仔細(xì)的參考官方文檔進(jìn)行操作。和查看更多你需要用到的功能和參數(shù)。
?
總結(jié)
以上是生活随笔為你收集整理的使用celery的backend异步获取结果的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 【Oracle】undo 自动调优
- 下一篇: 网格中的BFS,逆向(POJ2049)