在使用 PyODPS DataFrame 編寫數據應用時，盡管編寫的是同一個腳本文件，但其中的代碼會在不同位置執行，這可能導致一些無法預期的問題，本文介紹當出現相關問題時，如何確定代碼在何處執行，以及提供部分場景下解決問題的方法。

概述

假定我們要執行下面的代碼：

from odps import ODPS, options import numpy as npo = ODPS(access_id, access_key, project, endpoint) df = o.get_table('pyodps_iris').to_df()coeffs = [0.1, 0.2, 0.4]def handle(v):import numpy as npreturn float(np.cosh(v)) * sum(coeffs)options.df.supersede_libraries = True val = df.sepal_length.map(handle).sum().execute(libraries=['numpy.zip', 'other.zip']) print(np.sinh(val))復制代碼

在開始分析之前，首先需要指出的是，PyODPS 是一個 Python 包而非 Python Implementation，PyODPS 的運行環境均為未經修改的 Python，因而并不會出現與正常 Python 解釋器不一致的行為。亦即，你所寫的每一條語句不會有與標準 Python 語句不同的行為，例如自動變成分布式代碼，等等。

下面解釋該代碼的執行過程。

上圖是執行上述代碼時可能涉及的系統。代碼本身執行的位置在圖中用紫色表示，這些系統都位于 MaxCompute 外部，為了方便表述，下文稱為“本地”。在本地執行的代碼包括 handle 函數之外的部分（注意 handle 傳入 map 時僅傳入了函數本身而并未執行）。因而，這些代碼在執行時，行為與普通 Python code 的執行行為類似，import 第三方包時，引用的是本地的包。因而，上面的代碼中，libraries=['numpy.zip', 'other.zip']引用的other.zip因為并沒有在本地安裝，因而如果代碼中有諸如 import other 這樣的語句，會導致執行報錯。即便 other.zip 已被上傳到 MaxCompute 資源也是如此，因為本地根本沒有這個包。理論上，本地代碼如果不涉及 PyODPS 包，則與 PyODPS 無關，用戶需要自行排查。

對于 handle 函數，情況發生了變化。handle 函數傳入 map 方法時，如果使用的后端是 MaxCompute 后端，會先被 cloudpickle 模塊提取閉包和字節碼，此后 PyODPS DataFrame 會使用閉包和字節碼生成一個 Python UDF，提交到 MaxCompute。最后，作業以 SQL 的形式在 MaxCompute 執行時，會調用這個 Python UDF，其中的字節碼和閉包內容會被 unpickle，此后在 MaxCompute Executor 執行。由此可見，在上述代碼中，

在 handle 函數體中的代碼都不會在本地執行，而會在 MaxCompute Executor 中執行；

handle 函數體中無法引用本地安裝的包，只有在 MaxCompute Executor 中存在的包才有效；

上傳的第三方包必須能夠在 MaxCompute Executor 中的 Python 版本（目前為 Python 2.7，UCS2）中調用；

handle 函數體中修改引用的外部變量（上述代碼中的 coeffs）不會導致本地的 coeffs 值被修改；

如果在 handle 中引用在 handle 外 import 的包，在 handle 中調用可能會報錯，因為在不同環境中，包的結構可能不同，而 cloudpickle 會將本地包的引用帶到 MaxCompute Executor，導致報錯，因而建議 import 在 handle 中進行；

由于使用 cloudpickle，如果在 handle 中調用了其他文件中的代碼，該文件所在的包必須存在于 MaxCompute Executor 中。如果你不想使用第三方包的形式解決該問題，請將所有引用的個人代碼放在同一個文件中。

上述對 handle 函數的解釋對于自定義聚合、apply 和 map_reduce 中調用的自定義方法 / Agg 類均適用。如果使用的后端是 Pandas 后端，則所有代碼都會在本地運行，因而本地也需要安裝相關的包。但鑒于 Pandas 后端調試完畢后通常會轉移到 MaxCompute 運行，建議在本地裝包的同時，參照 MaxCompute 后端的慣例進行開發。

使用第三方包

個人電腦 / 自有服務器在本地使用第三方包 / 其他文件中的代碼

在相應的 Python 版本上安裝即可。

DataWorks 中本地使用其他文件中的代碼

該部分功能由 DataWorks 提供，請參考 DataWorks 文檔。

map / apply / map_reduce / 自定義聚合中使用第三方包 / 其他文件中的代碼

參考 yq.aliyun.com/articles/59… 。需要補充的是，在 DataWorks 上上傳資源后，需要點擊“提交”確保資源被正確上傳到 MaxCompute。如果需要使用自己的 Numpy 版本，在上傳正確版本的 wheel 包的同時，需要配置 odps.df.supersede_libraries = True，同時確保你上傳的 numpy 包名位于 libraries 的最前面，如果指定了 options.df.libraries，則 numpy 包名需要位于 options.df.libraries 的最前面。

引用其他 MaxCompute 表中的數據

個人電腦 / 自有服務器在本地訪問 MaxCompute 表

如果 Endpoint 可以連接，使用 PyODPS / DataFrame 訪問。

map / apply / map_reduce / 自定義聚合中訪問其他 MaxCompute 表

MaxCompute Executor 中通常不支持訪問 Endpoint / Tunnel Endpoint，其上也沒有 PyODPS 包可用，因而不能直接使用 ODPS 入口對象或者 PyODPS DataFrame，也不能從自定義函數外部傳入這些對象。如果表的數據量不大，建議將 DataFrame 作為資源傳入（見 pyodps.readthedocs.io/zh_CN/lates… ）。如果數據量較大，建議改寫成 join。

訪問其他服務

個人電腦 / 自有服務器在本地訪問其他服務

保證自己的環境中可以正常訪問相關服務，生產服務器可以聯系 PE。

DataWorks 上的本地代碼中訪問其他服務

請咨詢 DataWorks。

map / apply / map_reduce / 自定義聚合中訪問其他服務

參考 yq.aliyun.com/articles/59… 啟用 Isolation，如果仍然遇到網絡報錯，請聯系 MaxCompute 用戶群，找 PE 幫忙解決。

本文作者：繼盛

原文鏈接

本文為云棲社區原創內容，未經允許不得轉載。

轉載于:https://juejin.im/post/5cfe14abe51d45108c59a519

總結

以上是生活随笔為你收集整理的PyODPS DataFrame 的代码在哪里跑的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。