【2016年第1期】农业大数据资产管理面临的挑战与思考
李俊清,宋長青,周虎
山東農業大學農業大數據研究中心,山東 泰安 271018
摘要:農業大數據資產管理是發展農業農村大數據的前提,結合農業領域和大數據領域的熱門議題,對農業大數據資產管理進行了相關研究。對農業大數據資產的概念進行了定義,從數據資源和服務價值角度分析了農業大數據資產的特性;分析了農業大數據資產的現狀,并從存儲、質量、價值、安全、開放和人才培養等方面探討了農業大數據資產管理面臨的挑戰;最后,對農業大數據資產管理提出了思考和建議。
關鍵詞:農業大數據;資產管理;農業農村
中圖分類號:[S- 9] ??????文獻標識碼:A
doi: 10.11959/j.issn.2096-0271. 2016004
Challenge and thinking of agricultural big data assets management
LI Junqing, SONG Changqing, ZHOU Hu
Agricultural Big Data Research Center, Shandong Agricultural University, Taian 271018, China
Abstract: Agricultural big data assets management is the prerequisite of developing big data of agriculture and countryside. Combined the knowledge of agricultural fields and the hot topics in big data industry, agricultural big data assets management was discussed. Furthermore, definitions and descriptions of the concepts were defined, and some features of agricultural big data assets were analyzed from the view of service value. Next, the facing challenge of agricultural big data assets management was discussed from the aspects of storage, quality, value, safety, open and personnel training. The present situation of agricultural big data assets was analyzed. At the end, some thinking and suggestions were proposed for agricultural big data assets management.
Key words: agricultural big data, assets management, agriculture and countryside
1? 引言
國務院發布的《促進大數據發展行動綱要》中提到發展農業農村大數據涉及:構建面向農業農村的綜合信息服務體系、加強農業農村經濟大數據建設、統籌國內國際農業數據資源、整合構建國家涉農大數據中心、加快農業大數據關鍵技術研發等。筆者認為,農業大數據資產管理和盤點是發展農業農村大數據的前提。“農業大數據”和“數據資產”概念已經廣為人知,但是“農業大數據資產”、“農業數據資產如何管理”等問題的研究鮮有涉及。農業大數據資產的數量和質量直接影響著利用數據推進農業農村提質增效、 轉型升級等方面的進程,對農業大數據資產的研究和探討有著重要意義。
?
2? 農業大數據資產概念及特征
2.1 ?農業大數據資產概念
什么是資產?財政部關于修改《企業會計準則——基本準則》的決定(中華人民共和國財政部令第76號)中明確指出:資產是指企業過去的交易或者事項形成的、由企業擁有或者控制的、預期會給企業帶來經濟利益的資源。
什么是農業大數據資產?筆者認為:農業大數據資產是擁有權或控制權明確,預期能為農業及其相關領域提供服務或為之帶來經濟利益的全樣本(或多樣本)的歷史(或基于歷史衍生)的數據資源。
2.2 ?農業大數據資產特征
農業大數據資產除了具有資產的一般特征(即:由過去事項發生、擁有權或控制權明確、預期帶來經濟利益)之外,還具有其獨有特征,具體介紹如下。
2.2.1 ?農業大數據資產是數據資源
(1)農業大數據資產的具體形態是數據
農業大數據資產具體形態表現為以物理或電子方式記錄的數據。如:工作記錄、數據庫數據、數據表單、操作和統計數據、系統開發過程中的源代碼及配置文件等。
(2)農業大數據資產來源于農業及其相關領域
農業大數據資產是農業及其相關領域所產生的數據資源,是歷史的或基于歷史衍生的數據資源,即:數據范圍可以是歷史實際產生的數據,也可以是基于歷史實際數據整合、衍生出來的有價值的數據。
(3)農業大數據資產具有大數據的特征
農業大數據資產從總體上看是全樣本(或多樣本)數據資源,具有數據體量大、數據類型繁多、價值密度低、處理數據快等特征。
2.2.2 ?農業大數據資產預期能為農業及其相關領域提供服務
農業大數據資產的價值不局限于可以帶來經濟利益,其另一個重要的價值是:預期能為農業及其相關領域提供數據支撐和服務。主要體現在4個方面:一是管理指導,如為農業(廣義農業)生產的產前、產中、產后提供全程數據支撐和指導等;二是服務決策,如為政府決策提供參考、咨詢和指導服務,為企業生產、轉型、市場營銷提供咨詢等;三是追溯歷史,如根據歷史數據建立豬肉流通追溯體系等;四是預測未來,如幫助用戶預測農產品的未來需求量等。
?
3 ?農業大數據資產現狀
當前農業領域存在諸多問題需要數據支撐和解決,如糧食安全、土壤治理、病蟲害預測與防治、動植物育種、農業結構調整、農產品價格、農副產品消費、城鎮建設等領域。農業大數據資產是農業大數據發展的基礎。從政府到地方都需要利用農業大數據來解決實際問題,助力農業領域提質增效、轉型升級。由于對農業大數據資產的認識不夠和管理水平不足,當前農業大數據資產的現狀不容樂觀。下面從不同角度分析農業大數據資產的現狀。
3.1 ?農業大數據資產數量
農業領域是傳統的領域,有著悠久的歷史,積累了海量的數據。大部分數據對農業及其相關領域未來發展有著重要意義,屬于農業大數據資產。農業大數據資產時間跨度長,獲取方式多樣,分布范圍廣,數量巨大。
農業大數據資產增長迅速,獲取方式總體上可分為:傳統的數據獲取方式和現代化設備獲取方式。傳統的獲取方式包括:人工采集、涉農企業生產、政府收集等。其中,人工采集主要針對設備難以采集的數據,比如,大田土壤成分、苗情、施肥等數據;涉農企業數據包括:產前、產中、產后的生產和流通數據;政府收集數據主要包括對農業的管理和統計數據。現代化設備獲取方式包括:物聯網采集、遙感采集、網絡數據獲取等。其中,物聯網和遙感采集是通過實時采集、傳輸農業生產環境的監控數據;網絡數據獲取是對農業網站上有價值的數據進行下載或爬取。
農業大數據資產主要分布在政府部門、涉農企業和合作社、農業高校和科研機構、農業網站等。其中,政府部門涉及的內容包括農、林、牧、副、漁等農業傳統領域相關的管理決策數據;涉農企業和合作社涉及的數據包括農、林、牧、副、漁等生產數據和行業管理、經營數據;農業高校和科研機構涉及的數據包括研究農、林、牧、副、漁等生產原理和技術的數據;農業網站涉及的數據包括農產品價格數據、交易數據、氣象數據、水文數據等。農業大數據資產孤島現象嚴重,散落在不同的省、市(縣)、鎮(鄉)、村,不同的單位、不同的科室,不利于數據共享,數據的開放和整體利用難度大。
3.2 ?農業大數據資產質量
農業大數據資產質量不高,實際使用時困難重重。農業領域時時刻刻在產生大量的數據,但是對數據源頭的重視普遍不夠,沒有統一的數據標準,缺乏準確、有效的數據提取技術或者數據的預處理方法。數據源頭問題直接或間接導致數據很不規范、可用性差、數據質量差、數據不準確,甚至數據上報時統計口徑上就出現很多不合理的情況。此外,還存在關鍵數據信息缺失、關聯性差等問題。農業大數據資產質量問題直接導致農業大數據分析模型數量少、 精度低。
3.3? 農業大數據資產價值
農業大數據剛剛興起,農業領域專家對大數據接觸不多,不了解農業大數據的應用場景和價值,因此難以對農業大數據資產的價值做出評估。但從總體上來看,政府部門、科研院所、涉農企業對農業大數據資產價值認識還不到位,對農業大數據資產價值重視不夠,大量數據沉寂在數據庫或資料庫里,其價值難以體現。農業大數據資產評估價值手段缺失,使得其價值大打折扣,導致其應用場景受限;農業大數據資產共享和開放水平不足,制約其價值的發揮。
3.4 ?農業大數據資產安全
農業信息系統的用戶與管理人員一般都不是計算機專業人員,而網絡和服務器配置復雜且操作系統漏洞層出不窮,加上管理人員不能及時發現并安裝系統補丁堵住漏洞,這就為木馬病毒和黑客提供了入侵機會,導致農業大數據資產破壞和丟失。此外,由于內部管理機制不成熟,沒有意識到農業大數據資產的價值,普遍對農業數據管理不嚴,甚至刪除農業數據,導致農業大數據資產流失。
3.5 ?農業大數據資產服務
農業大數據資產服務是農業大數據產業發展的關鍵,目前農業大數據資產的服務能力不強。對內服務,單位內部各個系統處理采用的實施方案和技術存在差異,比如:數據庫類型差異、存儲介質不同、數據架構設計差異等,導致內部數據割裂;內部數據整合分析存在壁壘,甚至彼此訪問都存在問題。對外服務,目前農業數據對外開放水平不高,從政府到地方,都還缺少數據開放的成熟方案和技術支撐;外部訪問數據通道不通暢,單位之間數據交叉復用難度大,對外服務能力有待提高。筆者認為,農業大數據資產服務能力取決于對其共享和開放的水平。農業大數據資產開放有助于推動農業大數據基礎設施統一建設;有助于更全面、更準確地指導農業生產,進行管理和經營決策,讓農業大數據更好地為人民服務。農業大數據意識的提高和開放力度的加大,可以催生大量農業大數據相關的產業,帶動“大眾創業,萬眾創新”。只有農業大數據資產有效開放和共享,才能實現農業領域的數據共贏。
3.6 ?農業大數據資產管理
目前農業大數據資產的數量和質量遠遠不能滿足當前的需求,導致農業領域真正在大數據中發現價值、預測規律、指導生產的成功案例很少。農業領域每天都有海量的數據產生,農業大數據歷史跨度長、涉及領域廣、分布零散且采集方式各異,這些數據亟需統籌管理,整合衍生更多的農業數據資產。農業大數據資產管理尚處于起步探索階段,從事農業大數據管理的專業人才很少,農業大數據資產管理技術不足,再加上農業領域知識覆蓋范圍廣、數據開放難度大,為農業大數據資產提出很大挑戰。
?
4 ?農業大數據資產管理面臨的挑戰
利用農業大數據來解決實際問題,必須要對數據進行科學分析和論證,比如:用哪些農業數據來共同解決特定問題;現有數據是否能為解決該問題提供足夠的數據支撐;可以在多大程度上解決該問題等。而對農業大數據資產管理和盤點是對農業數據進行科學分析和論證的前提。農業大數據資產現狀嚴峻,需求緊迫,在其管理上亟需進行突破。農業大數據資產面臨的挑戰有很多方面。
4.1 ?農業大數據資產統籌存儲
農業大數據資產數量大、種類多、存儲方式不統一。隨著現代農業信息的發展,農業數據增長的速度更快。農業大數據資產統籌存儲超越了傳統數據庫的管理能力,是農業大數據資產管理面臨的挑戰之一。農業大數據資產統籌存儲需要解決:如何選取數據存儲方案,滿足數據快速增長的速度;如何構建分布式的數據平臺,并提供可擴展的數據存儲接口;如何處理和存儲不同結構的數據,比如:結構化數據、半結構化數據和非結構化數據的存儲,紙質數據的處理和存儲;如何打通各個子數據庫的數據,保證數據同步鏈路暢通;如何對數據進行合理分類,便于數據歸屬和快速查找等現實問題。
4.2 ?農業大數據資產質量管理
農業大數據資產質量管理水平直接影響著農業大數據資產的可用性。從農業數據源頭到數據服務整個鏈路中的數據質量把控和提升,是農業大數據資產管理面臨的又一個挑戰。農業大數據資產質量管理需要解決:如何制定數據源標準,如何增強農業數據采集的精度;如何在農業大數據資產流通鏈路中(比如在數據同步、清洗、整合、服務等各個環節)加強數據質量監控;如何對農業數據質量問題進行識別、度量、監控、預警;如何及時發現并解決農業數據生產過程中的數據質量問題;如何做到農業數據質量的自我修復等現實問題。
4.3 ?農業大數據資產價值提升
農業大數據資產數量巨大,但是對其價值的發現還很少,很多農業大數據資產閑置甚至流失。農業大數據資產價值提升是農業大數據資產管理面臨的挑戰之一,主要表現在:第一,要建立農業大數據資產價值評估體系。由于農業大數據資產量大、分布廣、碎片化嚴重等特點,對于農業大數據資產價值評估,門檻高、難度大,需要大數據知識和農業領域知識深度交互,任重道遠。第二,需要制定數據標準和規程。對農業數據資產流通的每個環節進行規范約定,特別是數據的一致性和可關聯性,為數據交叉分析和復用做鋪墊。第三,對農業大數據資產進行整合加工。經過整合加工,不僅能輸出更多維度和粒度的數據,而且可以衍生更多有價值的數據資產,有助于提高農業大數據資產的價值。第四,農業大數據資產共享。通過數據的共享,實現數據的交叉復用,降低數據重復采集的成本,更全面地整合分析數據。
4.4 ?農業大數據資產安全隱私
農業大數據資產在未來將會是農業甚至國家重要的財富,農業大數據資產安全隱私也是農業大數據資產管理面臨的挑戰之一。農業大數據資產安全隱私需要在多個方面防護:一是數據本身的安全,主要是指采用現代密碼算法對數據進行主動保護,如數據保密、數據完整性、雙向強身份認證等;二是數據防護的安全,主要是采用現代信息存儲手段對數據進行主動防護,如通過磁盤陣列、數據備份、異地容災等手段保證數據的安全;三是關鍵信息過敏,對敏感信息通過脫敏規則進行數據變形,實現敏感隱私數據的可靠保護。
4.5 ?農業大數據資產開放服務
農業大數據資產的共享應用,不僅能促進農業領域的發展,也能為其相關產業帶來收益。農業大數據資產開放服務也是農業大數據資產管理面臨的挑戰之一。農業數據資產開放服務的首要目標是提供易于發現、訪問和理解的數據,并使用高價值、可以機讀的數據接口,保障數據服務平臺的可用性。在此基礎上,做好面向農村、農業、農民的數據垂直服務;面向農產品市場、農業產業的數據預測服務;跨行業的農業內外部數據的管理、鏈接與整合服務等。農業大數據資產開放服務,需要在政策、理念、技術等方面共同努力。
4.6 ?農業大數據資產管理人才培養
農業大數據資產每個環節都依靠強大的技術支撐,需要有專業的農業大數據資產管理人員參與。農業大數據資產管理人才匱乏,嚴重阻礙農業大數據產業的發展。農業大數據資產管理人才的培養,是農業大數據資產管理面臨的重要挑戰。政府、高等農業院校、科研院所和大數據企業應當聯合培養一批對數據敏感、掌握大數據管理技術和農業領域知識的復合型人才。
?
5? 農業大數據資產管理的幾點思考
大數據時代下,農業大數據資產將是國家未來的寶貴財富。農業大數據資產管理水平決定著農業大數據產業發展的成敗,因此,農業大數據資產管理意義重大。以下是筆者對農業大數據資產管理的幾點思考。
(1)在管理思路上區分“農業大數據”和“農業大數據資產”
很多學者和科研人員認為擁有農業大數據就是掌握農業大數據資產,其實不然。擁有農業大數據是農業大數據資產的前提,但不是所有農業大數據都能具備農業大數據資產的特征。一味地追求獲取數據,會導致災難性的后果。數據越多可能帶來的問題越大,比如積累大量的錯誤數據、垃圾數據,不但達不到預期的結果,甚至會適得其反。這部分數據不能被有效利用,還會占據更多的存儲空間,耗費不必要的計算能力,浪費稀缺的人力物力資源。因此,必須在管理思路上區分“農業大數據”和“農業大數據資產”。
(2)農業大數據資產管理科學規劃
對農業大數據資產管理做科學的規劃是必不可少的。基于農業大數據資產全局管理,通過數據、應用、系統綜合管理,構建標準化、流程化、自動化、一體化的數據管理體系。確保數據架構合理、條理清晰、過程可控。根據科學規劃和技術積累實現數據資源的條理化、脈絡化,是農業大數據管理的重要基礎。農業大數據資產管理體系核心在于有效解決對數據資產進行管理的實踐性問題,既有助于合理管理、規范和整合農業大數據資產,又可以挖掘和發揮農業大數據資產價值并發現更多的應用場景。
(3)建立農業大數據資產管理標準體系
●建立農業大數據資產管理標準體系。建立、健全農業數據采集、入庫、分析、開放的統一標準,探索并建立數據發布和數據服務的標準和機制。
●建立農業大數據資產指標規范。統一指標口徑,對于同一指標在收集統計分析方面采用統一的口徑和規范。
●合理劃分農業大數據資產安全級別。考慮到農業大數據資產的開放和共享,必須在安全等級上對農業大數據資產進行合理的劃分,采取不同的安全保障措施。
●建立農業大數據資產管理評審機制。農業大數據資產的健康發展,需要在農業大數據資產管理的規劃、評估、審計、開放策略等方面建立健全的評審機制。
(4)建立農業大數據價值評估體系和交易機制
農業大數據資產的價值評估體系建立是對其進行管理的基礎,是對其進行交換和交易的前提。目前,農業大數據資產價值評估體系缺失,筆者認為可以通過領域專家、數據擁有者和數據使用者共同根據數據資產的質量、成本、用途來確定農業大數據資產的價值。涉及數據交易方面,可通過第三方機構甚至是公共部門來對農業大數據資產的價值進行評估和定價。
農業大數據資產交易機制的建立,是當今迫切解決的問題。數據交易涉及的主體多,包括數據擁有者、數據采集者、數據中介、數據使用者等。農業大數據資產交易機制的建立有助于讓農業大數據資產在各交易主體間順利流通,包括:數據資產產權相關的擁有權、使用權、收益權、讓渡權等。各交易主體間可通過一次性交付數據資產,也可以進行長期合作,根據合約分期交付數據資產。此外,還需要出臺相應的法律法規,對交易過程進行有效監督,促使各交易主體履行約定,杜絕農業大數據資產被非法復制和使用。
(5)盤活農業大數據資產,建立數據回路
農業大數據資產的生命力在于數據盤活。如果農業大數據資產沒有流動起來,就是一潭死水,難以發揮價值,也極有可能變成一種負資產。
筆者認為盤活農業大數據資產,必須打通數據獲取、整合、應用和創新4個環節,形成數據回路(如圖1所示)。數據獲取是指保障數據獲取的穩定性和標準化,為數據整合做鋪墊;數據整合是指結合數據的特征和應用場景,保障數據質量,為數據應用做鋪墊;數據應用是指利用數據解決實際問題,并發掘更廣的數據應用前景,為數據創新做鋪墊;數據創新是指創造性地解決更多的實際問題,產生更多有價值的數據,擴展農業數據資產獲取來源。
圖1 ?建立數據回路
(6)農業大數據資產管理創新
隨著農業大數據資產的積累,需要更深入地管理農業大數據資產,如從全局層面分析這些數據的分類、分層是否合理;各種數據之間的依賴關系是什么;數據流是怎么流動的;數據整合的邏輯是否和之前的設計吻合,是否便于實際應用;監控模型設計,如何及時發現模型問題并修正等。數據的交換、轉讓、租賃、交易的出現要求新的管理模式,需要從管理思想和管理技術角度進行探索和創新,在管理流程、數據脫敏、加密、多方計算等方面下手,實現農業大數據資產的全面管理。
(7)建議加強農業大數據資產相關的法律和標準
農業大數據資產保護意識有待提高,農業大數據資產的管理和利用需要與有效的監管結合起來。但是,目前還缺少用于規范、界定數據資產主權的相關法律。當前急需加強數據資產開放和數據交易相關的立法和標準建設工作,建立公共基礎數據資源的標準,完善數據資源采集、共享、利用、保密和交易等相關制度,完善農業大數據資產目錄體系。
?
6 ?結束語
農業大農業大數據資產是利用數據助力于農業提質、轉型升級增效的利器,農業大數據資產管理的水平決定著農業大數據產業的發展進程。當前提高農業大數據資產的意識,對農業大數據資產進行科學的管理盤活,才能為現代農業及其相關領域的快速發展做好堅實的數據支撐和服務。數據資產是利用數據助力于農業提質、轉型升級增效的利器,農業大數據資產管理的水平決定著農業大數據產業的發展進程。當前提高農業大數據資產的意識,對農業大數據資產進行科學的管理盤活,才能為現代農業及其相關領域的快速發展做好堅實的數據支撐和服務。
參考文獻:
[1] 國務院. 國務院關于印發促進大數據發展行動綱要的通知[R/OL].(2015-08-31)[2015-09-30]. http://www.sdpc.gov.cn/fzgggz/wzly/zcfg/201509/t20150930_753447.html.
The State Council. The notice on the issuance of the outline for action to promote the development of big data[R/OL]. (2015-08-31)[2015-09-30]. http://www.sdpc.gov.cn/fzgggz/wzly/zcfg/201509/t20150930_753447.html.
[2] 財政部. 中華人民共和國財政部令第76號[R/OL].(2015-07-23)[2015-07-29]. http://tfs.mof.gov.cn/zhengwuxinxi/caizhengbuling/201407/t20140729_1119494.html.
The Ministry of Finance. Decree No.76 of the ministry of finance of the people’s Republic of China[R/OL].(2015-07-23)[2015-07-29]. http://tfs.mof.gov.cn/zhengwuxinxi/caizhengbuling/201407/t20140729_1119494.html.
[3] 溫孚江. 農業大數據與發展新機遇[J]. 中國農村科技, 2013(10): 14.
WEN F J. Agricultural big data and the new opportunities of development[J]. China Rural Science &Technology, 2013(10): 14.
[4] 宋長青, 高明秀, 周虎. 高等農業院校農業大數據研究現狀及發展思路[J]. 中國農業教育, 2014(5): 16-20.
SONG C Q, GAO M X, ZHOU H. Review of agricultural big data research in agricultural universities[J]. China Agricultural Education, 2014(5):16-20.
[5] 溫孚江. 農業大數據研究的戰略意義與協同機制[J]. 高等農業教育, 2013(11):3-6.
WEN F J. The strategic and cooperative mechanism of agricultural big data research[J]. Higher Agricultural Education, 2013(11): 3-6.
[6] WANG Y J, YANG B, LUO Y, et al. The application of big data mining in risk warning for food safety[J]. Asian Agricultural Research, 2015(8): 83-86.
[7] ZHENG Y L, QI-YUN H E, QIAN P, et al. Construction of the ontology-based agricultural knowledge management system[J]. Journal of Integrative Agriculture, 2012, 11(5): 700-709.
[8] 周光強. 商業銀行客戶資產管理研究[D]. 武漢: 華中科技大學, 2004.
ZHOU G Q. The study of commercial banks’ customer equity management[D]. Wuhan: Huazhong University of Science and Technology, 2004.
[9] 華超杰. 聚沙成塔,百煉成鋼——數據資產管理云圖[EB/OL].[2015-08-12].http://www.haokoo.com/internet/7078284.html.
HUA C J. Many littles make a mickle, be toughened and hardened into steel--data asset management cloud chart[EB/OL]. [2015-08-12]. http://www.haokoo.com/internet/7078284.html.
[10] DONG X H, LI R X, HE H, et al. Secure sensitive data sharing on a big data platform[J]. Tsinghua Science and Technology, 2015(1): 72-80.
[11] 吳江. 數據交易機制初探——新制度經濟學的視角[J]. 天津商業大學學報, 2015(3):3-8.
WU J. A preliminary study of the mechanism of data transaction: a view of new institutional economics[J]. Journal of Tianjin University of Commerce, 2015(3): 3-8.
李俊清(1984-),男,山東農業大學副教授,主要從事農業大數據采集、入庫、平臺建設以及農業大數據標準制定等研究工作。
宋長青(1963-),男,山東農業大學教授,農業大數據研究中心常務副主任,主要從事農業大數據采集、入庫、平臺建設、示范基地等研究與示范工作。
周虎(1972-),男,就職于山東農業大學農業大數據研究中心,主要從事農業大數據采集、入庫等工作。
總結
以上是生活随笔為你收集整理的【2016年第1期】农业大数据资产管理面临的挑战与思考的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TeeChart用法(网络收集)默认分类
- 下一篇: Dos批处理之IF