大數據背景下的統(tǒng)計學新需求
大數據時代的迅猛發(fā)展,在全球范圍內掀起了前所未有的浪潮。這股浪潮不僅是對統(tǒng)計學產生了沖擊,甚至連政府的統(tǒng)計需求也受到了不小的影響。
對政府統(tǒng)計而言,大數據采用多種數據收集方式、整合多種數據來源,并采用現(xiàn)代信息技術和架構高速處理及挖掘數據,具有高度應用價值和決策支持功能。一方面,統(tǒng)計調查主體的多元化發(fā)展趨勢和電子商務等領域的迅速發(fā)展,給統(tǒng)計數據的生產方式帶來了很大的挑戰(zhàn),不斷沖擊著政府統(tǒng)計管理體系與統(tǒng)計理念。另一方面,計算機技術、網絡技術和空間信息技術的巨大進步,為提高統(tǒng)計生產力提供了廣闊空間。海量的電子化、非結構化數據,極大地豐富了統(tǒng)計數據的來源。
種類繁多的“大數據”,正日益成為官方統(tǒng)計部門研究應用的方向。在這樣的背景下,探索大數據在政府統(tǒng)計中的應用,把握這一促進政府統(tǒng)計改革發(fā)展的機遇,對政府統(tǒng)計有著劃時代的意義。盡管近代統(tǒng)計學已經發(fā)展了上百年,但是大數據時代的到來依然暴露出了統(tǒng)計學已有方法的缺陷,從抽樣調查和設計、數據管理和存儲到統(tǒng)計分析和計算,海量數據分析的需求都部分地顛覆了傳統(tǒng)的統(tǒng)計方法,這對統(tǒng)計學和統(tǒng)計學家是嚴峻的挑戰(zhàn)。
來自喬治·華盛頓大學的胡善慶教授依托豐富的政府實踐經歷,提出了支持現(xiàn)代治理的統(tǒng)計學2.0的概念。相對于統(tǒng)計學2.0,胡善慶教授稱近代統(tǒng)計學是1.0時代,其特點是,統(tǒng)計數據來自普查或隨機抽樣,而非隨機收集的數據是無研究價值的。在20世紀這個統(tǒng)計學的黃金時代,統(tǒng)計學是作為一門應用科學而存在的,統(tǒng)計學作為國際語言在政府、社會、經濟和科學中幫助解決了許多實際問題。
以美國為例,美國政府廣泛采用隨機抽樣調查的方式,各行各業(yè)統(tǒng)計應用普遍化,小樣本亦可產生大量數據,計算機商業(yè)化帶來了計算方法的創(chuàng)新,統(tǒng)計軟件支持數據收集與分析,數據文化深入到美國社會的各個層面。但是在21世紀統(tǒng)計學面臨很大挑戰(zhàn),過去是有問題才收集數據,然后建立合適的統(tǒng)計模型來揭示觀測到的數據,大數據時代則不同,需要從泥沙俱下的大數據中提煉出有價值的知識和信息,而這些有價值的知識和信息顯然是非預期的。
中國目前的很多追蹤調查項目都存在耗時過長的問題,中國的城鎮(zhèn)化、智慧城市建設、政府簡政放權、推進監(jiān)管、國家統(tǒng)計局四大工程項目等都面臨諸多統(tǒng)計上的挑戰(zhàn)和需求,海量縱向數據的應用,多種數據來源的整合,快速以及簡便的呈現(xiàn)結果,嚴格保護數據和系統(tǒng)安全,提高精度和可靠性等都是對統(tǒng)計的新要求。無論美國還是中國,使用20世紀的統(tǒng)計方法都不能解決21世紀的治理需求。如果我們可以用同樣的效率和成本收集數據,實時分析總體,還需要隨機抽樣嗎?過去80年的數理統(tǒng)計何去何從?
大數據時代的重要意義在于大部分數據已經數字化,易于批量存儲和處理,并且數據來源多樣化、快速化,舊數據也可以有新用途。統(tǒng)計學2.0時代包含一個動態(tài)的框架,要求有能力提供實時的結果和動態(tài)的分析報告,動態(tài)的框架可以提供更科學、更高精度、更能跟蹤、更快速的隨機抽樣。
基于此,胡善慶教授展望了2020年人口信息管理制度的整個框架,提出了統(tǒng)計學創(chuàng)新的一些獨到觀點,比如,大數據需要統(tǒng)計設計、數據清洗和信息數據提煉才可能有價值或達到信息挖掘的最佳效果,統(tǒng)計學專長于分辨數據質量和抽取最優(yōu)化信息,國際隊伍建設需要專業(yè)人才、完善的教育系統(tǒng)、悠長歷史、優(yōu)良信譽和扎實嚴謹的思維、理論和應用基礎等。動態(tài)框架不但保留了框架原本的目的,即為普查以及隨機抽樣提供結構基礎,還有其他方面巨大的應用潛力,這完全取決于統(tǒng)計學界的想象力和創(chuàng)新精神。統(tǒng)計學家應該欣然歡迎大數據時代的到來,并把它看作是統(tǒng)計學本身的一個大變革,帶動統(tǒng)計學在運用數據研究社會和人類知識的實踐中達到一個新的高度。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
9月23-24日觀看直播>> 2025中國國際工業(yè)博覽會維科網·激光VIP企業(yè)展臺直播
-
9月23日立即預約>> 【COMSOL直播】多物理場仿真在傳感器中的應用
-
10月23日火熱報名中>> 2025是德科技創(chuàng)新技術峰會
-
11月27日立即報名>> 【工程師系列】汽車電子技術在線大會
-
12月18日立即報名>> 【線下會議】OFweek 2025(第十屆)物聯(lián)網產業(yè)大會
-
即日-12.31立即下載>> 【限時下載】《2025激光行業(yè)應用創(chuàng)新發(fā)展藍皮書》
- 1 國內首個AI工廠投產!
- 2 營收4.3億!歌爾股份、比亞迪供應商在新三板掛牌上市
- 3 機器人獨角獸Field AI完成4.05億美元融資!英偉達、貝佐斯押注
- 4 剛剛!ABB、西門子雙雙拿下自動化新訂單
- 5 營收突破 205 億大增 26.73%,新能源業(yè)務暴漲 50%!匯川技術上半年業(yè)績亮眼
- 6 霍尼韋爾換帥!“老將回歸”拆分自動化部門
- 7 42億!工業(yè)巨頭GE出售旗下工業(yè)軟件業(yè)務
- 8 讀懂 | 匯川技術“1+4+X=0 ”工業(yè)零碳戰(zhàn)略
- 9 瀚川智能 | 營收向下,聚焦核心業(yè)務扭虧為盈 ?
- 10 杭叉集團半年報:業(yè)績穩(wěn)步增長,智能工廠助力產能擴張