久久福利_99r_国产日韩在线视频_直接看av的网站_中文欧美日韩_久久一

您的位置:首頁技術文章
文章詳情頁

python多維數組分位數的求取方式

瀏覽:59日期:2022-08-04 14:11:54

在python中計算一個多維數組的任意百分比分位數,只需用np.percentile即可,十分方便

import numpy as npa = [154, 400, 1124, 82, 94, 108]print np.percentile(a,95) # gives the 95th percentile

補充拓展:如何解決hive同時計算多個分位數的問題

眾所周知,原生hive沒有計算中位數的函數(有的平臺會有),只有計算分位數的函數percentile

在數據量不大的時候,速度尚可。但是數據量一上來之后,完全計算不出來。

那么如何解決這個問題呢,我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數,速度飛快。

比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組,value_mccgroup的分位數

第一步:利用row_number() over()給value_mccgroup在分組里排序,記錄下排名

python多維數組分位數的求取方式

第二步:計算mkt_label,mccgroup,month分組下的數據總數

python多維數組分位數的求取方式

第三步:join前兩步的結果,取rank=你需要計算的分位數位置,想計算多少個分位數就計算多少個

python多維數組分位數的求取方式

第四步:再排一次序,這次數據量就已經少了很多了,畢竟每組里面只有幾個數據,記錄排名

python多維數組分位數的求取方式

第五步:得到具體的分位數

python多維數組分位數的求取方式

第六步:行轉成列,所有分位數計算完畢

python多維數組分位數的求取方式

后來查看了下SQL代碼的執行樹,發現percentile利用了map來存數據,怪不得這么耗內存,其實時間久并不是算的時間久,是因為內存不夠了,系統一直在回收內存

python多維數組分位數的求取方式

而rank over 僅僅就是個排序而已

python多維數組分位數的求取方式

以上這篇python多維數組分位數的求取方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 欧美黑人一级毛片 | 国产成人高清精品免费5388 | 亚洲福利 | 成人免费在线播放 | 精品天堂| 日韩a电影 | av午夜电影 | 国产成人片 | porn在线 | 在线观看一区二区三区四区 | 91综合在线观看 | 99精品国产热久久91蜜凸 | 久久www免费视频 | 久久久久久久久久久免费视频 | 亚洲精选一区二区 | 国内精品视频一区二区三区八戒 | 亚洲欧美少妇 | 久久精品久久久 | 国产精品久久在线观看 | 欧美一级片在线观看 | 国产激情偷乱视频一区二区三区 | 亚洲国产成人av好男人在线观看 | 国产精品视频久久久 | 日韩中文在线视频 | 国产日韩精品视频 | 日韩一区二区在线电影 | 日韩中文字幕在线视频 | 日韩精品一区二区三区在线 | 蜜桃av一区二区三区 | 精品亚洲一区二区三区 | 国产精品国产精品国产专区不片 | 欧美一区永久视频免费观看 | 免费一二区 | 国产精品地址 | 国产98色在线 | 日韩 | 成人性视频免费网站 | 国产乱码精品一区二区三区手机版 | 九九福利 | 国产一区二区在线免费观看 | 午夜寂寞少妇aaa片毛片 | 黄色天堂在线观看 |