[問題] kmeans 大數據 版本

[f496328mm (為什麼會流淚)]

跑kmeans出現以下訊息

Warning message:
Quick-TRANSfer stage steps exceeded maximum (= 1318974700)

看起來是  已達最大值

我的data 有2.6千萬筆

想問問看有沒有

大數據的kmeans版本

或是解決方法   或是說這是warning所以不用理他???

謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.42.97.210
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1471247827.A.EB3.html
→ qhair: 如果會用Spark的話可以用SparkR的kmeans
沒用過  上網查了一下  看起來一樣是R的介面  安裝Library

然後要開指令跟Spark做連結

想問問看主要的差異  特色  功能等等的

版上相關文章也不多   可能要到Spark版上找??
→ celestialgod: 你沒有多台機器跑spark效益就不大了
→ Wush978: Sampling?
這是什麼??

目前打算先用一些方法分群   類似手動概念  自己寫code

把data縮小後   再用kmeans套件
※ 編輯: f496328mm (114.36.53.171), 08/16/2016 13:07:09
→ cywhale: 我知道biganalytics有bigkmeans這個function不過我沒用過
謝謝

我研究看看
※ 編輯: f496328mm (114.36.53.171), 08/16/2016 19:04:13
→ clickhere: pmclust::pkmeans 要多大有多大, 只要機器夠多就行.