看板 Soft_Job 關於我們 聯絡資訊
¯\_(ツ)_/¯ : → alan3100: https://www.youtube.com/watch?v=7TOWLerX0Ps 03/13 12:27
: → alan3100: 給關鍵字沒興趣就沒交集好討論的了 就到此為止吧 03/13 12:29 : 推 thefattiger: alan的意思是api的形式跟你server內部怎麼處理無關吧 03/13 13:53 : → thefattiger: rest也沒規定一定要json 03/13 13:54 : 推 oopFoo: restful api就是容易scale out。要scale out Hadoop KMS 03/13 21:30 : → oopFoo: google 一下 "hadoop kms high availability" 03/13 21:31 這篇Hadoop doc是我寫的 拿我寫的doc來考我還滿好笑的 謝謝 理論上當然可以scale out. 問題是我幹嘛砸大錢用高級機器跑 結果只能處理每秒幾千個RPC 然後大部分時間都耗在無意義的overhead上 : → brucetu: 搞錯方向 , 照你這樣說FB 百度 淘寶 為什麼不用protobuf? 03/14 03:40 : → brucetu: 整個系統的瓶頸不在parseJSON這段 還是以開發好做為主 03/14 03:40 這些公司他們用的backend如Hadoop, HBase都是用protobuf阿 或者用thrift or GRPC 而且我要強調 scenario是有SSL的情況 這些web公司backend我想應該都沒有SSL : → dream1124: 好奇了解你跑 jetty 的硬體等級是什麼? vm 的設定? 03/14 09:46 上面的數字來自2x8 core Xeon 100GB ram 這樣 如果真的有興趣我正在做的事的話 追追這個JIRA 歡迎讀讀scope doc 看看profiler的圖 給我點建議 https://issues.apache.org/jira/browse/HADOOP-16119 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.93.155.24 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1552574049.A.8EE.html ※ 編輯: jojochuang (73.93.155.24), 03/14/2019 22:40:06 ※ 編輯: jojochuang (73.93.155.24), 03/14/2019 22:52:53
brucetu: 因為你開頭講小型系統用REST好開發 效能難上去 03/14 23:11
brucetu: 所以我才舉例需要效能的大型系統也是會使用REST 03/14 23:12
brucetu: 我舉的例子是指他們的前端跟API Server串接 03/14 23:12
brucetu: 不是他們更後端的內部服務在互串的情況 03/14 23:12
lemon651: 我認為大家不在討論的點上,大型的網站仍是用RESTful AP 03/15 00:03
lemon651: I,你為了效能選用Protobuf確實也沒錯。但是說RESTful無 03/15 00:03
lemon651: 法處理太多request是因為不想花錢的話,講這些就沒意義 03/15 00:03
lemon651: 了 03/15 00:03
jinmin88: 大型系統都走雲端LB + autoscaling vm了 跟用啥沒關吧 03/15 00:06
frouscy: 你的大不是我的大 我感覺是這樣XD 前端/API server的流量 03/15 01:58
frouscy: 模式和更後端的資料處理系統的流量模式完全不一樣呀 03/15 01:59
oopFoo: 瞄了一下。丟幾個ideas。 03/15 07:47
oopFoo: 還在用Jackson?要不要試試DSL-JSON?Jsoniter? 03/15 07:48
oopFoo: 有沒有試試Netty, Undertow?聽說Rapidoid是最快 03/15 07:51
oopFoo: 要從10k到100k,你們其實需要考慮的是redesign。是不是api 03/15 08:31
oopFoo: 處理的事情太小太少? 03/15 08:32
dreamnook: 聽起來像問題在REST → 用JSON → JSON慢 → NG 03/15 10:29
dreamnook: 不用JSON→沒限定REST→所以是REST的問題? 03/15 10:31
y3k: 如果有大量資料需求我自己是用Rest溝通帶到對應的地方去處理 03/15 12:48
oopFoo: 看design_doc文件。jetty(扣掉ssl)的部份花42%+的時間。 03/15 13:55
oopFoo: 沒看程式但猜api是小量data in/out。cpu大概都在flush 03/15 13:58
oopFoo: cache。然後ring transition也吃掉一堆時間。要improve 03/15 13:59
oopFoo: performance,先看Rapidoid有沒有減少Thread switching。 03/15 14:01
oopFoo: 很多東西可以測試。garbage collection?cpu pinnning?... 03/15 14:04
oopFoo: 吃最多的是fill()。這大概是data copying between thread 03/15 14:13