[問題] 求推薦中午的語料庫

[D0128431 (運氣小馬)]

   大家好
小弟最近在做
文本摘要中生成式摘要
需要中文的文本資料庫去進行訓練模型
但上網找都沒有找到
合適用來訓練模型的資料庫
不知道各位大大
有沒有推薦適合的資料庫呢？


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.243.9
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522289588.A.097.html
※ 編輯: D0128431 (114.137.243.9), 03/29/2018 10:15:13
推 del680202: 中午的語料庫？
※ 編輯: D0128431 (114.137.243.9), 03/29/2018 10:58:17
→ D0128431: 中午的 拍謝
推 lucien0410: 我有明清小說
→ lucien0410: 的語料庫
→ lucien0410: 是做text summarization的意思嗎？
→ D0128431: L 大 是的
→ D0128431: L大已pm詢問囉
→ lucien0410: 術語翻成中文 我一下子看不懂
推 lucien0410: chinese gigaword 可能可以喔
推 lucien0410: openNmt 的論壇有用english gigaword 來訓練text summ
→ lucien0410: arier 的示範
推 lucien0410: 中文的應該可以用 chinese gigaword 但我自己也沒實
→ lucien0410: 際看過chiese gigaword的語料庫長怎樣
→ lucien0410: https://goo.gl/UYBA7U
→ lucien0410: 我找到樣本了 沒錯 這個可以用
→ D0128431: 這個我有看過 但她的檔案格式都好陌生QQ
→ lucien0410: 就是學會把text 變成headline
→ D0128431: 可以請問一下l大的下載網址嗎
→ lucien0410: 搞定(懂)格式 整理資料 真的是最花心力的
→ lucien0410: 這個好像不是open dataset
→ lucien0410: 看看你的圖書館有沒有買
我今天看好像要付費 Q 不過還是謝謝你
03/29 12:24
推 yolanda1203: Lope PTT corpus
我剛剛去看好像找不到地方抓資料唉Q
→ D0128431: L大 我今天上去看好像要付費的樣子
※ 編輯: D0128431 (114.137.243.9), 03/29/2018 20:07:24
※ 編輯: D0128431 (114.137.243.9), 03/29/2018 20:35:36
推 lucien0410: http://icrc.hitsz.edu.cn/Article/show/139.html
這個我也有寄信去問了 還沒人回覆我QQ
※ 編輯: D0128431 (114.137.243.9), 03/30/2018 07:43:24
推 Telemio: 我以前有用過中文維基當作語料
→ Telemio: 也有做chatbot時去爬蟲ptt的大板當作語料 ptt爬蟲還滿方
→ Telemio: 便的 google一下github有別人寫好的crawler
→ Telemio: 中文維基也可以自己google一下怎麼爬
目前我想法跟你類似 我也是打算去爬新聞來訓練xD
※ 編輯: D0128431 (114.137.243.9), 03/30/2018 10:02:21
推 toxicsweet: 那請問有人做English的text summarization嗎？有推薦
→ toxicsweet: 的模型和語料庫嗎
推 lucien0410: 我知道英文的
→ lucien0410: https://bit.ly/2HvxVvX