[問題] import/read csv/xls file large data file

[peterwu76 (金岡)]

[問題類型]:

程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)

問題很多不好意思麻煩大家了，自己有稍微google過，但總理不出頭緒

[軟體熟悉度]:

入門(寫過其他程式，只是對語法不熟悉)

[問題敘述]:

我想要import/read csv or xlsx file，但我不清楚R的概念。

1. 如我的資料在 D:\destop\datatest.csv，我的R Script也需要放在 D:/destop/ 嘛?

2. 有什麼方式可以讓我只要設定一次路徑，將資料擺在同個資料夾方便import?

3. 為什麼常常看到 library(readxl)，如果我要使用 read_excel 的 code

如
library(readxl)
C1_data <- read_excel("D:\\destop\\datatest.xlsx")

4. 什麼狀況下 路徑的slide要 \\ 或 / ?

5. 假設我要import/read的資料檔案大小非常大，如下方 1.48 GB 的CSV (最主要的問題)
https://aqsdr1.epa.gov/aqsweb/aqstmp/airdata/hourly_44201_2016.zip 如連結

https://aqsdr1.epa.gov/aqsweb/aqstmp/airdata/annual_all_2016.zip <- 檔案較小供作測試

有沒有什麼方法可以讓我只抓它特定的row and column (包含數字與字串)
如 我想要 import 所有的 data，但在county.name的column裡面只要有"cook","DuPage",
"Kane","Kenosha","Lake","McHenry","Porter","Will"的rows就好。

6. header的字串原本有空白間距，import之後空白變成 .
我之後在處理的時候要 打 . 還是 空白?

[程式範例]:

#----- Source: https://aqsdr1.epa.gov/aqsweb/aqstmp/airdata/hourly_44201_2016.zip

# The followings are supposed to be the header of the data set

# 'State Code'  'County Code' 'Site Num' 'Parameter Code'  'POC'
# 'Latitude'  'Longitude'   'Datum' 'Parameter Name'  'Date Local'
# 'Time Local'    'Date GMT'      'Time GMT'      'Sample Measurement' 'Units of Measure'
# 'MDL'   'Uncertainty'   'Qualifier'     'Method Type'   'Method Code'
# 'Method Name'   'State Name'    'County Name'   'Date of Last Change'


 Ozone <- read.csv("D:\\destop\\datatest.csv")
# import the data
# county.name contain "cook","DuPage","Kane","Kenosha","Lake","McHenry",
# "Porter","Will"

 Ozone <- subset(Ozone, County.Name %in%
c("cook","DuPage","Kane","Kenosha","Lake","McHenry","Porter","Will"))


# 如何在import的時候就只讀入這些:S

[環境敘述]:

R-studio

[關鍵字]:

read.csv
read_exel

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.92.13
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1492445728.A.44D.html
※ 編輯: peterwu76 (123.193.92.13), 04/18/2017 00:16:43
※ 編輯: peterwu76 (123.193.92.13), 04/18/2017 00:17:04
※ 編輯: peterwu76 (123.193.92.13), 04/18/2017 00:18:58
推 Edster: 你可以打這麼多字描述問題, 也描述的都蠻準的. 何不google
→ Edster: 1,2: 用相對路徑, read_excel("./data.xlsx")
→ Edster: 你開R script預設就會設定script在的folder為working dir
→ andrew43: 查 getwd setwd 怎麼用
→ Edster: 3,4:讀excel在R中原本有很多種pkg,現在篩選到只剩幾個常用
→ andrew43: 預設wd不一定和script位置有關喔
→ Edster: readxl是其中比較快的，同作者的read_csv相信對你也有幫助
→ Edster: 回andrew,他看來是想要點開script就開始工作.這時是一樣
→ Edster: 4: R的路徑把他想成網頁就好, \已經被別的特殊字元用走
→ Edster: 5, data$county.name %in% c("cook","DuPage",...)
→ andrew43: 嗯？會不會和editor有關？還是誤會你的意思了？
→ peterwu76: 感謝兩位前輩的解答!! 我1,2的問題真的太EASY，getwd
→ peterwu76: 的概念我還要再想一下
→ peterwu76: 5 的話我在試試看
→ peterwu76: andew前輩，我是有點搞不清楚架構，如work dir
→ peterwu76: andrew* sorry for the typo
→ andrew43: wd在C槽下，可以方便取用C槽下的檔案，如此而已。
→ andrew43: 這時要取用D槽的檔案，就要把路徑寫滿，不能只是檔名。
→ andrew43: wd大概就是這樣的意思。
→ andrew43: 大概是太年輕沒經歷過dos的時代... :)
→ peterwu76: 我看我哥他們使用dos，我負責玩遊戲而已XD
→ peterwu76: setwd("D:\\destop\\") 後，getwd設相同有意義嘛?
→ peterwu76: getwd意思是跑出來的站存檔所在的位置?
→ andrew43: getwd是get the current wd，沒有設定的意思喔。
→ andrew43: 不能說「暫存」，但我覺得你大概懂了。
→ peterwu76: 感謝adnrew前輩的指導!!
→ peterwu76: andrew* sorry for the typo again...
→ andrew43: 別在意.
→ peterwu76: Thank you! =]
→ peterwu76: data$county.name %in% c( ...  這個部分 我嘗試加在
→ peterwu76: read.csv("./daily_44201_2016.csv", data$county.name
→ peterwu76: 後面，但 恩... 還要再多看看
→ peterwu76: 如果要分行再寫，似乎就要強迫讀取1.5GB的檔案了?
※ 編輯: peterwu76 (123.193.92.13), 04/18/2017 01:30:27
→ andrew43: 讀大檔有很多「外掛」，但1.48GB還好。
→ andrew43: 你先練習在R怎麼subset row/column。
→ peterwu76: 1.48 GB居然可以讀入，好神奇喔! 哈哈
→ peterwu76: subset  就解決了! 謝謝前輩指導