Re: [問題] 字串處理-抓取字串中的數字

[celestialgod (天)]

※ 引述《PILIPALAPON (pilipalapon)》之銘言：
: [問題類型]:
: 程式諮詢
: [軟體熟悉度]:
: 入門
: [問題敘述]:
: 資料檔如下
: Addr
: 宜蘭縣數學鎮數學里10鄰數學路１００巷１６之２號
: 基隆市太陽區太陽里17鄰太陽三街２２３之２號十九樓
: 基隆市白雲區白雲里20鄰白雲三街５９號十樓之１
: 新竹市海洋區海洋里13鄰海洋路２９號六樓
: 臺北市小明區小名里20鄰小名路２２２號二十樓
: 新北市語文區語文里17鄰語文路２２１號二十九樓之５
: 宜蘭縣飛機鎮飛機里3鄰飛機路７３號
: 新北市紅色區紅色里15鄰紅色路四段１５號之４十七樓
: 若「樓」前面有國字數字，需先轉成數字，再將每一個住址裡的數字全部抓出來。
:

這個問題除了中文數字外，還需要處理全型的數字(已問過原PO，後面確實是全型數字)

我這裡的順序是先處理全型的數字，才處理中文數字

當然也可以反過來，兩個不影響

好讀版：http://pastebin.com/srDz11gP


全型轉成半型的想法是這樣：

先行知識：字串可以轉成raw bytes的型式，多個16進位的數字表示

你可以試試看  charToRaw("123") 會出現 [1] 31 32 33

              charToRaw("１２３") 會出現 [1] a2 b0 a2 b1 a2 b2

所以全形數字會佔去兩個16進位，可以稍微測試一下：

charToRaw("０１２３４５６７８９")

 [1] a2 af a2 b0 a2 b1 a2 b2 a2 b3 a2 b4 a2 b5 a2 b6 a2 b7 a2 b8

可以看到全型的0123456789 開頭都是 a2 而結尾是af到b8

把af到b8轉成數字就是 175~184

因此，先把a2找出來，再將確定後一位是否為175~184 (全形數字)

之後再把第二個數字做位移(減去127)，然後把第一個數字去掉

這樣轉換就完成了

PS: 減去127的原因是 as.integer(charToRaw("0"))是 48

                    as.integer(charToRaw("０")[2])是 175 兩個相差的值是127...


至於中文數字轉阿拉伯數字則是參考這篇的python code：

http://www.cnblogs.com/kaituorensheng/p/3586942.html


address <- c("宜蘭縣數學鎮數學里10鄰數學路１００巷１６之２號",
"基隆市太陽區太陽里17鄰太陽三街２２３之２號十九樓",
"基隆市白雲區白雲里20鄰白雲三街５９號十樓之１",
"新竹市海洋區海洋里13鄰海洋路２９號六樓",
"臺北市小明區小名里20鄰小名路２２２號二十樓",
"新北市語文區語文里17鄰語文路２２１號二十九樓之５",
"宜蘭縣飛機鎮飛機里3鄰飛機路７３號",
"新北市紅色區紅色里15鄰紅色路四段１５號之４十七樓")

library(magrittr)
library(plyr)
library(stringr)
library(stringi)

address_converted <- sapply(address, function(x){
  raw_address <- charToRaw(x)
  loc_maybe_fullwidth_digits <- which(raw_address == "a2")
  second_loc <- raw_address[loc_maybe_fullwidth_digits+1] %>% as.integer
  loc_fullwidth_digits <- loc_maybe_fullwidth_digits[second_loc >= 175 &
                                                     second_loc <= 184] + 1
  raw_address[loc_fullwidth_digits] <- raw_address[loc_fullwidth_digits] %>%
    as.integer %>% '-'(127) %>% as.raw
  return(rawToChar(raw_address[setdiff(1:length(raw_address),
                                       loc_fullwidth_digits-1)]))
}) %>% `names<-`(NULL)

# [1] "宜蘭縣數學鎮數學里10鄰數學路100巷16之2號"
# [2] "基隆市太陽區太陽里17鄰太陽三街223之2號十九樓"
# [3] "基隆市白雲區白雲里20鄰白雲三街59號十樓之1"
# [4] "新竹市海洋區海洋里13鄰海洋路29號六樓"
# [5] "臺北市小明區小名里20鄰小名路222號二十樓"
# [6] "新北市語文區語文里17鄰語文路221號二十九樓之5"
# [7] "宜蘭縣飛機鎮飛機里3鄰飛機路73號"
# [8] "新北市紅色區紅色里15鄰紅色路四段15號之4十七樓"

chinese2digits <- function(x){
  vals <- sapply(str_split(x, "")[[1]], function(chi_digit){
    mapvalues(chi_digit, c("零", "一", "二", "三", "四", "五", "六", "七",
                           "八", "九", "十", "百", "千", "萬", "億"),
              c(0:10, 10^c(2,3,4,8)), FALSE)
  }) %>% as.integer
  digit_output <- 0
  base_term <- 1
  for (i in rev(seq_along(vals)))
  {
    if (vals[i] >= 10 && i == 1)
    {
      base_term <- ifelse(vals[i] > base_term, vals[i], base_term * vals[i])
      digit_output <- digit_output + vals[i]
    } else if (vals[i] >= 10)
    {
      base_term <- ifelse(vals[i] > base_term, vals[i], base_term * vals[i])
    } else
    {
      digit_output <- digit_output + base_term * vals[i]
    }
  }
  return(digit_output)
}

## test
# chinese2digits("一百五十二") # 152
# chinese2digits("一億零八萬零三百二十三") # 100080323
# chinese2digits("十九") # 19

address_converted2 <- sapply(address_converted, function(x){
  pattern_starts <- "[零一二三四五六七八九十百千萬億]+樓"
  if (!str_detect(x, pattern_starts))
    return(x)
  stairs <- str_extract(x, pattern_starts)
  x <- str_replace(x, str_c("(\\d+)(", pattern_starts, ")"), "\\1, \\2")
  x <- str_replace(stairs, "樓", "") %>% chinese2digits %>% str_c("樓") %>%
    {str_replace(x, stairs, .)}
  return(x)
}) %>% `names<-`(NULL)

# [1] "宜蘭縣數學鎮數學里10鄰數學路100巷16之2號"
# [2] "基隆市太陽區太陽里17鄰太陽三街223之2號19樓"
# [3] "基隆市白雲區白雲里20鄰白雲三街59號10樓之1, "
# [4] "新竹市海洋區海洋里13鄰海洋路29號6樓"
# [5] "臺北市小明區小名里20鄰小名路222號20樓"
# [6] "新北市語文區語文里17鄰語文路221號29樓之5, "
# [7] "宜蘭縣飛機鎮飛機里3鄰飛機路73號"
# [8] "新北市紅色區紅色里15鄰紅色路四段15號之4, 17樓"

sapply(address_converted2, str_extract_all, pattern = "\\d+")
# $`宜蘭縣數學鎮數學里10鄰數學路100巷16之2號`
# [1] "10"  "100" "16"  "2"
#
# $基隆市太陽區太陽里17鄰太陽三街223之2號19樓
# [1] "17"  "223" "2"   "19"
#
# $`基隆市白雲區白雲里20鄰白雲三街59號10樓之1, `
# [1] "20" "59" "10" "1"
#
# $新竹市海洋區海洋里13鄰海洋路29號6樓
# [1] "13" "29" "6"
#
# $臺北市小明區小名里20鄰小名路222號20樓
# [1] "20"  "222" "20"
#
# $`新北市語文區語文里17鄰語文路221號29樓之5, `
# [1] "17"  "221" "29"  "5"
#
# $宜蘭縣飛機鎮飛機里3鄰飛機路73號
# [1] "3"  "73"
#
# $`新北市紅色區紅色里15鄰紅色路四段15號之4, 17樓`
# [1] "15" "15" "4"  "17"

--
R資料整理套件系列文：
magrittr    #1LhSWhpH (R_Language) http://tinyurl.com/j3ql84c
data.table  #1LhW7Tvj (R_Language) http://tinyurl.com/hr77hrn
dplyr(上)   #1LhpJCfB (R_Language) http://tinyurl.com/jtg4hau
dplyr(下)   #1Lhw8b-s (R_Language)
tidyr       #1Liqls1R (R_Language) http://tinyurl.com/jq3o2g3

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.76.63.212
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1466006460.A.4DC.html
推 PILIPALAPON: 感謝～～
※ 編輯: celestialgod (140.109.74.87), 06/16/2016 09:55:31
推 fish0331: 推一個，但數字中文轉換還是有限制，比如沒有「億」以上
→ fish0331: 的對應轉換，以及數字太大在電腦中計算產生溢位的疑慮。
→ fish0331: 不知道後來有沒有更新的手法。另外函式chinese2digits
→ fish0331: 中for裡的第一個if，有一點小錯誤，應該是digit_output
→ fish0331:  <-digit_output + base_term。可以用十二萬零一百做測
→ fish0331: 試：）