推 LPH66: 有一些無法成功的例子嗎? 04/13 01:45
※ 編輯: tooilxui (114.26.178.1), 05/09/2018 15:21:22
最近嘗試要將informix db從原本的zh_tw.big5 轉為zh_tw.utf8，
就目前了解存有中文的資料表欄位幾乎要擴大為三倍。
目前想到比較可行的方法是先修改table schema，建一個utf8的資料庫，
再將big5資料dbunload成*.unl檔案，並將*.unl檔案用iconv轉換為utf8，
最後使用dbload將資料導入utf8資料庫。
但經過測試發現，許多iconv轉成utf8的*.unl，
還是會有幾筆資料無法load到資料庫的現象...
遮些無法load的資料，分散在各資料表，
多的話一表幾千筆，實在不知道怎麼處理這些資料。
想請教一下是否有前輩有做過類似的case，
是否可以分享一下怎麼處理資料的問題?
謝謝！
------------------------------------------------------------
我來自問自答了,以下個人經驗,若有錯誤請前輩幫忙糾正。
原來big5有分幾個版本,EX: BIG5-2003、BIG5-IBM...等等，
而informix可以存的資料有包含BIG5-2003的字集。
自己測試iconv 沒辦法轉出BIG5-2003的字集到UTF-8，嘗試過ConvertZ也是一樣的，
甚至我用C#、python自幹程式去decode也有解不出來的問題，
但最後最後靠golang decode就解套了。
網路上有蠻多golang decode的小程式，有跟我相同需求的可以google看看。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.161.89
※ 文章網址: https://www.ptt.cc/bbs/Database/M.1523543594.A.3AF.html