[問題] 關於parser

[VeranoDB (星夜)]

第一次在板上po文

不知道可不可以這樣問

我想作一個程式碼的讀取

例如

public class aa
{
        int i,b;

        public static void main(String[] args)
        {
                for(i=0;i<5;i++)
                b = b + 1;
        }
}

我希望得到的是

public, class, aa, int, i, b, public, static, void, main, String[], args,

for, i=0, i<5, i++, b, =, b, +, 1


就是變成一個一個token的串列

這樣可以往哪方面去找資料?

如果這問題不能問我會自D 謝

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 210.209.196.179
推 easy1:StringTokenizer? javaCC? java6 javax.tools.JavaCompiler?
推 PsMonkey:寫個硬幹迴圈判斷，應該也不難吧？ 除了字串之外 XD
推 naboson:Scanner 也滿好用的...
推 ellinas:對compiler熟的話 JavaCC或ANTLR
推 ellinas:基本上切token屬於lexer的工作
→ VeranoDB:感謝