[問題] token在這個上下文中所代表的意思

[zzss2003 (brotherD)]

各位前輩好，不曉得在這個版可不可以討論這種問題?如果不行還請版主幫我把這篇刪掉
(我記得這邊好像不能自刪?)

在國外論壇中，時常看到token這個字，但我始終不清不楚它的定義。
例如，在ISO/IEC 9899:1990這個規範，對argument的定義中:

An expression in the comma-separated list bounded by the parentheses in a
function call expression. or a sequence of preprocessing tokens in the
comma-separated list bounded by the parentheses in a function-like macro
invocation. Also known as “actual argument” or “actual parameter.”

上網查到了這篇stack overfolow:
https://stackoverflow.com/questions/4448661/what-is-the-exact-definition-of-token

看完一遍後，對token這個字的定義還是很模糊。
請問，token這個意思用中文表達的話，是代表著什麼意思呢?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.248.26.157
※ 文章網址: https://www.ptt.cc/bbs/C_and_CPP/M.1508753553.A.5EC.html
→ Lipraxde: 以前再看yacc/lex時有看到，跟語法分析有關？
推 james732: https://en.wikipedia.org/wiki/Lexical_analysis
→ james732: 我自己的簡單理解是"一個有意義的最小單位" (?)
推 chuegou: counter的感覺？
→ Hazukashiine: 在講 token 的時候 我們一般不會說它具有語意
→ Hazukashiine: 因為程式碼是一個連續的位元流 沒有實體的切割
推 Bencrie: 衍生物（誤
→ Hazukashiine: 所以我們要定義一組規則去把程式碼切斷成數個單元
→ Hazukashiine: 這個過程叫做 tokenization 來提供語法分析器調用
→ Hazukashiine: 一但語法分析器建立出語法樹後 程式碼變有了意義
推 longlongint: 就代幣(誤
→ longlongint: 個人的理解 "一片小東西上面有寫字"
推 CoNsTaR: 就是能證明你身份的一樣物品啊
→ MOONRAKER: 證明身分那是寫網路程式的時候好嗎
→ MOONRAKER: token就如上述 程式碼是一個大字串 把這個大字串依照
→ MOONRAKER: 規則切成小段 就是token
→ MOONRAKER: 考慮意義 你可以稱它為「單字」 反正電腦語言的WORD是
→ MOONRAKER: 別的意思不會混淆 而token是合乎語法的基本片段
→ MOONRAKER: (syntactic element) 稱為「單字」也並無問題
→ MOONRAKER: 叫「字彙」或更模糊的「片段」也行 「字串」也勉強
→ MOONRAKER: 類似很難搞的詞還有"handle" 那比token還頭大
推 CoNsTaR: 原來我那個解釋還真的可以用在寫程式上啊 XDDD
推 springman: 在分析運算式時，運算元、運算子、括號 等都是 token。
問一下題外話，請問網路上哪裡可以抓到比較清楚版本的C89/C90 Spec?這個版本看得我眼
睛好痛苦
※ 編輯: zzss2003 (60.248.26.157), 10/24/2017 11:04:20
→ MOONRAKER: 規格書不好看是一定的啊 準備一些基礎知識才比較好看
我指的不清楚是指印的不清楚QQ
推 sppmg: 讓我想到 latex3
※ 編輯: zzss2003 (60.248.26.157), 10/25/2017 09:48:18
→ MOONRAKER: 那不是隨便找就有PDF嗎
→ MOONRAKER: Sorry正式的PDF是要錢的 但是你搜尋ISO 9899:1990
→ MOONRAKER: 就有一堆非常接近的版本了 還可能在中國有意外驚喜
→ descent: 我是印出來慢慢看