#noindex
##====토큰,token =,token 토큰 token
영단어 token
은 여러 뜻이 많아서 disambig. 가 필요.

공통 뜻은 대충 작은 조각 정도 ??

뜻이 분야에 따라
언어학/NLP/[[형식언어,formal_language]]론/[[컴파일러,compiler]]론/... 즉 [[언어,language]]에 대한
암호화폐/가상화폐
AI/ML : [[텍스트,text]] [[데이터,data]] [[전처리,preprocessing]]에 나오는
...

----
Related topics:

tokenizing = tokenization ?
WtEn:tokenizing = WtEn:tokenization ?
 대충
 문장을 어떤 더 작은 단위로 나누는 것. MKL [[단어,word]] [[형태소,morpheme]] [[lexeme]] ....
  [[전산언어학,computational_linguistics]] or [[자연어처리,natural_language_processing,NLP]]와 (대상은 [[자연어,natural_language]])
  [[컴파일러,compiler]]쪽에서 좀 다를 텐데 (대상은 [[프로그래밍언어,programming_language]])
  그에대해서도 tbw

tokenizer
WtEn:tokenizer
Ndict:tokenizer

[[단어,word]]와 cmp
{
공통점은 둘 다 [[언어,language]] [[문장,sentence]] ... 에서 작은 구성요소(비슷: [[원소,element]] [[단위,unit]] [[청크,chunk]])라는 것이고... tbw

Ggl:"단어 토큰 차이" Naver:"단어 토큰 차이" Bing:"단어 토큰 차이"
}

----
[[WtEn:token]]
= https://en.wiktionary.org/wiki/tokenEnglish#Noun 14.
{
14. // [[컴파일,compile]] [[컴파일러,compiler]] [[lexical_analysis]] [[parsing]] 에서
(computing) An atomic piece of data, such as a word, for which a meaning may be inferred during [[parsing]]. / Synonym: symbol([[심벌,symbol]])
15. // [[네트워킹,networking]] - token_ring , token_ring_network 에서
(computing) A conceptual object that can be possessed by a computer, process, etc. in order to regulate a turn-taking system such as a token ring network.
16. // 보안?
(computing) A meaningless placeholder used as a substitute for sensitive data.
17. // [[언어학,linguistics]] [[문법,grammar]]
(grammar) A [[lexeme]]; a basic, grammatically indivisible unit of a language such as a keyword, operator or identifier. // [[언어,language]]의 기본적이며 문법적으로 나뉠 수 없는 [[단위,unit]], 예를 들어 키워드[[keyword]] [[operator]] [[식별자,identifier]]?
}
----
[[WpEn:Token]]
= https://en.wikipedia.org/wiki/Token

----
... Ndict:토큰 Google:토큰

WtEn:token

... Naver:컴파일러+토큰 Google:컴파일러+토큰