Concept information
Preferred term
token
Definition
- Élément de base de l'annotation textuelle qui ne peut être découpé en unités plus petites, et peut ainsi être constitué de plusieurs mots graphiques, comme c’est le cas par exemple des expressions idiomatiques, des mots composés ou de certains nombres. (Adapté de Bernhard et al., Problèmes de tokénisation pour deux langues régionales de France, l’alsacien et le picard, 2018, et https://www.linguist.univ-paris-diderot.fr/~amsili/Ens21/pdf/slides-l1hn001-03.pdf)
Broader concept
Narrower concepts
In other languages
-
English
URI
http://data.loterre.fr/ark:/67375/8LP-TX1JH6ZL-6
{{label}}
{{#each values }} {{! loop through ConceptPropertyValue objects }}
{{#if prefLabel }}
{{/if}}
{{/each}}
{{#if notation }}{{ notation }} {{/if}}{{ prefLabel }}
{{#ifDifferentLabelLang lang }} ({{ lang }}){{/ifDifferentLabelLang}}
{{#if vocabName }}
{{ vocabName }}
{{/if}}