Systém vyhledávání nevytváří index všech hodnot vlastností, ale tokenů.
Tokeny jsou samostatné bloky hodnot vlastností, které systému umožňují nalézt soubory na základě částí informací. Tento typ vyhledávání dosahuje rychlejších výsledků vyhledávání a při vyhledávání v úložištích o tisících hodnot vlastností snižuje dopad na systém.
Znalost způsobu, kterým jsou hodnoty vlastností rozkládány na tokeny, uživatelům umožní hledat pouze tokeny. Protože mohou uživatelé vyhledávání zpřesnit, snižuje se tím při vrácení více výsledků dopad na systém. Pokud uživatel provede stejné vyhledávání výrazu DES nyní, jsou vráceny pouze soubory, ve kterých výraz DES představuje jméno autora. Výsledky neobsahují soubor Design00.idw, protože první token tohoto souboru je Design, zatímco iniciály autora DES představují úplný token.
Do jednoho tokenu jsou seskupovány všechny sousedící znaky podobného typu. Tento podobný typ mohou představovat znaky abecedy (A, B, C... Z), čísla (0,1,2... 9) nebo speciální a interpunkční znaky (-,_,@...$).
K vyhledávání lze použít pouze těchto šest speciálních a interpunkčních znaků:
Jakékoli jiné interpunkční a speciální znaky nelze hledat a nejsou v tokenech obsaženy.
Tato tabulka zobrazuje způsob rozložení tří různých názvů souborů do tokenů.
| Název souboru | Tokeny |
|---|---|
|
A-055401-321.ipt |
|
|
Great White Shark.doc |
|
|
Gr8work.xls |
|
Díky možnosti určit hodnoty vyhledávání založené na tokenech mají uživatelé při vytváření vyhledávání větší volnost. Pokud chce uživatel rozšířit vyhledávání, může připojit zástupný znak; chce-li výsledky vyhledávání zpřesnit, určí token.