Vyhledávací systém neindexuje celé hodnoty vlastností, ale jejich tokeny.
Tokeny jsou samostatné bloky hodnot vlastností, které systému umožňují nalézt soubory na základě částí informací. Tento typ vyhledávání dosahuje rychlejších výsledků vyhledávání a při vyhledávání v úložištích o tisících hodnot vlastností snižuje dopad na systém.
Znalost způsobu, kterým jsou hodnoty vlastností rozkládány na tokeny, vám umožní hledat pouze tokeny. To snižuje dopad na systém při vracení více výsledků tím, že vám umožní upřesnit vyhledávání. Pokud provedete stejné vyhledávání výrazu DES nyní, jsou vráceny pouze soubory, ve kterých výraz DES představuje jméno autora. Výsledky neobsahují soubor Design00.idw, protože první token tohoto souboru je Design, zatímco iniciály autora DES představují úplný token.
Do jednoho tokenu jsou seskupovány všechny sousedící znaky podobného typu. Tento podobný typ mohou představovat znaky abecedy (A, B, C… Z), čísla (0, 1, 2… 9) nebo speciální a interpunkční znaky (-, _, @… $). Čísla s tečkami nejsou rozpoznána jako samostatné tokeny.
K vyhledávání lze použít pouze těchto šest speciálních a interpunkčních znaků:
Žádné jiné interpunkční a speciální znaky nelze hledat a nejsou obsaženy v tokenech.
Tato tabulka zobrazuje způsob rozložení několika různých názvů souborů do tokenů.
| Název souboru | Tokeny |
|---|---|
|
A-055401-321.ipt |
|
|
Great White Shark.doc |
|
|
Gr8work.xls |
|
|
A.112.0023.0.ipt |
|
Díky možnosti určit hodnoty vyhledávání založené na tokenech mají uživatelé při vytváření vyhledávacích dotazů větší volnost. Vyhledávání se pokusí najít ekvivalenci s řetězcem v poli vyhledávání. Pokud tokeny použijete samostatně, nezobrazí se výsledky. Pokud chcete rozšířit vyhledávání, můžete připojit zástupný znak. Chcete-li výsledky vyhledávání zpřesnit, určete token.