文本搜索解析器负责将原始文档文本拆分成令牌并识别每个令牌的类型，其中可能的类型集由解析器本身定义。请注意，解析器根本不修改文本——它只是识别似是而非的单词边界。由于这种有限的范围，对应用程序特定的自定义解析器的需求比对自定义字典的需求要少。目前，PostgreSQL只提供一个内置解析器，它已被发现对各种各样的应用程序有用。

内置解析器名为 pg_catalog.default。它识别 23 种令牌类型，如表 12.1 所示。

解析器有可能从同一段文本中生成重叠的令牌。例如，连字符单词将报告为整个单词和每个组成部分

SELECT alias, description, token FROM ts_debug('foo-bar-beta1');
      alias      |               description                |     token
-----------------+------------------------------------------+---------------
 numhword        | Hyphenated word, letters and digits      | foo-bar-beta1
 hword_asciipart | Hyphenated word part, all ASCII          | foo
 blank           | Space symbols                            | -
 hword_asciipart | Hyphenated word part, all ASCII          | bar
 blank           | Space symbols                            | -
 hword_numpart   | Hyphenated word part, letters and digits | beta1

这种行为是可取的，因为它允许搜索既适用于整个复合词，也适用于组成部分。这是另一个有启发意义的例子

SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');
  alias   |  description  |            token
----------+---------------+------------------------------
 protocol | Protocol head | http://
 url      | URL           | example.com/stuff/index.html
 host     | Host          | example.com
 url_path | URL path      | /stuff/index.html