Если слово Xapian вам незнакомо, рекомендую ознакомиться с небольшой статьей. Вкратце же, Xapian — представляет собой написанный на с++ набор инструментов для индексирования текстовой информации, с возможностью поиска по базе индексированной информации. Для работы не требует установленного сервера, достаточно наличия его библиотек. Может обрабатывать огромные массивы информации(проверено до 1.5Тб), измеряемой миллионами документов. Является конкурирующим продуктом Sphinx и Apache Lucene. Мной он был выбран из этих трех продуктов за возможность использования из .Net.