Разработка высокоскоростных парсеров, Разработка дополнительных утилит/сервисов для краулеров, Поддержка текущих краулеров, Отслеживание возможности парсинга интернет-ресурса