bulk-http-check - писался как дополнение к nudecrawler для быстрой проверки большого количества URLов (отделить 200 от 404). Два HTTP метода (HEAD/GET), возможность показывать один из хидеров ответа. Но главное преимущество - производительность.
На хорошем железе/сети скорость выжималась до ~3500 запросов в секунду. На дешевой VPSке - больше 1000. Больше 3млн запросов в час. Список из 15 миллионов URLов с VPS обработался в 200 одновременных коннектов менее чем за 5 часов.
