Достаточно часто наши проекты выходят за пределы осязаемости и сгенерировать автоматически карту сайта практически невозможно. При этом держать ее в актуальном состоянии еще труднее, особенно для больших и часто обновляемых ресурсов. В свое время было потрачено немало времени и сил для разработки собственного веб-паука. Но последнее время я даю предпочтение использованию чужих велосипедов, а не разработки своих. (далее…)