База сайтов октябрь 2013 , более 50 000 штук, все CMS, сортировка по тИЦ, pr, категориям и не только!

Всем доброго времени суток! Сегодня мы хотим предоставить вам базу из 50 000 сайтов.

Все сайты входят в каталог Mail.ru, который в свою очередь имеет 11 070 подкаталогов.

База имеет гибкую выборку, по категориям, по индексу цитирования, по Google Page Rank,  по CMS и не только, ниже я приведу подробную статистику и структуру БД.

Граббер университетов на python.

На античате, человек обратился с просьбой написать, граббер вузов, с сайта edu-inform.

Да процесс занял несколько минут. Писал с использованием grablib от lorien. Использовал паука, вот весь код:

highlighter в блоггер, подсветка кода / Setup syntax highlighter on blogger

В общем потребовалось организовать подсветку кода различных яп в блоге, и по первому же запросу в google, быстро получил ответ на свой вопрос, собственно решил запостить решение тут, может кому нибудь понадобится.

Красиво расписал решение пользователь Mahesh Meniya, на stackoverflow. 

Делаю репост с дополнениями(переводом):