Бесконечный алгоритм поиска обновляемых проксилистов

Submitted by DmitryHT on Tue, 29/04/2008 - 08:45.

Приведу один из рабочих алгоритмов по поиску обновляемых проксилистов. Основой этого алгоритма является то, что поиск новых проксилистов осуществляется по спискам уже проверенных и рабочих прокси.

Алгоритм:

Берем за основу список из 20 рабочих прокси.
В имеющемся списке удаляем двоеточия и номера портов, тем самым остаются только IP адреса машин.
К каждому IP адресу дописываем слово "proxy" и получаем конструкцию вида: "proxy 123.123.123.123"
Запускаем парсер какого-либо поисковика и в качестве задания для парсинга вставляем получившийся в п.3 список.
После завершения работы парсера удаляем дубликаты адресов.
Запускаем прокси чекер и в качестве задания указываем адреса, полученные в п.5.
После завершения работы прокси чекера отбираем из списка адресов только те, где были найдены min 2 рабочие прокси.
Адреса, полученный в п.7, добавляем в список рабочих проксилистов. А с прокси, полученными в п.6, повторяем весь цикл заново.

Таким образом можно постоянно наращивать количество проксилистов. Нужно лишь периодически чистить базу собранных проксилистов повторяя п.6 - п.8

__________________________

Оптимизация поисковых систем: идеи и софт!

5956 reads

Tags:

SeoBook

D@nil (nildesign.ru)

Пользуюсь проксями по такому алгоритму, только вот чекать надо постоянно, и элитных рабочих есть всего 200-300.

ps капча в коментах напрочь отбивает желание комментировать

Submitted by Гость on Thu, 15/05/2008 - 05:58.

Какая тема wordpress используется на вашем сайте?

Submitted by Гость on Sun, 08/06/2008 - 07:31.

Это не WordPress, это Drupal :)

__________________________

Оптимизация поисковых систем: идеи и софт!

Submitted by DmitryHT on Sun, 08/06/2008 - 14:53.

А есть похожая тема для Wordpress?

Submitted by Гость on Mon, 09/06/2008 - 06:26.

Не знаю, не встречал. Для WP итак выбор побольше! Да и эта тема не совсем стандартная, т.к. я над ней немного поработал ;)

__________________________

Оптимизация поисковых систем: идеи и софт!

Submitted by DmitryHT on Mon, 09/06/2008 - 07:56.

Понравилась, хотел использовать в своем блоге на Wordpress, оказалось, ваш сайт не на Wordpress...

Submitted by Гость on Mon, 09/06/2008 - 14:30.

А у темы есть авторские права? Если я сам сделаю на ее основе тему для Wordpressa?

Submitted by Гость on Sat, 14/06/2008 - 04:04.

Может у кого-нибудь и есть, но не у меня :)
Хотя многие элементы и др. я здесь сам правил.

__________________________

Оптимизация поисковых систем: идеи и софт!

Submitted by DmitryHT on Sat, 14/06/2008 - 06:44.

а что делать с портами?

прокси ведь могут указать как ip:port, а мог и ip, в одной колонке, и port, в другой колонке?

буду признателен!

Submitted by Гость on Thu, 19/06/2008 - 11:27.

А тут ничего делать не надо, т.к. все зависит от возможностей используемого прокси чекера. Т.е. позволяет ли прокси чекер добавлять собственные регулярные выражение для парсинга прокси из кода страницы. И если нет, то ничего не сделаешь.

А вообще: регулярки подбирают только для проверенных и стабильно обновляемых прокси листов.

__________________________

Оптимизация поисковых систем: идеи и софт!

Submitted by DmitryHT on Thu, 19/06/2008 - 12:14.

Еще могу добавить, что функции чекера и парсера можно совместить, т.е. нашли 20 проксей, проверяем их так: пытаемся найти списки в поисковиках, подключившись именно через эти самые прокси :)

Submitted by Гость on Mon, 29/12/2008 - 14:51.