Сбои при многопоточной работе инструмента

[Irina Kuznetsova]

Я использую инструмент, который работает параллельно с 10-20 потоками (каждый поток отдельная задача и подключается через прокси). Сначала всё работает нормально, но спустя некоторое время начинаются ошибки: некоторые потоки зависают, другие самопроизвольно завершаются и в итоге вешают весь инструмент. Пока не могу понять, в чём причина. Если у кого-то есть опыт или идеи, подскажите, пожалуйста.

 

[Gleb Pavlenko]

Скорее всего, у тебя не совсем правильно распределены прокси между потоками. Когда много потоков используют один и тот же IP, легко возникает тайм-аут поток зависает и начинает влиять на работу всего инструмента. Попробуй уменьшить количество потоков, а также обязательно настрой тайм-аут и повторные попытки, чтобы ошибка в одном потоке не сказывалась на работе всего инструмента

 

[Irina Kuznetsova]

Скорее всего, у тебя не совсем правильно распределены прокси между потоками. Когда много потоков используют один и тот же IP, легко возникает тайм-аут поток зависает и начинает влиять на работу всего инструмента. Попробуй уменьшить количество потоков, а также обязательно настрой тайм-аут и повторные попытки, чтобы ошибка в одном потоке не сказывалась на работе всего инструмента

Я уже пробовала уменьшить количество потоков, настроить таймауты и повторы. Стало немного лучше, но проблема всё равно остаётся через некоторое время работа снова начинает зависать.

 

[Gleb Pavlenko]

Хм, возможно, проблема связана с используемым прокси. Подскажите, какой именно прокси вы сейчас используете для работы?

 

[Irina Kuznetsova]

Хм, возможно, проблема связана с используемым прокси. Подскажите, какой именно прокси вы сейчас используете для работы?

Сейчас я использую прокси из дата-центров, друг купил их раньше и поделился со мной, поэтому я просто пользуюсь ими для удобства. Раньше я довольно долго работал с такими прокси, и всё было нормально, но в последнее время почему-то начали появляться подобные проблемы.

 

[Gleb Pavlenko]

У каждого сайта свой механизм фильтрации, многие ресурсы блокируют по ASN или даже по целым диапазонам IP, поэтому прокси может работать на одном сайте, но не открываться на другом. Попробуйте сменить IP или ASN, либо перейти на другой тип прокси возможно, это поможет улучшить ситуацию

 

[Gleb Pavlenko]

У каждого сайта свой механизм фильтрации, многие ресурсы блокируют по ASN или даже по целым диапазонам IP, поэтому прокси может работать на одном сайте, но не открываться на другом. Попробуйте сменить IP или ASN, либо перейти на другой тип прокси возможно, это поможет улучшить ситуацию

Извините, пожалуйста, я отвечал другому пользователю, но случайно написал сюда, а на форуме уже не могу удалить сообщение. В вашем случае попробуйте использовать резидентские прокси, у них IP больше похожи на реальные пользовательские, и при работе с большим количеством потоков они обычно стабильнее. Попробуйте сменить тип прокси и посмотрите, улучшится ли ситуация

 

[Irina Kuznetsova]

Извините, пожалуйста, я отвечал другому пользователю, но случайно написал сюда, а на форуме уже не могу удалить сообщение. В вашем случае попробуйте использовать резидентские прокси, у них IP больше похожи на реальные пользовательские, и при работе с большим количеством потоков они обычно стабильнее. Попробуйте сменить тип прокси и посмотрите, улучшится ли ситуация

Кстати, не подскажете ли надёжных провайдеров? Я хочу купить небольшой пакет для теста.

 

[Gleb Pavlenko]

Кстати, не подскажете ли надёжных провайдеров? Я хочу купить небольшой пакет для теста.

Есть много вариантов, например IP burger, oxylabs, 9proxy. Я сейчас как раз тестирую 9proxy для задач работает нормально, IP разнообразные, скорость стабильная. Можете посмотреть и попробовать, возможно, вам тоже подойдёт

 

[Gleb Pavlenko]

9proxy, которым я сейчас пользуюсь, не работает на этом форуме вы можете найти его через google. Мне его тоже порекомендовал знакомый, я попробовал и он показал себя стабильно, поэтому решил порекомендовать его вам

 

[Irina Kuznetsova]

9proxy, которым я сейчас пользуюсь, не работает на этом форуме вы можете найти его через google. Мне его тоже порекомендовал знакомый, я попробовал и он показал себя стабильно, поэтому решил порекомендовать его вам

Большое спасибо!