Значит у тебя проблема с коннектом именно с этими серверами, раз на чужих все норм. В общем, это уже зависит от твоего провайдера. У тебя сигнал тупо застревает на каком-то шлюзе. Возможно, ты используешь не тот ip сервера (тут у каждого сервера по 3 ip - 2 старых и 1 новый).
Хотя, вот я тоже заметил, раньше у меня пинг был стабильно при любой загрузке сервера 8-22, а сейчас в определенные часы 50-100. Например, вчера вечером, сначало прыгало до 120, а потом упало до 2-5. Тут явно просто какие-то перегрузки на самом сервере.