[Java] Usare un web-proxy con hotlink

[innaig86]

Cosa devo fare:
1) leggere degli ID da un file di testo (nell'ordine delle migliaia);
2) recuperare la pagina html che ha come url http:\\blablabla=ID.

Tutto fattibile tramite una semplice

URL url = new URL(urlText);
URLConnection conn = url.openConnection();
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.10 (KHTML, like Gecko) Chrome/8.0.552.237 Safari/534.10");
BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream()));
String inputLine;
while ((inputLine = in.readLine()) != null) {
doSomething();
}

ma qui arriva il bello: se arrivano troppe richieste (ed io ne devo fare TANTE), il server banna l'ip richiedente. :kiddingme:

Ho pensato di aggirare il problema utilizzando un web proxy con le seguenti caratteristiche:
1) deve permettere l'hotlink con una semplice concantenazione -> url = urlProxy + urlSito + ID;
2) non deve farsi bannare a sua volta.

Il secondo punto pensavo fosse automatico data la natura di questi servizi, ma, provando ad utilizzare Anonymouse.org ho scoperto che non è così: dopo "poche" richieste anche lui viene bannato per qualche tempo. :pokerfacen:

Cercando in rete ho trovato altri web proxy simili, come http://abc.vtunnelaccess.com/index.php, ma con questo proxy nascono altri problemi: se inserisco il link manualmente, tramite browser, carica la pagina senza problemi, mentre se richiedo la pagina via codice mi viene restituita una pagina di errore che mi dice che l'hotlink è vietato.
In pratica mi permette l'hotlink dal browser, ma non dal codice. Pecché? :(
Come posso risolvere?

[Bilu]

Hai provato a mettere un delay tra una richiesta e l'altra ?

[Faz]

Il server banna l'ip richiedente?????

Puoi essere + chiaro?

[innaig86]

Il server banna l'ip richiedente?????

Puoi essere + chiaro?

Se all'indirizzo http:\\blablabla=ID arrivano troppe richieste, il loro server blocca le connessioni in entrata da quell'ip e manda in timeout il browser/codice.

[Madeiner]

Fai uno script che invia N richieste direttamente al sito con IP spoofati random, fai bannare tutto lo spazio d'indirizzamento del mondo e poi manda una mail al sito dicendo che hanno un problema sulla gestione dei loro server.

[Hador]

Se all'indirizzo http:\\blablabla=ID arrivano troppe richieste, il loro server blocca le connessioni in entrata da quell'ip e manda in timeout il browser/codice.l'unica cosa che puoi fare è mettere un timeout random tra le richieste ed usare 3-4 proxy a rotazione, sempre con timeout random. Ma cmq nn è detto che funzioni, dipende quando è bono il loro ips.