Este proyecto NO se puede clonar. # Acceso a interfaces REST. Descarga masiva de Tweets ### Aplicaciones y librerías a utilizar * Eclipse **Para esta práctica podemos usar el eclipse ya instalado en la máquina** * [Unirest](http://unirest.io/java.html): librería de peticiones HTTP (más adelante veremos como descargarla) * [Commons](https://commons.apache.org/): librerías de funciones auxiliares (más adelante veremos como descargarla) * [Google-Gson](https://github.com/google/gson): librería de manipulación de JSON (más adelante veremos como descargarla) Será necesaria una cuenta de twitter ## Crear una aplicación en Twitter Si no tenías twitter, ha llegado el momento de tenerlo, hazte una cuenta. Si ya tienes una, haz login en twitter. Tuvieras o no, consulta #uc3m_cd que es la cuenta de la asignatura aunque se usa poco ;) Vamos a descargar tweets. Para ello, debes dar de alta una aplicación. Ve a la [gestión de apps de twitter](https://developer.twitter.com/) y crea una aplicación si no lo has hecho ya. El el dashboard verás tus proyectos y tus aplicaciones. Pulsando en la aplicación que has creado, podrás ver los tokens de seguridad (simbolo de la llave) debes copiar y pegar todos ellos (consumer keys, bearer token, authentication tokens) en algún lugar para usarlos después.

Para obtener 2 tweets de la cuenta `@realmadrid` usa el siguiente código: ```java package cdistRest; import java.io.IOException; import java.util.List; import kong.unirest.GetRequest; import kong.unirest.HttpResponse; import kong.unirest.Unirest; import kong.unirest.UnirestException; public class TwitterCrawler { private static final String bearer_token = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"; public static void main(String args[]) throws IOException { try { /* https://api.twitter.com/1.1/statuses/user_timeline.json?screen_name=realmadrid&count=2 */ HttpResponse json_str_Response = null; GetRequest getReq = null; getReq = Unirest.get("https://api.twitter.com/1.1/statuses/user_timeline.json?screen_name={screen_name}&count={count}") .routeParam("screen_name","realmadrid") .routeParam("count","2") .header("Authorization", "Bearer " + bearer_token); System.out.println("Request to: " + getReq.getUrl()); System.out.println("Authorization header Bearer " + bearer_token); json_str_Response = getReq.asString(); List tweet_list = Tweet.deserializeJsonArray(json_str_Response.getBody()); for(int i=0; i gettweets() { /* * si los tweets caben en una sóla petición, o bien se piden más de * MAX_TWEET_COUNT_PER_REQUEST en principio la primera petición hay que hacerla * para obtener el max_id (máximo id de la secuencia de tweets) */ List tweet_list_total = new ArrayList(); pending = tweetcount; long max_id = Long.MAX_VALUE; do { long request_twetcount = 0; long tweets_obtained = 0; if (pending > MAX_TWEET_COUNT_PER_REQUEST) { request_twetcount = MAX_TWEET_COUNT_PER_REQUEST; } else { request_twetcount = pending; } HttpResponse json_str_Response = null; GetRequest getReq = null; getReq = Unirest.get( "https://api.twitter.com/1.1/statuses/user_timeline.json?screen_name={screen_name}&count={count}&max_id={max_id}") .routeParam("screen_name", screen_name).routeParam("count", "" + request_twetcount) .routeParam("max_id", ""+(max_id-1)) .header("Authorization", "Bearer " + bearer_token); System.out.println("Request " + request_twetcount + " tweets to: " + getReq.getUrl()); json_str_Response = getReq.asString(); List tweet_list_request = Tweet.deserializeJsonArray(json_str_Response.getBody()); tweets_obtained = tweet_list_request.size(); System.out.println("received " + tweets_obtained + " tweets"); /* actualizamos tweetcount con los recibidos */ pending -= tweets_obtained; /* actualizamos la lista total de tweets */ tweet_list_total.addAll(tweet_list_request); /* * PARADA * si hemos hemos recibido en total de tweets, paramos */ if(pending <= 0) break; /* * PARADA * si hemos hemos recibido menos de request_twetcount es que no hay más. * Hay que finalizar */ if(tweets_obtained < request_twetcount) break; for (Tweet tw : tweet_list_request) { if (tw.id < max_id) max_id = tw.id; } } while (true); return tweet_list_total; } public static void main(String args[]) throws IOException { TwitterCrawler tc = new TwitterCrawler(400, "realmadrid"); List my_tweets = tc.gettweets(); for(int i=0; i