Como se hizo elDisparate.de, en BetaBeers Zaragoza

Este viernes estuvimos Mamen Pradel y yo hablando en el 2º BetaBeers Zaragoza. Presentamos como hicimos elDisparate.de durante el desafío AbreDatos 2011.

En la presentación explicamos rápidamente el proyecto, los principales retos y problemas que surgieron durante el fin de semana y dimos algunas pinceladas de como cada miembro del equipo ejecutó su trabajo.

Sólo teníamos 15 minutos, pero creo que fue suficiente para poder hacerse una idea de qué hicimos en márketing, diseño, video y programación; y las limitaciones del resultado no haber tenido datos abiertos.

En fin, os dejo aquí el clásico video:

Y un post del año pasado en el que expliqué un poco lo que fue la parte de obtención de datos y programación.

International Open Data Hackaton 2011, en Zaragoza

Este sábado 3 de diciembre se celebra un Open Data Hackaton a nivel mundial.

¿Qué es?

Es una reunión de ciudadanos en ciudades de todo el mundo para escribir aplicaciones, liberar datos, crear visualizaciones y publicar análisis utilizando datos públicos abiertos con el fin de apoyar y animar a adoptar políticas de datos abiertos por parte de los gobiernos locales, regionales y nacionales de todo el mundo.

hacker

En Zaragoza lo hemos convocado en la oficinas de UXlearn. Plaza San Pedro Nolasco 1, 3E.
Por ahora somos poquitos y nos vendría bien que algunos más desarrolladores, diseñadores, bibliotecarios, estadísticos, periodistas y cualquier ciudadano en general; se animaran a participar de cualquier modo.

Personalmente no tengo una idea clara de qué desarrollar, ni que fuentes de datos se podría utilizar, si hacerla “simpática” o “antipática”… estoy abierto a cualquier propuesta :).

En fin, que si alguien se quiere acercar el sábado será más que bienvenido, pero casi mejor que se apunte antes en el wiki del OpenDataDay.

Mis presentaciones de theEvnt 2011

Con mucho retraso os dejo aquí las dos presentaciones que hice en theEvnt 2011.

La de Open Data y DNDzgz:

Y la de Jobsket:

La verdad que el evento me gustó mucho, nos trataron genial y tuve la oportunidad de tener muchas conversaciones interesantes con ponentes y asistentes. Me quedaron unas ideas en mente que espero ordenar en algún momento, para poder desarrollarlas y escribir sobre ello.

elDisparate.de, participando en AbreDatos 2011

Por fin he sacado un rato para escribir sobre nuestra participación en el Desafío AbreDatos 2011 con elDisparate.

El equipo y la idea:

Hice equipo con Mamen Pradel (diseño), Toño García (ilustración y animación) y Agustín Raluy (márketing); vamos, que arriesgamos en cuanto a la formación del equipo, descargando importancia a la parte de programación y dándosela a la de diseño/presentación. Y no, no hubo muchas discusiones en cuanto al código XD.

Como altoaragonés, tenía ganas de participar con un equipo desde la provincia de Huesca, que hay que intentar descentralizar un poco el foco que tiene Zaragoza en cuanto a temas tecnológicos y repartirlo por el resto de Aragón. Por eso nos fuimos a nuestros respectivos pueblos (“secuestrando” a Mamen de tierras mañas ;)), y montamos el cuartel general el fin de semana en las oficinas de Integral Stand en Barbastro.

El origen de la idea es un poco de rebote, un día “tuiteé” un post (en aragonés) de @purnas: Gaddafi bombardeya con armas zaragozanas (A historia d’Instalaza), y @dcabo me remitió al foro de AbreDatos por si me interesaba el tema de la exportación de armas.

Tras el beersotrimng pre-abredatos de cachirulovalley dejamos cerrada la temática y casi el equipo con Mamen y Agustín. Hubo otro programador oscense que estuvo a punto de formar parte el equipo, pero que finalmente no podía participar ese fin de semana. Por lo que surgió la idea de convencer a Toño y darle un enfoque completamente de visualización de información.

En cuanto a lo que íbamos a implementar, fueron Mamen y Toño quienes estuvieron conceptualizándolo. Yo sabía que iba a tener que pellear con la web de aduanas, y sólo me iba a tener que preocupar como sacar la información.

elDisparate

El desarrollo:

Tenía bastante claro que iba a desarrollar la web con Grails, aunque el front iba a ser muy sencillo y podría haber utilizado frameworks más minimalistas, fui a asegurar con el framework web que mejor conozco y más productivo puedo ser.

Tengo que confesar que iba muy confiado con la extracción de datos, había unos ficheros con formato “tipo CSV” que podía scrapear desde la web para descargarlos, y así poder procesar y cargar esos datos a la web en Grails.

Para el scarpping pretendía utilizar python y BeautifulSoup, una librería que ya conozco del año pasado y que facilita mucho trabajar en extraer información de HTML.

Pero la web de aduanas tenía una curiosidad, al hacer la primera petición a la web, esta te devolvía un documento HTML con sólo un código javascript para redirigir a la home. Supongo que ahí deben escribir alguna cookie en el navegador con alguna finalidad que mi cerebro no ha sabido suponer, y entonces ya permite navegar libremente.

Estuve probando con herramientas tipo mechanize para python y ruby. Pero con la presión del tiempo, al ver que no conseguía que me funcionaran y me cansé de ver como pasaban las horas inútilmente.

Finalmente tomamos la decisión de descargar los datos a mano (limitándonos sólo a exportaciones de 2009 y sin poder entrar a detallar el tipo de armas). Ya traía aprendido del año pasado que es mejor acotar el alcance en caso de problemas.

En cuanto la aplicación Grails, me centré exclusivamente en terminar, olvidad ver soluciones sofisticadas y elegantes en mi código:

El despliegue:

Tenía ganas de probar cloudfoundry por fin, que hacía unas semanas que me habían dado acceso a la beta. Cuál fue nuestra sorpresa cuando ya desplegamos la primera versión, que no había manera de apuntar el dominio a cloudfoundry, que aún lo no soporta (Y hasta que no lo soporte no me planteo utilizarlo).

Entonces pensé en Amazon Beanstalk y en CloudBees como PaaS alternativas para webs en Java, ya que evidentemente no había mucho tiempo de preparar una máquina desde 0. Y tras algunas gestiones en paralelo para ver donde desplegábamos, terminé desplegando en CloudBees y el dominio pasó a apuntar allí.

Os dejo unas fotos para que veais lo mucho que sufrimos y lo mal que lo pasamos :)

Comimos genial, haciendo parrilladas en Monzón y Barbastro, no faltaron la cerveza, las risas y tampoco las tensiones de última hora :).

Por cierto, que resulta que hemos entrado entre los 8 finalistas del AbreDatos. Quien quiera puede valorarnos a nosotros y al resto de participantes en la web de votaciones de AbreDatos.

Videos de experiencias de Open Data e Innovación Abierta

Con el fin de semana de abredatos de por medio(del que ya escribiré algo), había dejado un poco de lado la publicación de un par de videos del jueves en la Escuela de Organización Industrial.

El primero es de la mesa redonda sobre Open Data con Ruben Martín(Fundación CTIC), Alberto Ortiz de Zárate(Open Data Euskadi) y un servidor; con Juan Freire como moderador.

El segundo es una pequeña entrevista del EOI antes de empezar la mesa redonda.

A este paso hasta aprenderé :D

Mesa redonda de experiencias de Open Data e Innovación Abierta

Últimamente creo que estoy poniéndome el sombrero de activista del open data poco a poco casi sin darme cuenta… lo más habitual es que lo haga evangelizando explicando y discutiendo su importancia en conversaciones tomando unas cañas en buena compañía :)

Este jueves a las 18:00 participaré como representante de DNDzgz, por ser uno de los equipos participantes del desafío AbreDatos 2010, en una mesa redonda de Experiencias de Open Data e Innovación Abierta en la Escuela de Organización Industrial de Madrid con Juan Freire(Profesor y colaborador EOI), Alberto Ortiz de Zárate(responsable de Open Data Euskadi) y Rubén Martín(responsable técnico en los proyectos de Open Data de la Fundación CTIC).

En el contexto del encuentro Visualizar’11. Comprender las infraestructuras esta mesa redonda propone un recorrido por iniciativas de innovación abierta y open data; su vinculación práctica a partir de la producción colaborativa/compartida de proyectos entre entidades con similares objetivos. La contribución de la corriente Open Data y su relación con proyectos de iniciativa ciudadana será analizada a través de experiencias exitosas en desarrollo.

Jobsket y Open Data en TheEvnt 2011

Como algunos supongo que ya sabréis, este año voy de ponente a TheEvnt 2011, los días 13 y 14 de Mayo en Cáceres. La verdad que con el pedazo de cartel que recordaba del año pasado y viendo el de este año; uno, que además odia hablar en público, se hace un poco pequeñito :)

La cuestión es que hablaré de 2 temas que me apasionan, y que me han permitido tener vivencias y experiencias cuanto menos que curiosas. Además que son las cosas en las que he trabajado por la que la gente me suele identificar o situar más habitualmente(la fama de supuesto programador-nocturno-fiestero ya os digo que es algo totalmente falso, infundado por algunas manos negras :D)

El primero de los temas es Open Data, el desafío AbreDatos(¿sabías que está convocado ya el de este año?), DNDzgz y toda la experiencia que ha supuesto este proyecto.

Espero dejar el listón medianamente alto para que todos los asistentes entiendan la importancia que tiene la apertura de datos públicos. Pegadle un ojo desde ya al canal de Probono Publico en vimeo.

TheEvnt

El segundo tema será el caso de Jobsket, como ha evolucionado y el montón de cosas que hemos aprendido. Lo que ya aviso es que Jobsket aún NO es un caso de éxito. Esperamos que un día lo sea, pero hoy seguimos aún en fase de bootstraping.

Últimamente estamos contando de algún modo nuestras experiencias con Jobsket, no hace mucho Jordi estuvo hablando en un evento de la Universitat de Lleida y en el Last Tuesday, mientras que Martín en la Xuventude Galicia Net hace dos semanas.

En fin, por ahí irán los tiros de lo que yo contaré. Pero pegadle un ojo al programa del evento, que aunque todavía está sin cerrar, tiene una pinta realmente buena! :)