Se eligió este día porque al día siguiente del terrible terremoto del 13 de mayo de 1647, conocido como el terremoto magno, en medio de la desolación y réplicas del sismo, se organizaron los vecinos para reconstruir la ciudad. Se construyeron nuevas obras de captación de agua, se repararon viviendas, se reconstruyeron el hospital y la cárcel y se levantaron los molinos derrumbados, comprendiendo una gran cantidad de proyectos de ingeniería que hubo que planificar y ejecutar, a la vez que se acordaron las políticas de financiamiento para llevar a cabo las obras, sin depender de la ayuda externa.

Así que en el día de hoy, va un cordial saludo a todos los ingenieros e ingenieras de Chile que de una u otra forma trabajan para el desarrollo del país. Reciban un afectuoso saludo de WebMining Consultores Limitada en su día!

Básicamente esta competencia consiste en predecir las canciones que un usuario va a escuchar, y para ello, cualquier tipo de algoritmo se puede utilizar: filtrado colaborativo, métodos basados ​​en contenido, métodos de búsqueda por Internet, incluso “oráculos humanos” (que bien pueden llamarse así porque tienen que filtrar un conjunto de más de 100 mil canciones).

Este desafío es un esfuerzo conjunto entre el Computer Audition Lab de la UC San Diego y el LabROSA de la Columbia University. Los datos para la competencia, al igual que muchos de los datos en el conjunto de datos del millón de canciones, fueron donados generosamente por The Echo Nest, con los datos adicionales aportados por SecondHandSongs, musiXmatch, and Last.fm. El seguimiento de las evaluaciones se llevará a cabo por el IMIRSEL de la Graduate School of Library Information Science de la UIUC como parte de la iniciativa Music Information Retrieval Evaluation eXchange (MIREX).

La descripción del problema y tarea dice en Kaggle…

¿Cuál es la tarea en pocas palabras? Usted tiene que: 1) dada la historia completa escuchada para 1 Millón de usuarios, 2) y la mitad de la historia escuchada por otros 110 mil usuarios (10 mil  muestra de validación, 110 mil muestra de prueba) , se debe predecir la mitad faltante. El método más directo para esta tarea es el filtrado colaborativo puro, pero recuerde que hay una gran cantidad de información disponible a través del conjunto de datos del millón de canciones.

Fechas y premios

Como medida de evaluación se utilizará la mean average precision (truncada a los 500). La competencia finaliza el jueves 9 de agosto de 2012 y no tiene premios en dinero (sólo se hace por amor a la música).  Los ganadores deben liberar su método para ser reconocidos como tales (es requerido por Kaggle para demostrar que los datos no fueron filtrados).

Suerte a los participantes!

La buena noticia es que ya hemos vuelto -estuvimos un rato fuera recomponiendo los artículos faltantes- y ahora nos pueden leer. En estos momentos nos encontramos reconfigurando algunas opciones de WordPress por lo que durante el día el sitio podría paracer inestable. Muchas gracias por su comprensión!!!

Como es viernes y nos gusta tomarnos la vida con alegría, aquí va un chiste de apagones:

Se encuentran dos amigos gallegos y uno le dice al otro:
-Oye Manuel, ¿te enteraste del apagón de anoche?
Y el amigo le contesta:
-Calla, no me lo recuerdes, estuve 3 horas en el ascensor
A lo que Manuel dice:
-Eso no es nada , yo estuve 5 horas en la escalera mecánica.

Actualización 11-05-2012 14:00 – Ya reconfiguramos todas las opciones de nuestro sitio y estamos operando correctamente

El  estudio encontró que una empresa gasta alrededor de USD 79 mil al año en reporting manual (un poco más de $ 38 millones de CLP) . Lo cual, en nuestra opinión, es una cifra bastante conservadora. Para más detalles ver la copia de la infografía más abajo:

Data in Dollars (Fuente: Domo.com, clic para ampliar)

Hace un poco menos de un año atrás

En dicho curso se enseñó a más de 100.000 estudiantes de 190 países desde el principio. Todo el material se distribuyó de forma gratuita bajo una licencia Creative Commons, que se parece mucho a las licencias de código abierto muy queridas por todos. Luego de terminado el curso, el 31 de diciembre recibimos este correo:

Statement of Accomplishment
December 31, 2011

Dear ******** (*******@webmining.cl),

Congratulations! You have successfully completed the online Machine Learning course (ml-class.org), offered October through December, 2011. To successfully complete this online course, students were required to watch lectures, complete review questions, and work through programming exercises. Your score on these components were as follows:

Review Questions: 80 out of a maximum of 80

Programming Exercises: 800 out of a maximum of 800

Sincerely,
Andrew Ng

Luego de esta exitosa experiencia, el Prof. Ng ha comenzado una nueva iniciativa llamada Coursera, como un sitio para distribuir una amplia gama de cursos interactivos en diferentes ramas de las artes y ciencias. Tal como lo hizo con ml-class.org, Coursera rompe el esquema académico de los tradicionales 50 a 75 minutos clases, haciendo que sus componentes de aprendizaje se dividan en lecturas o “mini-conferencias” de aproximadamente 10 minutos y ofrece también en línea cuestionarios rápidos para responder. También se incluyen foros, lo que permite a los estudiantes obtener el apoyo de la comunidad estudiantil, y todo funciona muy bien.

Es así como, nuevamente el curso Machine Learning, impartido por el Prof. Ng, se estrenó este lunes 23 de abril de 2012 (y durará 10 semanas). Y tal como lo vivimos nosotros el año pasado, podriamos decir que el Prof. Andrew Ng es un destacado docente y las mini-conferencias son perfectas para estudiantes con poca atención como nosotros. Las clases periódicas lo mantienen a uno activo. Esto nos fue anunciado el 24 de marzo, cuando nos llegó el siguiente correo:

Dear ***********,
Congratulations again on being one of the top students in ml-class! I know that many of you had put a lot of time into ml-class last year, and I’m still deeply grateful for all your hard work.
Since last year, we’ve been working hard to extend our online course offerings. By making the best education in the world freely available to anyone that seeks it, I think we can change the world, and give many many many people better jobs, better careers, better lives. To make this happen, I’d like to ask for your help!
- *Jobs in online education.* To freely offer an online education to millions, I’ve co-founded (with Daphne Koller) a company Coursera. We’re well funded, and if you’re a top-notch software engineer, aren’t scared of solving hard technical problems, and want to use your skills to change millions of lives, please join us! Send us your resume at http://jobs.coursera.org/. Be sure to mention in your application that you took ml-class. If you have friends who’re talented software engineers that would like to change the world, please encourage them to apply too.
- *Your story.* We’re collecting stories from students to share with the world. If last quarter’s online classes had a big impact on your life, I’d love to hear your story. Please email me at andrew@coursera.org . I can’t promise to respond to every email, but I will read every one of them.
- *More online courses.* Finally, building on last quarter’s success, Coursera is now offering 15 courses on a range of CS and other topics. I hope you’ll create a Coursera account at http://coursera.org/, and also encourage your friends to take some of these classes with you.
Thanks again for taking ml-class last year. I hope you’ll continue to work with me in the next chapter of this online education revolution.
Andrew Ng
ml-class.org

Nos hemos enterado también que, para no ser superado por sus pares académicos de Stanford, el prestigioso Instituto de Tecnología de California actualmente también está ofreciendo un curso gratuito de Machine Learning, llamado “Learning from Data”, que es promovido como “un verdadero curso de CalTech, no una versión descafeinada”. Este curso consta de 18 mini-conferencias dadas por el Prof.  S. Yaser Abu-Mostafa. Ya hay 6 mini-conferencias disponibles en la web. Hemos visto un par y hemos quedados gratamente sorprendidos con la organización y las habilidades de comunicación de Abu-Mostafa. Les estaremos contando acerca de este curso a medida que se desarrolle.

Pues bien, animamos a todos los data miners de habla hispana a echar un vistazo a estos dos cursos gratuitos. Machine Learning es, sin duda,  una gran disciplina, y lo mejor es que todos estos programas gratuitos combinan tratamientos teóricos y a la vez prácticos. Y que mejor que sean impartidos por expertos de clase mundial y a la vez gratuitos para quien desee ocupar bien su tiempo.

No queda más que decir que a aprender y a estudiar se ha dicho!!! Buena suerte!

Links: Machine Learning – Coursera y Machine Learning – Caltech

Hace unas horas CrowdANALYTIX

La reciente crisis de riesgo crediticio ha hecho que los bancos en todo el mundo se vuelvan excesivamente prudentes. Ahora no sólo están creando instrumentos financieros más simples y menos entrelazados, sino que también están construyendo modelos predictivos más sofisticados para valorar el riesgo asociado a sus préstamos. Desafortunadamente, aún con estas precauciones, el incumplimiento y, por lo tanto, las pérdidas son elevadas. A través de esta competencia se quiere tener un enfoque ligeramente diferente. Se quiere construir un algoritmo que ayude a los bancos predecir la cantidad que deben esperar para recuperar un préstamo. A nivel agregado, esto permitirá a los bancos predecir sus ganancias de la línea superior e inferior de cada cartera o producto, que es lo que importa al final del día.

Para experimentar con esta hipótesis, se está utilizado un conjunto de datos públicos  con los préstamos y los pagos, sobre la base de la siguiente información:

• Monto financiado por el organismo crediticio
• Tasa de interés
• Duración del préstamo
• Propósito del Préstamo
• Pago mensual
• Relación deuda-ingresos del solicitante del préstamo
• Estado de la propiedad del solicitante del préstamo
• Ingreso mensual del solicitante del préstamo
• Solvencia del solicitante del préstamo (representada por el FICO Score)
• Línea de crédito abierta del solicitante del préstamo
• Línea de crédito total del solicitante del préstamo
• Porcentaje de utilización de la Línea Rotatoria del solicitante del préstamo
• Morosidad en los últimos 2 años del solicitante del préstamo
• Situación laboral del solicitante del préstamo

• Monto del préstamo hecho por el prestamista (variable target).

Plazos: La fecha límite de presentación es el 21 de mayo de 2012 y los resultados serán anunciados por el 31 de mayo de 2012.

Premios: Un primer premio de 750 dólares EE.UU. Un segundo premio de 500 dólares EE.UU. Un tercer premio de 250 dólares EE.UU.

Notar que para la competencia se puede utilizar cualquier herramienta que pueda desarrollar técnicas de aprendizaje automático y algoritmos de predicción, tales como: PMML, Java, Python, R, Rapidminer, WEKA, Octave, SVMlight y otros. Los participantes pueden presentar una entrada cada 24 horas todos los días de competición, de acuerdo a lo indicado por  CrowdANALYTIX en las bases de la competencia. Para definir al ganador, se utilizará el criterio del RMSE, donde se tomará la diferencia entre el importe previsto y el importe real para calcular el error de la predicción. Buena suerte a los competidores!!!

Estos dos puntos claves nos llevan a una rápida conclusión: se podría decir que los clientes de hoy esperan más, y son muy propensos a dejar al proveedor, si éste no cumple con sus expectativas. Lo que nos lleva a la pregunta: ¿qué sabe usted o su empresa de sus actuales clientes?….si necesita ayuda, ya sabe.

Figura 1: Cambio de proveedor debido a pobre servicio al cliente. Fuente: Accenture 2011 Global Consumer Research Study.

Pensar en términos de las encuestas realizadas a los clientes hace 2 años o de la investigación de mercado realizada hace 4 años o los focus-group que usted hizo hace 18 meses no ayuda mucho. ¿Qué sabe usted sobre los clientes que tiene hoy en día?. Considere que la información de los clientes, ​​y sus experiencias en el pasado, diferente mucho de lo que es hoy y puede llevarle a tomar decisiones erróneas en el futuro. Cualquier organización que quiera seguir aprendiendo, mejorar, crecer y tener éxito tiene que – al mismo tiempo – comunicarse y aprender continuamente de sus clientes. ¿Qué esperan de su experiencia? ¿Por qué es un cliente? ¿Por qué se van? ¿Cuáles competidores están considerando para irse? ¿Qué los hace leales a su empresa?….si necesita ayuda, ya sabe.

Nuestra recomendación es asegurarse de que tiene una estrategia de inteligencia de clientes en curso, que le proporcionará una forma de mantenerlos y crecer a lo largo del tiempo con sus clientes,…si no la tiene, contáctenos.

El Estudio

En el estudio señalado, Accenture investigó el comportamiento y actitudes del consumidor durante siete años. En 2011, se encuestó a más de 10.000 consumidores en 27 países diferentes entre septiembre y octubre. Para entender mejor estos comportamientos en todos los sectores, se pidió a los encuestados evaluar 10 sectores de la industria (hasta cuatro industrias por encuestado) sobre temas que van desde las expectativas e intenciones de compra hasta la lealtad, la satisfacción y posibilidad de cambio. El estudio reveló que las relaciones de los proveedores con los clientes parecen tener una base sólida. De hecho, la satisfacción del cliente aumentó ligeramente en 2011. Sin embargo, una mirada más cercana revela consumidores errantes, con expectativas de cambio de proveedor, también en aumento:

• Los consumidores reportaron una mayor satisfacción en cada una de las características del servicio, de 10 evaluadas. De hecho, las tasas de satisfacción en tres características de servicio al cliente aumentó en más de cinco puntos porcentuales desde 2010.
• Sin embargo, en promedio, sólo uno de cada cuatro consumidores se siente “muy leal” a los proveedores, y al igual que muchos, no profesan lealtad a todos. Además, dos tercios de los consumidores cambió de proveedor en al menos un sector en el último año debido a la deficiente atención al cliente.
• Cuarenta y cuatro por ciento de los consumidores dijeron que sus expectativas de hoy en día son más altas que hace un año.
• En los mercados emergentes, estas contradicciones son aún más pronunciadas. Mientras que los consumidores informaron mayor satisfacción que sus pares de mercados maduros, más a menudo han cambiado de proveedor debido a un mal servicio (en algunos casos en una proporción de 2:1 en mercados maduros), especialmente dentro de los proveedores de servicios de Internet, proveedores de telefonía celular y banca.
• Paradójicamente, el 59% de los consumidores en mercados emergentes (en comparación al 31% en mercados maduros) dijeron que sus expectativas habían aumentado en el último año a través de más características de servicio al cliente.
• Los consumidores más frustrados citan, en relación con sus proveedores, que “las compañías ofrecen algo diferente a lo que prometen”. Esta frustración fue el tema más frecuente en relación con las ventas de las empresas y las prácticas comerciales, así como las prácticas de las empresas de servicio al cliente (65% y 64% de los consumidores, respectivamente, les resulta “muy frustrante”).

Figura 2: Importancia y satisfacción con servicio al cliente. Fuente: Accenture 2011 Global Consumer Research Study. (clic para agrandar)

Para más detalles, un resumen del estudio y el estudio completo se puede descargar de aquí. Les dejamos también otras tablas que muestran más antecedentes revelados por esta investigación:

Figura 3: Adopción y efectividad de los programas de lealtad. Fuente: Accenture 2011 Global Consumer Research Study.

Figura 4: Cambio parcial en industrias específicas. Fuente: Accenture 2011 Global Consumer Research Study.

En la actualidad, este poderoso y simple modelo es comúnmente usado en  marketing directo, en compañías de venta por catálogo y particularmente en el comercio minorista (retailers), para segmentar de forma adecuada a los clientes, basándose en la relación entre Recency, Frequency y Monetary:

• Recency o Recencia, la calcularemos como días transcurridos desde la última compra.
• Frecuency o Frecuencia, es el número de compras por un período de tiempo, como promedio (por ejemplo, número de compras mensuales).
• Monetary o Monto, es el monto de las compras totales realizadas por el cliente durante el tiempo de análisis.

Luego, para crear un Análisis RFM, debemos hacer lo siguiente:

1. Con cada actualización de datos, crear una lista de las compras de cada cliente.
2. Ordenar la lista desde la compra más reciente hasta la más antigua.
3. Dividir la lista en 5 quintiles o partes iguales.
4. Asignar el número 5 al quintil más alto, 4 al siguiente, y así sucesivamente.
5. Poner el número de quintil en el registro de cada cliente. El número puede variar con cada actualización.
6. Repetir los pasos 1 al 5 para la Frecuencia y Monto. Se tendrá tres números en cada registro.
7. Efectuar el Análisis, categorizando a los consumidores por los códigos del RFM. Habrán 125 líneas para cada reporte (la combinatoria de los tres números)

Como puede verse, el análisis RFM presenta claros beneficios en la segmentación (tanto estratégica como operativa) de clientes:

• Balancea tres dimensiones características de los clientes, que son muy potentes (Recencia, Frecuencia y Monto).
• Es de fácil comprensión.
• Ayuda a aumentar la performance de campañas de marketing directo al apuntar a clientes del segmento más alto en las 3 dimensiones.
• Se puede identificar y ver la evolución en el tiempo de los clientes, desde clientes que se encuentran en evolución, pasando por los que presentan un comportamiento estable en el tiempo, hasta clientes que ya no compran y prácticamente se fueron.
• Permite focalizar las medidas de fidelización de clientes.

Luego de esta breve introducción, partimos con R y nuestro proyecto RFM…

Requerimientos

• Tener instalado R en tu equipo, lo puedes descargar de acá. Nosotros usamos R versión 2.14.2 para Windows, también hay para Linux y MacOS X.
• Instalar  el paquete “gregmisc”,  que son funciones misceláneas para R, creadas por Gregory R. Warnes. Más adelante explicaremos cómo hacerlo fácilmente desde el mismo R.

Manos a la obra

Pues bien, iniciamos R e ingresamos el siguiente código a la consola y primero instalamos el paquete “gregmisc”:

install.packages("gregmisc")

Luego, creamos nuestro proyecto RFM generando una base de datos de transacciones dummy, utilizando el mismo R. El código está con comentarios para que se entienda cada paso:

# creamos un set de 10.000 datos de ventas para 1.000 clientes únicos (IdCliente, FechaVenta, MontoVenta)
ventas=data.frame(sample(1000:1999,replace=T,size=10000),round(1000*abs(rnorm(10000,25,5))))
names(ventas)=c("IdCliente","MontoVenta")

# generamos fechas aleatorias para el año 2011
ventas.fechas <- as.Date("2010/1/1") + 360*sort(stats::runif(10000))
ventas=cbind(ventas,ventas.fechas)

#desplegamos la estructura obtenida
str(ventas)

#calculamos la recencia
ventas$Recencia=round(as.numeric(difftime(Sys.Date(),ventas[,3],units="days")) )

# carga la libreria 'gregmisc'
library(gregmisc)

# crea variables de 'Monto' total ventas y 'Frecuencia' desde la ultima compra para cada cliente
ventasM=aggregate(ventas[,2],list(ventas$IdCliente),sum)
names(ventasM)=c("IdCliente","Monto")
ventasF=aggregate(ventas[,2],list(ventas$IdCliente),length)
names(ventasF)=c("IdCliente","Frecuencia")
ventasR=aggregate(ventas[,4],list(ventas$IdCliente),min)
names(ventasR)=c("IdCliente","Recencia")

# combina R,F,M
temp=merge(ventasF,ventasR,"IdCliente")
ventasRFM=merge(temp,ventasM,"IdCliente")

# crea los niveles R,F,M (quintiles)
ventasRFM$rankR=cut(ventasRFM$Recencia,5,labels=F)	# 5 es el más reciente, 1 el menos
ventasRFM$rankF=cut(ventasRFM$Frecuencia,5,labels=F)  # 5 es el más frecuente, 1 el menos
ventasRFM$rankM=cut(ventasRFM$Monto,5,labels=F) 	# 5 es el monto más alto, 1 el menos

El Resultado

Ahora hacemos el cruce de los niveles RFM con el siguiente código y estamos listos para comenzar el análisis y la interpretación de los segmentos. Trabajo que dejamos a cada uno de ustedes. Saludos!

# hacemos el cruce
table(ventasRFM[,5:6])
table(ventasRFM[,6:7])
table(ventasRFM[,5:7])

Introduction to Data Mining
by Pang-Ning Tan, Michael Steinbach and Vipin Kumar
http://www-users.cs.umn.edu/%7Ekumar/dmbook

Mining of Massive Datasets
by Anand Rajaraman and Jeff Ullman
http://infolab.stanford.edu/%7Eullman/mmds.html

Lecture notes of data mining course (with R code examples)
by Cosma Shalizi
http://www.stat.cmu.edu/%7Ecshalizi/350/

Introduction to Information Retrieval
by Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze
http://nlp.stanford.edu/IR-book/

Text Mining Tutorial
by Marko Grobelinkm, Dunja Mladenic
http://eprints.pascal-network.org/archive/00000017/01/Tutorial_Marko.pdf

Statistics with R
by Vincent Zoonekynd
http://zoonek2.free.fr/UNIX/48_R/all.html

R: advanced statistical package
by California Soil
http://casoilresource.lawr.ucdavis.edu/drupal/node/100

Y tu? tienes algún libro gratis que recomendar?. Postealo más abajo en los comentarios y compártelo!

Mientras que los últimos hallazgos van en contra de las creencias tradicionales de que el alcohol “enrarece” el pensamiento analítico y el pensamiento racional, el profesor Jennifer Wiley, de la Universidad de Illinois en Chicago descubrió que el alcohol puede aumentar la creatividad para resolver problemas mediante la reducción de la capacidad de trabajo de la memoria, que es la capacidad para concentrarse en algo en particular.

“La capacidad de trabajo de la memoria se considera la capacidad de controlar la atención en algo”, dijo Wiley a la Federation of Associations in Behavioral and Brain Sciences (FABBS). “Es la capacidad de recordar una cosa mientras que se está pensando en otra cosa.”

Mientras que el último estudio encontró que el alcohol puede mejorar la solución creativa de problemas, la investigación previa encontró un incremento en la capacidad de trabajo de la memoria lo que llevó a un mejor rendimiento en el análisis de resolución de problemas. El investigador del actual estudio, publicado en el journal Consciousness and Cognition, también encontró que la gente que bebía alcohol y que tenía un nivel de alcohol en la sangre de 0,07 o superior eran peores para completar los problemas que requerian control de la atención, pero eran mejores en las pruebas de resolución creativa de problemas.

Sin embargo, el sorprendente descubrimiento fue que los participantes con un nivel de alcohol en la sangre de 0,07 o superior, resolvieron 40% más problemas que sus contrapartes sobrios y les tomó 12 segundos para completar todas las tareas, en comparación con 15,5 segundos de los participantes abstemios.

Nosotros creemos que es la mejor noticia que nos han dado para empezar este fin de semana!. A beber se ha dicho!!! Nos encontramos el lunes para resolver más problemas y más rápido. Buen fin de semana!