喜欢的商品怎么找到你

2016-05-08

业务背景

出于用户体验、吸引用户角度的考量，经过多年发展，推荐系统其实已经在各类型网站或app上称为标准服务，不论是新闻、音乐、电商、电影等内容。当然，通过人工编辑也可以形成简单的推荐引擎，但这种方式的效率非常低，且比较生硬。如何通过用户的行为自动化地产生适合清单，是我们一直追求的目标。

阅读全文

词向量的唯一化

2016-04-19

最近duoshuo社会化评论崩溃了，上千条评论就这么没了，各种手段恢复无果。只能怪我太懒，不爱经常做备份。果断将博客评论迅速转移到disqus，希望以后不会有事（后来还是有事了，所有评论都没了，额）。

阅读全文

Spark or R

2015-12-12

前天下班浏览朋友圈，雪晴数据网转发了一篇译文，大数据工具比较：R 语言和 Spark 谁更胜一筹？，原作者测试了在限定为单机环境下，使用Kaggle提供的手写识别的数据在R和Spark平台运行不同算法的对比速度，结论有一下几个：

阅读全文

神经网络初步

2015-12-10
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# input dataset
X <- as.matrix(iris[iris$Species != 'versicolor', 1:4])
# output dataset  
y <- c(rep(0, 50), rep(1, 50))

# sigmoid function
nonlin <- function(x, deriv = FALSE) {
	if(deriv == TRUE) x * (1 - x)
	else 1/(1 + exp(-x))
}

set.seed(1)

# initialize weights randomly with mean 0
w <- rnorm(4, 0, 0.1)
tmp <- list() # 记录w的变化
for (i in 1:100){
	l0 <- X
	l1 <- nonlin(l0 %*% w)
	l1_delta <- (y - l1) * nonlin(l1, deriv = TRUE)
  # update weights
  w <- w + 0.01 * t(l0) %*% l1_delta
  tmp[[i]] <- w
}
l1
table(l1 > 0.5, y)

## Coef's solution path
ts.plot(t(do.call(cbind, tmp)))

阅读全文

不务正业之使用R做人工审核图片的小工具

2015-11-25

好久不写博客，文债太多。其实写了好几篇，不过没润色好，暂时没有放出来。

这两天搞了搞深度神经网络，顺带玩了玩公司的晒单图片，不过需要人工审核每个文件夹（对应一个sku）下面的图片是否可以用于模型。
人工审核的意思就是自己一张一张图片的看，然后删……真是对人性的折磨啊~~

阅读全文