回复读者来信
趁着中秋期间,终于能抽一些闲暇的时间(感谢我的太太),集中整理了一下邮件。有朋友邮件问到自己正在从事、或即将进入数据科学领域时,碰到的困惑。再回想,这几年也经常面试候选人,每当我以抱歉结束时,很多为候选人也问过很多类似的问题。那我在这篇博文里集中回答一下。
趁着中秋期间,终于能抽一些闲暇的时间(感谢我的太太),集中整理了一下邮件。有朋友邮件问到自己正在从事、或即将进入数据科学领域时,碰到的困惑。再回想,这几年也经常面试候选人,每当我以抱歉结束时,很多为候选人也问过很多类似的问题。那我在这篇博文里集中回答一下。
关联规则(association rules)是一种广泛使用的模式识别方法,比如在购物篮分析(Market basket Analysis),网络连接分析(Web link),基因分析。我们常常提到的购物篮分析,它的典型的应用场景就是要找出被一起购买的商品集合。
关联规则的可能的应用场景有:
后面不用读了:VS code 真香!
陆陆续续尝试使用 Emacs 已经该有7、8回了,每次都受不了它繁琐的 Ctrl 和 Meta 组合键,但最近不知道哪根筋出了问题,不但编辑器迅速的切换到了Emacs,甚至操作系统也从Win 7平滑到了Ubuntu。以下记录一些关于Emacs、markdown、Ubuntu、ssh乱七八糟的东东。
开源体系下,我的软件之路差不多是下面这样的:
R->LaTeX->imagemagic->Emacs->Ubuntu->github(git,svn)->markdown->pandoc->putty
当走到 putty 这一步,基本上也能称之为半个合格的码农了,囧。
Emacs 是非常好用的文本编辑器,是著名黑客 stallman 的作品,同vi并称为 linux 体系同两大神器。用它来编辑任意文本有大量的定制扩展,试用起来非常方便,而最近老板也在推行用 markdown 来记录技术文档,并且在内网构建了基于 markdown 的 git wiki 系统。刚好自己也一直在用md,比如现在的这个搭建在 github 上的静态页面博客。
矩阵分解技术是推荐系统常用的技术之一,它的变种出现在很多算法都有涉及。这里先不做展开,对于最基本的矩阵分解技术做一些原理和代码解释。
首先约定一下符号,对于用户(users)的集合 \(U\),以及商品的集合 \(D\),用 \(R\) 来表示用户商品信息的共现( \(U \times D\) )矩阵。我们现在想找出 K 个潜在的特征,即:找到两个新矩阵P( \(U \times K\) ),Q( \(D \times K\) ),使得:
\[R = P \times Q^T = \hat{R}\]
这时,P包含了所有的用户(U)的相关信息(特征),而 Q 则包含了商品的相关信息(特征)。那如何找到这两个矩阵呢?