Just Me

What I cannot create, I do not understand.

It's all about Sampling

采样算法の笔记

Why Sampling 在大多机器学习的任务中，我们对模型参数$\theta$的求解对象都是它的后验分布$P(\theta \mid X) \propto P(X\mid \theta )P(\theta)$。如果我们幸运的知道，先验和似然是共轭的关系，后验就和先验服从同一类分布形式，那么我们可以简化计算，进一步得到参数后验的表达式$P(\theta \mid X)$。实际上往往是不共轭...

Posted by HC on March 24, 2019

Hive编程开发（3）

Hive Transform

入坑指南（3） 1.Hive Transform 用Java写UDF能保证运行效率，但是开发相对不易。Hive提供另一个快速开发UDF函数的途径：Hive Transform。Hive Transform就像Unix中的管道操作，可以通过有序读取+控制输出的方式实现UDF，UDAF和UDTF的功能。具体来说： 任意读取+ 逐条输出 = UDF 无序读取+ 多条输出= ...

Posted by HC on October 8, 2018

Multi-view Learning笔记

学习学习，做做笔记

Multi-view Learning

Posted by HC on September 8, 2018

Tomcat调用CDH Spark分布式计算的框架实现

相关总结

项目的坑，还是要写一下 0. 前言 我们的整个分布式计算平台建立在Cloudera CDH 5.10.1之上，所用到的组件包括（其中tomcat和redis不在CDH中）： hadoop 2.6.0-cdh5.10.1 elasticsearch 5.4.0 scala 2.10.5 spark 1.6.0-cdh5.10.1 spark-redis 0....

Posted by HC on June 7, 2018

唠叨

随便说说

Spark项目感觉快接近尾声了，之后得总结下躺过的坑 最近开始接触NLP咯，打算和小伙伴合作做一个东西。不太熟悉python的我，对Pytorch有点头疼 为了改进之前投稿的文章，打算从基础开始学Online Learning，希望能有帮助 快毕业了，差不多还有一个月 六一要到啦，买点什么好呢~

Posted by HC on May 29, 2018

唠叨

不纯粹

今天组会内容很棒，会后的对话很繁琐。白纸乱画 别急着踌躇，小石头，捡起来就好 风太大，内心不平静。不纯粹 妥协，两个字已经不是一种遗憾了 今晚的复联3太棒啦~

Posted by HC on May 12, 2018

Reinforcement Learning学习笔记（下）

入坑指南

10. Model-based RL 上一章说的是Model-based Planning，即结合已知的dynamics，做出更好的value function的估计和更好的决策。本章的Model-based RL 是指，dynamics未知（本文特指状态转移，好像现在对reward function都不会怎么学习？reward都是专业知识？），但是我们要去学习它！学习到之后，我们又可以做...

Posted by HC on May 12, 2018

Reinforcement Learning学习笔记（上）

入坑指南

0. Dynamic System 动态模型是用来描述一个给定空间（如某个物理系统的状态空间）中点随时间的变化情况。例如描述钟摆晃动、管道中水的流动，或者湖中每年春季鱼类的数量，凡此等等的数学模型都是动态系统 (From Wiki)。比如下图以点的运动为例子，左图展示了在不同时刻t上，构成的点X的移动轨迹。 右图则是加入了额外噪声的情况。 动态系统旨在对时序数据的刻画，它由三个元素组...

Posted by HC on May 3, 2018

Hadoop相关总结

入坑指南

今天组会分享了Hadoop的相关知识点，特此总结一发 1.Hadoop Hadoop是一个于2011年，由Apache基金会所开发的分布式系统基础架构。它为我们提供了一个可靠的，可扩展的分布式计算框架。总的来说，Hadoop由四部分组成，包括: 分布式计算框架MapReduce 分布式文件系统HDFS 作业调度和资源管理服务YARN 用于支持外部组件的公用调用...

Posted by HC on April 23, 2018

Hive编程开发（2）

自定义UDAF函数和UDTF函数实现

入坑指南（2） 1.UDAF函数 UDAF函数是User Defined Aggregation Function的简称，它用来实现用户自定义的聚合操作，比如sum，avg，max等等。实现自定义UDAF函数的方法和UDF函数的操作类似，有两种： 继承UDAF类 继承AbstractGenericUDAFResolver类 不过，第一种已经被弃用了，不推荐。但是第...

Posted by HC on April 2, 2018

FEATURED TAGS
Ubuntu Others Machine Learning Hadoop Hive Reinforcement Learning MDP Policy 唠叨 Optimization in machine learning
ABOUT ME

我叫侧边栏

✉️ huangc.scu@gmail.com

FRIENDS