leefige's blog

转眼已经 2024 年清明了。从 2021 年秋招开始，就没怎么得空更新博客，两年多忙忙碌碌，尝试且完成了太多事，只是都没有落笔记录。毕业前换了电脑，连 hexo 都没装，最近发现之前博客的访客记录和评论区都没了，才又翻教程回忆当初的配置，所幸关键信息都有记录，博客得以起死回生。

前一篇文章提到了L2 norm（weight decay）和以高斯分布为先验的最大后验估计（Maximum a Posteriori，MAP）的等价性，顺手整理一下和深度学习优化目标相关的几个概念。

简单串一下“花书”里的正则化相关内容。本篇主要关注范数正则化，之后有机会再整理bagging、dropout和BN。

总体而言，设关于参数\(w\in\mathbb{R}^n\)的正则化项为\(\Omega(w)\)，设原始损失函数为\(J(w; X, y)\)，则加入正则化项后的优化目标为 \[\arg\min_{w}J(w; X, y)+\alpha\Omega(w).\] 另外假设原始损失函数对应的最优解为\(w^\ast\).

继续这个系列。本篇的问题可能比上一篇稍复杂一些。

虽然大部分面试都是问项目，然后一道代码题，但还是有少量公司很喜欢问“基础的”技术问题，比如C++、体系结构之类。因此开个新系列，记录一下面试里遇到的一些技术类问题。有一些很简单，也有一些可能也没那么常见。

从小我就深受姥爷影响，什么东西坏了都喜欢试着自己修，也常常能修好。小学好像修过小饭桌的椅子，初中时修的最多的是改正带，当时技术娴熟到时不时帮同学修。修过的钢笔、中性笔等等更是数不胜数。高中之后生活逐渐粗糙，修东西的频率越来越低，但没想到在乐队里，还得时不时修修乐器。

恰好今天修了个奇怪的问题，就简单写写近一年来的修乐器经历，都挺奇怪的。

声明：本文只是本人笔试后对试题的复盘反思，从未由此牟利.如侵犯任何一方权利，请通过本站提供的联系方式联系本人，本人将立刻删除本文。

今天下午花了点时间配环境，主要困难是安装Python的gmpy2包。这是一个多精度浮点数快速计算库，因为依赖很多，所以在Linux上源码编译安装比较麻烦，而在Windows上则比较简单，直接下载预编译的wheel即可。本文参考了一篇网络文章，一些细节有所不同。

本文基于的环境是64位的Ubuntu 20.04 LTS，其他版本Linux可能会有出入。一些遇到"permission denied"的操作（如make install），请更换安装目录，或用sudo。

另外对于多核的机器，可以用类似make -j4的命令并行编译加快速度。

昨天逸夫馆前的山桃已经几乎盛开了。北馆前的忍冬也开花了（不知道是开了还快谢了？），望春玉兰也在开的边缘了。

前两天用Golang手写MapReduce框架时，遇到这样一个问题： > worker可能随时crash，那么coordinator分配给worker的任务不能无限等待worker的回复，因此需要给每个分配出去的任务设置timeout，也就是需要一个定时程序清理crash/太慢的worker的任务。