CMA-ES 协方差矩阵自适应进化策略
参考论文:Nikolaus Hansen, The CMA Evolution Strategy: A Tutorial, arXiv:1604.00772,2023 年 3 月修订版。 引言:为什么需要学习搜索分布 在连续黑箱优化(black-box optimization)中,我们通常只能查询目标函数的数值,而无法可靠获取梯度、Hessian 矩阵,甚至无法假定目标函数连续、光滑...
参考论文:Nikolaus Hansen, The CMA Evolution Strategy: A Tutorial, arXiv:1604.00772,2023 年 3 月修订版。 引言:为什么需要学习搜索分布 在连续黑箱优化(black-box optimization)中,我们通常只能查询目标函数的数值,而无法可靠获取梯度、Hessian 矩阵,甚至无法假定目标函数连续、光滑...
本教程定位: Steve Brunton 和 张颢 网课课程的学习笔记。 阅读方式:第 1–5 章建立模型、采样理论与恢复条件;第 6–12 章系统学习凸优化与贪婪恢复;第 13–18 章开展实验并了解工程应用;第 19–22 章用于复习、练习及延伸阅读;第 23 章附录提供补充的数学证明与完整实验代码。 0. 阅读指南 0.1 教程导航 内容...
引言:从关键词匹配到概率分布匹配 信息检索(Information Retrieval)的核心任务,是给定一个查询 $q$ 和一个文档集合 $\mathcal{C}$,找到与查询所表达的信息需求最相关的文档,并按照相关性进行排序。 传统的检索算法通常从词项匹配出发:一个查询词在文档中出现得越频繁,文档似乎就越相关;一个词在整个语料库中越罕见,它对相关性的区分能力似乎就越强。TF-IDF ...
抛硬币游戏 有偏硬币下注问题蒙特卡洛模拟页面 命运的仓位:麦克白、哈姆雷特与那些没有成为传奇的人 一枚正面出现概率为 60% 的硬币,似乎是世界上最容易理解的优势机会:正反面赔率相同,押正面的期望收益明确为正,重复次数越多,优势就越可靠。 可一旦允许玩家自由决定下注比例,这个简单游戏便会分裂成截然不同的人生。 有的人把资金稳稳地积累成一笔财富, 有的人在绝大多数可能的世...
根据《How Much of a Good Thing Is Too Much?》《Taking Risk Is Always a Negative》《You’re Focusing on the Wrong Question》《Who Causes Stock Market Anomalies?》《Why Wealth Doesn’t Last》及《A Star Investor’s Ta...
在经典参数估计中,我们通常先指定一个概率模型,再通过极大似然估计(Maximum Likelihood Estimation,MLE)得到参数估计量。这一方法在模型设定正确时往往具有很高的统计效率,但当真实数据存在厚尾、测量错误或少量异常观测时,估计结果可能对模型偏离非常敏感。稳健统计(Robust Statistics)研究的核心问题,正是如何在保留理想模型下统计效率的同时,控制模型偏离对...
Andrew Huberman|根据《Huberman Lab》节目“Optimal Protocols for Studying & Learning”英文自动字幕整理为第一人称中文文章。 为什么我们对高效学习的直觉往往是错的 欢迎来到 Huberman Lab。在这里,我讨论科学,以及能够应用于日常生活的科学工具。我是 Andrew Huberman,斯坦福大学医学院神经生物...
我如何从过去的经验中学习,又如何主动改变自己的预测模型的个人档案。 使用说明 不变量 事实、感受、需求:Append-only(只追加,不覆盖) 保留某个时间点的原始记录。事实可以追加勘误,感受与需求可以在未来重新记录,但不应回头改写当时的体验。 可变量 想法、计划方案:Versioned(允许迭代) 可以保留 v1、v2、v3 等版本,每次调整注明为什么改变。 “想法”不只...
The Diary Of A CEO:No.1 Neuroscientist: you can change who you are in 30 days 为什么理解大脑意味着可以改变人生 问:我们常觉得焦虑、恐惧和创伤像自动运行的程序,过去发生的事情决定了未来的我们。你为什么认为这一判断并不完整?理解大脑之后,一个人究竟还能改变什么? Lisa:我认为,人们对于自己能改变多少,通常...
这篇文章已加密,需要密码查看。