bandit算法

1、我打算写一系列机器学习的文章，将自己学到的东西一点一点总结出来。

2、机器学习主要分为三大类，有监督学习、无监督学习和增强学习，其中前两大类大家已经很熟悉了，第三类增强学习是指如何在得到临时性的反馈下学习，bandit问题就是增强学习领域一个热门的研究方向。而我目前就在做这部分的研究，所以先从这个问题讲起。

3、我们一般考虑的bandit(强盗)带有K个arm，每个回合拨动一个arm，得到一个奖励，bandit问题就是研究如何使这些奖励更大化。但由于通常回合数是不固定的，因此我们无法得到一个固定的目标函数，从而求取它的极值。bandit问题是一个online问题，我们只能对比算法与更优arm之间的差别，称之为regret。假设arm i在第t个时刻得到的奖励为Xi,t，算法在第t个时刻选取了arm It，则regret有下式

4、一般来说，Xi,t和It都是有一定的随机性，所以我们经常会考虑regret的期望，而max的期望有时不太好算，因此也会考虑pseudo-regret，即

5、根据得到的奖励与arm之间的关系，可以将bandit问题分为三大类。

6、假设每拨动arm i得到的奖励服从一个[0,1]上的分布P_i。

7、由于每个arm得到的reward服从分布，则在stochastic情况下考虑pseudo-regret更合适。设分布P_i的均值为ui，ui的更大值为u*，即为优化

8、从过程中可以看出，针对此问题设计的算法必须是randomized，否则无论什么样的算法都会有可能持续碰到特别差的奖励，也就使得问题没有提升的可能。R_t可以与玩家过去的选取有关，也可以无关，分别对应于nonoblivious和oblivious的情形。

9、每个arm i都对应了一个状态空间Si，Si包含了arm i可能服从的分布。当t时刻玩家选取了arm i，则玩家得到服从当前分布的reward，同时状态由变换矩阵更新为新的状态，其他没动的arm的状态不变。

10、最近，由于数据量过大或者我们希望设计的算法可以根据实际情况自我调整，于是我们开始考虑online的优化问题，而不仅仅是过去的offline。在offline的情况下，需要更优化的目标函数是固定的，于是我们可以考虑它的极值。但在online框架下，没有一个固定的目标函数，很多过去求极值的 *** 不能解决新的问题，于是发展了一套online凸优化的技巧。而bandit问题就是online问题的一个重要的实例，它的主要问题是上述的三大类，当然也有很多小的变型，同时也有组合bandit问题出现，即每次拨动一个arm的组合，以后有机会可以写写这些。

1、快手最新发布的超长用户行为序列数据集KuaiRand，旨在收集用户对随机视频的真实反馈，对学术界具有重要价值。该数据集的独特之处在于，它是在视频推荐场景中首次加入了随机视频。下图展示了某个用户的一个视频推荐流，时间跨度从2022年4月08日到2022年5月8日，数据集真实记录了用户在15个推荐场景中的所有推荐视频的12种反馈。

2、相比于目前最主流的包含随机数据的推荐数据集，如Coat和Yahoo!R3，以及新发布的Open Bandit数据集，KuaiRand数据集在多个维度上具有显著优势。它不仅包含了显式的用户ID，信息量也远超其他数据集，同时具有更强的无偏性、更丰富的时序性以及更全面的用户反馈。与之前的KuaiRec数据集相比，KuaiRand在随机视频的插入方式、数据的完整性和用户行为的深度记录上均有显著提升。

3、目前，推荐系统领域研究的热点包括但不限于在线模型评估、交互式推荐、强化学习、Bandit Learning以及超长序列建模等。KuaiRand数据集为这些研究方向提供了宝贵资源，支持研究人员在不同维度上深入探索。对于使用建议，推荐27K和1K版本数据集进行OPE问题、交互式推荐、强化学习、Bandit Learning、超长序列建模等研究；而对于关注推荐去偏、多任务学习以及传统静态推荐模型的领域，则可使用更精简的Pure版本数据集。

4、KuaiRand数据集还支持在线模型评估研究，为研究人员提供了一个评估推荐模型性能的平台。数据集的申请流程为合作制获取，需要的老师同学们以国内大学的名义通过专用邮箱申请，并填写快手拟定的协议。快手在收到申请后，将及时回复并进行数据共享。快手也在积极推进数据出境申请和公开工作，致力于为科学研究做出贡献。

5、欲了解KuaiRand数据集的详细信息及最新进展，请访问其：。如有数据集申请需求，请通过专用邮箱：kuairand@gmail.com与快手联系。

修改kinkydungeon存档需通过解压存档码为明文 *** ON文件，修改目标参数后重新加压存档码，具体步骤如下：

1.解压存档码获取明文 *** ON文件kinkydungeon的存档以LZString算法压缩的字符串形式存储，需使用LZString解压工具（如在线解压或JavaScript库）将存档码还原为可读的 *** ON文件。操作时需将存档码完整复制到解压工具的输入框中，执行解压后得到包含游戏数据的明文 *** ON文本，将其保存至本地文件（如.txt或.json格式）以便后续修改。

2.定位并修改目标参数使用文本编辑器（如Notepad++、VS Code）打开解压后的 *** ON文件，通过搜索功能定位需修改的参数。例如：

修改派系：搜索关键词"RecruitedFaction"，其对应的值（如"Bandit"）代表当前加入的派系名称。将该值替换为游戏中存在的其他派系名称（如"Guard"、"Knight"等），需确保名称与游戏内定义完全一致，避免因拼写错误导致存档失效。其他参数：若需修改角色属性、物品数量等，可搜索对应关键词（如"Level"、"Inventory"），按需求调整数值或列表内容。3.重新加压存档码修改完成后，需将 *** ON文件重新压缩为LZString格式的存档码。操作步骤为：

将修改后的 *** ON文本复制到LZString加压工具的输入框中。执行加压操作，生成新的压缩字符串（即存档码）。复制新存档码并覆盖原存档码，确保游戏读取时能正确解析。注意事项备份存档：修改前建议备份原存档码，防止因操作失误导致数据丢失。参数验证：修改派系或数值时，需参考游戏文档或存档结构说明，避免引入非法值导致存档崩溃。工具兼容性：确保使用的LZString工具版本与游戏存档压缩算法匹配，部分在线工具可能存在兼容性问题，建议优先使用推荐的工具。通过以上步骤，可安全完成kinkydungeon存档的修改并重新投入使用。

关于bandit算法，bandit-问题简介的介绍到此结束，希望对大家有所帮助。