Luty.tech

这是一篇写给“已经学过基本机器学习和深度学习，但还没有把强化学习串起来”的读者的长文。文章不追求把所有前沿方向都讲成论文综述，而是试图建立一张可以反复定位的地图：强化学习到底在优化什么，Bellman 方程为什么重要，Monte Carlo、TD、Q-learning、DQN、Policy Gradient、Actor-Critic 和 PPO/SAC 之间究竟是什么关系，以及真正写代码时最容易在哪些地方出错。 先给结论：强化学习究竟在学什么监督学习通常给模型一组输入和标签，模型学习“看到 x 应该输出 y”；强化学习面对的则是一个会随时间变化的世界。智能体在状态 s 下选择动作 a，环境返回奖励 r 并转移到下一个状态 s’。智能体的目标不是让某一次预测正确，而是让一串动作带来的长期累计收益最大。 可以把强化学习压缩成下面这个循环： 12345678观察状态 s_t ↓按照策略 π 选择动作 a_t ↓环境执行动作，得到奖励 r_{t+1} 和下一个状态 s_{t+1} ↓用这次经验更新策略、价值函数或环境...

时隔多年，决定博客开始重新更新。 因为各种原因，几乎已经彻底弃掉这个占站点，近期心态在逐渐转变，并且重新从GAP转到就业状态，计划借这次机会尝试重新拾起来。目前博客的配置、链接、资源都清理了一遍，很早期的文章都放到Legacy里，依旧是暂定不定期更新。

PrefaceGAMES101是GAMES (Graphics And Mixed Environment Seminar）系列公益课程的第一部，由UCSB的助理教授闫令琪授课，该课程专注于图形学基本原理的分析与解释。本文内容为Transformation, Rasterization笔记。 LabConfig环境：Vscode + CMakeTools + CppTools + Mingw64 Vscode中C++引入第三方库的方式大致有以下三种： 对于非Cmake项目，利用CppTools（Miscrosoft官方为Vscode提供的编译和调试插件）的IntelliSense功能，通过设置c_cpp_properties.json中的includePath项引入对应库的/include目录。 对于Cmake项目，利用CMakeTools （Miscrosoft官方为Vscode提供的Cmake插件）一键基于CMakeList.txt生成/build目录，在通过内置终端make并运行。 对于Cmake项目，同时使用CppTools与CMakeTools ，高度自动化的...

前言本着「 Learning by Doing 」的想法，刚入坑两周的我决定参加LudumDare46去体验完整的小游戏开发过程，由于并没有学过原型实现工具，因此工程上就采用速成的U3D，美术素材部分基于现有素材的二次修改，其余用Aseprite绘制，音乐选自opengameart.org的Dont touch it，个人觉得不错就使用了。 Day1： 构思想法，实现原型第一天公布早上八点半起床，嗦碗粉到九点Twitter确认主题 Keep it alive。当时U3D技术水平只做过一些2D Platformer的实现，因此我能做的游戏形式并没有多少选择。很快我就决定做2D Platformer了，综合看来这一唯一可行的方案，回到主题 Keep it alive，当时立刻想到了一款忘记名字的游戏Demo，主角的生命进入倒计时，通过击杀敌人可以延续倒计时时长，玩家需要在固定场景内击杀不断涌现的敌人来延续生命（怒火攻心内味）。 但是这种方案对我来说工作量可能较大，而且这个想法比较容易想到，就没有采用。之后我基本上是围绕 it 去想，代入了很多游戏元素，最后决定让 it ...

前言本文行文比较随意，作为即时记录通关之后的想法。 主要思考了下第二部在level-up机制，boss战，核心玩法上的改变。 安全区设立了一个类似基地和安全区一样的场景——泉源林地，在这里你可以和基莫聊天，了解它们的故事，可以和各类功能性NPC对话提升自己的能力，同样通过以种树和修缮的方式看到自己冒险对森林和栖息之中的生物带来的改变。“安全区”的设定容易与剧情关联增强代入感，同时提供更持久更完整且贯穿游戏主线的反馈。 Level-up机制Level-up机制：奥日中的level-up机制主要由精灵碎片（装备）和精灵技能（技能）组成。精灵碎片可以通过地图探索或精灵之光获得，升级则中能通过精灵之光；精灵技能可以通过探索吸收精灵之树获得，或者通过精灵之光购买。这种level-up机制显然提供了更多样性的体验，Ori2 将游戏的探索体验和战斗体验大致分离，分别由碎片和技能两个不同的机制承担，但探索和战斗的分离却不是完全独立的，精灵碎片同样提供了战斗加成（例如增伤和减防等熟悉BUFF），精灵技能同样为探索提供了便利（炮弹跳跃，精灵猛击，闪光，灵光迸发，煽动），但是不难发现，技能对探索和...

前言主要根据个人的学习情况记录一些游戏分析与解构的常用框架、关注重心和实际方法。仅代表个人观点，可能与他人观点或书本有出入。 基本框架这里首先需要明确框架的意义，其主要目的是通过提供偏范式化的思维体系帮助游戏设计师更全面而细致的观察、分析或是构建一款游戏，切勿陷入完全的教条主义，使用时需同时结合思维体系和实践经验对游戏无论是优秀或是缺陷的设计进行更深入的认知。 常见的游戏分析框架有三种：MDA、FDD和四元法，每种框架都有各自的侧重点。 MDAMDA即机制（Mechanics）、动态（Dynamics）、美学（Aesthetics），于2004年的游戏学论文《MDA：游戏设计的和研究的形式方法》中正式提出，主要强调设计师应首先关注游戏的美学，其次再处理动态和机制。 使用MDA框架的重点在于如何认知包含的机制、动态、美学三大元素。它们的标准化定义如下： 机制：游戏数据层面的组件、算法和逻辑 动态：玩家行为与游戏系统之间的互动反馈 美学：玩家交互时产生的体验与情感。 说简洁点，机制、动态、美学分别代表工程，互动和体验。这里容易产生的一个误区是，美术、音效、音乐等资源更适合归类于动...

记录对这个框架的基本理解，一些重要的API和一些工程实践。 三个核心： 所有的数据都是张量 所有计算都是计算图 执行运算和管理资源都要使用会话 一些基本运行原理：Tensorflow的所有计算都在计算图（Graph）中运行，通过集合（Collection）管理资源（变量、张量、队列资源），其中TensorFlow维护了一个tf.GraphKeys.VARIABLES的集合，该集合包含了所有的变量。 例如a = tf.constan([1.0,2.0],name="a")中，tf.constant是一个计算，计算的结果是一个Tensor，每一个Tensor都有三个属性： 名字（name），作为张量的唯一标识符。 维度（shape），描述张量的维度信息，例如shape=(3,3,1)表示该张量有三个维度（可以理解为多维数组），各个维度长度分别为3,3,1，采用None则表示该维度不定长。 类型（type），数据类型，同其他编程语言。 logits: 一个事件发生与该事件不发生的比值的对数 note1234567891011121314151617181...

记录打比赛时期做的一些web练习题 后几周的因为架构变复杂了，就懒得记录里，思路其实都差不多。 WEEK 1加了报错的注入 实验吧：http://ctf5.shiyanbar.com/web/baocuo/index.php 查看页面源码，注释说明有sql注入 然后测试一下username和password，发现有过滤 bp简单爆破一下过滤字符，得出结果： username过滤了( ) = #等字符以及order by等关键字, password过滤了# = ; 等字符以及updatexml()和ext()两个报错函数。 在伟大的搜索引擎的帮助下，我们查到了这两个报错函数的信息,顺便搜到了注入格式。 爆数据库测试一下可用 然后爆表名，列名，flag，注意到=被过滤，换LIKE，结果LIKE也被过滤，于是换上了正则regexp,同样show也被过滤。 12345678910payload:username=1' and updatexml/*&password=*/(1,concat(0x24,(select database()),0x24),1)...

最近科三考试临近，疲惫的练车时光就要结束了，彩六也是打到手软才突然想起要学习，决定挤出了点时间研究下sql inject，在这里做下记录和小结。 什么是注入？注入(inject)攻击产生的本质原因是输入过滤机制的不完善，导致攻击者可以利用输入数据构造执行代码，从而造成信息泄露、数据损坏、服务宕机等一系列问题。由于注入(inject)攻击常常导致严重后果，进一步催生了`一切输入有害的重要安全思想。 注入如何产生？个人认为注入攻击产生的本质是：当一段输入数据需要添加到另一端执行指令或代码中时，攻击者可以根据指令或代码的语法刻意构造一段输入数据，造成的输入数据作为指令执行的错误。 例如在PHP + MySQL平台下： 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960<?php $name = $_POST['name']; $con = mysqli_connect(&quo...

前言这篇文章为纯新手向，主要内容利用github平台快速建立并托管个人Hexo的Next网站，无论文科生和理科生，都能在一个小时左右完成部署，平台为windows。 为阅读本文章，你需要同时阅读：Hexo官方文档Next主题官方文档Markdown语法参考 Hexo + Github模式优点 节省购置服务器的费用 快速搭建，快速部署 学习成本低，学习价值高 主要步骤一. 建立github仓库二. 建立本地Hexo博客三. 配置本地Hexo博客四. 连接本地Hexo与gitpages 开始搭建吧！建立github仓库开始之前确保已注册github帐号并下载gitbash。如果还没有，请参考：极客学院github初识教程完成注册和下载。 点击创建仓库 如图输入仓库名，其中方框部分应与github用户名一致 强调：红色方框中的输入内容应为用户名，否则无法托管。 建立本地Hexo博客请先自主阅读Hexo官方文档-概述，若按照官方文档已完成安装，可以跳过该步骤。 安装Node.js从Node.js官网下载并安装Node.js环境，推荐LTS（Long-Term-Su...