学习观

时间之矢

 信息与熵

  定义

   熵:某人对某事是哪种情况的不确定性

   信息:消除该人对该事不确定性的事物

    调整情况概率

    排出干扰情况

    确定实际情况

  性质

   信息量相对观察者

   信息量相对于事件

   信息量与媒介无关

   不随主观意识改变

  计算

   离散均匀分布

    

   离散分布

    

 熵增定律

宇宙的熵增意味着要想减熵就必须获取对应的信息,想获得信息就需要高品质能量,否则生命就无法维持自身宏观态

  方向:万物都会向熵最大的宏观态改变

   能量、财产、生命、公司

  热平衡:熵最大(微观态数量最多)的宏观态

   热寂:整个宇宙的热平衡

 兰道尔极限

只提信息并不是忽略物理减熵,而是由于热力学熵和信息熵二者可相互转换。

这也是为什么软件等“虚拟经济”可以创造价值,因为允许我们生存(减熵)的不是能量,而是能量的转移(做功),所以可制造能量差的信息就能够创造价值(负熵)。

  改变 1 bit 信息 = 改变 k ln 2 J/T 热力学熵 = 消耗 k T ln2 J 能量(量子差)

仅为理论极限,目前完全无法达到

耗散系统

 智能体

忽略其他因素,只考虑信息的“生命”。好处是可以更容易看清如何用计算机实现“生命”

  定义:自主获取信息来减熵从而维持宏观态

   麦克斯韦妖

  智能

三个定义完全等价

   减熵的能力

   获取信息的能力

   学习知识和使用知识的能力

  方式:靠学习模型来获取信息

   可观测信息预测不可观测信息

    不可观测信息无法感知,只能依靠可观测信息与不可观测信息之间构建的模型来预测,所以我们的感知并不求真,只会求存

  方向:增大智能

   单元增强

增加个体的智能

   相变增强

量变造成质变的涌现来增强智能

    稳定性条件

    组织性条件

  条件

   获能

    获取能量的能力

   学习

    学习模型的能力

     信息准备

      输入-->输出

     模型备选

     模型筛选

   预测

    使用模型的能力

   存储

    存储模型的能力

   熵差

    熵减需大于熵增

 第一套

最初的耗散系统可能是RNA负责学习、预测、存储于一身,而能量由热泉喷发口提供

  获能

   化能合成

  学习

   演化

    信息准备

     自然选择

    模型备选

     差异繁衍

    模型筛选

     自然选择

  预测

   蛋白质涌现

  存储

   DNA代码

  熵差

   环境:相对静止的液态环境

   策略

    小范围移动

 第二套

第一套与第二套之间是有神经演化算法过渡的,也就是感官系统和运动系统等的建立。感兴趣可以查deepmind在17年发表的https://blog.openai.com/evolution-strategies/

  获能

   线粒体

    ATP

  学习

   演化

最初配合演化的神经网络是可以遗传的,属于强化学习。直到演化出感官后可以接受信息和存储信息才拥有了监督学习能力

    有性生殖

保证稳定性的基础上增加差异性。在所涌现的下一个层级上进行演化

    生理模型

     恐惧心

     好奇心

      好奇心的作用

       搜集素材

        为了搜集例子,完善自己的世界模型

       建立模型

        演化的奖励机制

         伏膈核与VTA

        强行下结论

         人啊,还是要看命

      好奇心的对象

       例子

        输入

        输出

       知识

        分类

         从属、边界

        回归

         条件、步骤

      好奇心的应用

       演讲

        寓言故事

         智者以故事形式阐述道理

        故事引入

         任务的输入输出瞬间明确

       标题

        例子残缺

只给你输入或输出(不全给),恐怖电影我们也会想要知道原因

         输入

          发生某事的原因

         输出

          某事会发生什么

        知识白送

         回归

          教你怎么做某事

         分类

          真正爱你的男人

       学习

        自我相关

         与你生活相关

        自我提问

         一阶知识

          分类

           它是什么

            what

           为什么是

            why

          回归

           它的目的

            goal

           如何达成

            how

         二阶知识

          组合关系

           它有什么

            elements

          执行步骤

           先后顺序

            steps

       广告

        知识包装

         给你知识的同时灌输广告

        特例说服

         谁家孩子就是这么治好的

      好奇心的敌人

       权威思维

乔布斯手机没有按钮的例子

        不独立思考,只相信唯一权威

       固执心理

        拒绝新知识

         这个没用

        归为旧已知

         这个不就是那个啥吗

     固执心

   神经网络

    信息准备

     ???

    模型备选

     ???

    模型筛选

     ???

  预测

   细胞涌现

还有组织、器官的涌现。

  存储

   突触受体

  熵差

   环境:随移动而变化的环境

   策略

    植物靠果实让动物帮助有性生殖

    反馈循环

     正反馈

     负反馈

    对抗模型

捕食者与被捕食者的军备竞赛所形成的正反馈

    实时感官

     用上一时刻信息预测下一时刻信息

 直接结论

  总原则

   从有限例子找出规律

   压缩信息来预测未知

   明确输入输出

   重塑大脑链接

  运动类

   特点

    速度快、精度低、容错高

    多因素、可并行

    例子

(速度快、精度低、容错高, 多因素、可并行)

     运动乐器

     外语学习

      1.看单词的外语解释

      2.多看例句体会意思

      3.选择常用的简单句

       读:看句子 --- 想场景

       写:表达欲 --- 打出字

       听:听句子 --- 想场景

       说:表达欲 --- 说句子

      4.替换简单句的单词

       读:看句子 --- 想场景

       写:表达欲 --- 打出字

       听:听句子 --- 想场景

       说:表达欲 --- 说句子

   方法

    明确输入输出

    重塑大脑链接

     保证充足睡眠

  思考类

   特点

    速度慢、精度高、容错低

    单因素、无法并行

    例子

(速度慢、精度高、容错低, 单因素、无法并行)

     逻辑推断

     思考计算

   方法

    思维导图

     导图原理

      使用材料

       输入:庞杂信息

       输出:知识网络

      使用目的

       拆分知识

        正向

        逆向

       二阶知识

        并列组合

        条件循环

      使用场景

       学习

寻找输入和输出之间的关系,

然而现实中的关系往往无法直接得出,

需要拆分问题

        目的

         将要大知识拆分为成小知识的组合

        优点

         压缩信息,节省笔记空间

         曾经的知识可被重用,可用更少例子来学习, 不用题海战术也能学会,用题海战术则更强

       应用

我们的大脑无法直接找到可以解决某个任务的知识,需要不断的拆分任务,直到可以用已掌握的知识来解决为止。

        目的

         将任务需要的无知知识拆分为已掌握的知识

        优点

         可用更少的知识来解决问题,快速找到解决方案

     使用步骤

      搜集例子

如何搜集例子

       头脑风暴

       上网调查

      自我提问

要怎么提问

       一阶知识

        分类

         它是什么

          what

         为什么是

          why

        回归

         它的目的

          goal

         如何达成

          how

       二阶知识

        组合关系

         它有什么

          elements

        执行步骤

         先后顺序

          steps

     使用技巧

      工具使用

       外框

        视角、注意力

       联系

        跨层知识关系

       笔记

        知识描述

       概要

        显示描述

      知识命名

       定语名词

       动词宾语

      使用误区

       记录所有信息

       知识间不独立

       记忆他人导图

       从不验证更新

       画无规律信息

    费曼技巧

     学习

      明确输入输出任务

      将信息压缩成知识

      理清关系与拆分知识

      用例子重塑大脑链接

     解释

      压缩信息

      转为语言

       明确新例子的输入输出任务

       理清新例子的关系与拆分知识

      列举例子

       新例子

       新视角

     验证新情况

(解释)

     学习旧例子

(学习)