nickita startcev (nicka_startcev) wrote,
nickita startcev
nicka_startcev

недодуманное

при почти любой оптимизации систему надо сначала разобрать (ухудшить) а потом собрать более удачным способом.
в обучании нейронных сетей есть такой подход как отжиг. Суть примерно такова:
оптимизация системы описывается примерно как поиск минимума высоты на некоей поверхности, поиск самой глубокой ямы. Тривиальный метод - всегда двигаться вниз, пока есть куда вниз. Но при этом есть риск скатиться в какую-то локальную ямку, в лужу около берега океана. Полным перебором тоже нельзя, ибо теряются все плюсы метода. Итого, остается почти только отжиг.
При отжиге мы одновременно и двигаемся вниз и периодически пинаем себя в разные стороны. При таком пингке можно перелететь через какой-то барьер, например, из лужи в океан, или наоборот, из океана в лужу. Или не перелететь, если пнули слишком слабо. Итого, надо сначала пинать сильно, а потом всё слабее и слабее, чтоб, статистически, последующий более слабый пинок уже не мог перегнать из глубокого океана в мелкую лужу на берегу. Но силу пинков надо уменьшать медленно, чем медленнее это делаем, тем больше вероятность остаться в более глубокой яме.

По идее, что-то подобное можно проделывать и с мозгами: попробовать то, прочитать по это, пощупать что-то третье.. При этом силу пинков надо постепенно ослаблять, и при этом, по возможности, не напрягать систему если она в разобранном состоянии.

Если при этом откуда-то снаружи срочно хотят какой-то четкости и быстрой реакции, то приходится аврально на скртче-жвачке дособирать то, что в текущий момент аккуратно разобрано и смазано, а потом, после пропадания угрозы, разбирать опять.

Вот такая вот пара недосведенных мыслей.

ps: блин, какого хрена у меня умственная деятельность обостряется только через 24 часа после предыдущего отхода ко сну? завязать что-ли не только с кофеином, но и с теобромином?
Subscribe

  • ковид и рубиско

    любопытно, если искать рубиско также тщательно, как ковид у непривитых, то у какого процента обследуемых это рубиско найдется? ps: рубиско - это у…

  • игра слов

    если геном лукьяненко отличается от генома человека, то лукьяненко - не человек.

  • и да

    если ПЦРом в крови можно найти рубиско (реально, в эпоху до озонодыры такая хохма была хохмой), то и сожранный вирус свиного гриппа тоже может…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 6 comments