lotz

@lotz.bsky.social

Haskellで数学を実装するのが趣味です。 機械学習の抽象的で統一された設計技法に興味があります

原論文を読んだけど面白かった。細胞レベルの話で生きている状態と制御による時間発展の方程式が定まってる場合において、どのように制御しても生きている状態に戻れない状態を死と定義する話。生死は補集合になりその境界線がSANZ(三途)と命名されている。系全体の生死を判定するのでグリッド状のセルの生死を個別に判定する話では無かった😌 www.s.u-tokyo.ac.jp/ja/press/105...

Press Releases - 東京大学 大学院理学系研究科・理学部

東京大学 大学院理学系研究科・理学部のプレスリリース情報です。

s.u-tokyo.ac.jp

一つの確率モデルをシミュレーションと推論で使い回すためにProbFXは monad-bayes と違って Conditioning をハンドラでの実行時に制御する方法を取っている✍ 名前の合成の問題(同じ名前のパラメータを含む二つの確率モデルを合成する際に生じる問題)は Tag を文字列でなくパンくずリストのようにすれば解決しそう www.docswell.com/s/lotz/KEX89...

代数的エフェクトで確率的プログラミングを実装する | ドクセル

代数的エフェクトで確率的プログラミングを実装する by lotz

docswell.com

会場が自宅だったのでクローズドだったけど久しぶりに技術的な話の勉強会ができて良かった😌

最初にテンソル積を習った時はバランス写像の定義で、当時は定義から自然さや嬉しさが分からなくて珍紛漢紛だった記憶😇

実数ではなく複素数や四元数を使ったニューラルネットワークを考えると学習時に通常の微分が使えないので、ウィルティンガー微分やGHR微積分を考える必要があるという話。特に四元数におけるGHR微積分は四元数の非可換性から積の微分法や合成関数の微分法が通常の形では成り立たず自動微分の実装に工夫を行う必要がある(のが面白い)/ 四元数ニューラルネットワークとGHR微積分 zenn.dev/lotz/article...

四元数ニューラルネットワークとGHR微積分

zenn.dev

【再掲だけど】 Lensは値を取り出す順方向の流れと、値をセットする逆方向の流れの双方向のデータの流れを表現することができる。これを使えば、ニューラルネットワークにおける順方向の流れである推論と逆方向の流れである学習を Lens を基本的なブロックとして組み合わせることで実現できるという話/ Lensだけで作るニューラルネットワーク zenn.dev/lotz/article...

Lensだけで作るニューラルネットワーク

zenn.dev

【再掲だけど】 最適輸送理論を使ってグラフ上に定義されるリッチフローに沿ってグラフの時間発展を考えると、グラフの中でクラスタになっている部分が分離されてコミュニティ構造が抽出できるという話/ グラフからコミュニティ構造を抽出する 〜リッチフローによるグラフの時間発展〜 zenn.dev/lotz/article...

グラフからコミュニティ構造を抽出する 〜リッチフローによるグラフの時間発展〜

zenn.dev

この概念を使ってこういうことができたら面白そうだなーと思ってたこと、論文読んでたら既に研究されてた😇けど方向性は間違ってなかったしなにより気になってたので読んでて楽しい

数式もLaTeXで書いた方が分かりやすいしもうある程度早く書けるから最近紙と鉛筆を使わなくなってきたなぁ

ブログを書く時、頭の中を吐き出そうとするから毎回プログラムの部分もフルスクラッチで書く癖があってよくない

クライスリ圏がデカルト微分圏(リバースモード自動微分ができる圏)になるようなモナドの話。 Readerモナドも含まれるらしい。プログラムで実装できる非自明な例を見つけれたら面白そうだけどパッとは思いつかないな👀 https://arxiv.org/abs/2308.06859

Cartesian Differential Kleisli Categories

Cartesian differential categories come equipped with a differential combinator which axiomatizes the fundamental properties of the total derivative from differential calculus. The objective of...

arxiv.org

通常のモナドを次数付きモナドに変換するカノニカルな手法を提案してる論文 次数付きにすることで計算に関する定量的な情報を付加できると説明されてる 面白そうだけど具体的に嬉しい例が読んでても分からなかった🤔 https://arxiv.org/abs/2307.16558

Canonical Gradings of Monads

We define a notion of grading of a monoid T in a monoidal category C, relative to a class of morphisms M (which provide a notion of M-subobject). We show that, under reasonable conditions...

arxiv.org

リバースモード自動微分の基礎付けになるような Reverse Differential Category を拡張して、滑らかな多様体なども対象に含むような Reverse Tangent Category が提案されてる パラメータ空間や目的関数の取れる値が多様体になるような場合に必要なんだろうけど、こういうのってプログラム上で自然に表現できたりするんだろうか? (結局普通にR^nで考えて制約条件つけるとかならRDCで十分?) https://arxiv.org/abs/2308.01131

Reverse tangent categories

Previous work has shown that reverse differential categories give an abstract setting for gradient-based learning of functions between Euclidean spaces. However, reverse differential categories...

arxiv.org