SigProcRandWalk wrote a comment.

2019/05/29 09:40

↓改行が反映されないようで、読みづらくすみません。

SigProcRandWalk wrote a comment.

2019/05/29 09:38

普段は線形空間内で画像処理や信号処理をやっている SigProcRandWalk：SPRWと申します。 自分は今回の読書会を通じていろいろなヒントをいただけてる ように思いまして、せっかくなので今のところの考えをまと めてコメントにしようと思いました。 普段関係してる分野から、線形空間に注目して読書会当日の 内容を振り返ったのですが、まず「グラフ（座標系）の埋め 込み方」に関して、前半と後半で「グラフの決め方」が違うの かなと思いました。 ［前半の話］ 「6個のグラフを埋め込んで大域的な空間をカバーする」や 「2個のグラフを埋め込んで大域的な空間をカバーする」など。 上のグラフは線形空間であるという言及はない（おそらく 線形ではない）。 なぜかグラフの数は少ないほうが良いという雰囲気がある。 ［後半（接ベクトルの説明以降）の話］ 「接ベクトルで決まる局所的な線形空間をグラフとして埋め込み 　大域的な空間をカバーする。ただし、大域的な空間をカバー 　するには上記のグラフが多数必要。おそらく無限個」 前半の話に発展性があるかは分かりませんが、後半の話には 次のようなことができる可能性があり、面白いなと思いました。 「局所的な線形空間が多数あることで、大域的な空間をカバー 　できる。線形空間は曲がってないので、大域的な空間が 　曲がってる場合には、その曲がりの影響は多数ある局所的な 　線形空間同士の関係性に表れてなければならない（例えば 　隣接する局所的空間同士の一階微分、二階微分、三階微分… 　などや、その他の関係）」 　 線形空間であれば、使用できる多くのテクニック（例えば、 フーリエ変換やその他の直交変換や線形変換、固有値分解、 線形予測、など）がありますが、これらのテクニックを 曲がった空間内で用いると曲がってる分だけおそらく誤差が 増大するはずです。 そこで、 「局所的な線形空間の各々に対して上記のテクニックを 　作用させ、何らかの情報（周波数に応じたパワーや位相 　だったり、固有値だったり、予測値だったり）を取り 　出した後に、局所的な線形空間同士の関係を用いて、 　上記の情報を大域的空間に埋め込む」 と考えてみます。これが可能であれば、線形空間で使用でき てた上記の各種テクニックを、曲がった空間にも適用できる ように拡張できたことになります。 線形空間で行われる処理には歴史がありなじみの深い道具箱 という感じがありますが、これらを曲がった空間用にまとめて 拡張でき（各々の処理向けに微調整が必要でも）、そのため のフレームワークのような役割が「情報幾何学」にあるのなら、 インパクトのある話だなと思います。 また上記の各種テクニックを深層でないニューラル・ ネットワーク（線形性の強いデータ、線形空間、では性能が 出やすい）に置き換えれば、深層学習の非線形性に対する 性能を説明するのに「情報幾何学」の利用が考えられてる 理由が垣間見えて面白いなと思いました。