研究現況 2001
Activities 2001
●予測自己組織化マップ(P-SOM)
廣瀬 明
予測自己組織化マップについて、その雑音特性の解析を行った。具体的な応用例として、無線通信を考える。直交周波数分割多重(OFDM)無線通信方式は遅延時間差の大小にかかわらず劣化が小さい点で優れており、現状の符号分割多重アクセス(CDMA)方式の次世代方式として有望である。しかしこの方式は回路技術上等価的にビットレートの低下と同等の作用を及ぼすため、位相追従を含めた適応的復調に工夫が必要となる。自己組織化マップ(SOM)は、通信信号の非線形変化にも対応可能な高度な適応力を持ったベクトル量子化手法である。一方、ディジタル復調で用いられようとしている準同期検波方式で得られる受信信号は位相回転を伴うため、このような常時移動信号に弱いSOMの適用の大きな障害となっている。我々は、新たに予測自己組織化マップ(P-SOM)を提案し、これを解決することに成功した。P-SOMは、信号値自身に対する参照点のほかに、信号移動の時間微分値に対する参照点を有し、「予測参照点」を生成する。それによって、移動する信号クラスタの平均速度や平均加速度等を考慮したベクトル量子化を可能にする手法である。本手法によって、従来型SOMの10倍以上速さの位相回転に追随する適応復調システムを構成することに成功した。また、その詳細な雑音解析にも成功した。その見通しの良い結果から、P-SOMはSOMのみならず一般的な多くの適応処理を包含する一つのクラスを構成することが明らかになりつつある。
●ベクトル場マシン
廣瀬 明、柳井孝介
ニューラルネットワークを空間的に連続的に拡張する、全く新しい情報処理システムである、ベクトル場マシンの基礎概念を提案した。現在、その基本的性質の数理的解析を進めている。
●位相情報に着目した音声信号の解析と合成
廣瀬 明、津田圭一
内耳の蝸牛では有毛細胞が音エネルギー(振幅)を活動電位に変換し、音程がその変換位置を決定している。そのため、音の位相情報に対して、耳は感応しないと通常考えられている。一方で、音声波形は各周波数の音波波形の相対的な位相に依存しており、ピッチマーク位置などに大きな影響を与えることも事実である。そこで、音声信号の位相情報に着目し、それを用いた音声信号解析と、整合的で適応的な音声信号合成を進めている。その利点は、次の2つである。(1)ピッチ抽出などに頼ることなく微視的な音声合成を行える可能性があり、従来法に比べて自由度の高い解析・合成方法が実現できる。(2)無声音と有声音の両方を整合的に扱える。現在実験とともに理論解析を行っている。
●複素マルコフ・ランダム・フィールド(CMRF)モデルに基く干渉型合成開口レーダ(InSAR)画像の修復と多機能適応区分
廣瀬 明、アンドリヤン バユ スクスモノ、南本
本年は干渉型合成開口レーダ(InSAR)画像の適応処理に関して、次の2つの研究を進めた。 (1)InSAR画像を適応的に修復するために、Monte Carlo Metropolis 法と複素マルコフ・ランダム・ フィールド(CMRF) モデルを組合わせる方法を考案し、それに基いて確率的に画像テクスチャの修復を行う複素ニューラルネットワークを提案した。統計的な特徴ベクトルとして、複素振幅空間における平均、共分散などを用いた。それによって、画像に高密度で分布している位相特異点を実質的に解消することに成功し、高速で高精度の位相アンラッピング方法を実現した。その結果、InSAR画像から極めて高品質のディジタル・エレベーション・マップ(DEM)を自動的に生成できることを示した。 (2)一般的に画像を区分する方法には、テクスチャ区分と画素値区分がある。本年は、干渉型合成開口レーダ(InSAR)のような複素振幅画像を画素値区分する新たな改良型手法を提案した。Gemanらの領域ベース結合によるグレー・スケール画像の画素値区分方法を複素振幅情報空間に拡張し、またラベルも複素化することにより、完全複素領域ベース結合画像区分化ニューラルネットワークを提案した。このニューラルネットワークは、生データを入力する入力層の他に、雑音が軽減された複素推定画像層と複素連続ラベルを内部信号として持つラベル層とを有する。相関相互作用は、すべて複素データ空間で行われる。本方式によって富士山近傍のInSARデータを高度・反射度分類したところ、山中湖の切り出しや富士宮市の市街・郊外分類および高度分類に成功した。またニューロ・パラメータを選択することにより、分類性格を制御することが可能であることも併せて示した。現在、結果的に得られるラベルの離散性をより高めたダイナミクスを考案し、ラベルの連続性・離散性についても必要に応じて可変とできるように更新しつつある。
●アナログ・ニューラルネットワークの雑音および動作解析
廣瀬 明、中沢一彦
ニューラルネットワークは、高周波応用の超高速動作あるいはインターフェイスの超並列動作などの場面では、アナログ・ハードウエア(しかもパルスによらない)によって実現されることが必須となる。ところが従来、アナログ・ニューロはその動作が雑音(主として結合荷重精度の不足やドリフト)のために不安定であるとされ、敬遠されてきた。また多層またはリカレント結合ネットワークの高周波における雑音の性質も明らかではなかった。本研究は、これらを明らかにすることにより、真にハードウエア・ニューラルネットワークが構築され有用に用いられるための指針を得ようとするものである。これまでに、ディスクリート部品による回路およびVDECカスタムチップによる回路に対する計測を進めてきた。その結果、ニューロンユニットの回路構成およびシナプス抵抗の電圧対称性および遅延対称性が、ニューラルネットワーク動作に極めて大きな影響を及ぼすことが明らかになった。そこで、(1)小信号特性および大振幅特性の電圧対称性が高く高速な、対称結合CMOSシナプス回路と(2)高速で反転・非反転出力に信号・遅延非対称性の少ない、対称ニューロン回路を新たに考案した。それによって、振幅(電圧および電流)の対称性と遅延時間対称性が非常に高い連想記憶回路を提案した。そしてディスクリート部品による作製およびVDECによるチップ作製によって、その動作を検証した。その結果、これら新回路の利用によって優れた連想学習特性および連想想起特性を得ることが可能であることが確認された。また、人為的に対称性を崩した実験いより、理論どおり連想特性の劣化が見られ、理論の定量性も確認された。
●コヒーレント光波ニューラルネットワークの光周波数多重化
廣瀬 明、川田宗太郎
コヒーレント光波ニューラルネットワークは、光波の位相、周波数、および振幅の情報を利用する、高機能ニューラルネットワーク・ハードウエアである。特に光波は電子回路に比べて格段に広い周波数帯域を有するため、これを光周波数分割によって並列利用できれば、並列分散性にその特長を有するニューラルネットワーク情報処理にとって大きな利点となる。本年は、光波のキャリア周波数によってその動作を制御することができるシステムを構築した。本システムでは、半導体レーザの直接周波数変調によりキャリア周波数を可変とし、また光路差を取り入れたホモダイン光学系の周波数依存性干渉を用いて、周波数依存の連想記憶を行う。複素振幅ベクトルを記憶する連想記憶システムが、キャリア周波数の変化にしたがってそれぞれ異なるパターンを正しく想起することを実験によって実証することに成功した。
●脳型情報処理:記号処理・パターン処理の融合と能動性発現機構
廣瀬明、石丸大
能動性は、将来の脳型情報処理システムの不可欠な機能であると考えられている。そしてそれは、複数のニューロモジュールをスイッチで切りかえることにより(工学的には)実現されつつある。しかしこの場合、予めモジュールの数を決定しまたスイッチ機構を用意しておく必要があり、自己組織化させることが困難であった。この問題を解決するため、これまでに次の2つの提案を行い実験を進めてきた。 (1)拡張複素一般化Hebb則(CGHA)を考案・提案して、複素ニューラルネットワークの動作スイッチのための記号生成を実現することに成功した。CGHAのアイデアは1997年にMITのZhangらによって提案され、ソナー信号の独立成分解析(ICA)に用いられた。我々は、この原理を修正し、コヒーレント型ニューラルネットワーク(動作がキャリア周波数に依存する)の動作切替のための記号情報生成に用いることを提案した。これまでにパターン入力に対する記号情報抽出に成功し、現在スイッチングによる文脈依存動作の実現を進めている。 (2)我々はこれまでに、能動性を自己組織化させる方法として、コヒーレント型ニューラルネットワークの性質の一つであるキャリア周波数制御性を利用することにより、自己組織化可能な能動性機構を実現する方法を提案している。この場合、キャリアスペクトル形状を意識状態に対応させることによって、文脈依存性などの能動性に特徴的な動作を発現させることが可能になると期待される。本年は、特に(2)に関して、文脈依存性のデモンストレーションに成功した。入力毎にキャリア周波数を異なる値へと自己組織的に収束させることに成功して、連想想起も行われることが確認できた。また、入力が切り替わる直前の内部状態により、同じ入力に対してもキャリア周波数の収束先が異なる文脈依存性の実現にも成功した。
●興奮性後シナプス電位と活動電位のそれぞれに伴う磁界の定量的評価
廣瀬 明、酒谷 誠一、濱野敏彦
神経細胞の形や大きさは千差万別で、非常にバリエーションに富んでいる。それぞれの細胞は、神経系のさまざまな部位と機能に適応して、その形を変化させたと考えられる。しかし、細胞形状が神経細胞の発火特性に与える影響は必ずしも明確にされてはいない。本年は、錐体細胞形状の変化が細胞の発火特性に与える影響を数値解析的に評価した。我々は解析手法として、マイクロ・コンパートメントモデルを提案する。ギニア豚の海馬CA3における錐体細胞を模擬したマイクロ・コンパートメントモデルにおいて、細胞形状を変化させ、細胞の発火特性の定量的解析を行った。その結果、(1)大きな刺激に対しては尖樹状突起基部の形状が鋭いほうが発火頻度は大きいこと、(2)尖樹状突起からのシナプス刺激に対して尖樹状突起基部の形状が鋭い方が発火にかかる潜時は小さいこと、が明らかになった。これらの結果から、錐体細胞は尖樹状突起からの刺激に対して高感度に反応するようにその形状を変化させたと考えられる。さらに、我々が提案する2次元膜電位方程式によって、現在、その詳細なダイナミクスを解析している。その結果、波面の曲率が主要な原因になっていることが明らかになりつつある。詳細は近々報告する。
●Predictive self-organizing map (P-SOM)
Akira Hirose
We have investigated the noise characteristics of the predictive self-organizing map (P-SOM) that performs an adaptive vector quantization of migratory time-sequential signals whose stochastic properties such as average values of signals in each cluster are varying continuously. As an example, we assume a mobile communications. The P-SOM possesses not only the weights corresponding to the signal values themselves but also those related to the time-derivative information. All the weights self-organize to predict appropriate future reference vectors. The prediction using the time-derivative weights brings the separation of continuously varying components from random noise components, resulting in a better performance of the adaptive vector quantization. An application to a mobile communication receiver using quasi-coherent detection has been presented assuming the future OFDM communications where the bit rate of each stream is equivalently very lower. Simulation experiments on the bit-error rate performance have demonstrated that the P-SOM adaptive demodulator has a superior capability to track phase rotations caused by the Doppler effect. Theoretical noise evaluations have also been reported for the conventional SOM and the P-SOM and compared with the experimental results. It is going to be found that the P-SOM makes a class including not only the SOM but also a wide variety of adaptive processing.
●The Vector Field Machine
Akira Hirose, Kosuke Yanai
We propose the Vector Field Machine: a spatially continuous extension of neural networks. We analyze its fundamental characteristics mathematically.
●Speech analysis and synthesis focusing on phase information
Akira Hirose, Keiichi Tsuda
In the cochlear, the hair cells convert sonic energy (amplitude) into action potentials, while the pitch determines the location of the conversion in the cochlear duct. Therefore it is widely considered that the ears do not sense phase information. On the other hand, it is also true that the relative phase shifts between various frequency components affect the sonic waveform, in particular, the pitch mark position. Hence, we concentrate upon phase information to analyze and synthesize speech signals adaptively. The prospective merits of our approach are as follows. (1)Our proposal possibly leads to a realization a pitch-detection-free microscopic speech analysis and synthesis so that the process has a higher degree of freedom in the speech treatments. (2)We can deal with vowel (voiced) and consonant (unvoiced) sound consistently in our framework. We now conduct experiments to evaluate our method.
●Interferometric SAR image restoration and adaptive multifunctional clustering based on the complex-valued Markov random field model
Akira Hirose, Andriyan Bayu Suksmono, Motoi Minami
The following two subjects have been investigated. (1)We have presented a novel method of interferometric synthetic aperture radar (InSAR) image restoration. An InSAR image is modeled as a complex-valued Markov random field (CMRF). Corrupted parts, which are indicated by residues in phase data, are restored by using the Monte Carlo Metropolis (MM) method based on their uncorrupted neighbor’s CMRF parameter values. The system is implemented as a complex-valued neural network. The restoration process reduces the residue number successfully, which is useful in the phase unwrapping process. The advantage of the method is demonstrated in the unwrapping process of an InSAR image that contains highly dense residues. (2)We have proposed the complex-valued region-based-coupling image clustering (continuous soft segmentation) neural networks for interferometric radar image processing. They deal with the amplitude and phase information of radar data as a combined complex-amplitude image. Thereby, not only the reflectance but also the distance (optical length) are consistently taken into account for the clustering process. A continuous complex-valued label is employed whose structure is the same as that of input raw data and estimation image. Experiments have demonstrated successfully the clustering operations for interferometric synthetic aperture radar (InSAR) images. Now we are to develop an improved dynamics with which we can obtain a label image more controllable in the discreteness or continuity. The method is applicable also to future radar systems for image acquisition in, e.g., invisible fire smoke places and intelligent transportation systems by generating a processed image more recognizable by human and automatic recognition machine.
●Noise and operation analysis of analog neural network hardware
Akira Hirose, Kazuhiko Nakazawa
Neural networks have to be implemented as an analog hardware (non-pulse type) when used for high-frequency applications (ultra high speed signal processing) or as a massively parallel interface (ultra highly parallel processing). Nevertheless, the analog neural networks have not been investigated widely because of the unstable behavior affected by noise (including insufficient accuracy of weights and large drift). The noise spectrum in high frequency regions has still been unclear. We aim at realizing an effectively useful analog hardware by elucidating the origin of such weakness. Previously we conducted measurement of characteristics of two kinds of associative memories (recurrent networks); i.e., a discrete component network and a VDEC custom chip network. The measurement results showed that the recalling process is affected to a great extent by the symmetricalness of the neuron-unit circuit and the synaptic resistors. This year, in order to overcome these problems, we proposed (1)a quick-response synaptic weight with high symmetry in both small-signal and large-amplitude operation and (2)an open-loop, quick-response and parallel-symmetric neuron circuit that has inverse and non-inverse output with high symmetry in delay and voltage- and current- amplitude. We have reported the successful fabrication and superior performance of our new associative memory chip. We have also confirmed the quantitative consistency of our degradation theory by changing the symmetry by modulating the circuit operation.
●Frequency-domain multiplication in coherent lightface neural networks
Akira Hirose, Sotaro Kawata
The coherent lightwave neural network is a highly functional neural hardware utilizing the phase, frequency and amplitude of the carrier lightwave. In particular, the network parallelism, which is the most specific structure of the neural systems, can be much increased because lightwave has a tremendously wide frequency bandwidth which can be used for the frequency domain multiplexing (FDM). This year we have constructed a coherent lightwave neural network system whose behavior can be controlled by the lightwave carrier frequency. In experiments, the frequency of the light source (laser diode) is controlled by adjusting the injection current appropriately. We utilize the dependence of interference on the lightwave frequency arising from the difference of optical path lengths between the signal and the reference. The experiments demonstrate that the associative memory recalls different complex-amplitude patterns successfully according to the carrier frequency variation.
●Self-organizing activeness mechanisms: Complex-valued Generalized Hebbian Algorithm (CGHA) for symbol information generation and Carrier-frequency utilization for context-dependent behaviors in coherent neural networks
Akira Hirose, Dai Ishimaru
The activeness is considered an indispensable function in the future brain-type information processing systems. In the present state of the art in engineering, the function is realized by switching plural neural modules. However, in this case, we have to determine the module numbers and prepare the switches beforehand. In other word, the mechanism cannot self-organize. We have proposed the following two ideas and investigated the related topics as follows. (1)We proposed an extended complex-valued generalized Hebbian algorithm (CGHA) to generate symbol information used in switching of complex-valued neural-network behaviors. The basic idea of the CGHA was proposed in 1997 by Zhang et al. at the MIT and used in the independent component analysis (ICA) of sonar signals. We modified the CGHA to generate symbol information to switch the frequency-dependent coherent network behaviors for pattern input signals. (2)Previously we proposed the utilization of carrier-frequency controllability in coherent neural networks to realize the self-organization of an activeness mechanism. Thereby we expect that the system obtain active behavior such as context dependence by relating the carrier spectrum profile to various consciousness states. This year, we have constructed a coherent neural network in which each neural connection has plural synaptic connections with different delay time to demonstrate that a different carrier frequency give rise to a different associative-memory behavior. We have demonstrated the context-dependent network behavior successfully. The neural behavior mode of a coherent neural network is controlled by a self-organizing internal signal extracting network. Experiments demonstrated a context dependent behavior successfully through the self-organization.. We now expect that the activeness mechanism required in the future brain-type systems will be realized by combining the present result with the frequency-domain self-organization principle.
●Quantitative evaluation of the influence of neuron shape changes on the firing characteristics
Akira Hirose, Seiichi Sakatani, Toshihiko Hamano
The neuron is highly full of variety in its shape and size. Each neuron changes the shape to adapt to the region and function in the nervous system. The influence of neuron shape on the firing characteristics, however, has still been unclear. In this paper, we evaluate numerically the influence of the changes of the neuron shape on the firing characteristics. We have proposed the micro-compartmental model and constructed a new neuronal model of the pyramidal cell at the CA3 hippocampus to analyze quantitatively the firing characteristics. We find the following facts. (1)The firing frequency is higher if the shape of the apical-dendrite hillock is sharper. (2)The firing latency is shorter for the apical-dendrite synaptic stimulus if the shape of the apical^dendrite hillock is sharper. These facts lead to a hypothesis that the shape has changed to response more sensitively to the stimulus at the apical dendrite. Furthermore, we developed the two-dimensional membrane potential equations to analyze microscopically the dynamics of the shape dependence. It has been found that the dynamics depends on the curvature of the wavefront. The detail will be reported in the near future.
 
論文・著書一覧(2001年度)
Publications List
研究論文
[1] A.Hirose, M.Minami: Complex-valued region-based-coupling image clustering neural networks for interferometric radar image processing, IEICE Trans. on Electron., E84-C, 12 (2001) 1932-1938.
[2] A.Hirose, S.Murakami: Spatiotemporal equations expressing microscopic two-dimensional membrane-potential dynamics, Neurocomputing, 43 (2002) 185-196.
[3] A.B.Suksmono, A.Hirose: Interferometric SAR image restoration using Monte-Carlo Metropolis method, IEEE Trans. on Signal Processing, 50, 2 (2002) 290-298.

国際会議論文
[4] A.B.Suksmono, A.Hirose: A study on interferometric SAR image restoration using complex-valued neural networks and its application to phase unwrapping problem, CEOS SAR Workshop 2001, Proc. (April 2-5, 2001, Tokyo) 29-33 (Summary Proc., 22).
[5] S.Sakatani, Y.C.Okada, A.Hirose: A quantitative evaluation of dominant membrane potential in generation of magnetic field using a pyramidal cell model at hippocampus CA3, CNS 2001, Proc. (June 30-July 5, 2001, San Francisco and Pacific Grove) 92.
[6] A.B.Suksmono, A.Hirose: Complex MRF model for interferometric SAR image restoration and its application to phase unwrapping problem, PIERS 2001, Proc. (Jul. 18-22, 2001, Osaka) 265.
[7] A.Hirose, C.Tabata, D.Ishimaru: Coherent neural network architecture realizing a self-organizing activeness mechanism, KES 2001, Proc. (Sept. 6-8, 2001, Osaka) 576-580

総説・解説論文
[8] A.Hirose: Foreword, Special Issue on New Technologies in Signal Processing for Electromagnetic-wave Sensing and Imaging, IEICE Trans. on Electron., E84-C, 12 (2001) 1813.

シンポジウム・研究会・大会等発表
[9] 川田 宗太郎、廣瀬 明: キャリア周波数によってその動作の制御が可能なコヒーレント光波連想記憶システム(Coherent lightwave associative memory system that possesses carrier-frequency controllable behavior), 電子情報通信学会ニューロコンピューティング研究会 NC2001-81 (2001).
[10] 廣瀬 明、長嶋 知行: 移動する信号のベクトル量子化のための予測自己組織化マップ:雑音特性と移動体通信への応用(Predictive self-organizing map for adaptive vector quantization of migratory signals: Noise characteristics and application to mobile communicaions), SOM研究会 SOM2002-13 (2002).
[11] 酒谷 誠一、廣瀬 明: 細胞形状の変化が発火特性に与える影響の定量的評価(Quantitative evaluation of cell shape influences on firing characteristics), 電子情報通信学会MEとバイオサイバネティクス研究会 MBE2001-168 (2002).
[12] 廣瀬 明、長嶋 知行: 移動する信号のベクトル量子化のための予測自己組織化マップの提案とその移動体通信への応用(Predictive self-organizing map for adaptive vector quantization of migratory signals and its application to mobile communicaions), 電子情報通信学会ニューロコンピューティング研究会, NC2001-213 (2002).
[13] 中沢 一彦、廣瀬 明: 対称結合CMOSシナプスによるアナログ連想記憶ニューラルネットワーク(Analog neural associative memory using symmetrically connected CMOS synapses), 電子情報通信学会ニューロコンピューティング研究会, NC2001-219 (2002).
[14] 石丸 大、廣瀬 明: 文脈依存性を発現する機構が自己組織化するキャリア周波数依存型ニューラルネットワークシステム(Coherent neural network system with a self-organizing mechanism for context-dependent behavior), 電子情報通信学会ニューロコンピューティング研究会, NC2001-220 (2002)
[15] 石丸 大、廣瀬 明: 自己組織化機構によりパターン情報をキャリア周波数上に符号化するコヒーレント型ニューラルネットワークシステム(Coherent neural network system that maps adaptively the pattern information in carrier frequency domain), 日本神経回路学会JNNS2001奈良、Proc., 111, P2-2 (2001).
[16] 石丸 大、廣瀬 明: パターン処理システムとノイマン型コンピュータとの海馬系をモデルとした インタフェース(An interface between pattern processing systems and Neumann-type computers based on a hippocampus model), 日本神経回路学会JNNS2001奈良、Proc., 149, P2-21 (2001).
[17] 酒谷 誠一、廣瀬 明: 細胞体の円錐形状が発火および電位逆伝搬に与える影響(Influence of cone shape of soma on firing and backpropagating characteristics), 日本神経回路学会JNNS2001奈良、Proc., 235, P3-26 (2001).

著書
[18] 廣瀬 明: 脳・真似る−高機能パターン情報処理:右脳を真似て超える「スーパー右脳」, 「第三世代の大学 -東京大学新領域創成の挑戦-」、似田貝香問編、東京大学出版会(Feb., 2002).

特許
廣瀬明  長嶋知行 予測自己組織化マップを用いた情報処理方法および該方法を用いた受信方法 特許出願 特願2001-228885