home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / text / 9305nni.zip / 930512.PPR < prev    next >
Internet Message Format  |  1993-05-12  |  34KB
  1. From ml-connectionists-request@q.cs.cmu.edu Tue May  4 16:05:50 1993
  2. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  3.     id AA29187; Tue, 4 May 93 01:18:34 -0500
  4. Received: from Q.CS.CMU.EDU by Q.CS.CMU.EDU id ac09675; 3 May 93 17:57:28 EDT
  5. Received: from DST.BOLTZ.CS.CMU.EDU by Q.CS.CMU.EDU id ac09672;
  6.           3 May 93 17:31:41 EDT
  7. Received: from DST.BOLTZ.CS.CMU.EDU by DST.BOLTZ.CS.CMU.EDU id aa10115;
  8.           3 May 93 17:31:03 EDT
  9. Received: from EDRC.CMU.EDU by B.GP.CS.CMU.EDU id aa13044; 3 May 93 15:19:14 EDT
  10. Received: from edison.ee.washington.edu by EDRC.CMU.EDU id aa10632;
  11.           3 May 93 15:18:20 EDT
  12. Received: from pierce.ee.washington.edu. (pierce.ee.washington.edu) by edison.ee.washington.edu
  13.     (5.61/UW-NDC Revision: 2.6 ) id AA02751; Mon, 3 May 93 12:28:57 -0700
  14. Received: by pierce.ee.washington.edu. (4.0/SMI-4.0)
  15.     id AA22673; Mon, 3 May 93 12:18:07 PDT
  16. Date: Mon, 3 May 93 12:18:07 PDT
  17. From: Jenq-Neng Hwang <hwang@pierce.ee.washington.edu>
  18. Message-Id: <9305031918.AA22673@pierce.ee.washington.edu.>
  19. To: Connectionists@cs.cmu.edu
  20. Subject: Markov random field modeling via neural networks
  21. Status: RO
  22.  
  23.  
  24. Technical Report available from neuroprose:
  25.  
  26. TEXTURED IMAGE SYNTHESIS AND SEGMENTATION VIA NEURAL NETWORK
  27. PROBABILISTIC  MODELING
  28.  
  29. Jenq-Neng Hwang,  Eric Tsung-Yen Chen 
  30.  
  31. Information Processing Laboratory 
  32. Department of Electrical Engineering, FT-10 
  33. University of Washington, Seattle, WA 98195 
  34.  
  35.  
  36. ABSTRACT
  37.  
  38. It has been shown that a trained back-propagation neural network
  39. (BPNN) classifier with Kullback-Leibler criterion produces outputs
  40. which   can be interpreted as estimates of Bayesian "a posteriori"
  41. probabilities. Based on this interpretation,  we propose a
  42. back-propagation  neural network (BPNN) approach    for the estimation
  43. of the local conditional distributions of  textured images, which are
  44. commonly represented by a Markov random field (MRF)  formulation.
  45. The proposed BPNN approach overcomes many of the difficulties
  46. encountered in using  MRF formulation.  In particular our approach
  47. does not require the trial-and-error selection of clique functions or
  48. the subsequent laborious and unreliable estimation of clique
  49. parameters. Simulations show that the images synthesized using BPNN 
  50. modeling produced desired artificial/real textures more consistently  
  51. than MRF based methods. Application of the proposed BPNN approach to
  52. segmentation of artificial and real-world textures  is also presented.
  53.  
  54. ================
  55. To obtain copies of the postscript file, please use Jordan Pollack's service
  56. (no hardcopies will be provided):
  57.  
  58. Example:
  59. unix> ftp archive.cis.ohio-state.edu                 (or ftp 128.146.8.52)
  60. Name (archive.cis.ohio-state.edu): anonymous
  61. Password (archive.cis.ohio-state.edu:anonymous): <ret>
  62. ftp> cd pub/neuroprose
  63. ftp> binary
  64. ftp> get hwang.nnmrf.ps.Z
  65. ftp> quit
  66. unix> uncompress  hwang.nnmrf.ps
  67.  
  68. Now print "hwang.nnmrf.ps" as you would any other (postscript) file.
  69.  
  70.  
  71. From ml-connectionists-request@q.cs.cmu.edu Tue May  4 16:06:11 1993
  72. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  73.     id AA18644; Mon, 3 May 93 19:06:34 -0500
  74. Received: from Q.CS.CMU.EDU by Q.CS.CMU.EDU id ab09675; 3 May 93 17:54:14 EDT
  75. Received: from DST.BOLTZ.CS.CMU.EDU by Q.CS.CMU.EDU id ab09672;
  76.           3 May 93 17:31:35 EDT
  77. Received: from DST.BOLTZ.CS.CMU.EDU by DST.BOLTZ.CS.CMU.EDU id aa10111;
  78.           3 May 93 17:30:56 EDT
  79. Received: from EDRC.CMU.EDU by B.GP.CS.CMU.EDU id aa13004; 3 May 93 15:17:33 EDT
  80. Received: from edison.ee.washington.edu by EDRC.CMU.EDU id aa10629;
  81.           3 May 93 15:17:17 EDT
  82. Received: from pierce.ee.washington.edu. (pierce.ee.washington.edu) by edison.ee.washington.edu
  83.     (5.61/UW-NDC Revision: 2.6 ) id AA02725; Mon, 3 May 93 12:27:54 -0700
  84. Received: by pierce.ee.washington.edu. (4.0/SMI-4.0)
  85.     id AA22668; Mon, 3 May 93 12:17:00 PDT
  86. Date: Mon, 3 May 93 12:17:00 PDT
  87. From: Jenq-Neng Hwang <hwang@pierce.ee.washington.edu>
  88. Message-Id: <9305031917.AA22668@pierce.ee.washington.edu.>
  89. To: Connectionists@cs.cmu.edu
  90. Subject: back-propagation and projection pursuit learning
  91. Status: RO
  92.  
  93.  
  94. Technical Report available from neuroprose:
  95.  
  96. REGRESSION MODELING IN BACK-PROPAGATION AND PROJECTION PURSUIT LEARNING
  97.  
  98.  
  99.                   Jenq-Neng Hwang, Shyh-Rong Lay
  100.  
  101.                  Information Processing Laboratory
  102.              Department of Electrical Engineering, FT-10
  103.              University of Washington, Seattle, WA 98195 
  104.  
  105.                               and
  106.  
  107.              Martin Maechler, Doug Martin, Jim Schimert
  108.  
  109.                   Department of Statistics, GN-22
  110.              University of Washington, Seattle, WA 98195 
  111.  
  112.                       
  113.  
  114.                              ABSTRACT
  115.  
  116. We studied and compared two types of connectionist learning methods
  117. for model-free regression problems in this paper. One is the popular
  118. "back-propagation" learning  (BPL)  well known in the artificial
  119. neural networks literature;  the other is the "projection
  120. pursuit" learning (PPL)   emerged in recent years in the statistical
  121. estimation literature.  Both the BPL and the PPL are based on
  122. projections of the data in directions determined from interconnection
  123. weights. However, unlike the use of  fixed nonlinear activations
  124. (usually sigmoidal) for the hidden neurons in BPL, the PPL
  125. systematically approximates the unknown nonlinear activations.
  126. Moreover, the BPL  estimates all the weights simultaneously at each
  127. iteration, while the PPL estimates the weights cyclically
  128. (neuron-by-neuron and layer-by-layer) at each iteration. Although the
  129. BPL and the PPL have comparable training speed when based on a
  130. Gauss-Newton optimization algorithm, the PPL proves more parsimonious
  131. in that the PPL requires a fewer hidden neurons to approximate the
  132. true function.   To further improve the statistical performance of the
  133. PPL, an orthogonal polynomial approximation is used in place of the
  134. supersmoother method  originally proposed for nonlinear activation
  135. approximation in the PPL. 
  136.  
  137. ================
  138. To obtain copies of the postscript file, please use Jordan Pollack's service
  139. (no hardcopies will be provided):
  140.  
  141. Example:
  142. unix> ftp archive.cis.ohio-state.edu                 (or ftp 128.146.8.52)
  143. Name (archive.cis.ohio-state.edu): anonymous
  144. Password (archive.cis.ohio-state.edu:anonymous): <ret>
  145. ftp> cd pub/neuroprose
  146. ftp> binary
  147. ftp> get hwang.bplppl.ps.Z
  148. ftp> quit
  149. unix> uncompress  hwang.bplppl.ps
  150.  
  151. Now print "hwang.bplppl.ps" as you would any other (postscript) file.
  152.  
  153.  
  154. From ml-connectionists-request@q.cs.cmu.edu Tue May  4 17:45:46 1993
  155. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  156.     id AA01680; Tue, 4 May 93 19:45:29 -0500
  157. Received: from Q.CS.CMU.EDU by Q.CS.CMU.EDU id aa12833; 4 May 93 14:14:25 EDT
  158. Received: from DST.BOLTZ.CS.CMU.EDU by Q.CS.CMU.EDU id aa12807;
  159.           4 May 93 13:37:31 EDT
  160. Received: from DST.BOLTZ.CS.CMU.EDU by DST.BOLTZ.CS.CMU.EDU id aa10963;
  161.           4 May 93 13:36:48 EDT
  162. Received: from EDRC.CMU.EDU by B.GP.CS.CMU.EDU id aa24982; 4 May 93 13:07:33 EDT
  163. Received: from edison.ee.washington.edu by EDRC.CMU.EDU id aa13646;
  164.           4 May 93 13:06:19 EDT
  165. Received: from pierce.ee.washington.edu. (pierce.ee.washington.edu) by edison.ee.washington.edu
  166.     (5.61/UW-NDC Revision: 2.6 ) id AA09469; Tue, 4 May 93 10:16:56 -0700
  167. Received: by pierce.ee.washington.edu. (4.0/SMI-4.0)
  168.     id AA24985; Tue, 4 May 93 10:06:05 PDT
  169. Date: Tue, 4 May 93 10:06:05 PDT
  170. From: Jenq-Neng Hwang <hwang@pierce.ee.washington.edu>
  171. Message-Id: <9305041706.AA24985@pierce.ee.washington.edu.>
  172. To: Connectionists@cs.cmu.edu
  173. Subject: apology
  174. Status: RO
  175.  
  176.  
  177. We apologized for our ignorance of the incompatibility of our postscript
  178. files recently placed in Neuroprose  with your printers.  We will fix
  179. these problems and reload these three reports ASAP.
  180.  
  181. These three files are:
  182.  
  183. hwang.bplppl.ps.Z (back-propagation and projection pursuit learning)
  184. hwang.nnmrf.ps.Z  (probabilistic textured image modeling by neural networks)
  185. hwang.srnn.ps.Z   (mental image transformation via surface reconstruction nn)
  186.  
  187.  
  188. Jenq-Neng Hwang, Assistant Professor
  189.  
  190. Information Processing Laboratory
  191. Dept. of Electrical Engr., FT-10
  192. University of Washington
  193. Seattle, WA 98915
  194.  
  195. (206) 685-1603 (O), (206) 543-3842 (FAX)
  196. hwang@ee.washington.edu
  197.  
  198. From ml-connectionists-request@q.cs.cmu.edu Tue May  4 19:52:36 1993
  199. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  200.     id AA05095; Tue, 4 May 93 21:52:29 -0500
  201. Received: from Q.CS.CMU.EDU by Q.CS.CMU.EDU id ab12833; 4 May 93 14:17:34 EDT
  202. Received: from DST.BOLTZ.CS.CMU.EDU by Q.CS.CMU.EDU id ab12807;
  203.           4 May 93 13:37:43 EDT
  204. Received: from DST.BOLTZ.CS.CMU.EDU by DST.BOLTZ.CS.CMU.EDU id aa10968;
  205.           4 May 93 13:37:07 EDT
  206. Received: from EDRC.CMU.EDU by B.GP.CS.CMU.EDU id aa24431; 4 May 93 12:17:38 EDT
  207. Received: from edison.ee.washington.edu by EDRC.CMU.EDU id aa13432;
  208.           4 May 93 12:16:45 EDT
  209. Received: from pierce.ee.washington.edu. (pierce.ee.washington.edu) by edison.ee.washington.edu
  210.     (5.61/UW-NDC Revision: 2.6 ) id AA09109; Tue, 4 May 93 09:26:48 -0700
  211. Received: by pierce.ee.washington.edu. (4.0/SMI-4.0)
  212.     id AA24719; Tue, 4 May 93 09:15:53 PDT
  213. Date: Tue, 4 May 93 09:15:53 PDT
  214. From: Jenq-Neng Hwang <hwang@pierce.ee.washington.edu>
  215. Message-Id: <9305041615.AA24719@pierce.ee.washington.edu.>
  216. To: Connectionists@cs.cmu.edu
  217. Subject: mental image transformation and surface reconstruction NN
  218. Status: RO
  219.  
  220.  
  221.  
  222. Technical Report available from neuroprose:
  223.  
  224.           MENTAL IMAGE TRANSFORMATION AND MATCHING USING 
  225.               SURFACE RECONSTRUCTION  NEURAL NETWORKS
  226.  
  227.                   Jenq-Neng Hwang, Yen-Hao Tseng
  228.  
  229.                  Information Processing Laboratory
  230.              Department of Electrical Engineering, FT-10
  231.              University of Washington, Seattle, WA 98195 
  232.  
  233.  
  234. ABSTRACT
  235.  
  236. Invariant 2-D/3-D object recognition and motion estimation
  237. under detection/occlusion noise and/or partial object viewing
  238. are  difficult pattern recognition tasks. On the other hand, the
  239. biological neural networks of human are extremely  adept in these
  240. tasks.   It has been suggested by the studies of experimental
  241. psychology  that the task of matching rotated  and scaled shapes by
  242. human is  done by mentally rotating and scaling gradually  one of the
  243. shapes into the orientation and size of  the other and then testing
  244. for a match. Motivated by these studies,  we present a novel and
  245. robust neural network solution for these tasks  based on detected
  246. surface boundary data or range data. The method operates in two
  247. stages:  The object is first parametrically represented by a surface
  248. reconstruction neural network (SRNN) trained by the boundary points
  249. sampled from the exemplar object. When later presented with  boundary
  250. points sampled from the distorted object without point correspondence,
  251. this parametric   representation allows  the mismatch information
  252. back-propagate through the SRNN to  gradually determine (align) the
  253. best similarity transform of the distorted object. The distance
  254. measure can then be computed in the reconstructed representation
  255. domain between the surface reconstructed exemplar object and the
  256. aligned distorted object.   Applications to invariant 2-D target
  257. classification and  3-D object motion estimation using sparse  range
  258. data  collected from a single aspect view  are presented.
  259.  
  260.  
  261. ================
  262. To obtain copies of the postscript file, please use Jordan Pollack's service
  263. (no hardcopies will be provided):
  264.  
  265. Example:
  266. unix> ftp archive.cis.ohio-state.edu                 (or ftp 128.146.8.52)
  267. Name (archive.cis.ohio-state.edu): anonymous
  268. Password (archive.cis.ohio-state.edu:anonymous): <ret>
  269. ftp> cd pub/neuroprose
  270. ftp> binary
  271. ftp> get hwang.srnn.ps.Z
  272. ftp> quit
  273. unix> uncompress  hwang.srnn.ps
  274.  
  275. Now print "hwang.srnn.ps" as you would any other (postscript) file.
  276.  
  277. From ml-connectionists-request@q.cs.cmu.edu Wed May  5 13:39:46 1993
  278. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  279.     id AA04192; Wed, 5 May 93 15:39:37 -0500
  280. Received: from Q.CS.CMU.EDU by Q.CS.CMU.EDU id ab17419; 5 May 93 15:57:55 EDT
  281. Received: from DST.BOLTZ.CS.CMU.EDU by Q.CS.CMU.EDU id ab17417;
  282.           5 May 93 15:30:40 EDT
  283. Received: from DST.BOLTZ.CS.CMU.EDU by DST.BOLTZ.CS.CMU.EDU id aa11802;
  284.           5 May 93 15:30:07 EDT
  285. Received: from EDRC.CMU.EDU by B.GP.CS.CMU.EDU id aa07662; 5 May 93 12:51:35 EDT
  286. Received: from edison.ee.washington.edu by EDRC.CMU.EDU id aa17684;
  287.           5 May 93 12:50:26 EDT
  288. Received: from pierce.ee.washington.edu. (pierce.ee.washington.edu) by edison.ee.washington.edu
  289.     (5.61/UW-NDC Revision: 2.6 ) id AA16171; Wed, 5 May 93 10:01:05 -0700
  290. Received: by pierce.ee.washington.edu. (4.0/SMI-4.0)
  291.     id AA28307; Wed, 5 May 93 09:50:13 PDT
  292. Date: Wed, 5 May 93 09:50:13 PDT
  293. From: Jenq-Neng Hwang <hwang@pierce.ee.washington.edu>
  294. Message-Id: <9305051650.AA28307@pierce.ee.washington.edu.>
  295. To: Connectionists@cs.cmu.edu
  296. Subject: three technical reports available
  297. Status: RO
  298.  
  299.  
  300. We have fixed the postscript printing
  301. problems and reload the three reports in neuroprose.
  302.  
  303. These three files are now available:
  304.  
  305. hwang.bplppl.ps.Z (back-propagation and projection pursuit learning)
  306. hwang.nnmrf.ps.Z  (probabilistic textured image modeling by neural networks)
  307. hwang.objrec.ps.Z (single spaced) or hwang.srnn.ps.Z (double spaced)
  308.     (mental image transformation via surface reconstruction neural nets)
  309.  
  310.  
  311. Jenq-Neng Hwang, Assistant Professor
  312.  
  313. Information Processing Laboratory
  314. Dept. of Electrical Engr., FT-10
  315. University of Washington
  316. Seattle, WA 98915
  317.  
  318. (206) 685-1603 (O), (206) 543-3842 (FAX)
  319. hwang@ee.washington.edu
  320.  
  321. From ml-connectionists-request@q.cs.cmu.edu Fri May  7 18:35:10 1993
  322. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  323.     id AA28841; Fri, 7 May 93 20:35:00 -0500
  324. Received: from Q.CS.CMU.EDU by Q.CS.CMU.EDU id ab26005; 7 May 93 18:54:01 EDT
  325. Received: from DST.BOLTZ.CS.CMU.EDU by Q.CS.CMU.EDU id aa25957;
  326.           7 May 93 18:09:27 EDT
  327. Received: from DST.BOLTZ.CS.CMU.EDU by DST.BOLTZ.CS.CMU.EDU id aa13365;
  328.           7 May 93 18:08:08 EDT
  329. From: Bernd Fritzke <fritzke@icsi.berkeley.edu>
  330. Message-Id: <9305072143.AA22277@icsib14.ICSI.Berkeley.EDU>
  331. Subject: three new papers in neuroprose
  332. To: Connectionists@cs.cmu.edu
  333. Date: Fri, 7 May 93 14:43:31 PDT
  334. Cc: Bernd Fritzke <fritzke@icsi.berkeley.edu>
  335. Ftp-Host: archive.cis.ohio-state.edu
  336. Ftp-Filename: /pub/neuroprose/fritzke.tr93-26.ps.Z
  337. Ftp-Filename: /pub/neuroprose/fritzke.icann93.ps.Z
  338. Ftp-Filename: /pub/neuroprose/fritzke.nips92.ps.Z
  339. Status: RO
  340.  
  341.          *** DO NOT FORWARD TO ANY OTHER LISTS ***
  342.  
  343. The following technical reports have been placed in the 
  344. neuroprose directory (ftp instructions follow the abstracts).
  345. For two of the TR's also hardcopies are available.
  346. Instructions are at the end of the posting.
  347.  
  348. Comments and questions are welcome. 
  349.  
  350. Thanks to Jordan Pollack for maintaining the neuroprose archive.
  351.  
  352. -Bernd
  353.  
  354.  International Computer Science Institute
  355.  1947 Center Street, Suite 600
  356.  Berkeley, CA 94704-1105
  357.  USA
  358.  
  359. ------------------------------------------------------------
  360.  
  361.  
  362.          Growing Cell Structures -
  363.       A Self-organizing Network for Unsupervised
  364.         and Supervised Learning *)
  365.  
  366.                Bernd Fritzke
  367.  
  368.                ICSI, Berkeley
  369.              TR-93-026
  370.  
  371.              (34 pages)
  372.  
  373. *) submitted for publication
  374.  
  375.      We present  a   new   self-organizing  neural   network
  376. model  having two variants. The first variant performs unsu-
  377. pervised learning and can be used for   data  visualization,
  378. clustering,   and  vector  quantization.  The main advantage
  379. over existing approaches,  e.g.,  the  Kohonen feature  map,
  380. is   the  ability of the model to automatically find a suit-
  381. able network structure and size. This is achieved through  a
  382. controlled   growth  process  which also includes occasional
  383. removal of units.
  384.      The  second  variant  of  the  model  is  a  supervised
  385. learning  method  which  results from the combination of the
  386. abovementioned self-organizing network with the radial basis
  387. function  (RBF)  approach. In this model it is possible - in
  388. contrast to earlier approaches - to perform the  positioning
  389. of  the RBF units and the supervised training of the weights
  390. in parallel. Therefore, the current classification error can
  391. be  used  to  determine  where to insert new RBF units. This
  392. leads to small networks which generalize very well.  Results
  393. on   the   two-spirals  benchmark and a vowel classification
  394. problem are presented which are  better  than  any   results
  395. previously published.
  396.  
  397. ------------------------------------------------------------
  398.  
  399.  
  400.       Vector Quantization with a Growing and
  401.           Splitting Elastic Net *)
  402.  
  403.                Bernd Fritzke
  404.                ICSI, Berkeley
  405.  
  406.              (6 pages)
  407.  
  408.      *) to be presented at ICANN-93, Amsterdam
  409.  
  410.      A new vector quantization method is proposed which gen-
  411. erates codebooks incrementally.  New vectors are inserted in
  412. areas of the input vector space where the quantization error
  413. is especially high until the desired number of codebook vec-
  414. tors is reached.  A one-dimensional topological neighborhood
  415. makes  it  possible to interpolate new vectors from existing
  416. ones.  Vectors not contributing to  error  minimization  are
  417. removed.   After the desired number of vectors is reached, a
  418. stochastic approximation phase fine tunes the codebook.  The
  419. final  quality of the codebooks is exceptional. A comparison
  420. with two well-known methods for vector quantization was per-
  421. formed  by solving an image compression problem. The results
  422. indicate that the new method is  significantly  better  than
  423. both other approaches.
  424.  
  425. ------------------------------------------------------------
  426.  
  427.  
  428.     Kohonen Feature Maps and Growing Cell Structures --
  429.         a Performance Comparison *)
  430.  
  431.                Bernd Fritzke
  432.                ICSI, Berkeley
  433.  
  434.              (8 pages)
  435.  
  436. *) to appear in Advances in  Neural  Information  Processing
  437. Systems  5  C.L.  Giles, S.J. Hanson, and J.D. Cowan (eds.),
  438. Morgan Kaufmann, San Mateo, CA, 1993
  439.  
  440.      A performance comparison of  two  self-organizing  net-
  441. works,  the  Kohonen  Feature  Map and the recently proposed
  442. Growing Cell Structures is made.  For this  purpose  several
  443. performance  criteria  for self-organizing networks are pro-
  444. posed and motivated.  The models are tested with three exam-
  445. ple  problems  of increasing difficulty. The Kohonen Feature
  446. Map demonstrates slightly superior results only for the sim-
  447. plest  problem.   For the other more difficult and also more
  448. realistic problems the Growing Cell Structures exhibit  sig-
  449. nificantly  better  performance  by  every criterion.  Addi-
  450. tional advantages of the new model are that  all  parameters
  451. are constant over time and that size as well as structure of
  452. the network are determined automatically.
  453.  
  454.  
  455. ************************* ftp instructions **********************
  456.  
  457. If you have the Getps script
  458.  
  459.   unix> Getps fritzke.tr93-26.ps.Z
  460.   unix> Getps fritzke.icann93.ps.Z
  461.   unix> Getps fritzke.nips92.ps.Z
  462.  
  463.   (Getps ftp's the named file, decompresses it, and asks wether to
  464.    print it)
  465.  
  466. otherwise do first the following (to get Getps)
  467.  
  468.   unix> ftp archive.cis.ohio-state.edu       (or ftp 128.146.8.52)
  469.   Connected to archive.cis.ohio-state.edu.
  470.   220 archive.cis.ohio-state.edu FTP server ready.
  471.   Name: anonymous
  472.   331 Guest login ok, send ident as password.
  473.   Password:<type your email address here>
  474.   230 Guest login ok, access restrictions apply.
  475.   ftp> cd pub/neuroprose
  476.   250 CWD command successful.
  477.   ftp> get Getps
  478.   200 PORT command successful.
  479.   150 Opening BINARY mode data connection for Getps (2190 bytes).
  480.   226 Transfer complete.
  481.   ftp> quit
  482.   221 Goodbye.
  483.  
  484. ************************* hardcopies ****************************
  485.  
  486. The NIPS92 paper and the 34-page paper have appeared as ICSI
  487. technical  reports  TR-93-025  and  TR-93-026, respectively.
  488. Hardcopies are available for a small charge for postage  and
  489. handling.
  490.  
  491. For details please contact Vivian Balis (balis@icsi.berkeley.edu) 
  492. at ICSI.
  493.  
  494. From <@utarlvm1.uta.edu:INNS-L@UMDD.BITNET> Tue May 11 14:57:19 1993
  495. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  496.     id AA28142; Tue, 11 May 93 16:57:05 -0500
  497. Message-Id: <9305112157.AA28142@cse.uta.edu>
  498. Received: from UTARLVM1.UTA.EDU by UTARLVM1.UTA.EDU (IBM VM SMTP V2R2)
  499.    with BSMTP id 9569; Tue, 11 May 93 16:58:38 CDT
  500. Received: from UTARLVM1.UTA.EDU (NJE origin LISTSERV@UTARLVM1) by
  501.  UTARLVM1.UTA.EDU (LMail V1.1d/1.7f) with BSMTP id 9568; Tue,
  502.  11 May 1993 16:58:37 -0500
  503. Date:         Tue, 11 May 1993 15:10:24 EDT
  504. Reply-To: International Neural Network Society <INNS-L%UMDD.bitnet@utarlvm1.uta.edu>
  505. Sender: International Neural Network Society <INNS-L%UMDD.bitnet@utarlvm1.uta.edu>
  506. From: Morgan Downey <70712.3265@compuserve.com>
  507. Subject:      Re: General Information about Neural Networks
  508. To: Multiple recipients of list INNS-L <INNS-L%UMDD.bitnet@utarlvm1.uta.edu>
  509. Status: RO
  510.  
  511. -----------------
  512.        ARTIFICIAL NEURAL NETWORKS IN MEDICINE AND BIOLOGY
  513.                 Center for Biomedical Informatics
  514.          State University of Campinas, Campinas - Brazil
  515.  
  516.            Abstracts of published work by the Center
  517.                      Status of Aug 15 1992
  518.  
  519.  
  520. -----------------------------------------------------------
  521. A HIGH-LEVEL LANGUAGE AND MICROCOMPUTER PROGRAM FOR
  522. THE DESCRIPTION AND SIMULATION OF NEURAL ARCHITECTURES
  523.  
  524. Sabbatini, RME and Arruda-Botelho, AG
  525. Center of Biomedical Informatics, Neurosciences
  526. Applications Group, State University of Campinas, Campinas,
  527. SP, BRAZIL)
  528.  
  529.   The description, representation and simulation of complex
  530. neural network structures by means of computers is an
  531. essential step in the investigation of model systems and
  532. inventions in the growing field of biological information
  533. processing and neurocomputing. The handcrafting of neural
  534. net architectures, however, is a long, tedious, difficult
  535. and error-prone process, which can be substituted
  536. satisfactorily by the neural network analogue of a computer
  537. program or formal symbolic language. Several attempts have
  538. been made to develop and apply such languages: P3, Hecht-
  539. Nielsen's AXON, and Rochester's ISCON are some recent
  540. examples.
  541.   We present here a new tool for the formal description and
  542. simulation of artificial neural tissues in microcomputers.
  543. It is a network editor and simulator, called NEUROED, as
  544. well as a compiler for NEUROL, a high-level symbolic,
  545. structured language which allows the definition of the
  546. following elements of a neural tissue: a) elementary neural
  547. architectonic units: each unit has the same number of cells
  548. and the same internal interconnecting pattern and cell
  549. functional parameters; b) elementary cell types: each cell
  550. can be defined in terms of its basic functional parameters;
  551. synoptic interconnections inside an architectonic unit
  552. (axonic delay, weights and signal can be defined for each);
  553. a cell can fan out to several others, with the same synoptic
  554. properties; c) synaptic interconnections among units; d)
  555. cell types and architectonic units can be replicated
  556. automatically across neural tissue and interconnected; e)
  557. cell types and architectonic units can be named and arranged
  558. in hierarchical frames (parameter inheritance).
  559.   NEUROED's underlying model processing element (PE) is a
  560. simplified Hodgkin-Huxley neuron, with RC-model, temporal-
  561. summation, passive electrotonic potentials at dendritic
  562. level, and a step transfer function with threshold level, a
  563. fixed-size, fixed-duration, fixed-form spike, and an
  564. absolute refractory period. Inputs Iij (i=1...NI) synapses
  565. for j-th neuron are weighted with Wij (i=1...NI), where Wij
  566. 0 is defined for a inhibitory synapse, Wij = 0 for an
  567. inactive or non-existent synapse and Wij  0 for an ex-
  568. citatory synapse. Outputs Okj (k=1...NO) can have axonic
  569. propagation delays Dkj (a delay can be equal to zero).
  570. Firing of neurons in a network follows diffusion process,
  571. according to propagation delays; random fluctuations in
  572. several processes can be simulated. Several learning
  573. algorithms can be implemented explicitly with NEUROL; a
  574. Hebbian synapse-strength reinforcement rule has specific
  575. language support now.
  576.  NEUROED's basic specifications are: a) written in Turbo
  577. BASIC 1.0 for IBM-PC compatible machines, with CGA
  578. monochrome graphics display and optional numerical
  579. coprocessor; b) capacity of 100 neurons and 10.000 synapses;
  580. c) three neural tissue layers: input, processing and output.
  581. d) real-time simulation of neural tissue dynamics, with
  582. three display modes: oscilloscope mode (displays membrane
  583. potentials along time for several cells simultaneously); map
  584. mode (displays bidimensional architecture with individual
  585. cells, showing when they fire) and Hinton diagram (displays
  586. interconnecting matrix with individual synapses, showing
  587. when they fire); e) Realtime, interactive modification of
  588. net parameters; and f) capability for building procedures,
  589. functions and model libraries, which reside as external disk
  590. files. NEUROED and NEUROL are easy to learn and to use,
  591. intuitive for neuroscientists, and lend themselves to
  592. modeling neural tissue dynamics for teaching purposes. We
  593. are currently developing a basic "library" of NEUROED models
  594. to teach basic neurophysiology to medical students.
  595. Implementations of NEUROED and for parallel hardware are
  596. also under way.
  597.  
  598. (Presented at the Fourth Annual Meeting of the Brazilian
  599. Federation of Biological Societies, Caxambu, MG, July 1991)
  600.  
  601.  
  602. -----------------------------------------------------------
  603. A CASCADED NEURAL NETWORK MODEL FOR PROCESSING
  604. 2D TOMOGRAPHIC BRAIN IMAGES
  605.  
  606. Dourado SC and Sabbatini RME
  607.  
  608. Center for Biomedical Informatics, State
  609. University of Campinas, P.O. Box 6005, 13081 Campinas,
  610. So Paulo, Brazil.
  611.  
  612.   Artificial neural networks (ANN) have demonstrated many
  613. advantages and capabilities in applications involving the
  614. processing of biomedical images and signals. Particularly in
  615. the field of medical image processing, ANNs have been used
  616. in several ways, such as in image filtering, scatter
  617. correction, edge detection, segmentation, pattern and
  618. texture classification, image reconstruction and alignment,
  619. etc. The adaptive nature of ANNs (i.e., they are capable of
  620. learning) and the possibility of implementing its function
  621. using truly massive parallel processors and neural
  622. integrated circuits, in the future; are strong arguments in
  623. favor of investigating new architectures, algorithms and
  624. applications for ANNs in Medicine.
  625.   In the present work, we are interested into designing a
  626. prototype ANN which could be capable of processing serial
  627. sections of the brain, obtained from CT or MRI tomographs.
  628. The segmented, outlined images, representing internal brain
  629. structures, both normal and abnormal, would then be used as
  630. an input to a three-dimensional stereotaxic radiosurgery
  631. planning software.
  632.   The ANN-based algorithm we have devised was initially
  633. implemented as a software simulation in a microcomputer (PC
  634. 80386, with VGA color graphics and a 80387 mathematical
  635. coprocessor). It is structured as a compound ANN, comprised
  636. by three cascading sub-networks. The first one receives the
  637. original digitized image, and is a one-layer, fully
  638. interconnected ANN, with one processing element (PE) per
  639. image pixel. The brain image is obtained from a General
  640. Electric CT system, with 256 x 256 pixels and 256 gray
  641. levels. The first ANN implements a MHF lateral inhibition
  642. function, based on a convolution filter of variable
  643. dimension (3 x 3 up to 9 x 9 PE's), and it is used to
  644. iteratively enhance borders in the image. The PE
  645. interconnection (i.e. convolution) function can be defined
  646. by the user as a disk file containing a set of synaptic
  647. weights, which is read by the program; thus allowing for
  648. experimentation with different sets of coefficients and
  649. sizes of the convolution window. In this layer, PE's have
  650. synaptic weights varying from -1 to 1, and the step function
  651. as its transfer function. Usually after 2 to 3 iterations,
  652. the borders are completely formed and do not vary any more,
  653. but are too thick (i.e., the trace width spans several
  654. pixels). In order to thin out the borders, the output of the
  655. MHF ANN layer is subsequently fed into a three-layer
  656. perceptron, which was trained off-line using the
  657. backpropagation algorithm to perform thinning on smaller
  658. straight line segments. Finally, the thinned out image
  659. obtained pixel-wise at the this ANN's output is fed into a
  660. third network, also a three-layer perceptron trained off-
  661. line using the backpropagation algorithm to complete small
  662. gaps ocurring in the image contours. The final image, also
  663. 256 x 256 pixels with 2 levels of gray, is passed to the 3D
  664. slice reconstruction program, implemented with conventional,
  665. sequential algorithms. A fourth ANN perceptron previously
  666. trained by back-propagation to recognize the gray histogram
  667. signature of small groups of pixels in the original image
  668. (such as bone, liquor, gray and white matter, blood, dense
  669. tumor areas, etc.), is used to false-color the entire image
  670. according to the classified thematic regions.
  671.   The cascaded, multilayer ANN thus implemented performs very
  672. well in the overall task of obtaining automatically outlined
  673. and segmented brain slices, for the purposes of 3D
  674. reconstruction and surgical planning. Due to the complexity
  675. of algorithms and to the size of the image, the time spent
  676. by the computer we use is inordinately large, preventing a
  677. practical application. We are now studying the
  678. implementation of this ANN paradigm in RISC-based and
  679. vector-processing CPUs, as well as the potential
  680. applications of neurochip prototyping kits already available
  681. in the market.
  682.  
  683. (Presented at the I Latinoamerican Congress on Health
  684. Informatics, Habana, Cuba, February 1992)
  685.  
  686.  
  687.  
  688.  
  689. --------------------------------------------------------
  690. COMPUTER SIMULATION OF A QUANTITATIVE MODEL FOR
  691. REFLEX EPILEPSY
  692.  
  693. R.M.E. Sabbatini
  694.  
  695. Center of Biomedical Informatics and School of
  696. Medicine of the State University of Campinas, Brazil.
  697.  
  698.   In the present study we propose a continuous, lumped-
  699. parameter, non-linear mathematical model for explaining the
  700. quantitatively observed characteristics of a class of
  701. experimental reflex epilepsy, namely audiogenic seizures in
  702. rodents, and simulate this model with a especially contrived
  703. microcomputer program. In a first phase of the study, we
  704. have individually stimulated 280 adult Wistar albino rats
  705. with a 112 dB white-noise sound source, and recorded the
  706. latency, duration and intensity values of the psychomotor
  707. components of the audiogenic reaction: after an initial
  708. delay one or more circular running phases usually occurs,
  709. followed or not by complete tonic-clonic seizures. In the
  710. second step, we performed several multivariate statistical
  711. analyses of these data, which have revealed many properties
  712. of the underlying neural system responsible for the crisis;
  713. such as the independence of the running and convulsive
  714. phases; and a scale of severity which is correlated to the
  715. value of latencies and intensities.  Finally, a lumped-
  716. parameter model based on a set of differential equations
  717. which describes the macro behavior of the interaction of
  718. four different populations of excitatory and inhibitory
  719. neurons with different time constants and threshold elements
  720. has been simulated in a computer, In this model, running
  721. waves, which may occur several times before leading or not
  722. to the final convulsive phase, are explained by the
  723. oscillatory behavior of a controlling neural population,
  724. caused by mixed feedback: an early, internal positive
  725. feedback which results in the growing of excitation, and a
  726. late negative feedback elicited by motor components of the
  727. running itself, which causes the oscillation back to
  728. inhibition. A second, threshold-triggered population
  729. controls the convulsive phase and its subsequent refractory
  730. phase. The results of the simulation have been found to
  731. explain reasonably well the time course and structural
  732. characteristics of the several forms of rodent audiogenic
  733. epilepsy and correlates well with the existing knowledge
  734. about the neural bases of this phenomenon.
  735.  
  736. (Presented at the Second IBRO/IMIA International Symposium
  737. on Mathematical Approaches to Brain Functioning Diagnostics,
  738. Prague, Czechoslovakia, September 1990).
  739.  
  740.  
  741.  
  742. --------------------------------------------------------
  743.     OUTCOME PREDICTION FOR CRITICAL PATIENTS UNDER INTENSIVE
  744.          CARE, USING BACKPROPAGATION NEURAL NETWORKS
  745.  
  746.          P. Felipe Jr., R.M.E. Sabbatini, P.M. Carvalho-
  747.            Jnior, R.E. Beseggio, and R.G.G. Terzi
  748.  
  749.    Center for Biomedical Informatics, State University of
  750.             Campinas, Campinas SP 13081-970 Brazil
  751.  
  752. Several scores have been designed to estimate death
  753. probability for patients admitted to Intensive Care Units,
  754. such as the APACHE and MPM systems, which are based on
  755. regression analysis. In the present work, we have studied
  756. the potential of a model of artificial neural network, the
  757. three-layer perceptron with backpropagation learning rule,
  758. to perform this task. Training and testing data were derived
  759. from a Brazilian database which was previously used for
  760. calculating APACHE scores. The neural networks were
  761. trained with physiological, clinical and pathological data
  762. (30 variables, such as worst pCO2, coma level, arterial
  763. pressure, etc.) based on a sample of more than 300 patients,
  764. whose outcome was known.
  765. All networks were able to reach convergence with a small
  766. global prediction error. Maximum percentages of 75% correct
  767. predictions in the test dataset and 99.6 % in the training
  768. dataset, were achieved. Maximum sensitivity and specificity
  769. were 60% and 80%, respectively. We conclude that the neural
  770. network approach has worked well for outcome prognosis in a
  771. highly "noisy" dataset, with a similar, if slightly lower
  772. performance than APACHE II, but with the advantage of
  773. deriving its parameters from a regional dataset instead from
  774. an universal model.
  775.  
  776.  
  777. The paper will be presented at the MEDINFO'92 workshop on
  778. "Applications of Connectionist System in Biomedicine",
  779. September 8, 1992, in Geneva, Switzerland.
  780.  
  781. ==============================================================
  782.  
  783.                       Reprints/Preprints are available
  784.  
  785.                          Renato M.E. Sabbatini, PhD
  786.                      Center for Biomedical Informatics
  787.                         State University of Campinas
  788.                          SABBATINI@CCVAX.UNICAMP.BR
  789.                              SABBATINI@BRUC.BITNET
  790.  
  791. Distribution:
  792.   70712,3265
  793.  
  794.