home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #26 / NN_1992_26.iso / spool / comp / ai / neuraln / 4249 < prev    next >
Encoding:
Internet Message Format  |  1992-11-12  |  33.1 KB

  1. Path: sparky!uunet!ukma!usenet.ins.cwru.edu!agate!ucbvax!CATTELL.PSYCH.UPENN.EDU!neuron-request
  2. From: neuron-request@CATTELL.PSYCH.UPENN.EDU ("Neuron-Digest Moderator")
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Neuron Digest V10 #18 (discussion + jobs + software)
  5. Message-ID: <863.721614085@cattell.psych.upenn.edu>
  6. Date: 13 Nov 92 00:21:25 GMT
  7. Sender: daemon@ucbvax.BERKELEY.EDU
  8. Reply-To: "Neuron-Request" <neuron-request@cattell.psych.upenn.edu>
  9. Distribution: world
  10. Organization: University of Pennsylvania
  11. Lines: 808
  12.  
  13. Neuron Digest   Thursday, 12 Nov 1992
  14.                 Volume 10 : Issue 18
  15.  
  16. Today's Topics:
  17.                         Neural Nets Based Systems
  18.                       Re: Neural Nets Based Systems
  19.                       Re: Neural Nets Based Systems
  20.                               Stock Market
  21.                               Stock Market
  22.                          Help on hybrid systems
  23.                         Postdoc Position in Lund
  24.          Free Neural Network Simulation and Analysis SW (am6.0)
  25.  
  26.  
  27. Send submissions, questions, address maintenance, and requests for old
  28. issues to "neuron-request@cattell.psych.upenn.edu". The ftp archives are
  29. available from cattell.psych.upenn.edu (130.91.68.31). Back issues
  30. requested by mail will eventually be sent, but may take a while.
  31.  
  32. ----------------------------------------------------------------------
  33.  
  34. Subject: Neural Nets Based Systems
  35. From:    ehf@philabs.philips.com (Eberhard Fisch)
  36. Organization: Philips Laboratories, Briarcliff, NY 10510
  37. Date:    09 Nov 92 15:09:59 +0000
  38.  
  39. [[ Editor's Note: Given the recent post about a "stock market game," I
  40. gleaned this message and the following two from a mailing list devoted to
  41. general investing. Just For Your Information, of course. -PM ]]
  42.  
  43. I am interested in investigating the potential of neural networks for
  44. forcasting markets. Im looking for articles or books dealing with the
  45. application of neural nets for forcasting market moves or finding
  46. patterns that occur in markets. I am not looking for, nor do I expect,
  47. neural nets or any other model for market analysis to be a magic
  48. solution. I just want to see whether neural network based systems have
  49. merit.  Any opinions from people who have had some experience in using
  50. some of the standard neural network software or have developed their own
  51. software are welcome.
  52.  
  53. Eberhard Fisch
  54. Philips Labs, NY
  55.  
  56. ------------------------------
  57.  
  58. Subject: Re: Neural Nets Based Systems
  59. From:    venky@thelonious.bellcore.com (G A Venkatesh)
  60. Organization: Bellcore, Morristown NJ
  61. Date:    09 Nov 92 18:56:52 +0000
  62.  
  63. Re: article by ehf@philabs.philips.com (Eberhard Fisch) writes:
  64.  
  65. I don't know where you could find more information about them but there are
  66. at least two mutual funds (Fidelity Disciplined Equity and Fidelity Stock
  67. Selector) that use a neural net program to help with their buy/sell decisions.
  68. They seem to be doing well but I don't know how much the programs help.
  69.  
  70. venky
  71.  
  72. ------------------------------
  73.  
  74. Subject: Re: Neural Nets Based Systems
  75. From:    mincy@think.com (Jeffrey Mincy)
  76. Organization: Thinking Machines Corporation, Cambridge MA, USA
  77. Date:    09 Nov 92 19:13:21 +0000
  78.  
  79. Re: article by ehf@philabs.philips.com (Eberhard Fisch) writes:
  80.  
  81. The WSJ did the following article a few weeks ago:
  82.  
  83. "Fidelity's Bradford Lewis Takes Aim at Indexes With His 'neural Network'
  84. Computer Program, by Robert Mcgough
  85.  
  86. ... 
  87. This fund is an index killer, he says of his fidelity disciplined equity fund.
  88. Mr Lewis leaves the stock-picking to a "neural network," a computer program
  89. that tries to mimic the intricate structure of the human brain.
  90. ...
  91. Disciplined equity has beaten the S&P 500 by 2.3 to 5.6 percentage points in 
  92. each of three years to 1991.  It's doint the same in the ytd with 5.8% return
  93. ...Only three other stock funds tracked by lipper did better than the market in
  94. all four of these periods.
  95. ...
  96.  
  97. Anyway, perhaps this gives you some information.
  98.  
  99.  -- jeff
  100. mincy@think.com
  101.  
  102. ------------------------------
  103.  
  104. Subject: Stock Market
  105. From:    D.Navin.Chandra@ISL1.RI.CMU.EDU
  106. Date:    Sun, 08 Nov 92 20:26:40 -0500
  107.  
  108. [[ Editor's Note: See previous and following note about the use of Neural
  109. Networks in the stock market.  It should be noted also that various "dart
  110. board" investment strategoes regularly outperform the profession money
  111. managers. See also Vol 10 #11 and #13 for related bibliographies. -PM ]]
  112.  
  113. Gary Bradsky
  114.  
  115. I agree the announcement was wrong, but please dont belittle the things
  116. that other people try to work on. The Stock Market game is a legitimate
  117. game entered into by 1000's of students from across the country. Many
  118. people use NNets and GA's to "crack" the market trend. The area has also
  119. been the most successful application of NN to date.
  120.  
  121. navin
  122.  
  123.  
  124. ------------------------------
  125.  
  126. Subject: Stock Market
  127. From:    bradski@cns.bu.edu
  128. Date:    Mon, 09 Nov 92 21:01:49 -0500
  129.  
  130. [[ Re: previous message from D.Navin.Chandra@ISL1.RI.CMU.EDU ]]
  131.  
  132. If the stock market game had not been a money making scheme, but simply
  133. an "educational" contest as advertised, I would not have complained at
  134. all.  I also don't personally care if some people make this type of
  135. contest a money making business -- just let them advertise in magazines,
  136. or TV, not in a news group (I get enough ads as it is).
  137.  
  138. Now, to add increasing amounts of content: 
  139.  
  140. (1) APPLICATIONS OF NN:
  141. Stock market price prediction is not "the most successful application
  142. of NN to date", the most successful application of neural networks is
  143. clearly in adaptive filtering -- particularly for echo cancellation.
  144. Adalines or their variants (lattice filters etc...) are used in nearly
  145. every long distance phone line, modems, in EKG, EEG, ultra sound and
  146. the list goes on.
  147.  
  148. (2) PREDICTION, STOCKS, AND SELECTIVE INFORMATION: 
  149. Neuron readers ought to be aware, that even if someone "cracks" the
  150. market with their NN application and wins a stock market contest, it
  151. means absolutely nothing more than if someone won the contest by throwing
  152. darts at the Wall St Journal and looking for the holes on the stock
  153. quotation pages.  It means nothing more because we know nothing about the
  154. statistical sample out of which we hear about the "winner" (and never the
  155. losers).  If 5000 people try to predict stocks with backprop and one of
  156. them wins big, and the rest fall around the mean of stock performance,
  157. should you put your *future* money with the one winner?  Should you use
  158. backprop?  Or, did the winner just happen to hit on a lucky fit of the
  159. now, past data, that tells you nothing about future performance?
  160.  
  161. (3) PREDICTING MARKET TRENDS MAY BE IN NEED OF BELITTLEMENT: 
  162. Trying to "crack the market trend" may in fact be hopeless, if by "trend"
  163. one means the future expected value of stock prices.  If you are going to
  164. use NNs with financial data, get an intro into financial theory (but be
  165. prepared for a little math).  I suggest: Easy intro: John Hull, "Options,
  166. Futures, and Other Derivative Securities", Prentice-Hall, 1989, More
  167. cutting edge, but still decipherable: "Continuous-Time Finance", R.C.
  168. Merton, Basil Blackwell, 1992 (get the cheaper paperback version).
  169.  
  170. In Continuous-Time Finance, read chapter 3 for an easy development of
  171. stochastic calculus and Ito's lemma.  In chapter 3, Merton uses "order
  172. statistics" to develop his equations (order statistics just tell you how
  173. fast a term blows up or goes to zero).  On page 68-9 he develops a model
  174. of stock market price changes based on an Ito process:
  175.  
  176. X(t) - X(t-1) = mean(t)*h + std_dev(t)*noise*h^(1/2)    (A)
  177.  
  178. where h is a small time increment which goes to zero in the limit, and
  179. noise can be taken as zero-mean Gaussian.  The point of all this is that
  180. in a small increment of time, the h^(1/2) "noise" or variance term
  181. dominates the mean.  This is observed in practice, eg. the variability of
  182. a stock's price swamps out the level, or expected value of its price.
  183. Moreover to estimate the mean of (A) over n observations over a total
  184. time period T (T = h*n), we'd use:
  185.  
  186. est_mean = Sum_{k=1 to n} (X(k) - X(k-1))/T = mean(t)
  187.  
  188. In other words, the estimate of the mean is not affected by choosing
  189. finer observation intervals, only in the length of time "T" that we
  190. measure over.  For estimating the variance of (A):
  191.  
  192. est_var = (Sum_{k=1 to n} (X(k) - X(k-1))^2/T = std_dev^2 + h*mean^2
  193.  
  194.                                           = std_dev^2 + (T/n)*mean^2
  195.  
  196. becomes better and better with finer measurements (larger n).
  197.  
  198. THE CONCLUSION: variances (or covariances) are easier to estimate from
  199. stochastic time series than are the means.  This is a fundamental fact,
  200. which no algorithm, no matter how neural or not, can overcome.
  201.  
  202. WHAT IT "MEANS": The stock and option models developed by Black-Scholes,
  203. Merton and others have shown themselves to be useful (so useful in fact
  204. that they are essentially what are keeping our large banks profitable
  205. now). These models don't depend on having to know the mean, but do depend
  206. on having to estimate the variance of stocks.  THUS, if you want to come
  207. up with a useful NN financial application, try using NNs to estimate
  208. stock variance, not stock prices.  You might start by using adaptive
  209. filters as per (1) above to do this.
  210.  
  211.                                 --Gary Bradski (bradski@cns.bu.edu)
  212.  
  213.  
  214. ------------------------------
  215.  
  216. Subject: Help on hybrid systems
  217. From:    Fernando Passold <EEL3FPS%BRUFSC.bitnet@UICVM.UIC.EDU>
  218. Organization: Universidade Federal de Santa Catarina/BRASIL
  219. Date:    Thu, 12 Nov 92 17:37:23 -0300
  220.  
  221. [[ Editor's Note: I assume this person wanted his message to be
  222. published.  If you, loyal reader, feel *your* reply to this fellow 
  223. might be of more general interest, please send a copy to
  224. neuron-request@cattell.psych.upenn.edu -PM ]]
  225.  
  226.     I would like to know the  intend of this  list  and if I
  227. could obtain some replies.
  228.  
  229.     I am a researcher tacking part of Biomedical Engineering
  230. Group Laboratory of Electrical Engineering Department at the
  231. Federal University of  Santa  Catarina. We  develop   little
  232. biomedical equipments  and  Expest Systems - such a Hospital
  233. Infection Control Aid and a  Hybrid  System  (rule-based and
  234. neural  network  based)  for  Proposal  and   Evaluation  of
  235. Anesthesian Plan.
  236.  
  237.     I am a master degree student, now, grapple in develop  a
  238. Expert Network  (also  called,  hybrid  system:  those  whom
  239. combine  neural  networks   with   rule-based  methods)  for
  240. Planning and Evaluation of  Plans of  Anesthesia, continuing
  241. a  PHD  thesis,  for  Critical  Patients  (their  who   need
  242. critical  cares) or Problem   Patients (exceptional cases of
  243. patientes whom evaluate to critical patients).  I  have some
  244. troubles choosing the  most  suitable  approach  to  develop
  245. this system. I do not know if neural  networks could  be the
  246. key to solve the main part of the problem,  because  we  are
  247. dealing with  exceptions  that  probably could  best  solved
  248. throught a rule-based method.  At  lately, there are  a  few
  249. shells systems   applying  object-orienthed  technics   with
  250. rule-based    or  frames  methods  such  the  new   Kappa PC
  251. Application Development Systems   for   Windows environment,
  252. from   IntellCorp.   Inc..     So,  I   am   interested   in
  253. implementations   of  hybrid systems   using object-oriented
  254. programming. Maybe, there will   be a  way to  link   neural
  255. networks simulators   using   object-oriented   approach  to
  256. another heuristical   languages such as Turbo-Prolog object-
  257. oriented.
  258.  
  259.     I would be glad if someone  could make  a comment  about
  260. it, as well as indicate if there exists a _similar research_.
  261.  
  262.     Please, reply directly to me  as I am not   subcribed to
  263. this list.
  264.  
  265.     Thanks a lot respect to this matter,
  266.  
  267. best regards,
  268.  
  269. Fernando Passold
  270. Biomedical Engineering Group Lab.
  271. UFSC/BRAZIL
  272. E-mail: ee3fps@brufsc.bitnet
  273.  
  274.  
  275. P.S.: I am interested in subcribing in your list if not a
  276.       large amount of material is normaly posted to it.
  277.  
  278.  
  279. ------------------------------
  280.  
  281. Subject: Postdoc Position in Lund
  282. From:    carsten@thep.lu.se
  283. Date:    Tue, 10 Nov 92 15:01:40 +0100
  284.  
  285. A two year postdoc position will be available within the Complex Systems
  286. group at the Department of Theoretical Physics, University of Lund,
  287. Sweden, starting September 1st 1993. The major research area of the group
  288. is Artificial Neural Networks with tails into chaos and difficult
  289. computational problems in general. Although some application studies
  290. occur, algorithmic development is the focus in particular within the
  291. following areas:
  292.  
  293. * Using Feed-back ANN for finding good solutions to combinatorial 
  294.   optimization problems; knapsacks, scheduling, track-finding. 
  295.  
  296. * Time-series prediction.
  297.  
  298. * Robust multi-layer perceptron updating procedures including noise.
  299.  
  300. * Deformable template methods -- robust statistics.
  301.  
  302. * Configurational Chemistry -- Polymers, Proteins ...
  303.  
  304. * Application work within the domain of experimental physics, in particular 
  305.   in connection with the upcoming SSC/LHC experiments.
  306.  
  307. Lund University is the largest campus in Scandinavia located in a
  308. picturesque 1000 year old city (100k inhabitants). Lund is strategically
  309. well located in the south of Sweden with 1.5 hrs commuting distance to
  310. Copenhagen (Denmark).
  311.  
  312. The candidate should have a PhD in a relevant field, which need not be
  313. Physics/Theoretical Physics.
  314.  
  315. Applications and three letters of recommendation should be sent to (not
  316. later than December 15):
  317.  
  318. Carsten Peterson
  319. Department of Theoretical Physics
  320. University of Lund
  321. Solvegatan 14A
  322. S-223 62 Lund
  323. Sweden
  324.  
  325. or
  326.  
  327. Bo S\"{o}derberg
  328. Department of Theoretical Physics
  329. University of Lund
  330. Solvegatan 14A
  331. S-223 62 Lund
  332. Sweden
  333.  
  334.  
  335. ------------------------------
  336.  
  337. Subject: Free Neural Network Simulation and Analysis SW (am6.0)
  338. From:    Russell R Leighton <taylor@world.std.com>
  339. Date:    Fri, 30 Oct 92 09:09:54 -0500
  340.  
  341.  *************************************************************************
  342.  **** delete all prerelease versions!!!!!!! (they are not up to date) ****
  343.  *************************************************************************
  344.  
  345. The following describes a neural network simulation environment made
  346. available free from the MITRE Corporation. The software contains a neural
  347. network simulation code generator which generates high performance ANSI C
  348. code implementations for modular backpropagation neural networks. Also
  349. included is an interface to visualization tools.
  350.  
  351.                   FREE NEURAL NETWORK SIMULATOR
  352.                            AVAILABLE
  353.  
  354.                         Aspirin/MIGRAINES 
  355.  
  356.                            Version 6.0
  357.  
  358. The Mitre Corporation is making available free to the public a neural
  359. network simulation environment called Aspirin/MIGRAINES.  The software
  360. consists of a code generator that builds neural network simulations by
  361. reading a network description (written in a language called "Aspirin")
  362. and generates an ANSI C simulation. An interface (called "MIGRAINES") is
  363. provided to export data from the neural network to visualization tools.
  364. The previous version (Version 5.0) has over 600 registered installation
  365. sites world wide.
  366.  
  367. The system has been ported to a number of platforms:
  368.  
  369. Host platforms:
  370.         convex_c2       /* Convex C2 */
  371.         convex_c3       /* Convex C3 */
  372.         cray_xmp        /* Cray XMP */
  373.         cray_ymp        /* Cray YMP */
  374.         cray_c90        /* Cray C90 */
  375.         dga_88k         /* Data General Aviion w/88XXX */
  376.         ds_r3k          /* Dec Station w/r3000 */
  377.         ds_alpha        /* Dec Station w/alpha */
  378.         hp_parisc       /* HP w/parisc */ 
  379.         pc_iX86_sysvr4  /* IBM pc 386/486 Unix SysVR4 */
  380.         pc_iX86_sysvr3  /* IBM pc 386/486 Interactive Unix SysVR3 */
  381.         ibm_rs6k        /* IBM w/rs6000 */
  382.         news_68k        /* News w/68XXX */
  383.         news_r3k        /* News w/r3000 */
  384.         next_68k        /* NeXT w/68XXX */
  385.         sgi_r3k         /* Silicon Graphics w/r3000 */
  386.         sgi_r4k         /* Silicon Graphics w/r4000 */
  387.         sun_sparc       /* Sun w/sparc */
  388.         sun_68k         /* Sun w/68XXX */
  389.  
  390. Coprocessors:
  391.         mc_i860         /* Mercury w/i860 */
  392.         meiko_i860      /* Meiko w/i860 Computing Surface */
  393.  
  394.  
  395.  
  396. Included with the software are "config" files for these platforms.
  397. Porting to other platforms may be done by choosing the "closest" platform
  398. currently supported and adapting the config files.
  399.  
  400.  
  401. New Features
  402. - ------------
  403.                 - ANSI C ( ANSI C compiler required! If you do not
  404.                   have an ANSI C compiler,  a free (and very good) 
  405.                   compiler called gcc is available by anonymous ftp
  406.                   from prep.ai.mit.edu (18.71.0.38). ) 
  407.                   Gcc is what was used to develop am6 on Suns.
  408.  
  409.                 - Autoregressive backprop has better stability
  410.                   constraints (see examples: ringing and sequence),
  411.                   very good for sequence recognition
  412.  
  413.                 - File reader supports "caching" so you can
  414.                   use HUGE data files (larger than physical/virtual
  415.                   memory).
  416.  
  417.                 - The "analyze" utility which aids the analysis
  418.                   of hidden unit behavior (see examples: sonar and
  419.                   characters)
  420.  
  421.                 - More examples
  422.  
  423.                 - More portable system configuration
  424.                   for easy installation on systems
  425.                   without a "config" file in distribution
  426. Aspirin 6.0
  427. - ------------
  428.  
  429. The software that we are releasing now is for creating, and evaluating,
  430. feed-forward networks such as those used with the backpropagation
  431. learning algorithm. The software is aimed both at the expert
  432. programmer/neural network researcher who may wish to tailor significant
  433. portions of the system to his/her precise needs, as well as at casual
  434. users who will wish to use the system with an absolute minimum of effort.
  435.  
  436. Aspirin was originally conceived as ``a way of dealing with MIGRAINES.''
  437. Our goal was to create an underlying system that would exist behind the
  438. graphics and provide the network modeling facilities.  The system had to
  439. be flexible enough to allow research, that is, make it easy for a user to
  440. make frequent, possibly substantial, changes to network designs and
  441. learning algorithms. At the same time it had to be efficient enough to
  442. allow large ``real-world'' neural network systems to be developed.
  443.  
  444. Aspirin uses a front-end parser and code generators to realize this goal.
  445. A high level declarative language has been developed to describe a
  446. network.  This language was designed to make commonly used network
  447. constructs simple to describe, but to allow any network to be described.
  448. The Aspirin file defines the type of network, the size and topology of
  449. the network, and descriptions of the network's input and output. This
  450. file may also include information such as initial values of weights,
  451. names of user defined functions.
  452.  
  453. The Aspirin language is based around the concept of a "black box".  A
  454. black box is a module that (optionally) receives input and (necessarily)
  455. produces output.  Black boxes are autonomous units that are used to
  456. construct neural network systems.  Black boxes may be connected
  457. arbitrarily to create large possibly heterogeneous network systems. As a
  458. simple example, pre or post-processing stages of a neural network can be
  459. considered black boxes that do not learn.
  460.  
  461. The output of the Aspirin parser is sent to the appropriate code
  462. generator that implements the desired neural network paradigm.  The goal
  463. of Aspirin is to provide a common extendible front-end language and
  464. parser for different network paradigms. The publicly available software
  465. will include a backpropagation code generator that supports several
  466. variations of the backpropagation learning algorithm.  For
  467. backpropagation networks and their variations, Aspirin supports a wide
  468. variety of capabilities:
  469.         1. feed-forward layered networks with arbitrary connections
  470.         2. ``skip level'' connections 
  471.         3. one and two-dimensional weight tessellations
  472.         4. a few node transfer functions (as well as user defined)
  473.         5. connections to layers/inputs at arbitrary delays,
  474.            also "Waibel style" time-delay neural networks
  475.         6. autoregressive nodes.
  476.         7. line search and conjugate gradient optimization
  477.  
  478. The file describing a network is processed by the Aspirin parser and
  479. files containing C functions to implement that network are generated.
  480. This code can then be linked with an application which uses these
  481. routines to control the network. Optionally, a complete simulation may be
  482. automatically generated which is integrated with the MIGRAINES interface
  483. and can read data in a variety of file formats. Currently supported file
  484. formats are:
  485.         Ascii
  486.         Type1, Type2, Type3 Type4 Type5 (simple floating point file formats)
  487.         ProMatlab
  488.  
  489. Examples
  490. - --------
  491.  
  492. A set of examples comes with the distribution:
  493.  
  494. xor: from RumelHart and McClelland, et al, "Parallel Distributed
  495. Processing, Vol 1: Foundations", MIT Press, 1986, pp. 330-334.
  496.  
  497. encode: from RumelHart and McClelland, et al, "Parallel Distributed
  498. Processing, Vol 1: Foundations", MIT Press, 1986, pp. 335-339.
  499.  
  500. bayes: Approximating the optimal bayes decision surface for a gauss-gauss
  501. problem.
  502.  
  503. detect: Detecting a sine wave in noise.
  504.  
  505. iris: The classic iris database.
  506.  
  507. characters: Learing to recognize 4 characters independent of rotation.
  508.  
  509. ring: Autoregressive network learns a decaying sinusoid impulse response.
  510.  
  511. sequence: Autoregressive network learns to recognize a short sequence of
  512. orthonormal vectors.
  513.  
  514. sonar: from Gorman, R. P., and Sejnowski, T. J. (1988).  "Analysis of
  515. Hidden Units in a Layered Network Trained to Classify Sonar Targets" in
  516. Neural Networks, Vol. 1, pp. 75-89.
  517.  
  518. spiral: from Kevin J. Lang and Michael J, Witbrock, "Learning to Tell Two
  519. Spirals Apart", in Proceedings of the 1988 Connectionist Models Summer
  520. School, Morgan Kaufmann, 1988.
  521.  
  522. ntalk: from Sejnowski, T.J., and Rosenberg, C.R. (1987).  "Parallel
  523. networks that learn to pronounce English text" in Complex Systems, 1,
  524. 145-168.
  525.  
  526. perf: a large network used only for performance testing.
  527.  
  528. monk: The backprop part of the monk paper. The MONK's problem were the
  529. basis of a first international comparison of learning algorithms. The
  530. result of this comparison is summarized in "The MONK's Problems - A
  531. Performance Comparison of Different Learning algorithms" by S.B. Thrun,
  532. J. Bala, E. Bloedorn, I.  Bratko, B.  Cestnik, J. Cheng, K. De Jong, S.
  533. Dzeroski, S.E. Fahlman, D. Fisher, R. Hamann, K. Kaufman, S. Keller, I.
  534. Kononenko, J.  Kreuziger, R.S.  Michalski, T. Mitchell, P.  Pachowicz, Y.
  535. Reich H.  Vafaie, W. Van de Welde, W. Wenzel, J. Wnek, and J. Zhang has
  536. been published as Technical Report CS-CMU-91-197, Carnegie Mellon
  537. University in Dec.  1991.
  538.  
  539. wine: From the ``UCI Repository Of Machine Learning Databases and Domain
  540. Theories'' (ics.uci.edu: pub/machine-learning-databases).
  541.  
  542. Performance of Aspirin simulations
  543. - ----------------------------------
  544.  
  545. The backpropagation code generator produces simulations that run very
  546. efficiently. Aspirin simulations do best on vector machines when the
  547. networks are large, as exemplified by the Cray's performance. All
  548. simulations were done using the Unix "time" function and include all
  549. simulation overhead. The connections per second rating was calculated by
  550. multiplying the number of iterations by the total number of connections
  551. in the network and dividing by the "user" time provided by the Unix time
  552. function. Two tests were performed. In the first, the network was simply
  553. run "forward" 100,000 times and timed. In the second, the network was
  554. timed in learning mode and run until convergence. Under both tests the
  555. "user" time included the time to read in the data and initialize the
  556. network.
  557.  
  558. Sonar:
  559.  
  560. This network is a two layer fully connected network
  561. with 60 inputs: 2-34-60. 
  562.                                 Millions of Connections per Second
  563.         Forward:               
  564.           SparcStation1:                    1
  565.           IBM RS/6000 320:                  2.8
  566.           HP9000/720:                       4.0
  567.           Meiko i860 (40MHz) :              4.4
  568.           Mercury i860 (40MHz) :            5.6
  569.           Cray YMP:                         21.9
  570.           Cray C90:                         33.2
  571.         Forward/Backward:
  572.           SparcStation1:                    0.3
  573.           IBM RS/6000 320:                  0.8
  574.           Meiko i860 (40MHz) :              0.9
  575.           HP9000/720:                       1.1
  576.           Mercury i860 (40MHz) :            1.3
  577.           Cray YMP:                         7.6
  578.           Cray C90:                         13.5
  579.  
  580. Gorman, R. P., and Sejnowski, T. J. (1988).  "Analysis of Hidden Units in
  581. a Layered Network Trained to Classify Sonar Targets" in Neural Networks,
  582. Vol. 1, pp. 75-89.
  583.  
  584. Nettalk:
  585.  
  586. This network is a two layer fully connected network
  587. with [29 x 7] inputs: 26-[15 x 8]-[29 x 7]
  588.                                 Millions of Connections per Second
  589.         Forward:               
  590.           SparcStation1:                      1
  591.           IBM RS/6000 320:                    3.5
  592.           HP9000/720:                         4.5
  593.           Mercury i860 (40MHz) :              12.4
  594.           Meiko i860 (40MHz) :                12.6
  595.           Cray YMP:                           113.5
  596.           Cray C90:                           220.3
  597.         Forward/Backward:
  598.           SparcStation1:                      0.4
  599.           IBM RS/6000 320:                    1.3
  600.           HP9000/720:                         1.7
  601.           Meiko i860 (40MHz) :                2.5
  602.           Mercury i860 (40MHz) :              3.7
  603.           Cray YMP:                           40
  604.           Cray C90:                           65.6
  605.  
  606. Sejnowski, T.J., and Rosenberg, C.R. (1987).  "Parallel networks that
  607. learn to pronounce English text" in Complex Systems, 1, 145-168.
  608.  
  609. Perf:
  610.  
  611. This network was only run on a few systems. It is very large with very
  612. long vectors. The performance on this network is in some sense a peak
  613. performance for a machine.
  614.  
  615. This network is a two layer fully connected network
  616. with 2000 inputs: 100-500-2000
  617.                                 Millions of Connections per Second
  618.         Forward:               
  619.          Cray YMP               103.00
  620.          Cray C90               220
  621.         Forward/Backward:
  622.          Cray YMP               25.46
  623.          Cray C90               59.3
  624.  
  625. MIGRAINES 
  626. - ------------
  627.  
  628. The MIGRAINES interface is a terminal based interface that allows you to
  629. open Unix pipes to data in the neural network. This replaces the NeWS1.1
  630. graphical interface in version 4.0 of the Aspirin/MIGRAINES software. The
  631. new interface is not a simple to use as the version 4.0 interface but is
  632. much more portable and flexible.  The MIGRAINES interface allows users to
  633. output neural network weight and node vectors to disk or to other Unix
  634. processes. Users can display the data using either public or commercial
  635. graphics/analysis tools.  Example filters are included that convert data
  636. exported through MIGRAINES to formats readable by:
  637.  
  638.         - Gnuplot 3
  639.         - Matlab
  640.         - Mathematica
  641.         - Xgobi
  642.  
  643. Most of the examples (see above) use the MIGRAINES interface to dump data
  644. to disk and display it using a public software package called Gnuplot3.
  645.  
  646. Gnuplot3 can be obtained via anonymous ftp from:
  647.  
  648. >>>> In general, Gnuplot 3  is available as the file gnuplot3.?.tar.Z 
  649. >>>> Please obtain gnuplot from the site nearest you. Many of the major ftp
  650. >>>> archives world-wide have already picked up the latest version, so if
  651. >>>> you found the old version elsewhere, you might check there.
  652. >>>> 
  653. >>>> NORTH AMERICA:
  654. >>>> 
  655. >>>>      Anonymous ftp to dartmouth.edu (129.170.16.4)
  656. >>>>      Fetch
  657. >>>>         pub/gnuplot/gnuplot3.?.tar.Z
  658. >>>>      in binary mode.
  659.  
  660. >>>>>>>> A special hack for NeXTStep may be found on 'sonata.cc.purdue.edu' 
  661. >>>>>>>> in the directory /pub/next/submissions. The gnuplot3.0 distribution 
  662. >>>>>>>> is also there (in that directory).
  663. >>>>>>>>
  664. >>>>>>>> There is a problem to be aware of--you will need to recompile. 
  665. >>>>>>>> gnuplot has a minor bug, so you will need to compile the command.c
  666. >>>>>>>> file separately with the HELPFILE defined as the entire path name
  667. >>>>>>>> (including the help file name.) If you don't, the Makefile will over
  668. >>>>>>>> ride the def and help won't work (in fact it will bomb the program.)
  669.  
  670. NetTools
  671. - -----------
  672. We have include a simple set of analysis tools by Simon Dennis and Steven
  673. Phillips.  They are used in some of the examples to illustrate the use of
  674. the MIGRAINES interface with analysis tools.  The package contains three
  675. tools for network analysis:
  676.  
  677.         gea - Group Error Analysis
  678.         pca - Principal Components Analysis
  679.         cda - Canonical Discriminants Analysis
  680.  
  681. Analyze
  682. - -------
  683. "analyze" is a program inspired by Denis and Phillips' Nettools. The
  684. "analyze" program does PCA, CDA, projections, and histograms. It can read
  685. the same data file formats as are supported by "bpmake" simulations and
  686. output data in a variety of formats. Associated with this utility are
  687. shell scripts that implement data reduction and feature extraction.
  688. "analyze" can be used to understand how the hidden layers separate the
  689. data in order to optimize the network architecture.
  690.  
  691.  
  692. How to get Aspirin/MIGRAINES
  693. - -----------------------
  694. The software is available from two FTP sites, CMU's simulator collection
  695. and UCLA's cognitive science machines.  The compressed tar file is a
  696. little less than 2 megabytes.  Most of this space is taken up by the
  697. documentation and examples. The software is currently only available via
  698. anonymous FTP.
  699.  
  700. > To get the software from CMU's simulator collection:
  701.  
  702. 1. Create an FTP connection from wherever you are to machine "pt.cs.cmu.edu"
  703. (128.2.254.155). 
  704.  
  705. 2. Log in as user "anonymous" with password your username.
  706.  
  707. 3. Change remote directory to "/afs/cs/project/connect/code".  Any
  708. subdirectories of this one should also be accessible.  Parent directories
  709. should not be. ****You must do this in a single operation****:
  710.         cd /afs/cs/project/connect/code
  711.  
  712. 4. At this point FTP should be able to get a listing of files in this
  713. directory and fetch the ones you want.
  714.  
  715. Problems? - contact us at "connectionists-request@cs.cmu.edu".
  716.  
  717. 5. Set binary mode by typing the command "binary"  ** THIS IS IMPORTANT **
  718.  
  719. 6. Get the file "am6.tar.Z"
  720.  
  721. > To get the software from UCLA's cognitive science machines:
  722.  
  723. 1. Create an FTP connection to "ftp.cognet.ucla.edu" (128.97.50.19)
  724. (typically with the command "ftp ftp.cognet.ucla.edu")
  725.  
  726. 2. Log in as user "anonymous" with password your username.
  727.  
  728. 3. Change remote directory to "alexis", by typing the command "cd alexis"
  729.  
  730. 4. Set binary mode by typing the command "binary"  ** THIS IS IMPORTANT **
  731.  
  732. 5. Get the file by typing the command "get am6.tar.Z"
  733.  
  734. Other sites
  735. - -----------
  736.  
  737. If these sites do not work well for you, then try the archie
  738. internet mail server. Send email:
  739.         To: archie@cs.mcgill.ca
  740.         Subject: prog am6.tar.Z
  741. Archie will reply with a list of internet ftp sites
  742. that you can get the software from.
  743.  
  744. How to unpack the software
  745. - --------------------------
  746.  
  747. After ftp'ing the file make the directory you
  748. wish to install the software. Go to that
  749. directory and type:
  750.  
  751.         zcat am6.tar.Z | tar xvf - 
  752.  
  753.               -or-
  754.  
  755.         uncompress am6.tar.Z ; tar xvf am6.tar
  756.  
  757. How to print the manual
  758. - -----------------------
  759.  
  760. The user documentation is located in ./doc in a 
  761. few compressed PostScript files. To print 
  762. each file on a PostScript printer type:
  763.         uncompress *.Z
  764.         lpr -s *.ps
  765.  
  766. Why?
  767. - ----
  768.  
  769. I have been asked why MITRE is giving away this software.  MITRE is a
  770. non-profit organization funded by the U.S. federal government. MITRE does
  771. research and development into various technical areas. Our research into
  772. neural network algorithms and applications has resulted in this software.
  773. Since MITRE is a publically funded organization, it seems appropriate
  774. that the product of the neural network research be turned back into the
  775. technical community at large.
  776.  
  777. Thanks
  778. - ------
  779.  
  780. Thanks to the beta sites for helping me get the bugs out and make this
  781. portable.
  782.  
  783. Thanks to the folks at CMU and UCLA for the ftp sites.
  784.  
  785. Copyright and license agreement
  786. - -------------------------------
  787.  
  788. Since the Aspirin/MIGRAINES system is licensed free of charge, the MITRE
  789. Corporation provides absolutely no warranty. Should the Aspirin/MIGRAINES
  790. system prove defective, you must assume the cost of all necessary
  791. servicing, repair or correction.  In no way will the MITRE Corporation be
  792. liable to you for damages, including any lost profits, lost monies, or
  793. other special, incidental or consequential damages arising out of the use
  794. or in ability to use the Aspirin/MIGRAINES system.
  795.  
  796. This software is the copyright of The MITRE Corporation.  It may be
  797. freely used and modified for research and development purposes. We
  798. require a brief acknowledgement in any research paper or other
  799. publication where this software has made a significant contribution. If
  800. you wish to use it for commercial gain you must contact The MITRE
  801. Corporation for conditions of use. The MITRE Corporation provides
  802. absolutely NO WARRANTY for this software.
  803.  
  804. October, 1992 
  805.  
  806.  
  807.   Russell Leighton                                *     *                     
  808.   MITRE Signal Processing Center      ***        ***   ***      ***           
  809.   7525 Colshire Dr.                 ******       ***   ***    ******          
  810.   McLean, Va. 22102, USA           *****************************************  
  811.                                            *****    ***   ***        ******   
  812.   INTERNET: taylor@world.std.com,            **     ***   ***          ***    
  813.             leighton@mitre.org                       *     *                  
  814.  
  815.  
  816.  
  817. ------------------------------
  818.  
  819. End of Neuron Digest [Volume 10 Issue 18]
  820. *****************************************
  821.