home *** CD-ROM | disk | FTP | other *** search
/ ftp.pasteur.org/FAQ/ / ftp-pasteur-org-FAQ.zip / FAQ / ai-faq / neural-nets / part5 < prev    next >
Encoding:
Internet Message Format  |  2003-01-01  |  54.3 KB

  1. From: saswss@unx.sas.com (Warren Sarle)
  2. Newsgroups: comp.ai.neural-nets,comp.answers,news.answers
  3. Subject: comp.ai.neural-nets FAQ, Part 5 of 7: Free software
  4. Supersedes: <nn5.posting_1027965398@hotellng.unx.sas.com>
  5. Followup-To: comp.ai.neural-nets
  6. Date: 30 Dec 2002 21:56:48 GMT
  7. Organization: SAS Institute Inc., Cary, NC, USA
  8. Lines: 1160
  9. Approved: news-answers-request@MIT.EDU
  10. Expires: 3 Feb 2003 21:56:47 GMT
  11. Message-ID: <nn5.posting_1041285407@hotellng.unx.sas.com>
  12. Reply-To: saswss@unx.sas.com (Warren Sarle)
  13. NNTP-Posting-Host: hotellng.unx.sas.com
  14. X-Trace: license1.unx.sas.com 1041285408 6620 10.28.2.188 (30 Dec 2002 21:56:48 GMT)
  15. X-Complaints-To: usenet@unx.sas.com
  16. NNTP-Posting-Date: 30 Dec 2002 21:56:48 GMT
  17. Keywords: frequently asked questions, answers
  18. Originator: saswss@hotellng.unx.sas.com
  19. Path: senator-bedfellow.mit.edu!bloom-beacon.mit.edu!nycmny1-snh1.gtei.net!news.gtei.net!news-out.visi.com!hermes.visi.com!news.lightlink.com!vienna7.his.com!attws1!ip.att.net!lamb.sas.com!newshost!hotellng.unx.sas.com!saswss
  20. Xref: senator-bedfellow.mit.edu comp.ai.neural-nets:64341 comp.answers:52358 news.answers:243497
  21.  
  22. Archive-name: ai-faq/neural-nets/part5
  23. Last-modified: 2002-08-19
  24. URL: ftp://ftp.sas.com/pub/neural/FAQ5.html
  25. Maintainer: saswss@unx.sas.com (Warren S. Sarle)
  26.  
  27. The copyright for the description of each product is held by the producer or
  28. distributor of the product or whoever it was who supplied the description
  29. for the FAQ, who by submitting it for the FAQ gives permission for the
  30. description to be reproduced as part of the FAQ in any of the ways specified
  31. in part 1 of the FAQ. 
  32.  
  33. This is part 5 (of 7) of a monthly posting to the Usenet newsgroup
  34. comp.ai.neural-nets. See the part 1 of this posting for full information
  35. what it is all about.
  36.  
  37. ========== Questions ========== 
  38. ********************************
  39.  
  40. Part 1: Introduction
  41. Part 2: Learning
  42. Part 3: Generalization
  43. Part 4: Books, data, etc.
  44. Part 5: Free software
  45.  
  46.    Source code on the web?
  47.    Freeware and shareware packages for NN simulation?
  48.  
  49. Part 6: Commercial software
  50. Part 7: Hardware and miscellaneous
  51.  
  52. ------------------------------------------------------------------------
  53.  
  54. Subject: Source code on the web?
  55. ================================
  56.  
  57. The following URLs are reputed to have source code for NNs. Use at your own
  58. risk. 
  59.  
  60.  o C/C++
  61.    http://www.generation5.org/xornet.shtml
  62.    http://www.netwood.net/~edwin/Matrix/
  63.    http://www.netwood.net/~edwin/svmt/
  64.    http://www.geocities.com/Athens/Agora/7256/c-plus-p.html
  65.    http://www.cs.cmu.edu/afs/cs.cmu.edu/user/mitchell/ftp/faces.html
  66.    http://www.cog.brown.edu/~rodrigo/neural_nets_library.html
  67.    http://www.agt.net/public/bmarshal/aiparts/aiparts.htm
  68.    http://www.geocities.com/CapeCanaveral/1624/
  69.    http://www.neuroquest.com/ or http://www.grobe.org/LANE
  70.    http://www.neuro-fuzzy.de/
  71.    http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/neural/systems/cascor/
  72.    http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/neural/systems/qprop/
  73.    http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/neural/systems/rcc/
  74.    etc. 
  75.  
  76.  o Java
  77.    http://www.philbrierley.com/code
  78.    http://rfhs8012.fh-regensburg.de/~saj39122/jfroehl/diplom/e-index.html
  79.    http://neuron.eng.wayne.edu/software.html
  80.    http://www.aist.go.jp/NIBH/~b0616/Lab/Links.html
  81.    http://www.aist.go.jp/NIBH/~b0616/Lab/BSOM1/
  82.    http://www.neuroinformatik.ruhr-uni-bochum.de/ini/PEOPLE/loos
  83.    http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.html
  84.    http://www.isbiel.ch/I/Projects/janet/index.html
  85.    http://www.born-again.demon.nl/software.html
  86.    http://www.patol.com/java/NN/index.html
  87.    http://www-isis.ecs.soton.ac.uk/computing/neural/laboratory/laboratory.html
  88.    http://www.neuro-fuzzy.de/
  89.    http://sourceforge.net/projects/joone
  90.    http://joone.sourceforge.net/
  91.    http://openai.sourceforge.net/
  92.    http://www.geocities.com/aydingurel/neural/
  93.    http://www-eco.enst-bretagne.fr/~phan/emergence/complexe/neuron/mlp.html
  94.  
  95.  o FORTRAN
  96.    http://www.philbrierley.com/code
  97.    http://www.cranfield.ac.uk/public/me/fo941992/mlpcode.htm
  98.  
  99.  o Pascal
  100.    http://www.ibrtses.com/delphi/neuralnets.html
  101.  
  102. If you are using a small computer (PC, Mac, etc.) you may want to have a
  103. look at the Central Neural System Electronic Bulletin Board (see question 
  104. "Other sources of information"). There are lots of small simulator packages.
  105. Some of the CNS materials can also be found at 
  106. http://www.cs.cmu.edu/afs/cs.cmu.edu/project/ai-repository/ai/areas/neural/cns/0.html
  107.  
  108. ------------------------------------------------------------------------
  109.  
  110. Subject: Freeware and shareware packages for NN
  111. ===============================================
  112. simulation?
  113. ===========
  114.  
  115. Since the FAQ maintainer works for a software company, he does not recommend
  116. or evaluate software in the FAQ. The descriptions below are provided by the
  117. developers or distributors of the software. 
  118.  
  119. Note for future submissions: Please restrict product descriptions to a
  120. maximum of 60 lines of 72 characters, in either plain-text format or,
  121. preferably, HTML format. If you include the standard header (name, company,
  122. address, etc.), you need not count the header in the 60 line maximum. Please
  123. confine your HTML to features that are supported by primitive browsers,
  124. especially NCSA Mosaic 2.0; avoid tables, for example--use <pre> instead.
  125. Try to make the descriptions objective, and avoid making implicit or
  126. explicit assertions about competing products, such as "Our product is the
  127. *only* one that does so-and-so." The FAQ maintainer reserves the right to
  128. remove excessive marketing hype and to edit submissions to conform to size
  129. requirements; if he is in a good mood, he may also correct your spelling and
  130. punctuation. 
  131.  
  132. The following simulators are described below: 
  133.  
  134. 1. JavaNNS 
  135. 2. SNNS 
  136. 3. PDP++ 
  137. 4. Rochester Connectionist Simulator 
  138. 5. UCLA-SFINX 
  139. 6. NeurDS 
  140. 7. PlaNet (formerly known as SunNet) 
  141. 8. GENESIS 
  142. 9. Mactivation 
  143. 10. Cascade Correlation Simulator 
  144. 11. Quickprop 
  145. 12. DartNet 
  146. 13. Aspirin/MIGRAINES 
  147. 14. ALN Workbench 
  148. 15. Uts (Xerion, the sequel) 
  149. 16. Multi-Module Neural Computing Environment (MUME) 
  150. 17. LVQ_PAK, SOM_PAK 
  151. 18. Nevada Backpropagation (NevProp) 
  152. 19. Fuzzy ARTmap 
  153. 20. PYGMALION 
  154. 21. Basis-of-AI-NN Software 
  155. 22. Matrix Backpropagation 
  156. 23. BIOSIM 
  157. 24. FuNeGen 
  158. 25. NeuDL -- Neural-Network Description Language 
  159. 26. NeoC Explorer 
  160. 27. AINET 
  161. 28. DemoGNG 
  162. 29. Trajan 2.1 Shareware 
  163. 30. Neural Networks at your Fingertips 
  164. 31. NNFit 
  165. 32. Nenet v1.0 
  166. 33. Machine Consciousness Toolbox 
  167. 34. NICO Toolkit (speech recognition) 
  168. 35. SOM Toolbox for Matlab 5 
  169. 36. FastICA package for MATLAB 
  170. 37. NEXUS: Large-scale biological simulations 
  171. 38. Netlab: Neural network software for Matlab 
  172. 39. NuTank 
  173. 40. Lens 
  174. 41. Joone: Java Object Oriented Neural Engine 
  175. 42. NV: Neural Viewer 
  176. 43. EasyNN 
  177. 44. Multilayer Perceptron - A Java Implementation 
  178.  
  179. See also 
  180. http://www.emsl.pnl.gov:2080/proj/neuron/neural/systems/shareware.html 
  181.  
  182. 1. JavaNNS: Java Neural Network Simulator
  183. +++++++++++++++++++++++++++++++++++++++++
  184.  
  185.    http://www-ra.informatik.uni-tuebingen.de/forschung/JavaNNS/welcome_e.html
  186.    JavaNNS is the successor to SNNS. JavaNNS is based on the SNNS computing
  187.    kernel, but has a newly developed graphical user interface written in
  188.    Java set on top of it. Hence compatibility with SNNS is achieved while
  189.    platform-independence is increased. 
  190.  
  191.    In addition to SNNS features, JavaNNS offers the capability of linking
  192.    HTML browsers to it. This provides for accessing the user manual
  193.    (available in HTML) or, optionally, a reference coursebook on neural
  194.    networks directly from within the program. 
  195.  
  196.    JavaNNS is available for Windows NT / Windows 2000, Solaris and RedHat
  197.    Linux. Additional ports are planed. JavaNNS is freely available and can
  198.    be downloaded from the URL shown above. 
  199.  
  200.    Contact: Igor Fischer, Phone: +49 7071 29-77176,
  201.    fischer@informatik.uni-tuebingen.de 
  202.  
  203. 2. SNNS 4.2
  204. +++++++++++
  205.  
  206.    SNNS (Stuttgart Neural Network Simulator) is a software simulator for
  207.    neural networks on Unix workstations developed at the Institute for
  208.    Parallel and Distributed High Performance Systems (IPVR) at the
  209.    University of Stuttgart. The goal of the SNNS project is to create an
  210.    efficient and flexible simulation environment for research on and
  211.    application of neural nets. 
  212.  
  213.    The SNNS simulator consists of two main components:
  214.  
  215.    1. simulator kernel written in C
  216.    2. graphical user interface under X11R4 or X11R5 
  217.  
  218.    The simulator kernel operates on the internal network data structures of
  219.    the neural nets and performs all operations of learning and recall. It
  220.    can also be used without the other parts as a C program embedded in
  221.    custom applications. It supports arbitrary network topologies and, like
  222.    RCS, supports the concept of sites. SNNS can be extended by the user with
  223.    user defined activation functions, output functions, site functions and
  224.    learning procedures, which are written as simple C programs and linked to
  225.    the simulator kernel. C code can be generated from a trained network.
  226.  
  227.    Currently the following network architectures and learning procedures are
  228.    included:
  229.  
  230.     o Backpropagation (BP) for feedforward networks 
  231.        o vanilla (online) BP 
  232.        o BP with momentum term and flat spot elimination 
  233.        o batch BP 
  234.        o chunkwise BP 
  235.     o Counterpropagation 
  236.     o Quickprop 
  237.     o Backpercolation 1 
  238.     o RProp 
  239.     o Generalized radial basis functions (RBF) 
  240.     o ART1 
  241.     o ART2 
  242.     o ARTMAP 
  243.     o Cascade Correlation 
  244.     o Dynamic LVQ 
  245.     o Backpropagation through time (for recurrent networks) 
  246.     o Quickprop through time (for recurrent networks) 
  247.     o Self-organizing maps (Kohonen maps) 
  248.     o TDNN (time-delay networks) with Backpropagation 
  249.     o Jordan networks 
  250.     o Elman networks and extended hierarchical Elman networks 
  251.     o Associative Memory 
  252.     o TACOMA 
  253.  
  254.    The graphical user interface XGUI (X Graphical User Interface), built on
  255.    top of the kernel, gives a 2D and a 3D graphical representation of the
  256.    neural networks and controls the kernel during the simulation run. In
  257.    addition, the 2D user interface has an integrated network editor which
  258.    can be used to directly create, manipulate and visualize neural nets in
  259.    various ways. 
  260.  
  261.    SNNSv4.1 has been tested on SUN SparcSt ELC,IPC (SunOS 4.1.2, 4.1.3), SUN
  262.    SparcSt 2 (SunOS 4.1.2), SUN SparcSt 5, 10, 20 (SunOS 4.1.3, 5.2),
  263.    DECstation 3100, 5000 (Ultrix V4.2), DEC Alpha AXP 3000 (OSF1 V2.1),
  264.    IBM-PC 80486, Pentium (Linux), IBM RS 6000/320, 320H, 530H (AIX V3.1, AIX
  265.    V3.2), HP 9000/720, 730 (HP-UX 8.07), and SGI Indigo 2 (IRIX 4.0.5, 5.3).
  266.  
  267.    The distributed kernel can spread one learning run over a workstation
  268.    cluster. 
  269.  
  270.    SNNS web page: http://www-ra.informatik.uni-tuebingen.de/SNNS
  271.    Ftp server: ftp://ftp.informatik.uni-tuebingen.de/pub/SNNS
  272.     o SNNSv4.1.Readme 
  273.     o SNNSv4.1.tar.gz (1.4 MB, Source code) 
  274.     o SNNSv4.1.Manual.ps.gz (1 MB, Documentation) 
  275.    Mailing list: 
  276.    http://www-ra.informatik.uni-tuebingen.de/SNNS/about-ml.html 
  277.  
  278. 3. PDP++
  279. ++++++++
  280.  
  281.    URL: http://www.cnbc.cmu.edu/PDP++/PDP++.html 
  282.  
  283.    The PDP++ software is a neural-network simulation system written in C++.
  284.    It represents the next generation of the PDP software released with the
  285.    McClelland and Rumelhart "Explorations in Parallel Distributed Processing
  286.    Handbook", MIT Press, 1987. It is easy enough for novice users, but very
  287.    powerful and flexible for research use. PDP++ is featured in a new
  288.    textbook, Computational Explorations in Cognitive Neuroscience:
  289.    Understanding the Mind by Simulating the Brain, by Randall C. O'Reilly
  290.    and Yuko Munakata, MIT Press, 2000.
  291.  
  292.    Supported algorithms include: 
  293.  
  294.     o Feedforward and recurrent error backpropagation. Recurrent BP includes
  295.       continuous, real-time models, and Almeida-Pineda. 
  296.     o Constraint satisfaction algorithms and associated learning algorithms
  297.       including Boltzmann Machine, Hopfield models, mean-field networks
  298.       (DBM), Interactive Activation and Competition (IAC), and continuous
  299.       stochastic networks. 
  300.     o Self-organizing learning including Competitive Learning, Soft
  301.       Competitive Learning, simple Hebbian, and Self-organizing Maps
  302.       ("Kohonen Nets"). 
  303.     o Mixtures-of-experts using backpropagation experts, EM updating, and a
  304.       SoftMax gating module. 
  305.     o Leabra algorithm that combines error-driven and Hebbian learning with
  306.       k-Winners-Take-All inhibitory competition. 
  307.  
  308.    The software can be obtained by anonymous ftp from: 
  309.     o ftp://grey.colorado.edu/pub/oreilly/pdp++ or 
  310.     o ftp://cnbc.cmu.edu/pub/pdp++/ or 
  311.     o ftp://unix.hensa.ac.uk/mirrors/pdp++/ 
  312.  
  313. 4. Rochester Connectionist Simulator
  314. ++++++++++++++++++++++++++++++++++++
  315.  
  316.    A versatile simulator program for arbitrary types of neural nets. Comes
  317.    with a backprop package and a X11/Sunview interface. Available via
  318.    anonymous FTP from 
  319.    ftp://ftp.cs.rochester.edu/pub/packages/simulator/simulator_v4.2.tar.Z
  320.    There's also a patch available from 
  321.    ftp://ftp.cs.rochester.edu/pub/packages/simulator/simulator_v4.2.patch.1 
  322.  
  323. 5. UCLA-SFINX
  324. +++++++++++++
  325.  
  326.    The UCLA-SFINX, a "neural" network simulator is now in public domain.
  327.    UCLA-SFINX (Structure and Function In Neural connec- tions) is an
  328.    interactive neural network simulation environment designed to provide the
  329.    investigative tools for studying the behavior of various neural
  330.    structures. It was designed to easily express and simulate the highly
  331.    regular patterns often found in large networks, but it is also general
  332.    enough to model parallel systems of arbitrary interconnectivity. For more
  333.    information, see 
  334.    http://decus.acornsw.com/vs0121/AISIG/F90/NETS/UCLA_SIM.TXT 
  335.  
  336. 6. NeurDS
  337. +++++++++
  338.  
  339.    Neural Design and Simulation System. This is a general purpose tool for
  340.    building, running and analysing Neural Network Models in an efficient
  341.    manner. NeurDS will compile and run virtually any Neural Network Model
  342.    using a consistent user interface that may be either window or "batch"
  343.    oriented. HP-UX 8.07 source code is available from 
  344.    http://hpux.u-aizu.ac.jp/hppd/hpux/NeuralNets/NeurDS-3.1/ or 
  345.    http://askdonna.ask.uni-karlsruhe.de/hppd/hpux/NeuralNets/NeurDS-3.1/ 
  346.  
  347. 7. PlaNet5.7 (formerly known as SunNet)
  348. +++++++++++++++++++++++++++++++++++++++
  349.  
  350.    A popular connectionist simulator with versions to run under X Windows,
  351.    and non-graphics terminals created by Yoshiro Miyata (Chukyo Univ.,
  352.    Japan). 60-page User's Guide in Postscript. Send any questions to
  353.    miyata@sccs.chukyo-u.ac.jp Available for anonymous ftp from
  354.    ftp.ira.uka.de as /pub/neuron/PlaNet5.7.tar.gz (800 kb) 
  355.  
  356. 8. GENESIS
  357. ++++++++++
  358.  
  359.    GENESIS 2.0 (GEneral NEural SImulation System) is a general purpose
  360.    simulation platform which was developed to support the simulation of
  361.    neural systems ranging from complex models of single neurons to
  362.    simulations of large networks made up of more abstract neuronal
  363.    components. Most current GENESIS applications involve realistic
  364.    simulations of biological neural systems. Although the software can also
  365.    model more abstract networks, other simulators are more suitable for
  366.    backpropagation and similar connectionist modeling. Runs on most Unix
  367.    platforms. Graphical front end XODUS. Parallel version for networks of
  368.    workstations, symmetric multiprocessors, and MPPs also available. Further
  369.    information via WWW at http://www.genesis-sim.org/GENESIS/. 
  370.  
  371. 9. Mactivation
  372. ++++++++++++++
  373.  
  374.    A neural network simulator for the Apple Macintosh. Available for ftp
  375.    from ftp.cs.colorado.edu as /pub/cs/misc/Mactivation-3.3.sea.hqx 
  376.  
  377. 10. Cascade Correlation Simulator
  378. +++++++++++++++++++++++++++++++++
  379.  
  380.    A simulator for Scott Fahlman's Cascade Correlation algorithm. Available
  381.    for ftp from ftp.cs.cmu.edu in directory
  382.    /afs/cs/project/connect/code/supported as the file cascor-v1.2.shar (223
  383.    KB) There is also a version of recurrent cascade correlation in the same
  384.    directory in file rcc1.c (108 KB). 
  385.  
  386. 11. Quickprop
  387. +++++++++++++
  388.  
  389.    A variation of the back-propagation algorithm developed by Scott Fahlman.
  390.    A simulator is available in the same directory as the cascade correlation
  391.    simulator above in file nevprop1.16.shar (137 KB)
  392.    (There is also an obsolete simulator called quickprop1.c (21 KB) in the
  393.    same directory, but it has been superseeded by NevProp. See also the
  394.    description of NevProp below.) 
  395.  
  396. 12. DartNet
  397. +++++++++++
  398.  
  399.    DartNet is a Macintosh-based backpropagation simulator, developed at
  400.    Dartmouth by Jamshed Bharucha and Sean Nolan as a pedagogical tool. It
  401.    makes use of the Mac's graphical interface, and provides a number of
  402.    tools for building, editing, training, testing and examining networks.
  403.    This program is available by anonymous ftp from ftp.dartmouth.edu as 
  404.    /pub/mac/dartnet.sit.hqx (124 KB). 
  405.  
  406. 13. Aspirin/MIGRAINES
  407. +++++++++++++++++++++
  408.  
  409.    Aspirin/MIGRAINES 6.0 consists of a code generator that builds neural
  410.    network simulations by reading a network description (written in a
  411.    language called "Aspirin") and generates a C simulation. An interface
  412.    (called "MIGRAINES") is provided to export data from the neural network
  413.    to visualization tools. The system has been ported to a large number of
  414.    platforms. The goal of Aspirin is to provide a common extendible
  415.    front-end language and parser for different network paradigms. The
  416.    MIGRAINES interface is a terminal based interface that allows you to open
  417.    Unix pipes to data in the neural network. Users can display the data
  418.    using either public or commercial graphics/analysis tools. Example
  419.    filters are included that convert data exported through MIGRAINES to
  420.    formats readable by Gnuplot 3.0, Matlab, Mathematica, and xgobi. 
  421.  
  422.    The software is available from 
  423.    http://www.elegant-software.com/software/aspirin/ 
  424.  
  425. 14. ALN Workbench (a spreadsheet for Windows) 
  426. ++++++++++++++++++++++++++++++++++++++++++++++
  427.  
  428.    ALNBench is a free spreadsheet program for MS-Windows (NT, 95) that
  429.    allows the user to import training and test sets and predict a chosen
  430.    column of data from the others in the training set. It is an easy-to-use
  431.    program for research, education and evaluation of ALN technology. Anyone
  432.    who can use a spreadsheet can quickly understand how to use it. It
  433.    facilitates interactive access to the power of the Dendronic Learning
  434.    Engine (DLE), a product in commercial use. 
  435.  
  436.    An ALN consists of linear functions with adaptable weights at the leaves
  437.    of a tree of maximum and minimum operators. The tree grows automatically
  438.    during training: a linear piece splits if its error is too high. The
  439.    function computed by an ALN is piecewise linear and continuous. It can
  440.    learn to approximate any continuous function to arbitrarily high
  441.    accuracy. 
  442.  
  443.    Parameters allow the user to input knowledge about a function to promote
  444.    good generalization. In particular, bounds on the weights of the linear
  445.    functions can be directly enforced. Some parameters are chosen
  446.    automatically in standard mode, and are under user control in expert
  447.    mode. 
  448.  
  449.    The program can be downloaded from http://www.dendronic.com/main.htm 
  450.  
  451.    For further information please contact: 
  452.  
  453.    William W. Armstrong PhD, President
  454.    Dendronic Decisions Limited
  455.    3624 - 108 Street, NW
  456.    Edmonton, Alberta,
  457.    Canada T6J 1B4
  458.    Email: arms@dendronic.com
  459.    URL: http://www.dendronic.com/
  460.    Tel. +1 403 421 0800
  461.    (Note: The area code 403 changes to 780 after Jan. 25, 1999)
  462.  
  463. 15. Uts (Xerion, the sequel)
  464. ++++++++++++++++++++++++++++
  465.  
  466.    Uts is a portable artificial neural network simulator written on top of
  467.    the Tool Control Language (Tcl) and the Tk UI toolkit. As result, the
  468.    user interface is readily modifiable and it is possible to simultaneously
  469.    use the graphical user interface and visualization tools and use scripts
  470.    written in Tcl. Uts itself implements only the connectionist paradigm of
  471.    linked units in Tcl and the basic elements of the graphical user
  472.    interface. To make a ready-to-use package, there exist modules which use
  473.    Uts to do back-propagation (tkbp) and mixed em gaussian optimization
  474.    (tkmxm). Uts is available in ftp.cs.toronto.edu in directory /pub/xerion.
  475.  
  476. 16. Multi-Module Neural Computing Environment (MUME)
  477. ++++++++++++++++++++++++++++++++++++++++++++++++++++
  478.  
  479.    MUME is a simulation environment for multi-modules neural computing. It
  480.    provides an object oriented facility for the simulation and training of
  481.    multiple nets with various architectures and learning algorithms. MUME
  482.    includes a library of network architectures including feedforward, simple
  483.    recurrent, and continuously running recurrent neural networks. Each
  484.    architecture is supported by a variety of learning algorithms. MUME can
  485.    be used for large scale neural network simulations as it provides support
  486.    for learning in multi-net environments. It also provide pre- and
  487.    post-processing facilities. For more information, see 
  488.    http://www-2.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/neural/systems/mume/0.html
  489.  
  490. 17. LVQ_PAK, SOM_PAK
  491. ++++++++++++++++++++
  492.  
  493.    These are packages for Learning Vector Quantization and Self-Organizing
  494.    Maps, respectively. They have been built by the LVQ/SOM Programming Team
  495.    of the Helsinki University of Technology, Laboratory of Computer and
  496.    Information Science, Rakentajanaukio 2 C, SF-02150 Espoo, FINLAND There
  497.    are versions for Unix and MS-DOS available from 
  498.    http://nucleus.hut.fi/nnrc/nnrc-programs.html 
  499.  
  500. 18. Nevada Backpropagation (NevProp)
  501. ++++++++++++++++++++++++++++++++++++
  502.  
  503.    NevProp, version 3, is a relatively easy-to-use, feedforward
  504.    backpropagation multilayer perceptron simulator-that is, statistically
  505.    speaking, a multivariate nonlinear regression program. NevProp3 is
  506.    distributed for free under the terms of the GNU Public License and can be
  507.    downloaded from http://brain.cs.unr.edu/publications/NevProp.zip and 
  508.    http://brain.cs.unr.edu/publications/NevPropManual.pdf 
  509.  
  510.    The program is distributed as C source code that should compile and run
  511.    on most platforms. In addition, precompiled executables are available for
  512.    Macintosh and DOS platforms. Limited support is available from Phil
  513.    Goodman (goodman@unr.edu), University of Nevada Center for Biomedical
  514.    Research. 
  515.  
  516.    MAJOR FEATURES OF NevProp3 OPERATION (* indicates feature new in version
  517.    3) 
  518.    1. Character-based interface common to the UNIX, DOS, and Macintosh
  519.       platforms. 
  520.    2. Command-line argument format to efficiently initiate NevProp3. For
  521.       Generalized Nonlinear Modeling (GNLM) mode, beginners may opt to use
  522.       an interactive interface. 
  523.    3. Option to pre-standardize the training data (z-score or forced
  524.       range*). 
  525.    4. Option to pre-impute missing elements in training data (case-wise
  526.       deletion, or imputation with mean, median, random selection, or
  527.       k-nearest neighbor).* 
  528.    5. Primary error (criterion) measures include mean square error,
  529.       hyperbolic tangent error, and log likelihood (cross-entropy), as
  530.       penalized an unpenalized values. 
  531.    6. Secondary measures include ROC-curve area (c-index), thresholded
  532.       classification, R-squared and Nagelkerke R-squared. Also reported at
  533.       intervals are the weight configuration, and the sum of square weights.
  534.    7. Allows simultaneous use of logistic (for dichotomous outputs) and
  535.       linear output activation functions (automatically detected to assign
  536.       activation and error function).* 
  537.    8. 1-of-N (Softmax)* and M-of-N options for binary classification. 
  538.    9. Optimization options: flexible learning rate (fixed global adaptive,
  539.       weight-specific, quickprop), split learn rate (inversely proportional
  540.       to number of incoming connections), stochastic (case-wise updating),
  541.       sigmoidprime offset (to prevent locking at logistic tails). 
  542.   10. Regularization options: fixed weight decay, optional decay on bias
  543.       weights, Bayesian hyperpenalty* (partial and full Automatic Relevance
  544.       Determination-also used to select important predictors), automated
  545.       early stopping (full dataset stopping based on multiple subset
  546.       cross-validations) by error criterion. 
  547.   11. Validation options: upload held-out validation test set; select subset
  548.       of outputs for joint summary statistics;* select automated
  549.       bootstrapped modeling to correct optimistically biased summary
  550.       statistics (with standard deviations) without use of hold-out. 
  551.   12. Saving predictions: for training data and uploaded validation test
  552.       set, save file with identifiers, true targets, predictions, and (if
  553.       bootstrapped models selected) lower and upper 95% confidence limits*
  554.       for each prediction. 
  555.   13. Inference options: determination of the mean predictor effects and
  556.       level effects (for multilevel predictor variables); confidence limits
  557.       within main model or across bootstrapped models.* 
  558.   14. ANN-kNN (k-nearest neighbor) emulation mode options: impute missing
  559.       data elements and save to new data file; classify test data (with or
  560.       without missing elements) using ANN-kNN model trained on data with or
  561.       without missing elements (complete ANN-based expectation
  562.       maximization).* 
  563.   15. AGE (ANN-Gated Ensemble) options: adaptively weight predictions (any
  564.       scale of scores) obtained from multiple (human or computational)
  565.       "experts"; validate on new prediction sets; optional internal
  566.       prior-probability expert.* 
  567.  
  568. 19. Fuzzy ARTmap
  569. ++++++++++++++++
  570.  
  571.    This is just a small example program. Available for anonymous ftp from
  572.    park.bu.edu [128.176.121.56] ftp://cns-ftp.bu.edu/pub/fuzzy-artmap.tar.Z
  573.    (44 kB). 
  574.  
  575. 20. PYGMALION
  576. +++++++++++++
  577.  
  578.    This is a prototype that stems from an ESPRIT project. It implements
  579.    back-propagation, self organising map, and Hopfield nets. Avaliable for
  580.    ftp from ftp.funet.fi [128.214.248.6] as 
  581.    /pub/sci/neural/sims/pygmalion.tar.Z (1534 kb). (Original site is
  582.    imag.imag.fr: archive/pygmalion/pygmalion.tar.Z). 
  583.  
  584. 21. Basis-of-AI-NN Software
  585. +++++++++++++++++++++++++++
  586.  
  587.    Non-GUI DOS and UNIX source code, DOS binaries and examples are available
  588.    in the following different program sets and the backprop package has a
  589.    Windows 3.x binary and a Unix/Tcl/Tk version: 
  590.  
  591.       [backprop, quickprop, delta-bar-delta, recurrent networks],
  592.       [simple clustering, k-nearest neighbor, LVQ1, DSM],
  593.       [Hopfield, Boltzman, interactive activation network],
  594.       [interactive activation network],
  595.       [feedforward counterpropagation],
  596.       [ART I],
  597.       [a simple BAM] and
  598.       [the linear pattern classifier]
  599.       
  600.  
  601.    For details see: http://www.dontveter.com/nnsoft/nnsoft.html 
  602.  
  603.    An improved professional version of backprop is also available; see Part
  604.    6 of the FAQ. 
  605.  
  606.    Questions to: Don Tveter, don@dontveter.com 
  607.  
  608. 22. Matrix Backpropagation
  609. ++++++++++++++++++++++++++
  610.  
  611.    MBP (Matrix Back Propagation) is a very efficient implementation of the
  612.    back-propagation algorithm for current-generation workstations. The
  613.    algorithm includes a per-epoch adaptive technique for gradient descent.
  614.    All the computations are done through matrix multiplications and make use
  615.    of highly optimized C code. The goal is to reach almost peak-performances
  616.    on RISCs with superscalar capabilities and fast caches. On some machines
  617.    (and with large networks) a 30-40x speed-up can be measured with respect
  618.    to conventional implementations. The software is available by anonymous
  619.    ftp from ftp.esng.dibe.unige.it as /neural/MBP/MBPv1.1.tar.Z (Unix
  620.    version), or /neural/MBP/MBPv11.zip (PC version)., For more information,
  621.    contact Davide Anguita (anguita@dibe.unige.it). 
  622.  
  623. 23. BIOSIM
  624. ++++++++++
  625.  
  626.    BIOSIM is a biologically oriented neural network simulator. Public
  627.    domain, runs on Unix (less powerful PC-version is available, too), easy
  628.    to install, bilingual (german and english), has a GUI (Graphical User
  629.    Interface), designed for research and teaching, provides online help
  630.    facilities, offers controlling interfaces, batch version is available, a
  631.    DEMO is provided. 
  632.  
  633.    REQUIREMENTS (Unix version): X11 Rel. 3 and above, Motif Rel 1.0 and
  634.    above, 12 MB of physical memory, recommended are 24 MB and more, 20 MB
  635.    disc space. REQUIREMENTS (PC version): PC-compatible with MS Windows 3.0
  636.    and above, 4 MB of physical memory, recommended are 8 MB and more, 1 MB
  637.    disc space. 
  638.  
  639.    Four neuron models are implemented in BIOSIM: a simple model only
  640.    switching ion channels on and off, the original Hodgkin-Huxley model, the
  641.    SWIM model (a modified HH model) and the Golowasch-Buchholz model.
  642.    Dendrites consist of a chain of segments without bifurcation. A neural
  643.    network can be created by using the interactive network editor which is
  644.    part of BIOSIM. Parameters can be changed via context sensitive menus and
  645.    the results of the simulation can be visualized in observation windows
  646.    for neurons and synapses. Stochastic processes such as noise can be
  647.    included. In addition, biologically orientied learning and forgetting
  648.    processes are modeled, e.g. sensitization, habituation, conditioning,
  649.    hebbian learning and competitive learning. Three synaptic types are
  650.    predefined (an excitatatory synapse type, an inhibitory synapse type and
  651.    an electrical synapse). Additional synaptic types can be created
  652.    interactively as desired. 
  653.  
  654.    Available for ftp from ftp.uni-kl.de in directory /pub/bio/neurobio: Get 
  655.    /pub/bio/neurobio/biosim.readme (2 kb) and /pub/bio/neurobio/biosim.tar.Z
  656.    (2.6 MB) for the Unix version or /pub/bio/neurobio/biosimpc.readme (2 kb)
  657.    and /pub/bio/neurobio/biosimpc.zip (150 kb) for the PC version. 
  658.  
  659.    Contact: 
  660.    Stefan Bergdoll 
  661.    Department of Software Engineering (ZXA/US) 
  662.    BASF Inc. 
  663.    D-67056 Ludwigshafen; Germany 
  664.    bergdoll@zxa.basf-ag.de phone 0621-60-21372 fax 0621-60-43735 
  665.  
  666. 24. FuNeGen 1.0
  667. +++++++++++++++
  668.  
  669.    FuNeGen is a MLP based software program to generate fuzzy rule based
  670.    classifiers. For more information, see 
  671.    http://www-2.cs.cmu.edu/afs/cs.cmu.edu/project/ai-repository/ai/areas/fuzzy/systems/funegen/
  672.  
  673. 25. NeuDL -- Neural-Network Description Language
  674. ++++++++++++++++++++++++++++++++++++++++++++++++
  675.  
  676.    NeuDL is a description language for the design, training, and operation
  677.    of neural networks. It is currently limited to the backpropagation
  678.    neural-network model; however, it offers a great deal of flexibility. For
  679.    example, the user can explicitly specify the connections between nodes
  680.    and can create or destroy connections dynamically as training progresses.
  681.    NeuDL is an interpreted language resembling C or C++. It also has
  682.    instructions dealing with training/testing set manipulation as well as
  683.    neural network operation. A NeuDL program can be run in interpreted mode
  684.    or it can be automatically translated into C++ which can be compiled and
  685.    then executed. The NeuDL interpreter is written in C++ and can be easly
  686.    extended with new instructions. For more information, see 
  687.    http://www-2.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/neural/systems/neudl/0.html
  688.  
  689. 26. NeoC Explorer (Pattern Maker included)
  690. ++++++++++++++++++++++++++++++++++++++++++
  691.  
  692.    The NeoC software is an implementation of Fukushima's Neocognitron neural
  693.    network. Its purpose is to test the model and to facilitate interactivity
  694.    for the experiments. Some substantial features: GUI, explorer and tester
  695.    operation modes, recognition statistics, performance analysis, elements
  696.    displaying, easy net construction. PLUS, a pattern maker utility for
  697.    testing ANN: GUI, text file output, transformations. For more
  698.    information, see http://www.simtel.net/pub/pd/39893.html 
  699.  
  700. 27. AINET
  701. +++++++++
  702.  
  703.    AINET is a probabilistic neural network application which runs on Windows
  704.    95/NT. It was designed specifically to facilitate the modeling task in
  705.    all neural network problems. It is lightning fast and can be used in
  706.    conjunction with many different programming languages. It does not
  707.    require iterative learning, has no limits in variables (input and output
  708.    neurons), no limits in sample size. It is not sensitive toward noise in
  709.    the data. The database can be changed dynamically. It provides a way to
  710.    estimate the rate of error in your prediction. It has a graphical
  711.    spreadsheet-like user interface. The AINET manual (more than 100 pages)
  712.    is divided into: "User's Guide", "Basics About Modeling with the AINET",
  713.    "Examples", "The AINET DLL library" and "Appendix" where the theoretical
  714.    background is revealed. You can get a full working copy from: 
  715.    http://www.ainet-sp.si/ 
  716.  
  717. 28. DemoGNG
  718. +++++++++++
  719.  
  720.    This simulator is written in Java and should therefore run without
  721.    compilation on all platforms where a Java interpreter (or a browser with
  722.    Java support) is available. It implements the following algorithms and
  723.    neural network models: 
  724.     o Hard Competitive Learning (standard algorithm) 
  725.     o Neural Gas (Martinetz and Schulten 1991) 
  726.     o Competitive Hebbian Learning (Martinetz and Schulten 1991, Martinetz
  727.       1993) 
  728.     o Neural Gas with Competitive Hebbian Learning (Martinetz and Schulten
  729.       1991) 
  730.     o Growing Neural Gas (Fritzke 1995) 
  731.    DemoGNG is distributed under the GNU General Public License. It allows to
  732.    experiment with the different methods using various probability
  733.    distributions. All model parameters can be set interactively on the
  734.    graphical user interface. A teach modus is provided to observe the models
  735.    in "slow-motion" if so desired. It is currently not possible to
  736.    experiment with user-provided data, so the simulator is useful basically
  737.    for demonstration and teaching purposes and as a sample implementation of
  738.    the above algorithms. 
  739.  
  740.    DemoGNG can be accessed most easily at 
  741.    http://www.neuroinformatik.ruhr-uni-bochum.de/ in the file 
  742.    /ini/VDM/research/gsn/DemoGNG/GNG.html where it is embedded as Java
  743.    applet into a Web page and is downloaded for immediate execution when you
  744.    visit this page. An accompanying paper entitled "Some competitive
  745.    learning methods" describes the implemented models in detail and is
  746.    available in html at the same server in the directory 
  747.    ini/VDM/research/gsn/JavaPaper/. 
  748.  
  749.    It is also possible to download the complete source code and a Postscript
  750.    version of the paper via anonymous ftp from
  751.    ftp.neuroinformatik.ruhr-uni-bochum [134.147.176.16] in directory
  752.    /pub/software/NN/DemoGNG/. The software is in the file 
  753.    DemoGNG-1.00.tar.gz (193 KB) and the paper in the file sclm.ps.gz (89
  754.    KB). There is also a README file (9 KB). Please send any comments and
  755.    questions to demogng@neuroinformatik.ruhr-uni-bochum.de which will reach
  756.    Hartmut Loos who has written DemoGNG as well as Bernd Fritzke, the author
  757.    of the accompanying paper. 
  758.  
  759. 29. Trajan 2.1 Shareware
  760. ++++++++++++++++++++++++
  761.  
  762.    Trajan 2.1 Shareware is a Windows-based Neural Network simulation
  763.    package. It includes support for the two most popular forms of Neural
  764.    Network: Multilayer Perceptrons with Back Propagation and Kohonen
  765.    networks.
  766.  
  767.    Trajan 2.1 Shareware concentrates on ease-of-use and feedback. It
  768.    includes Graphs, Bar Charts and Data Sheets presenting a range of
  769.    Statistical feedback in a simple, intuitive form. It also features
  770.    extensive on-line Help.
  771.  
  772.    The Registered version of the package can support very large networks (up
  773.    to 128 layers with up to 8,192 units each, subject to memory limitations
  774.    in the machine), and allows simple Cut and Paste transfer of data to/from
  775.    other Windows-packages, such as spreadsheet programs. The Unregistered
  776.    version features limited network size and no Clipboard Cut-and-Paste.
  777.  
  778.    There is also a Professional version of Trajan 2.1, which supports a
  779.    wider range of network models, training algorithms and other features.
  780.  
  781.    See Trajan Software's Home Page at http://www.trajan-software.demon.co.uk
  782.    for further details, and a free copy of the Shareware version.
  783.  
  784.    Alternatively, email andrew@trajan-software.demon.co.uk for more details.
  785.  
  786. 30. Neural Networks at your Fingertips
  787. ++++++++++++++++++++++++++++++++++++++
  788.  
  789.    "Neural Networks at your Fingertips" is a package of ready-to-reuse
  790.    neural network simulation source code which was prepared for educational
  791.    purposes by Karsten Kutza. The package consists of eight programs, each
  792.    of which implements a particular network architecture together with an
  793.    embedded example application from a typical application domain.
  794.    Supported network architectures are 
  795.     o Adaline, 
  796.     o Backpropagation, 
  797.     o Hopfield Model, 
  798.     o Bidirectional Associative Memory, 
  799.     o Boltzmann Machine, 
  800.     o Counterpropagation, 
  801.     o Self-Organizing Map, and 
  802.     o Adaptive Resonance Theory. 
  803.    The applications demonstrate use of the networks in various domains such
  804.    as pattern recognition, time-series forecasting, associative memory,
  805.    optimization, vision, and control and include e.g. a sunspot prediction,
  806.    the traveling salesman problem, and a pole balancer.
  807.    The programs are coded in portable, self-contained ANSI C and can be
  808.    obtained from the web pages at 
  809.    http://www.geocities.com/CapeCanaveral/1624. 
  810.  
  811. 31. NNFit
  812. +++++++++
  813.  
  814.    NNFit (Neural Network data Fitting) is a user-friendly software that
  815.    allows the development of empirical correlations between input and output
  816.    data. Multilayered neural models have been implemented using a
  817.    quasi-newton method as learning algorithm. Early stopping method is
  818.    available and various tables and figures are provided to evaluate fitting
  819.    performances of the neural models. The software is available for most of
  820.    the Unix platforms with X-Windows (IBM-AIX, HP-UX, SUN, SGI, DEC, Linux).
  821.    Informations, manual and executable codes (english and french versions)
  822.    are available at http://www.gch.ulaval.ca/~nnfit
  823.    Contact: Bernard P.A. Grandjean, department of chemical engineering,
  824.    Laval University; Sainte-Foy (Quibec) Canada G1K 7P4;
  825.    grandjean@gch.ulaval.ca 
  826.  
  827. 32. Nenet v1.0
  828. ++++++++++++++
  829.  
  830.    Nenet v1.0 is a 32-bit Windows 95 and Windows NT 4.0 application designed
  831.    to facilitate the use of a Self-Organizing Map (SOM) algorithm. 
  832.  
  833.    The major motivation for Nenet was to create a user-friendly SOM
  834.    algorithm tool with good visualization capabilities and with a GUI
  835.    allowing efficient control of the SOM parameters. The use scenarios have
  836.    stemmed from the user's point of view and a considerable amount of work
  837.    has been placed on the ease of use and versatile visualization methods. 
  838.  
  839.    With Nenet, all the basic steps in map control can be performed. In
  840.    addition, Nenet also includes some more exotic and involved features
  841.    especially in the area of visualization. 
  842.  
  843.    Features in Nenet version 1.0: 
  844.     o Implements the standard Kohonen SOM algorithm 
  845.     o Supports 2 common data preprocessing methods 
  846.     o 5 different visualization methods with rectangular or hexagonal
  847.       topology 
  848.     o Capability to animate both train and test sequences in all
  849.       visualization methods 
  850.     o Labelling 
  851.        o Both neurons and parameter levels can be labelled 
  852.        o Provides also autolabelling 
  853.     o Neuron values can be inspected easily 
  854.     o Arbitrary selection of parameter levels can be visualized with Umatrix
  855.       simultaneously 
  856.     o Multiple views can be opened on the same map data 
  857.     o Maps can be printed 
  858.     o Extensive help system provides fast and accurate online help 
  859.     o SOM_PAK compatible file formats 
  860.     o Easy to install and uninstall 
  861.     o Conforms to the common Windows 95 application style - all
  862.       functionality in one application 
  863.  
  864.    Nenet web site is at: 
  865.    http://www.mbnet.fi/~phodju/nenet/Nenet/General.html The web site
  866.    contains further information on Nenet and also the downloadable Nenet
  867.    files (3 disks totalling about 3 Megs) 
  868.  
  869.    If you have any questions whatsoever, please contact: Nenet-Team@hut.fi
  870.    or phassine@cc.hut.fi 
  871.  
  872. 33. Machine Consciousness Toolbox
  873. +++++++++++++++++++++++++++++++++
  874.  
  875.    See listing for Machine Consciousness Toolbox in part 6 of the FAQ. 
  876.  
  877. 34. NICO Toolkit (speech recognition)
  878. +++++++++++++++++++++++++++++++++++++
  879.  
  880.          Name: NICO Artificial Neural Network Toolkit
  881.        Author: Nikko Strom
  882.       Address: Speech, Music and Hearing, KTH, S-100 44, Stockholm, Sweden
  883.         Email: nikko@speech.kth.se
  884.           URL: http://www.speech.kth.se/NICO/index.html
  885.     Platforms: UNIX, ANSI C; Source code tested on: HPUX, SUN Solaris, Linux
  886.         Price: Free
  887.  
  888.    The NICO Toolkit is an artificial neural network toolkit designed and
  889.    optimized for automatic speech recognition applications. Networks with
  890.    both recurrent connections and time-delay windows are easily constructed.
  891.    The network topology is very flexible -- any number of layers is allowed
  892.    and layers can be arbitrarily connected. Sparse connectivity between
  893.    layers can be specified. Tools for extracting input-features from the
  894.    speech signal are included as well as tools for computing target values
  895.    from several standard phonetic label-file formats. 
  896.  
  897.    Algorithms: 
  898.     o Back-propagation through time, 
  899.     o Speech feature extraction (Mel cepstrum coefficients, filter-bank) 
  900.  
  901. 35. SOM Toolbox for Matlab 5
  902. ++++++++++++++++++++++++++++
  903.  
  904.    SOM Toolbox, a shareware Matlab 5 toolbox for data analysis with
  905.    self-organizing maps is available at the URL 
  906.    http://www.cis.hut.fi/projects/somtoolbox/. If you are interested in
  907.    practical data analysis and/or self-organizing maps and have Matlab 5 in
  908.    your computer, be sure to check this out! 
  909.  
  910.    Highlights of the SOM Toolbox include the following: 
  911.     o Tools for all the stages of data analysis: besides the basic SOM
  912.       training and visualization tools, the package includes also tools for
  913.       data preprocessing and model validation and interpretation. 
  914.     o Graphical user interface (GUI): the GUI first guides the user through
  915.       the initialization and training procedures, and then offers a variety
  916.       of different methods to visualize the data on the trained map. 
  917.     o Modular programming style: the Toolbox code utilizes Matlab
  918.       structures, and the functions are constructed in a modular manner,
  919.       which makes it convenient to tailor the code for each user's specific
  920.       needs. 
  921.     o Advanced graphics: building on the Matlab's strong graphics
  922.       capabilities, attractive figures can be easily produced. 
  923.     o Compatibility with SOM_PAK: import/export functions for SOM_PAK
  924.       codebook and data files are included in the package. 
  925.     o Component weights and names: the input vector components may be given
  926.       different weights according to their relative importance, and the
  927.       components can be given names to make the figures easier to read. 
  928.     o Batch or sequential training: in data analysis applications, the speed
  929.       of training may be considerably improved by using the batch version. 
  930.     o Map dimension: maps may be N-dimensional (but visualization is not
  931.       supported when N > 2 ). 
  932.  
  933. 36. FastICA package for MATLAB
  934. ++++++++++++++++++++++++++++++
  935.  
  936.    The FastICA algorithm for independent component analysis. 
  937.  
  938.    Independent component analysis, or ICA, is neural network or signal
  939.    processing technique that represents a multidimensional random vector as
  940.    a linear combination of nongaussian random variables ('independent
  941.    components') that are as independent as possible. ICA is a nongaussian
  942.    version of factor analysis, and somewhat similar to principal component
  943.    analysis. ICA has many applications in data analysis, source separation,
  944.    and feature extraction. 
  945.  
  946.    The FastICA algorithm is a computationally optimized method for
  947.    performing the estimation of ICA. It uses a fixed-point iteration scheme
  948.    that has been found in independent experiments to be 10-100 times faster
  949.    than conventional gradient descent methods for ICA. Another advantage of
  950.    the FastICA algorithm is that it can be used to estimate the independent
  951.    components one-by-one, as in projection pursuit, which is very practical
  952.    in exploratory data analysis. 
  953.  
  954.    The FastICA package for MATLAB (versions 5 or 4) is freeware package with
  955.    a graphical user interface that implements the fixed-point algorithm for
  956.    ICA. The package is available on the Web at 
  957.    http://www.cis.hut.fi/projects/ica/fastica/.
  958.    Email contact: Aapo Hyvarinen <Aapo.Hyvarinen@hut.fi> 
  959.  
  960. 37. NEXUS: Large-scale biological simulations
  961. +++++++++++++++++++++++++++++++++++++++++++++
  962.  
  963.    Large-scale biological neural network simulation engine. Includes
  964.    automated network construction tool that allows extremely complex
  965.    networks to be generated according to user-supplied architectural
  966.    specifications. 
  967.  
  968.    The network engine is an attempt at creating a biological neural network
  969.    simulator. It consists of a C++ class, called "network". A network object
  970.    houses a set of objects of another C++ class, called "neuron". The neuron
  971.    class is a detailed functional simulation of a neuron (i.e. the actual
  972.    chemical processes that lead to a biological neuron's behavior are not
  973.    modeled explicitly, but the behavior itself is). The simulation of the
  974.    neuron is handled entirely by the neuron class. The network class
  975.    coordinates the functioning of the neurons that make up the neural
  976.    network, as well as providing addressing services that allow the neurons
  977.    to interact. It is also responsible for facilitating the interface of the
  978.    neural network it houses onto any existing software into which the neural
  979.    network is to be integrated. 
  980.  
  981.    Since a simulated neural network consisting of a large number of heavily
  982.    interconnected neurons is extremely difficult to generate manually, NEXUS
  983.    was developed. To create a network with NEXUS, one need only describe the
  984.    network in general terms, in terms of groups of sets of specifically
  985.    arranged neurons, and how the groups interface onto each other and onto
  986.    themselves. This information constitutes a network architecture
  987.    descriptor. A network architecture descriptor is read by NEXUS, and NEXUS
  988.    uses the information to generate a network, building all the neurons and
  989.    connecting them together appropriately. This system is analogous to
  990.    nature's brain construction system. For example, human brains, in
  991.    general, are very similar. The basic design is stored in human DNA. Since
  992.    it is certainly not possible to record information about each neuron and
  993.    its connections, DNA must instead contain (in some form) what is
  994.    essentially a set of guidelines, a set of rules about how the brain is to
  995.    be laid out. These guidelines are used to build the brain, just like
  996.    NEXUS uses the guidelines set out in the network architecture descriptor
  997.    to build the simulated neural network. 
  998.  
  999.    NEXUS and the network engine have deliberately been engineered to be
  1000.    highly efficient and very compact. Even so, large, complex networks
  1001.    require tremendous amounts of memory and processing power. 
  1002.  
  1003.    The network engine: 
  1004.     o flexible and elegant design; highly customizable simulation
  1005.       parameters; extremely efficient 
  1006.     o throughout, nonlinear magnitude decay modeling 
  1007.     o dendritic tree complexity and network connection density limited only
  1008.       by the computer hardware 
  1009.     o simulation of dendritic logic gate behaviors via a sophisticated
  1010.       excitation thresholding and conduction model 
  1011.     o detailed simulation of backprop, allowing realistic simulation of
  1012.       associated memory formation processes 
  1013.     o simulation of all known postsynaptic memory formation mechanisms (STP,
  1014.       STD, LTP, LTD) 
  1015.     o dynamic presynaptic output pattern modeling, including excitation
  1016.       magnitude dependent output pattern selection 
  1017.     o simulation of all known presynaptic activity-based output modifiers
  1018.       (PPF, PTP, depression) 
  1019.  
  1020.    NEXUS: 
  1021.     o allows networks to be designed concisely and as precisely as is
  1022.       necessary 
  1023.     o makes massively complex large-scale neural network design and
  1024.       construction possible 
  1025.     o allows existing networks to be augmented without disturbing existing
  1026.       network structure 
  1027.     o UNIX and Win32 compatible 
  1028.  
  1029.    URL: http://www.sfu.ca/~loryan/neural.html
  1030.    Email: Lawrence O. Ryan <loryan@sfu.ca>
  1031.  
  1032. 38. Netlab: Neural network software for Matlab
  1033. ++++++++++++++++++++++++++++++++++++++++++++++
  1034.  
  1035.    http://www.ncrg.aston.ac.uk/netlab/index.html 
  1036.  
  1037.    The Netlab simulation software is designed to provide the central tools
  1038.    necessary for the simulation of theoretically well founded neural network
  1039.    algorithms for use in teaching, research and applications development. It
  1040.    consists of a library of Matlab functions and scripts based on the
  1041.    approach and techniques described in Neural Networks for Pattern
  1042.    Recognition by Christopher M. Bishop, (Oxford University Press, 1995).
  1043.    The functions come with on-line help, and further explanation is
  1044.    available via HTML files. 
  1045.  
  1046.    The Netlab library includes software implementations of a wide range of
  1047.    data analysis techniques. Netlab works with Matlab version 5.0 and
  1048.    higher. It is not compatible with earlier versions of Matlab. 
  1049.  
  1050. 39. NuTank
  1051. ++++++++++
  1052.  
  1053.    NuTank stands for NeuralTank. It is educational and entertainment
  1054.    software. In this program one is given the shell of a 2 dimentional
  1055.    robotic tank. The tank has various I/O devices like wheels, whiskers,
  1056.    optical sensors, smell, fuel level, sound and such. These I/O sensors are
  1057.    connected to Neurons. The player/designer uses more Neurons to
  1058.    interconnect the I/O devices. One can have any level of complexity
  1059.    desired (memory limited) and do subsumptive designs. More complex design
  1060.    take slightly more fuel, so life is not free. All movement costs fuel
  1061.    too. One can also tag neuron connections as "adaptable" that adapt their
  1062.    weights in acordance with the target neuron. This allows neurons to
  1063.    learn. The Neuron editor can handle 3 dimention arrays of neurons as
  1064.    single entities with very flexible interconect patterns.
  1065.  
  1066.    One can then design a scenario with walls, rocks, lights, fat (fuel)
  1067.    sources (that can be smelled) and many other such things. Robot tanks are
  1068.    then introduced into the Scenario and allowed interact or battle it out.
  1069.    The last one alive wins, or maybe one just watches the motion of the
  1070.    robots for fun. While the scenario is running it can be stopped, edited,
  1071.    zoom'd, and can track on any robot.
  1072.  
  1073.    The entire program is mouse and graphicly based. It uses DOS and VGA and
  1074.    is written in TurboC++. There will also be the ability to download
  1075.    designs to another computer and source code will be available for the
  1076.    core neural simulator. This will allow one to design neural systems and
  1077.    download them to real robots. The design tools can handle three
  1078.    dimentional networks so will work with video camera inputs and such. 
  1079.  
  1080.    NuTank source code is free from 
  1081.    http://www.xmission.com/~rkeene/NuTankSrc.ZIP
  1082.    Contact: Richard Keene; Keene Educational Software
  1083.    Email: rkeene@xmission.com or r.keene@center7.com
  1084.  
  1085. 40. Lens
  1086. ++++++++
  1087.  
  1088.    http://www.cs.cmu.edu/~dr/Lens
  1089.  
  1090.    Lens (the light, efficient network simulator) is a fast, flexible, and
  1091.    customizable neural network package written primarily in C. It currently
  1092.    handles standard backpropagation networks, simple recurrent (including
  1093.    Jordan and Elman) and fully recurrent nets, deterministic Boltzmann
  1094.    machines, self-organizing maps, and interactive-activation models. 
  1095.  
  1096.    Lens runs under Windows as well as a variety of Unix platforms. It
  1097.    includes a graphical interface and an embedded script language (Tcl). The
  1098.    key to the speed of Lens is its use of tight inner-loops that minimize
  1099.    memory references when traversing links. Frequently accessed values are
  1100.    stored in contiguous memory to achieve good cache performance. It is also
  1101.    able to do batch-level parallel training on multiple processors. 
  1102.  
  1103.    Because it is recognized that no simulator will satisfy sophisticated
  1104.    users out of the box, Lens was designed to facilitate code modification.
  1105.    Users can create and register such things as new network or group types,
  1106.    new weight update algorithms, or new shell commands without altering the
  1107.    main body of code. Therefore, modifications can be easily transferred to
  1108.    new releases. 
  1109.  
  1110.    Lens is available free-of-charge to those conducting research at academic
  1111.    or non-profit institutions. Other users should contact Douglas Rohde for
  1112.    licensing information at dr+lens@cs.cmu.edu. 
  1113.  
  1114. 41. Joone: Java Object Oriented Neural Engine
  1115. +++++++++++++++++++++++++++++++++++++++++++++
  1116.  
  1117.    http://sourceforge.net/projects/joone 
  1118.  
  1119.    Joone is a neural net engine written in Java. It's a modular, scalable,
  1120.    multitasking and extensible engine. It can be extended by writing new
  1121.    modules to implement new algorithms or new architectures starting from
  1122.    simple base components. It's an Open Source project and everybody can
  1123.    contribute to its development. 
  1124.  
  1125.    Contact: Paolo Marrone, paolo@marrone.org 
  1126.  
  1127. 42. NV: Neural Viewer
  1128. +++++++++++++++++++++
  1129.  
  1130.    http://www.btinternet.com/~cfinnie/ 
  1131.  
  1132.    A free software application for modelling and visualizing complex
  1133.    recurrent neural networks in 3D. 
  1134.  
  1135. 43. EasyNN
  1136. ++++++++++
  1137.  
  1138.    URL: http://www.easynn.com/ 
  1139.  
  1140.    EasyNN is a neural network system for Microsoft Windows. It can generate
  1141.    multi layer neural networks from text files or grids with minimal user
  1142.    intervention. The networks can then be trained, validated and queried.
  1143.    Network diagrams, graphs, input/output data and all the network details
  1144.    can be displayed and printed. Nodes can be added or deleted while the
  1145.    network is learning. The graph, grid, network and detail displays are
  1146.    updated dynamically so you can see how the neural networks work. EasyNN
  1147.    runs on Windows 95, 98, ME, NT 4.0, 2000 or XP. 
  1148.  
  1149. 44. Multilayer Perceptron - A Java Implementation 
  1150. ++++++++++++++++++++++++++++++++++++++++++++++++++
  1151.  
  1152.    Download java from: http://www.geocities.com/aydingurel/neural/ 
  1153.  
  1154.    What can you exactly do with it? You can: 
  1155.     o Build nets with any number of layers and units. Layers are connected
  1156.       to each other consecutively, each unit in a layer is connected to all
  1157.       of the units on the next layer (and vice versa) if there is one, 
  1158.     o Set units with linear and sigmoid activation functions and set them
  1159.       separately for each layer, 
  1160.     o Set parameters for sigmoid functions and set them separately for each
  1161.       layer, 
  1162.     o Use momentum, set different momentum parameters for each layer, 
  1163.     o Initialize the net using your own set of weights, 
  1164.     o Train the net using backpropagation and with any training rate. 
  1165.  
  1166.    Contact: Aydin Gurel, aydin.gurel@lycos.com 
  1167.  
  1168. ------------------------------------------------------------------------
  1169.  
  1170. For some of these simulators there are user mailing lists. Get the packages
  1171. and look into their documentation for further info.
  1172.  
  1173. ------------------------------------------------------------------------
  1174.  
  1175. Next part is part 6 (of 7). Previous part is part 4. 
  1176.  
  1177. -- 
  1178.  
  1179. Warren S. Sarle       SAS Institute Inc.   The opinions expressed here
  1180. saswss@unx.sas.com    SAS Campus Drive     are mine and not necessarily
  1181. (919) 677-8000        Cary, NC 27513, USA  those of SAS Institute.
  1182.