home *** CD-ROM | disk | FTP | other *** search
/ ftp.pasteur.org/FAQ/ / ftp-pasteur-org-FAQ.zip / FAQ / ai-faq / neural-nets / part4 < prev    next >
Encoding:
Internet Message Format  |  2003-01-01  |  137.1 KB

  1. From: saswss@unx.sas.com (Warren Sarle)
  2. Newsgroups: comp.ai.neural-nets,comp.answers,news.answers
  3. Subject: comp.ai.neural-nets FAQ, Part 4 of 7: Books, data, etc.
  4. Supersedes: <nn4.posting_1027964396@hotellng.unx.sas.com>
  5. Followup-To: comp.ai.neural-nets
  6. Date: 30 Dec 2002 21:40:01 GMT
  7. Organization: SAS Institute Inc., Cary, NC, USA
  8. Lines: 2900
  9. Approved: news-answers-request@MIT.EDU
  10. Expires: 3 Feb 2003 21:40:00 GMT
  11. Message-ID: <nn4.posting_1041284400@hotellng.unx.sas.com>
  12. Reply-To: saswss@unx.sas.com (Warren Sarle)
  13. NNTP-Posting-Host: hotellng.unx.sas.com
  14. X-Trace: license1.unx.sas.com 1041284401 6115 10.28.2.188 (30 Dec 2002 21:40:01 GMT)
  15. X-Complaints-To: usenet@unx.sas.com
  16. NNTP-Posting-Date: 30 Dec 2002 21:40:01 GMT
  17. Keywords: frequently asked questions, answers
  18. Originator: saswss@hotellng.unx.sas.com
  19. Path: senator-bedfellow.mit.edu!bloom-beacon.mit.edu!newsfeed.utk.edu!news-hog.berkeley.edu!ucberkeley!newshub.sdsu.edu!news-xfer.cox.net!news.lightlink.com!vienna7.his.com!attws1!ip.att.net!lamb.sas.com!newshost!hotellng.unx.sas.com!saswss
  20. Xref: senator-bedfellow.mit.edu comp.ai.neural-nets:64339 comp.answers:52357 news.answers:243496
  21.  
  22. Archive-name: ai-faq/neural-nets/part4
  23. Last-modified: 2002-11-24
  24. URL: ftp://ftp.sas.com/pub/neural/FAQ4.html
  25. Maintainer: saswss@unx.sas.com (Warren S. Sarle)
  26.  
  27. Copyright 1997, 1998, 1999, 2000, 2001, 2002 by Warren S. Sarle, Cary, NC,
  28. USA. Reviews provided by other authors as cited below are copyrighted by
  29. those authors, who by submitting the reviews for the FAQ give permission for
  30. the review to be reproduced as part of the FAQ in any of the ways specified
  31. in part 1 of the FAQ. 
  32.  
  33. This is part 4 (of 7) of a monthly posting to the Usenet newsgroup
  34. comp.ai.neural-nets. See the part 1 of this posting for full information
  35. what it is all about.
  36.  
  37. ========== Questions ========== 
  38. ********************************
  39.  
  40. Part 1: Introduction
  41. Part 2: Learning
  42. Part 3: Generalization
  43. Part 4: Books, data, etc.
  44.  
  45.    Books and articles about Neural Networks?
  46.       The Best
  47.          The best of the best
  48.          The best popular introduction to NNs
  49.          The best introductory book for business executives
  50.          The best elementary textbooks
  51.          The best books on using and programming NNs
  52.          The best intermediate textbooks on NNs
  53.          The best advanced textbook covering NNs
  54.          The best book on neurofuzzy systems
  55.          The best comparison of NNs with other classification methods
  56.       Other notable books
  57.          Introductory
  58.          Bayesian learning
  59.          Biological learning and neurophysiology
  60.          Collections
  61.          Combining networks
  62.          Connectionism
  63.          Feedforward networks
  64.          Fuzzy logic and neurofuzzy systems
  65.          General (including SVMs and Fuzzy Logic)
  66.          History
  67.          Knowledge, rules, and expert systems
  68.          Learning theory
  69.          Object oriented programming
  70.          On-line and incremental learning
  71.          Optimization
  72.          Pulsed/Spiking networks
  73.          Recurrent
  74.          Reinforcement learning
  75.          Speech recognition
  76.          Statistics
  77.          Time-series forecasting
  78.          Unsupervised learning
  79.       Books for the Beginner
  80.       Not-quite-so-introductory Literature
  81.       Books with Source Code (C, C++)
  82.       The Worst
  83.    Journals and magazines about Neural Networks?
  84.    Conferences and Workshops on Neural Networks?
  85.    Neural Network Associations?
  86.    Mailing lists, BBS, CD-ROM?
  87.    How to benchmark learning methods?
  88.    Databases for experimentation with NNs?
  89.       UCI machine learning database
  90.       UCI KDD Archive
  91.       The neural-bench Benchmark collection
  92.       Proben1
  93.       Delve: Data for Evaluating Learning in Valid Experiments
  94.       Bilkent University Function Approximation Repository
  95.       NIST special databases of the National Institute Of Standards And
  96.       Technology:
  97.       CEDAR CD-ROM 1: Database of Handwritten Cities, States, ZIP Codes,
  98.       Digits, and Alphabetic Characters
  99.       AI-CD-ROM
  100.       Time series
  101.       Financial data
  102.       USENIX Faces
  103.       Linguistic Data Consortium
  104.       Otago Speech Corpus
  105.       Astronomical Time Series
  106.       Miscellaneous Images
  107.       StatLib
  108.  
  109. Part 5: Free software
  110. Part 6: Commercial software
  111. Part 7: Hardware and miscellaneous
  112.  
  113. ------------------------------------------------------------------------
  114.  
  115. Subject: Books and articles about Neural Networks?
  116. ==================================================
  117.  
  118. The following search engines will search many bookstores for new and used
  119. books and return information on availability, price, and shipping charges:
  120.  
  121.    AddAll: http://www.addall.com/
  122.    Bookfinder: http://www.bookfinder.com/
  123.  
  124. Clicking on the author and title of most of the books listed in the "Best"
  125. and "Notable" sections will do a search using AddAll.
  126.  
  127. There are many on-line bookstores, such as:
  128.  
  129.    Amazon: http://www.amazon.com/
  130.    Amazon, UK: http://www.amazon.co.uk/
  131.    Amazon, Germany: http://www.amazon.de/
  132.    Barnes & Noble: http://www.bn.com/
  133.    Bookpool: http://www.bookpool.com/
  134.    Borders: http://www.borders.com/
  135.    Fatbrain: http://www.fatbrain.com/
  136.  
  137. The neural networks reading group at the University of Illinois at
  138. Urbana-Champaign, the Artifical Neural Networks and Computational Brain
  139. Theory (ANNCBT) forum, has compiled a large number of book and paper reviews
  140. at http://anncbt.ai.uiuc.edu/, with an emphasis more on cognitive science
  141. rather than practical applications of NNs. 
  142.  
  143. The Best
  144. ++++++++
  145.  
  146. The best of the best
  147. --------------------
  148.  
  149. Bishop (1995) is clearly the single best book on artificial NNs. This book
  150. excels in organization and choice of material, and is a close runner-up to
  151. Ripley (1996) for accuracy. If you are new to the field, read it from cover
  152. to cover. If you have lots of experience with NNs, it's an excellent
  153. reference. If you don't know calculus, take a class. I hope a second edition
  154. comes out soon! For more information, see The best intermediate textbooks on
  155. NNs below. 
  156.  
  157. If you have questions on feedforward nets that aren't answered by Bishop,
  158. try Masters (1993) or Reed and Marks (1999) for practical issues or Ripley
  159. (1996) for theortical issues, all of which are reviewed below. 
  160.  
  161. The best popular introduction to NNs
  162. ------------------------------------
  163.  
  164. Hinton, G.E. (1992), "How Neural Networks Learn from Experience", Scientific
  165. American, 267 (September), 144-151 (page numbers are for the US edition).
  166. Author's Webpage: http://www.cs.utoronto.ca/DCS/People/Faculty/hinton.html
  167. (official)
  168. and http://www.cs.toronto.edu/~hinton (private)
  169. Journal Webpage: http://www.sciam.com/
  170. Additional Information: Unfortunately that article is not available there.
  171.  
  172. The best introductory book for business executives
  173. --------------------------------------------------
  174.  
  175. Bigus, J.P. (1996), Data Mining with Neural Networks: Solving Business
  176. Problems--from Application Development to Decision Support, NY:
  177. McGraw-Hill, ISBN 0-07-005779-6, xvii+221 pages.
  178. The stereotypical business executive (SBE) does not want to know how or why
  179. NNs work--he (SBEs are usually male) just wants to make money. The SBE may
  180. know what an average or percentage is, but he is deathly afraid of
  181. "statistics". He understands profit and loss but does not want to waste his
  182. time learning things involving complicated math, such as high-school
  183. algebra. For further information on the SBE, see the "Dilbert" comic strip. 
  184.  
  185. Bigus has written an excellent introduction to NNs for the SBE. Bigus says
  186. (p. xv), "For business executives, managers, or computer professionals, this
  187. book provides a thorough introduction to neural network technology and the
  188. issues related to its application without getting bogged down in complex
  189. math or needless details. The reader will be able to identify common
  190. business problems that are amenable to the neural netwrk approach and will
  191. be sensitized to the issues that can affect successful completion of such
  192. applications." Bigus succeeds in explaining NNs at a practical, intuitive,
  193. and necessarily shallow level without formulas--just what the SBE needs.
  194. This book is far better than Caudill and Butler (1990), a popular but
  195. disastrous attempt to explain NNs without formulas. 
  196.  
  197. Chapter 1 introduces data mining and data warehousing, and sketches some
  198. applications thereof. Chapter 2 is the semi-obligatory
  199. philosophico-historical discussion of AI and NNs and is well-written,
  200. although the SBE in a hurry may want to skip it. Chapter 3 is a very useful
  201. discussion of data preparation. Chapter 4 describes a variety of NNs and
  202. what they are good for. Chapter 5 goes into practical issues of training and
  203. testing NNs. Chapters 6 and 7 explain how to use the results from NNs.
  204. Chapter 8 discusses intelligent agents. Chapters 9 through 12 contain case
  205. histories of NN applications, including market segmentation, real-estate
  206. pricing, customer ranking, and sales forecasting. 
  207.  
  208. Bigus provides generally sound advice. He briefly discusses overfitting and
  209. overtraining without going into much detail, although I think his advice on
  210. p. 57 to have at least two training cases for each connection is somewhat
  211. lenient, even for noise-free data. I do not understand his claim on pp. 73
  212. and 170 that RBF networks have advantages over backprop networks for
  213. nonstationary inputs--perhaps he is using the word "nonstationary" in a
  214. sense different from the statistical meaning of the term. There are other
  215. things in the book that I would quibble with, but I did not find any of the
  216. flagrant errors that are common in other books on NN applications such as
  217. Swingler (1996). 
  218.  
  219. The one serious drawback of this book is that it is more than one page long
  220. and may therefore tax the attention span of the SBE. But any SBE who
  221. succeeds in reading the entire book should learn enough to be able to hire a
  222. good NN expert to do the real work. 
  223.  
  224. The best elementary textbooks
  225. -----------------------------
  226.  
  227. Fausett, L. (1994), Fundamentals of Neural Networks: Architectures,
  228. Algorithms, and Applications, Englewood Cliffs, NJ: Prentice Hall, ISBN
  229. 0-13-334186-0. Also published as a Prentice Hall International Edition, ISBN
  230. 0-13-042250-9. Sample software (source code listings in C and Fortran) is
  231. included in an Instructor's Manual. 
  232. Book Webpage (Publisher): http://www.prenhall.com/books/esm_0133341860.html
  233. Additional Information: The mentioned programs / additional support is not
  234. available. Contents:
  235. Ch. 1 Introduction, 1.1 Why Neural Networks and Why Now?, 1.2 What Is a
  236. Neural Net?, 1.3 Where Are Neural Nets Being Used?, 1.4 How Are Neural
  237. Networks Used?, 1.5 Who Is Developing Neural Networks?, 1.6 When Neural Nets
  238. Began: the McCulloch-Pitts Neuron;
  239. Ch. 2 Simple Neural Nets for Pattern Classification, 2.1 General Discussion,
  240. 2.2 Hebb Net, 2.3 Perceptron, 2.4 Adaline;
  241. Ch. 3 Pattern Association, 3.1 Training Algorithms for Pattern Association,
  242. 3.2 Heteroassociative Memory Neural Network, 3.3 Autoassociative Net, 3.4
  243. Iterative Autoassociative Net, 3.5 Bidirectional Associative Memory (BAM);
  244. Ch. 4 Neural Networks Based on Competition, 4.1 Fixed-Weight Competitive
  245. Nets, 4.2 Kohonen Self-Organizing Maps, 4.3 Learning Vector Quantization,
  246. 4.4 Counterpropagation;
  247. Ch. 5 Adaptive Resonance Theory, 5.1 Introduction, 5.2 Art1, 5.3 Art2; 
  248. Ch. 6 Backpropagation Neural Net, 6.1 Standard Backpropagation, 6.2
  249. Variations, 6.3 Theoretical Results;
  250. Ch. 7 A Sampler of Other Neural Nets, 7.1 Fixed Weight Nets for Constrained
  251. Optimization, 7.2 A Few More Nets that Learn, 7.3 Adaptive Architectures,
  252. 7.4 Neocognitron; Glossary. 
  253.  
  254. Review by Ian Cresswell: 
  255.  
  256.    What a relief! As a broad introductory text this is without any doubt
  257.    the best currently available in its area. It doesn't include source
  258.    code of any kind (normally this is badly written and compiler
  259.    specific). The algorithms for many different kinds of simple neural
  260.    nets are presented in a clear step by step manner in plain English. 
  261.  
  262.    Equally, the mathematics is introduced in a relatively gentle manner.
  263.    There are no unnecessary complications or diversions from the main
  264.    theme. 
  265.  
  266.    The examples that are used to demonstrate the various algorithms are
  267.    detailed but (perhaps necessarily) simple. 
  268.  
  269.    There are bad things that can be said about most books. There are
  270.    only a small number of minor criticisms that can be made about this
  271.    one. More space should have been given to backprop and its variants
  272.    because of the practical importance of such methods. And while the
  273.    author discusses early stopping in one paragraph, the treatment of
  274.    generalization is skimpy compared to the books by Weiss and
  275.    Kulikowski or Smith listed above. 
  276.  
  277.    If you're new to neural nets and you don't want to be swamped by
  278.    bogus ideas, huge amounts of intimidating looking mathematics, a
  279.    programming language that you don't know etc. etc. then this is the
  280.    book for you. 
  281.  
  282.    In summary, this is the best starting point for the outsider and/or
  283.    beginner... a truly excellent text. 
  284.  
  285. Smith, M. (1996). Neural Networks for Statistical Modeling, NY: Van Nostrand
  286. Reinhold, ISBN 0-442-01310-8. 
  287. Apparently there is a new edition I haven't seen yet:
  288. Smith, M. (1996). Neural Networks for Statistical Modeling, Boston:
  289. International Thomson Computer Press, ISBN 1-850-32842-0.
  290. Book Webpage (Publisher): http://www.thompson.com/
  291. Publisher's address: 20 Park Plaza, Suite 1001, Boston, MA 02116, USA.
  292. Smith is not a statistician, but he has made an impressive effort to convey
  293. statistical fundamentals applied to neural networks. The book has entire
  294. brief chapters on overfitting and validation (early stopping and
  295. split-sample validation, which he incorrectly calls cross-validation),
  296. putting it a rung above most other introductions to NNs. There are also
  297. brief chapters on data preparation and diagnostic plots, topics usually
  298. ignored in elementary NN books. Only feedforward nets are covered in any
  299. detail.
  300. Chapter headings: Mapping Functions; Basic Concepts; Error Derivatives;
  301. Learning Laws; Weight Initialization; The Course of Learning: An Example;
  302. Overfitting; Cross Validation; Preparing the Data; Representing Variables;
  303. Using the Model. 
  304.  
  305. Weiss, S.M. and Kulikowski, C.A. (1991), Computer Systems That Learn, 
  306. Morgan Kaufmann. ISBN 1-55860-065-5. 
  307. Author's Webpage: Kulikowski: 
  308. http://ruccs.rutgers.edu/faculty/kulikowski.html
  309. Book Webpage (Publisher): http://www.mkp.com/books_catalog/1-55860-065-5.asp
  310. Additional Information: Information of Weiss, S.M. are not available.
  311. Briefly covers at a very elementary level feedforward nets, linear and
  312. nearest-neighbor discriminant analysis, trees, and expert sytems,
  313. emphasizing practical applications. For a book at this level, it has an
  314. unusually good chapter on estimating generalization error, including
  315. bootstrapping.
  316.  
  317. 1 Overview of Learning Systems 
  318.     1.1 What is a Learning System? 
  319.     1.2 Motivation for Building Learning Systems 
  320.     1.3 Types of Practical Empirical Learning Systems 
  321.         1.3.1 Common Theme: The Classification Model 
  322.         1.3.2 Let the Data Speak
  323.     1.4 What's New in Learning Methods 
  324.         1.4.1 The Impact of New Technology
  325.     1.5 Outline of the Book 
  326.     1.6 Bibliographical and Historical Remarks
  327.  
  328. 2 How to Estimate the True Performance of a Learning System 
  329.     2.1 The Importance of Unbiased Error Rate Estimation 
  330.     2.2. What is an Error? 
  331.         2.2.1 Costs and Risks
  332.     2.3 Apparent Error Rate Estimates 
  333.     2.4 Too Good to Be True: Overspecialization 
  334.     2.5 True Error Rate Estimation 
  335.         2.5.1 The Idealized Model for Unlimited Samples 
  336.         2.5.2 Train-and Test Error Rate Estimation 
  337.         2.5.3 Resampling Techniques 
  338.         2.5.4 Finding the Right Complexity Fit
  339.     2.6 Getting the Most Out of the Data 
  340.     2.7 Classifier Complexity and Feature Dimensionality 
  341.         2.7.1 Expected Patterns of Classifier Behavior
  342.     2.8 What Can Go Wrong? 
  343.         2.8.1 Poor Features, Data Errors, and Mislabeled Classes 
  344.         2.8.2 Unrepresentative Samples
  345.     2.9 How Close to the Truth? 
  346.     2.10 Common Mistakes in Performance Analysis 
  347.     2.11 Bibliographical and Historical Remarks
  348.  
  349. 3 Statistical Pattern Recognition 
  350.     3.1 Introduction and Overview 
  351.     3.2 A Few Sample Applications 
  352.     3.3 Bayesian Classifiers 
  353.         3.3.1 Direct Application of the Bayes Rule
  354.     3.4 Linear Discriminants 
  355.         3.4.1 The Normality Assumption and Discriminant Functions 
  356.         3.4.2 Logistic Regression
  357.     3.5 Nearest Neighbor Methods 
  358.     3.6 Feature Selection 
  359.     3.7 Error Rate Analysis 
  360.     3.8 Bibliographical and Historical Remarks
  361.  
  362. 4 Neural Nets 
  363.     4.1 Introduction and Overview 
  364.     4.2 Perceptrons 
  365.         4.2.1 Least Mean Square Learning Systems 
  366.         4.2.2 How Good Is a Linear Separation Network?
  367.     4.3 Multilayer Neural Networks 
  368.         4.3.1 Back-Propagation 
  369.         4.3.2 The Practical Application of Back-Propagation
  370.     4.4 Error Rate and Complexity Fit Estimation 
  371.     4.5 Improving on Standard Back-Propagation 
  372.     4.6 Bibliographical and Historical Remarks
  373.  
  374. 5 Machine Learning: Easily Understood Decision Rules 
  375.     5.1 Introduction and Overview 
  376.     5.2 Decision Trees 
  377.         5.2.1 Finding the Perfect Tree 
  378.         5.2.2 The Incredible Shrinking Tree 
  379.         5.2.3 Limitations of Tree Induction Methods
  380.     5.3 Rule Induction 
  381.         5.3.1 Predictive Value Maximization
  382.     5.4 Bibliographical and Historical Remarks
  383.  
  384. 6 Which Technique is Best? 
  385.     6.1 What's Important in Choosing a Classifier? 
  386.         6.1.1 Prediction Accuracy 
  387.         6.1.2 Speed of Learning and Classification 
  388.         6.1.3 Explanation and Insight
  389.     6.2 So, How Do I Choose a Learning System? 
  390.     6.3 Variations on the Standard Problem 
  391.         6.3.1 Missing Data 
  392.         6.3.2 Incremental Learning
  393.     6.4 Future Prospects for Improved Learning Methods 
  394.     6.5 Bibliographical and Historical Remarks
  395.  
  396. 7 Expert Systems 
  397.     7.1 Introduction and Overview 
  398.         7.1.1 Why Build Expert Systems? New vs. Old Knowledge
  399.     7.2 Estimating Error Rates for Expert Systems 
  400.     7.3 Complexity of Knowledge Bases 
  401.         7.3.1 How Many Rules Are Too Many?
  402.     7.4 Knowledge Base Example 
  403.     7.5 Empirical Analysis of Knowledge Bases 
  404.     7.6 Future: Combined Learning and Expert Systems 
  405.     7.7 Bibliographical and Historical Remarks
  406.  
  407. Reed, R.D., and Marks, R.J, II (1999), Neural Smithing: Supervised Learning
  408. in Feedforward Artificial Neural Networks, Cambridge, MA: The MIT Press,
  409. ISBN 0-262-18190-8.
  410. Author's Webpage: Marks: http://cialab.ee.washington.edu/Marks.html
  411. Book Webpage (Publisher): 
  412. http://mitpress.mit.edu/book-home.tcl?isbn=0262181908
  413. After you have read Smith (1996) or Weiss and Kulikowski (1991), consult
  414. Reed and Marks for practical details on training MLPs (other types of neural
  415. nets such as RBF networks are barely even mentioned). They provide extensive
  416. coverage of backprop and its variants, and they also survey conventional
  417. optimization algorithms. Their coverage of initialization methods,
  418. constructive networks, pruning, and regularization methods is unusually
  419. thorough. Unlike the vast majority of books on neural nets, this one has
  420. lots of really informative graphs. The chapter on generalization assessment
  421. is slightly weak, which is why you should read Smith (1996) or Weiss and
  422. Kulikowski (1991) first. Also, there is little information on data
  423. preparation, for which Smith (1996) and Masters (1993; see below) should be
  424. consulted. There is some elementary calculus, but not enough that it should
  425. scare off anybody. Many second-rate books treat neural nets as mysterious
  426. black boxes, but Reed and Marks open up the box and provide genuine insight
  427. into the way neural nets work. 
  428.  
  429. One problem with the book is that the terms "validation set" and "test set"
  430. are used inconsistently. 
  431.  
  432. Chapter headings: Supervised Learning; Single-Layer Networks; MLP
  433. Representational Capabilities; Back-Propagation; Learning Rate and Momentum;
  434. Weight-Initialization Techniques; The Error Surface; Faster Variations of
  435. Back-Propagation; Classical Optimization Techniques; Genetic Algorithms and
  436. Neural Networks; Constructive Methods; Pruning Algorithms; Factors
  437. Influencing Generalization; Generalization Prediction and Assessment;
  438. Heuristics for Improving Generalization; Effects of Training with Noisy
  439. Inputs; Linear Regression; Principal Components Analysis; Jitter
  440. Calculations; Sigmoid-like Nonlinear Functions 
  441.  
  442. The best books on using and programming NNs
  443. -------------------------------------------
  444.  
  445. Masters, T. (1993), Practical Neural Network Recipes in C++, Academic
  446. Press, ISBN 0-12-479040-2, US $45 incl. disks.
  447. Book Webpage (Publisher): 
  448. http://www.apcatalog.com/cgi-bin/AP?ISBN=0124790402&LOCATION=US&FORM=FORM2
  449. Masters has written three exceptionally good books on NNs (the two others
  450. are listed below). He combines generally sound practical advice with some
  451. basic statistical knowledge to produce a programming text that is far
  452. superior to the competition (see "The Worst" below). Not everyone likes his
  453. C++ code (the usual complaint is that the code is not sufficiently OO) but,
  454. unlike the code in some other books, Masters's code has been successfully
  455. compiled and run by some readers of comp.ai.neural-nets. Masters's books are
  456. well worth reading even for people who have no interest in programming. 
  457. Chapter headings: Foundations; Classification; Autoassociation; Time-Series
  458. Prediction; Function Approximation; Multilayer Feedforward Networks; Eluding
  459. Local Minima I: Simulated Annealing; Eluding Local Minima II: Genetic
  460. Optimization; Regression and Neural Networks; Designing Feedforward Network
  461. Architectures; Interpreting Weights: How Does This Thing Work; Probabilistic
  462. Neural Networks; Functional Link Networks; Hybrid Networks; Designing the
  463. Training Set; Preparing Input Data; Fuzzy Data and Processing; Unsupervised
  464. Training; Evaluating Performance of Neural Networks; Confidence Measures;
  465. Optimizing the Decision Threshold; Using the NEURAL Program. 
  466.  
  467. Masters, T. (1995) Advanced Algorithms for Neural Networks: A C++
  468. Sourcebook, NY: John Wiley and Sons, ISBN 0-471-10588-0
  469. Book Webpage (Publisher): http://www.wiley.com/
  470. Additional Information: One has to search.
  471. Clear explanations of conjugate gradient and Levenberg-Marquardt
  472. optimization algorithms, simulated annealing, kernel regression (GRNN) and
  473. discriminant analysis (PNN), Gram-Charlier networks, dimensionality
  474. reduction, cross-validation, and bootstrapping. 
  475.  
  476. Masters, T. (1994), Signal and Image Processing with Neural Networks: A
  477. C++ Sourcebook, NY: Wiley, ISBN 0-471-04963-8.
  478. Book Webpage (Publisher): http://www.wiley.com/
  479. Additional Information: One has to search.
  480.  
  481. The best intermediate textbooks on NNs
  482. --------------------------------------
  483.  
  484. Bishop, C.M. (1995). Neural Networks for Pattern Recognition, Oxford:
  485. Oxford University Press. ISBN 0-19-853849-9 (hardback) or 0-19-853864-2
  486. (paperback), xvii+482 pages.
  487. Book Webpage (Author): http://research.microsoft.com/~cmbishop/nnpr.htm
  488. Book Webpage (Publisher): http://www.oup.co.uk/isbn/0-19-853864-2
  489. This is definitely the best book on feedforward neural nets for readers
  490. comfortable with calculus. The book is exceptionally well organized,
  491. presenting topics in a logical progression ideal for conceptual
  492. understanding. 
  493.  
  494. Geoffrey Hinton writes in the foreword:
  495. "Bishop is a leading researcher who has a deep understanding of the material
  496. and has gone to great lengths to organize it in a sequence that makes sense.
  497. He has wisely avoided the temptation to try to cover everything and has
  498. therefore omitted interesting topics like reinforcement learning, Hopfield
  499. networks, and Boltzmann machines in order to focus on the types of neural
  500. networks that are most widely used in practical applications. He assumes
  501. that the reader has the basic mathematical literacy required for an
  502. undergraduate science degree, and using these tools he explains everything
  503. from scratch. Before introducing the multilayer perceptron, for example, he
  504. lays a solid foundation of basic statistical concepts. So the crucial
  505. concept of overfitting is introduced using easily visualized examples of
  506. one-dimensional polynomials and only later applied to neural networks. An
  507. impressive aspect of this book is that it takes the reader all the way from
  508. the simplest linear models to the very latest Bayesian multilayer neural
  509. networks without ever requiring any great intellectual leaps." 
  510.  
  511. Chapter headings: Statistical Pattern Recognition; Probability Density
  512. Estimation; Single-Layer Networks; The Multi-layer Perceptron; Radial Basis
  513. Functions; Error Functions; Parameter Optimization Algorithms;
  514. Pre-processing and Feature Extraction; Learning and Generalization; Bayesian
  515. Techniques; Symmetric Matrices; Gaussian Integrals; Lagrange Multipliers;
  516. Calculus of Variations; Principal Components. 
  517.  
  518. Hertz, J., Krogh, A., and Palmer, R. (1991). Introduction to the Theory of
  519. Neural Computation. Redwood City, CA: Addison-Wesley, ISBN 0-201-50395-6
  520. (hardbound) and 0-201-51560-1 (paperbound)
  521. Book Webpage (Publisher): http://www2.awl.com/gb/abp/sfi/computer.html
  522. This is an excellent classic work on neural nets from the perspective of
  523. physics covering a wide variety of networks. Comments from readers of
  524. comp.ai.neural-nets: "My first impression is that this one is by far the
  525. best book on the topic. And it's below $30 for the paperback."; "Well
  526. written, theoretical (but not overwhelming)"; It provides a good balance of
  527. model development, computational algorithms, and applications. The
  528. mathematical derivations are especially well done"; "Nice mathematical
  529. analysis on the mechanism of different learning algorithms"; "It is NOT for
  530. mathematical beginner. If you don't have a good grasp of higher level math,
  531. this book can be really tough to get through."
  532.  
  533. The best advanced textbook covering NNs
  534. ---------------------------------------
  535.  
  536. Ripley, B.D. (1996) Pattern Recognition and Neural Networks, Cambridge:
  537. Cambridge University Press, ISBN 0-521-46086-7 (hardback), xii+403 pages.
  538. Author's Webpage: http://www.stats.ox.ac.uk/~ripley/
  539. Book Webpage (Publisher): http://www.cup.cam.ac.uk/
  540. Additional Information: The Webpage includes errata and additional
  541. information, which hasn't been available at publishing time, for this book.
  542. Brian Ripley's book is an excellent sequel to Bishop (1995). Ripley starts
  543. up where Bishop left off, with Bayesian inference and statistical decision
  544. theory, and then covers some of the same material on NNs as Bishop but at a
  545. higher mathematical level. Ripley also covers a variety of methods that are
  546. not discussed, or discussed only briefly, by Bishop, such as tree-based
  547. methods and belief networks. While Ripley is best appreciated by people with
  548. a background in mathematical statistics, the numerous realistic examples in
  549. his book will be of interest even to beginners in neural nets.
  550. Chapter headings: Introduction and Examples; Statistical Decision Theory;
  551. Linear Discriminant Analysis; Flexible Discriminants; Feed-forward Neural
  552. Networks; Non-parametric Methods; Tree-structured Classifiers; Belief
  553. Networks; Unsupervised Methods; Finding Good Pattern Features; Statistical
  554. Sidelines. 
  555.  
  556. Devroye, L., Gy÷rfi, L., and Lugosi, G. (1996), A Probabilistic Theory of
  557. Pattern Recognition, NY: Springer, ISBN 0-387-94618-7, vii+636 pages.
  558. This book has relatively little material explicitly about neural nets, but
  559. what it has is very interesting and much of it is not found in other texts.
  560. The emphasis is on statistical proofs of universal consistency for a wide
  561. variety of methods, including histograms, (k) nearest neighbors, kernels
  562. (PNN), trees, generalized linear discriminants, MLPs, and RBF networks.
  563. There is also considerable material on validation and cross-validation. The
  564. authors say, "We did not scar the pages with backbreaking simulations or
  565. quick-and-dirty engineering solutions" (p. 7). The formula-to-text ratio is
  566. high, but the writing is quite clear, and anyone who has had a year or two
  567. of mathematical statistics should be able to follow the exposition.
  568. Chapter headings: The Bayes Error; Inequalities and Alternate Distance
  569. Measures; Linear Discrimination; Nearest Neighbor Rules; Consistency; Slow
  570. Rates of Convergence; Error Estimation; The Regular Histogram Rule; Kernel
  571. Rules; Consistency of the k-Nearest Neighbor Rule; Vapnik-Chervonenkis
  572. Theory; Combinatorial Aspects of Vapnik-Chervonenkis Theory; Lower Bounds
  573. for Empirical Classifier Selection; The Maximum Likelihood Principle;
  574. Parametric Classification; Generalized Linear Discrimination; Complexity
  575. Regularization; Condensed and Edited Nearest Neighbor Rules; Tree
  576. Classifiers; Data-Dependent Partitioning; Splitting the Data; The
  577. Resubstitution Estimate; Deleted Estimates of the Error Probability;
  578. Automatic Kernel Rules; Automatic Nearest Neighbor Rules; Hypercubes and
  579. Discrete Spaces; Epsilon Entropy and Totally Bounded Sets; Uniform Laws of
  580. Large Numbers; Neural Networks; Other Error Estimates; Feature Extraction. 
  581.  
  582. The best books on neurofuzzy systems
  583. ------------------------------------
  584.  
  585. Brown, M., and Harris, C. (1994), Neurofuzzy Adaptive Modelling and
  586. Control, NY: Prentice Hall, ISBN 0-13-134453-6.
  587. Author's Webpage: http://www.isis.ecs.soton.ac.uk/people/m_brown.html
  588. and http://www.ecs.soton.ac.uk/~cjh/
  589. Book Webpage (Publisher): http://www.prenhall.com/books/esm_0131344536.html
  590. Additional Information: Additional page at: 
  591. http://www.isis.ecs.soton.ac.uk/publications/neural/mqbcjh94e.html and an
  592. abstract can be found at: 
  593. http://www.isis.ecs.soton.ac.uk/publications/neural/mqb93.html
  594. Brown and Harris rely on the fundamental insight that that a fuzzy system is
  595. a nonlinear mapping from an input space to an output space that can be
  596. parameterized in various ways and therefore can be adapted to data using the
  597. usual neural training methods (see "What is backprop?") or conventional
  598. numerical optimization algorithms (see "What are conjugate gradients,
  599. Levenberg-Marquardt, etc.?"). Their approach makes clear the intimate
  600. connections between fuzzy systems, neural networks, and statistical methods
  601. such as B-spline regression. 
  602.  
  603. The best comparison of NNs with other classification methods
  604. ------------------------------------------------------------
  605.  
  606. Michie, D., Spiegelhalter, D.J. and Taylor, C.C. (1994), Machine Learning,
  607. Neural and Statistical Classification, Ellis Horwood. Author's Webpage:
  608. Donald Michie: http://www.aiai.ed.ac.uk/~dm/dm.html
  609. Additional Information: This book is out of print but available online at 
  610. http://www.amsta.leeds.ac.uk/~charles/statlog/ 
  611.  
  612. Other notable books
  613. +++++++++++++++++++
  614.  
  615. Introductory
  616. ------------
  617.  
  618. Anderson, J.A. (1995), An Introduction to Neural Networks, Cambridge,MA:
  619. The MIT Press, ISBN 0-262-01144-1. 
  620. Author's Webpage: http://www.cog.brown.edu/~anderson
  621. Book Webpage (Publisher): 
  622. http://mitpress.mit.edu/book-home.tcl?isbn=0262510812 or
  623. http://mitpress.mit.edu/book-home.tcl?isbn=0262011441 (hardback)
  624. Additional Information: Programs and additional information can be found at:
  625. ftp://mitpress.mit.edu/pub/Intro-to-NeuralNets/
  626. Anderson provides an accessible introduction to the AI and
  627. neurophysiological sides of NN research, although the book is weak regarding
  628. practical aspects of using NNs.
  629. Chapter headings: Properties of Single Neurons; Synaptic Integration and
  630. Neuron Models; Essential Vector Operations; Lateral Inhibition and Sensory
  631. Processing; Simple Matrix Operations; The Linear Associator: Background and
  632. Foundations; The Linear Associator: Simulations; Early Network Models: The
  633. Perceptron; Gradient Descent Algorithms; Representation of Information;
  634. Applications of Simple Associators: Concept Formation and Object Motion;
  635. Energy and Neural Networks: Hopfield Networks and Boltzmann Machines;
  636. Nearest Neighbor Models; Adaptive Maps; The BSB Model: A Simple Nonlinear
  637. Autoassociative Neural Network; Associative Computation; Teaching Arithmetic
  638. to a Neural Network. 
  639.  
  640. Hagan, M.T., Demuth, H.B., and Beale, M. (1996), Neural Network Design, 
  641. Boston: PWS, ISBN 0-534-94332-2. 
  642. It doesn't really say much about design, but this book provides formulas and
  643. examples in excruciating detail for a wide variety of networks. It also
  644. includes some mathematical background material.
  645. Chapter headings: Neuron Model and Network Architectures; An Illustrative
  646. Example; Perceptron Learning Rule; Signal and Weight Vector Spaces; Linear
  647. Transformations for Neural; Networks; Supervised Hebbian Learning;
  648. Performance Surfaces and Optimum Points; Performance Optimization;
  649. Widrow-Hoff Learning; Backpropagation; Variations on Backpropagation;
  650. Associative Learning; Competitive Networks; Grossberg Network; Adaptive
  651. Resonance Theory; Stability; Hopfield Network. 
  652.  
  653. Abdi, H., Valentin, D., and Edelman, B. (1999), Neural Networks, Sage
  654. University Papers Series on Quantitative Applications in the Social
  655. Sciences, 07-124, Thousand Oaks, CA: Sage, ISBN 0-7619-1440-4.
  656. Inexpensive, brief (89 pages) but very detailed explanations of linear
  657. networks and the basics of backpropagation.
  658. Chapter headings: 1. Introduction 2. The Perceptron 3. Linear
  659. Autoassociative Memories 4. Linear Heteroassociative Memories 5. Error
  660. Backpropagation 6. Useful References. 
  661.  
  662. Bayesian learning
  663. -----------------
  664.  
  665. Neal, R. M. (1996) Bayesian Learning for Neural Networks, New York:
  666. Springer-Verlag, ISBN 0-387-94724-8. 
  667.  
  668. Biological learning and neurophysiology
  669. ---------------------------------------
  670.  
  671. Koch, C., and Segev, I., eds. (1998) Methods in Neuronal Modeling: From
  672. Ions to Networks, 2nd ed., Cambridge, MA: The MIT Press, ISBN
  673. 0-262-11231-0.
  674. Book Webpage: http://goethe.klab.caltech.edu/MNM/
  675.  
  676. Rolls, E.T., and Treves, A. (1997), Neural Networks and Brain Function, 
  677. Oxford: Oxford University Press, ISBN: 0198524323.
  678. Chapter headings: Introduction; Pattern association memory; Autoassociation
  679. memory; Competitive networks, including self-organizing maps;
  680. Error-correcting networks: perceptrons, the delta rule, backpropagation of
  681. error in multilayer networks, and reinforcement learning algorithms; The
  682. hippocampus and memory; Pattern association in the brain: amygdala and
  683. orbitofrontal cortex; Cortical networks for invariant pattern recognition;
  684. Motor systems: cerebellum and basal ganglia; Cerebral neocortex. 
  685.  
  686. Schmajuk, N.A. (1996) Animal Learning and Cognition: A Neural Network
  687. Approach, Cambridge: Cambridge University Press, ISBN 0521456967.
  688. Chapter headings: Neural networks and associative learning Classical
  689. conditioning: data and theories; Cognitive mapping; Attentional processes;
  690. Storage and retrieval processes; Configural processes; Timing; Operant
  691. conditioning and animal communication: data, theories, and networks; Animal
  692. cognition: data and theories; Place learning and spatial navigation; Maze
  693. learning and cognitive mapping; Learning, cognition, and the hippocampus:
  694. data and theories; Hippocampal modulation of learning and cognition; The
  695. character of the psychological law. 
  696.  
  697. Collections
  698. -----------
  699.  
  700. Orr, G.B., and Mueller, K.-R., eds. (1998), Neural Networks: Tricks of the
  701. Trade, Berlin: Springer, ISBN 3-540-65311-2.
  702. Articles: Efficient BackProp; Early Stopping - But When? A Simple Trick for
  703. Estimating the Weight Decay Parameter; Controling the Hyperparameter Search
  704. in MacKay's Bayesian Neural Network Framework; Adaptive Regularization in
  705. Neural Network Modeling; Large Ensemble Averaging; Square Unit Augmented,
  706. Radially Extended, Multilayer Perceptrons; A Dozen Tricks with Multitask
  707. Learning; Solving the Ill-Conditioning in Neural Network Learning; Centering
  708. Neural Network Gradient Factors; Avoiding Roundoff Error in Backpropagating
  709. Derivatives; Transformation Invariance in Pattern Recognition - Tangent
  710. Distance and Tangent Propagation; Combining Neural Networks and
  711. Context-Driven Search for On-Line, Printed Handwriting Recognition in the
  712. Newton; Neural Network Classification and Prior Class Probabilities;
  713. Applying Divide and Conquer to Large Scale Pattern Recognition Tasks;
  714. Forecasting the Economy with Neural Nets: A Survey of Challenges and
  715. Solutions; How to Train Neural Networks. 
  716.  
  717. Arbib, M.A., ed. (1995), The Handbook of Brain Theory and Neural
  718. Networks, Cambridge, MA: The MIT Press, ISBN 0-262-51102-9.
  719. From The Publisher: The heart of the book, part III, comprises of 267
  720. original articles by leaders in the various fields, arranged alphabetically
  721. by title. Parts I and II, written by the editor, are designed to help
  722. readers orient themselves to this vast range of material. Part I,
  723. Background, introduces several basic neural models, explains how the present
  724. study of brain theory and neural networks integrates brain theory,
  725. artificial intelligence, and cognitive psychology, and provides a tutorial
  726. on the concepts essential for understanding neural networks as dynamic,
  727. adaptive systems. Part II, Road Maps, provides entry into the many articles
  728. of part III through an introductory "Meta-Map" and twenty-three road maps,
  729. each of which tours all the Part III articles on the chosen theme. 
  730.  
  731. Touretzky, D., Hinton, G, and Sejnowski, T., eds., (1989) Proceedings of the
  732. 1988 Connectionist Models Summer School, San Mateo, CA: Morgan Kaufmann,
  733. ISBN: 1558600337 
  734.  
  735. NIPS:
  736.  
  737. 1. Touretzky, D.S., ed. (1989), Advances in Neural Information Processing
  738.    Systems 1, San Mateo, CA: Morgan Kaufmann, ISBN: 1558600159 
  739. 2. Touretzky, D. S., ed. (1990), Advances in Neural Information Processing
  740.    Systems 2, San Mateo, CA: Morgan Kaufmann, ISBN: 1558601007 
  741. 3. Lippmann, R.P., Moody, J.E., and Touretzky, D. S., eds. (1991) Advances
  742.    in Neural Information Processing Systems 3, San Mateo, CA: Morgan
  743.    Kaufmann, ISBN: 1558601848 
  744. 4. Moody, J.E., Hanson, S.J., and Lippmann, R.P., eds. (1992) Advances in
  745.    Neural Information Processing Systems 4, San Mateo, CA: Morgan Kaufmann,
  746.    ISBN: 1558602224 
  747. 5. Hanson, S.J., Cowan, J.D., and Giles, C.L. eds. (1993) Advances in
  748.    Neural Information Processing Systems 5, San Mateo, CA: Morgan Kaufmann,
  749.    ISBN: 1558602747 
  750. 6. Cowan, J.D., Tesauro, G., and Alspector, J., eds. (1994) Advances in
  751.    Neural Information Processing Systems 6, San Mateo, CA: Morgan Kaufman,
  752.    ISBN: 1558603220 
  753. 7. Tesauro, G., Touretzky, D., and Leen, T., eds. (1995) Advances in Neural
  754.    Information Processing Systems 7, Cambridge, MA: The MIT Press, ISBN:
  755.    0262201046 
  756. 8. Touretzky, D. S., Mozer, M.C., and Hasselmo, M.E., eds. (1996) Advances
  757.    in Neural Information Processing Systems 8, Cambridge, MA: The MIT Press,
  758.    ISBN: 0262201070 
  759. 9. Mozer, M.C., Jordan, M.I., and Petsche, T., eds. (1997) Advances in
  760.    Neural Information Processing Systems 9, Cambridge, MA: The MIT Press,
  761.    ISBN: 0262100657 
  762. 10. Jordan, M.I., Kearns, M.S., and Solla, S.A., eds. (1998) Advances in
  763.    Neural Information Processing Systems 10, Cambridge, MA: The MIT Press,
  764.    ISBN: 0262100762 
  765. 11. Kearns, M.S., Solla, S.A., amd Cohn, D.A., eds. (1999) Advances in
  766.    Neural Information Processing Systems 11, Cambridge,MA: The MIT Press,
  767.    ISBN: 0262112450 
  768. 12. Solla, S.A., Leen, T., and Mⁿller, K.-R., eds. (2000) Advances in Neural
  769.    Information Processing Systems 12, Cambridge, MA: The MIT Press, ISBN:
  770.    0-262-19450-3 
  771.  
  772. Combining networks
  773. ------------------
  774.  
  775. Sharkey, A.J.C. (1999), Combining Artificial Neural Nets: Ensemble and
  776. Modular Multi-Net Systems, London: Springer, ISBN: 185233004X 
  777.  
  778. Connectionism
  779. -------------
  780.  
  781. Elman, J.L., Bates, E.A., Johnson, M.H., Karmiloff-Smith, A., and Parisi, D.
  782. (1996) Rethinking Innateness: A Connectionist Perspective on Development, 
  783. Cambridge, MA: The MIT Press, ISBN: 026255030X.
  784. Chapter headings: New perspectives on development; Why connectionism?
  785. Ontogenetic development: A connectionist synthesis; The shape of change;
  786. Brain development; Interactions, all the way down; Rethinking innateness. 
  787.  
  788. Plunkett, K., and Elman, J.L. (1997), Exercises in Rethinking Innateness: A
  789. Handbook for Connectionist Simulations, Cambridge, MA: The MIT Press, ISBN:
  790. 0262661055.
  791. Chapter headings: Introduction and overview; The methodology of simulations;
  792. Learning to use the simulator; Learning internal representations;
  793. Autoassociation; Generalization; Translation invariance; Simple recurrent
  794. networks; Critical points in learning; Modeling stages in cognitive
  795. development; Learning the English past tense; The importance of starting
  796. small. 
  797.  
  798. Feedforward networks
  799. --------------------
  800.  
  801. Fine, T.L. (1999) Feedforward Neural Network Methodology, NY: Springer,
  802. ISBN 0-387-98745-2. 
  803.  
  804. Husmeier, D. (1999), Neural Networks for Conditional Probability
  805. Estimation: Forecasting Beyond Point Predictions, Berlin: Springer Verlag,
  806. ISBN 185233095. 
  807.  
  808. Fuzzy logic and neurofuzzy systems
  809. ----------------------------------
  810.  
  811. See also "General (including SVMs and Fuzzy Logic)".
  812.  
  813. Kosko, B. (1997), Fuzzy Engineering, Upper Saddle River, NJ: Prentice Hall,
  814. ISBN 0-13-124991-6.
  815. Kosko's new book is a big improvement over his older neurofuzzy book and
  816. makes an excellent sequel to Brown and Harris (1994). 
  817.  
  818. Nauck, D., Klawonn, F., and Kruse, R. (1997), Foundations of Neuro-Fuzzy
  819. Systems, Chichester: Wiley, ISBN 0-471-97151-0.
  820. Chapter headings: Historical and Biological Aspects; Neural Networks; Fuzzy
  821. Systems; Modelling Neuro-Fuzzy Systems; Cooperative Neuro-Fuzzy Systems;
  822. Hybrid Neuro-Fuzzy Systems; The Generic Fuzzy Perceptron; NEFCON -
  823. Neuro-Fuzzy Control; NEFCLASS - Neuro-Fuzzy Classification; NEFPROX -
  824. Neuro-Fuzzy Function Approximation; Neural Networks and Fuzzy Prolog; Using
  825. Neuro-Fuzzy Systems. 
  826.  
  827. General (including SVMs and Fuzzy Logic)
  828. ----------------------------------------
  829.  
  830. Many books on neural networks, machine learning, etc., present various
  831. methods as miscellaneous tools without any conceptual framework relating
  832. different methods. The best of such neural net "cookbooks" is probably
  833. Haykin's (1999) second edition.
  834.  
  835. Among conceptually-integrated books, there are two excellent books that use
  836. the Vapnil-Chervonenkis theory as a unifying theme, and provide strong
  837. coverage of support vector machines and fuzzy logic, as well as neural nets.
  838. Of these two, Kecman (2001) provides clearer explanations and better
  839. diagrams, but Cherkassky and Mulier (1998) are better organized have an
  840. excellent section on unsupervised learning, especially self-organizing maps.
  841. I have been tempted to add both of these books to the "best" list, but I
  842. have not done so because I think VC theory is of doubtful practical utility
  843. for neural nets. However, if you are especially interested in VC theory and
  844. support vector machines, then both of these books can be highly recommended.
  845. To help you choose between them, a detailed table of contents is provided
  846. below for each book. 
  847.  
  848. Haykin, S. (1999), Neural Networks: A Comprehensive Foundation, 2nd ed.,
  849. Upper Saddle River, NJ: Prentice Hall, ISBN 0-13-273350-1.
  850. The second edition is much better than the first, which has been described
  851. as a core-dump of Haykin's brain. The second edition covers more topics, is
  852. easier to understand, and has better examples. 
  853. Chapter headings: Introduction; Learning Processes; Single Layer
  854. Perceptrons; Multilayer Perceptrons; Radial-Basis Function Networks; Support
  855. Vector Machines; Committee Machines; Principal Components Analysis;
  856. Self-Organizing Maps; Information-Theoretic Models; Stochastic Machines And
  857. Their Approximates Rooted in Statistical Mechanics; Neurodynamic
  858. Programming; Temporal Processing Using Feedforward Networks; Neurodynamics;
  859. Dynamically Driven Recurrent Networks. 
  860.  
  861. Kecman, V. (2001), Learning and Soft Computing: Support Vector Machines,
  862. Neural Networks, and Fuzzy Logic Models, Cambridge, MA: The MIT Press;
  863. ISBN: 0-262-11255-8.
  864. URL: http://www.support-vector.ws/
  865.  
  866. Detailed Table of Contents:
  867.  
  868. 1. Learning and Soft Computing: Rationale, Motivations, Needs, Basics
  869.    1.1 Examples of Applications in Diverse Fields
  870.    1.2 Basic Tools of Soft Computing: Neural Networks, Fuzzy Logic Systems, and Support Vector Machines
  871.        1.2.1 Basics of Neural Networks
  872.        1.2.2 Basics of Fuzzy Logic Modeling
  873.    1.3 Basic Mathematics of Soft Computing
  874.        1.3.1 Approximation of Multivariate Functions
  875.        1.3.2 Nonlinear Error Surface and Optimization
  876.    1.4 Learning and Statistical Approaches to Regression and Classification
  877.        1.4.1 Regression
  878.        1.4.2 Classification
  879.    Problems
  880.    Simulation Experiments
  881.  
  882. 2. Support Vector Machines
  883.    2.1 Risk Minimization Principles and the Concept of Uniform Convergence
  884.    2.2 The VC Dimension
  885.    2.3 Structural Risk Minimization
  886.    2.4 Support Vector Machine Algorithms
  887.        2.4.1 Linear Maximal Margin Classifier for Linearly Separable Data
  888.        2.4.2 Linear Soft Margin Classifier for Overlapping Classes
  889.        2.4.3 The Nonlinear Classifier
  890.        2.4.4 Regression by Support Vector
  891.    Machines
  892.    Problems
  893.    Simulation Experiments
  894.  
  895. 3. Single-Layer Networks
  896.    3.1 The Perceptron
  897.        3.1.1 The Geometry of Perceptron Mapping
  898.        3.1.2 Convergence Theorem and
  899.    Perceptron Learning Rule
  900.    3.2 The Adaptive Linear Neuron (Adaline) and the Least Mean Square Algorithm
  901.        3.2.1 Representational Capabilities of the Adaline
  902.        3.2.2 Weights Learning for a Linear Processing Unit
  903.    Problems
  904.    Simulation Experiments
  905.  
  906. 4. Multilayer Perceptrons
  907.    4.1  The Error Backpropagation Algorithm
  908.    4.2  The Generalized Delta Rule
  909.    4.3  Heuristics or Practical Aspects of the Error Backpropagation Algorithm
  910.         4.3.1 One, Two, or More Hidden Layers?
  911.         4.3.2 Number of Neurons in a Hidden Layer, or the Bias-Variance Dilemma
  912.         4.3.3 Type of Activation Functions in a Hidden Layer and the Geometry of Approximation
  913.         4.3.4 Weights Initialization
  914.         4.3.5 Error Function for Stopping Criterion at Learning
  915.         4.3.6 Learning Rate and the Momentum Term
  916.    Problems
  917.    Simulation Experiments
  918.  
  919. 5. Radial Basis Function Networks
  920.    5.1 Ill-Posed Problems and the Regularization Technique 
  921.    5.2 Stabilizers and Basis Functions
  922.    5.3 Generalized Radial Basis Function Networks
  923.        5.3.1 Moving Centers Learning
  924.        5.3.2 Regularization with Nonradial Basis Functions
  925.        5.3.3 Orthogonal Least Squares
  926.        5.3.4 Optimal Subset Selection by Linear
  927.    Programming
  928.    Problems
  929.    Simulation Experiments 
  930.  
  931. 6. Fuzzy Logic Systems
  932.    6.1 Basics of Fuzzy Logic Theory
  933.        6.1.1 Crisp (or Classic) and Fuzzy Sets
  934.        6.1.2 Basic Set Operations
  935.        6.1.3 Fuzzy Relations
  936.        6.1.4 Composition of Fuzzy Relations
  937.        6.1.5 Fuzzy Inference
  938.        6.1.6 Zadeh's Compositional Rule of Inference
  939.        6.1.7 Defuzzification
  940.    6.2 Mathematical Similarities between Neural Networks and Fuzzy Logic Models
  941.    6.3 Fuzzy Additive Models
  942.    Problems
  943.    Simulation Experiments
  944.  
  945. 7. Case Studies
  946.    7.1 Neural Networks-Based Adaptive Control
  947.        7.1.1 General Learning Architecture, or Direct Inverse Modeling
  948.        7.1.2 Indirect Learning Architecture
  949.        7.1.3 Specialized Learning Architecture
  950.        7.1.4 Adaptive Backthrough Control
  951.    7.2 Financial Time Series Analysis
  952.    7.3 Computer Graphics
  953.        7.3.1 One-Dimensional Morphing
  954.        7.3.2 Multidimensional Morphing
  955.        7.3.3 Radial Basis Function Networks for Human Animation
  956.        7.3.4 Radial Basis Function Networks for Engineering Drawings
  957.  
  958. 8. Basic Nonlinear Optimization Methods
  959.    8.1 Classical Methods
  960.        8.1.1 Newton-Raphson Method
  961.        8.1.2 Variable Metric or Quasi-Newton Methods
  962.        8.1.3 Davidon-Fletcher-Powel Method
  963.        8.1.4 Broyden-Fletcher-Go1dfarb-Shano Method
  964.        8.1.5 Conjugate Gradient Methods
  965.        8.1.6 Fletcher-Reeves Method
  966.        8.1.7 Polak-Ribiere Method
  967.        8.1.8 Two Specialized Algorithms for a Sum-of-Error-Squares Error Function
  968.                Gauss-Newton Method
  969.                Levenberg-Marquardt Method
  970.    8.2 Genetic Algorithms and Evolutionary Computing
  971.        8.2.1 Basic Structure of Genetic Algorithms
  972.        8.2.2 Mechanism of Genetic Algorithms
  973.  
  974. 9. Mathematical Tools of Soft Computing
  975.    9.1 Systems of Linear Equations
  976.    9.2 Vectors and Matrices
  977.    9.3 Linear Algebra and Analytic Geometry
  978.    9.4 Basics of Multivariable Analysis
  979.    9.5 Basics from Probability Theory
  980.  
  981. Cherkassky, V.S., and Mulier, F.M. (1998), Learning from Data : Concepts,
  982. Theory, and Methods, NY: John Wiley & Sons; ISBN: 0-471-15493-8.
  983.  
  984. Detailed Table of Contents:
  985.  
  986. 1 Introduction
  987.  
  988.   1.1 Learning and Statistical Estimation
  989.   1.2 Statistical Dependency and Causality
  990.   1.3 Characterization of Variables
  991.   1.4 Characterization of Uncertainty
  992.   References
  993.  
  994. 2 Problem Statement, Classical Approaches, and Adaptive Learning
  995.  
  996.   2.1 Formulation of the Learning Problem
  997.     2.1.1 Role of the Learning Machine
  998.     2.1.2 Common Learning Tasks
  999.     2.1.3 Scope of the Learning Problem Formulation
  1000.   2.2 Classical Approaches
  1001.     2.2.1 Density Estimation
  1002.     2.2.2 Classification (Discriminant Analysis)
  1003.     2.2.3 Regression
  1004.     2.2.4 Stochastic Approximation
  1005.     2.2.5 Solving Problems with Finite Data
  1006.     2.2.6 Nonparametric Methods
  1007.   2.3 Adaptive Learning: Concepts and Inductive Principles
  1008.     2.3.1 Philosophy, Major Concepts, and Issues
  1009.     2.3.2 A priori Knowledge and Model Complexity
  1010.     2.3.3 Inductive Principles
  1011.   2.4 Summary
  1012.   References
  1013.  
  1014. 3 Regularization Framework
  1015.  
  1016.   3.1 Curse and Complexity of Dimensionality
  1017.   3.2 Function Approx. and Characterization of Complexity
  1018.   3.3 Penalization
  1019.     3.3.1 Parametric Penalties
  1020.     3.3.2 Nonparametric Penalties
  1021.   3.4 Model Selection (Complexity Control)
  1022.     3.4.1 Analytical Model Selection Criteria
  1023.     3.4.2 Model Selection via Resampling
  1024.     3.4.3 Bias-variance Trade-off
  1025.     3.4.4 Example of Model Selection
  1026.   3.5 Summary
  1027.   References
  1028.  
  1029. 4 Statistical Learning Theory
  1030.  
  1031.   4.1 Conditions for Consistency and Convergence of ERM
  1032.   4.2 Growth Function and VC-Dimension
  1033.     4.2.1 VC-Dimension of the Set of Real-Valued Functions
  1034.     4.2.2 VC-Dim. for Classification and Regression Problems
  1035.     4.2.3 Examples of Calculating VC-Dimension
  1036.   4.3 Bounds on the Generalization
  1037.     4.3.1 Classification
  1038.     4.3.2 Regression
  1039.     4.3.3 Generalization Bounds and Sampling Theorem
  1040.   4.4 Structural Risk Minimization
  1041.   4.5 Case Study: Comparison of Methods for Model Selection
  1042.   4.6 Summary
  1043.   References
  1044.  
  1045. 5 Nonlinear Optimization Strategies
  1046.  
  1047.   5.1 Stochastic Approximation Methods
  1048.     5.1.1 Linear Parameter Estimation
  1049.     5.1.2 Backpropagation Training of MLP Networks
  1050.   5.2 Iterative Methods
  1051.     5.2.1 Expectation-Maximization Methods for Density Est.
  1052.     5.2.2 Generalized Inverse Training of MLP Networks
  1053.   5.3 Greedy Optimization
  1054.     5.3.1 Neural Network Construction Algorithms
  1055.     5.3.2 Classification and Regression Trees (CART)
  1056.   5.4 Feature Selection, Optimization, and Stat. Learning Th.
  1057.   5.5 Summary
  1058.   References
  1059.  
  1060. 6 Methods for Data Reduction and Dim. Reduction
  1061.  
  1062.   6.1 Vector Quantization
  1063.     6.1.1 Optimal Source Coding in Vector Quantization
  1064.     6.1.2 Generalized Lloyd Algorithm
  1065.     6.1.3 Clustering and Vector Quantization
  1066.     6.1.4 EM Algorithm for VQ and Clustering
  1067.   6.2 Dimensionality Reduction: Statistical Methods
  1068.     6.2.1 Linear Principal Components
  1069.     6.2.2 Principal Curves and Surfaces
  1070.   6.3 Dimensionality Reduction: Neural Network Methods
  1071.     6.3.1 Discrete Principal Curves and Self-org. Map Alg.
  1072.     6.3.2 Statistical Interpretation of the SOM Method
  1073.     6.3.3 Flow-through Version of the SOM and Learning Rate Schedules
  1074.     6.3.4 SOM Applications and Modifications
  1075.     6.3.5 Self-supervised MLP
  1076.   6.4 Summary
  1077.   References
  1078.  
  1079. 7 Methods for Regression
  1080.  
  1081.   7.1 Taxonomy: Dictionary versus Kernel Representation
  1082.   7.2 Linear Estimators
  1083.     7.2.1 Estimation of Linear Models and Equivalence of Representations
  1084.     7.2.2 Analytic Form of Cross-validation
  1085.     7.2.3 Estimating Complexity of Penalized Linear Models
  1086.   7.3 Nonadaptive Methods
  1087.     7.3.1 Local Polynomial Estimators and Splines
  1088.     7.3.2 Radial Basis Function Networks
  1089.     7.3.3 Orthogonal Basis Functions and Wavelets
  1090.   7.4 Adaptive Dictionary Methods
  1091.     7.4.1 Additive Methods and Projection Pursuit Regression
  1092.     7.4.2 Multilayer Perceptrons and Backpropagation
  1093.     7.4.3 Multivariate Adaptive Regression Splines
  1094.   7.5 Adaptive Kernel Methods and Local Risk Minimization
  1095.     7.5.1 Generalized Memory-Based Learning
  1096.     7.5.2 Constrained Topological Mapping
  1097.   7.6 Empirical Comparisons
  1098.     7.6.1 Experimental Setup
  1099.     7.6.2 Summary of Experimental Results
  1100.   7.7 Combining Predictive Models
  1101.   7.8 Summary
  1102.   References
  1103.  
  1104. 8 Classification
  1105.  
  1106.   8.1 Statistical Learning Theory formulation
  1107.   8.2 Classical Formulation
  1108.   8.3 Methods for Classification
  1109.     8.3.1 Regression-Based Methods
  1110.     8.3.2 Tree-Based Methods
  1111.     8.3.3 Nearest Neighbor and Prototype Methods
  1112.     8.3.4 Empirical Comparisons
  1113.   8.4 Summary
  1114.   References
  1115.  
  1116. 9 Support Vector Machines
  1117.  
  1118.   9.1 Optimal Separating Hyperplanes
  1119.   9.2 High Dimensional Mapping and Inner Product Kernels
  1120.   9.3 Support Vector Machine for Classification
  1121.   9.4 Support Vector Machine for Regression
  1122.   9.5 Summary
  1123.   References
  1124.  
  1125. 10 Fuzzy Systems
  1126.  
  1127.   10.1 Terminology, Fuzzy Sets, and Operations
  1128.   10.2 Fuzzy Inference Systems and Neurofuzzy Systems
  1129.     10.2.1 Fuzzy Inference Systems
  1130.     10.2.2 Equivalent Basis Function Representation
  1131.     10.2.3 Learning Fuzzy Rules from Data
  1132.   10.3 Applications in Pattern Recognition
  1133.     10.3.1 Fuzzy Input Encoding and Fuzzy Postprocessing
  1134.     10.3.2 Fuzzy Clustering
  1135.   10.4 Summary
  1136.   References
  1137.  
  1138. Appendix A: Review of Nonlinear Optimization
  1139.  
  1140. Appendix B: Eigenvalues and Singular Value Decomposition
  1141.  
  1142. History
  1143. -------
  1144.  
  1145. Hebb, D.O. (1949), The Organization of Behavior, NY: Wiley. Out of print. 
  1146.  
  1147. Rosenblatt, F. (1962), Principles of Neurodynamics, NY: Spartan Books. Out
  1148. of print. 
  1149.  
  1150. Anderson, J.A., and Rosenfeld, E., eds. (1988), Neurocomputing:
  1151. Foundatons of Research, Cambridge, MA: The MIT Press, ISBN 0-262-01097-6.
  1152. Author's Webpage: http://www.cog.brown.edu/~anderson
  1153. Book Webpage (Publisher): 
  1154. http://mitpress.mit.edu/book-home.tcl?isbn=0262510480
  1155. 43 articles of historical importance, ranging from William James to
  1156. Rumelhart, Hinton, and Williams. 
  1157.  
  1158. Anderson, J. A., Pellionisz, A. and Rosenfeld, E. (Eds). (1990). 
  1159. Neurocomputing 2: Directions for Research. The MIT Press: Cambridge, MA. 
  1160. Author's Webpage: http://www.cog.brown.edu/~anderson
  1161. Book Webpage (Publisher): 
  1162. http://mitpress.mit.edu/book-home.tcl?isbn=0262510758
  1163.  
  1164. Carpenter, G.A., and Grossberg, S., eds. (1991), Pattern Recognition by
  1165. Self-Organizing Neural Networks, Cambridge, MA: The MIT Press, ISBN
  1166. 0-262-03176-0
  1167. Articles on ART, BAM, SOMs, counterpropagation, etc. 
  1168.  
  1169. Nilsson, N.J. (1965/1990), Learning Machines, San Mateo, CA: Morgan
  1170. Kaufmann, ISBN 1-55860-123-6. 
  1171.  
  1172. Minsky, M.L., and Papert, S.A. (1969/1988) Perceptrons, Cambridge, MA: The
  1173. MIT Press, 1st ed. 1969, expanded edition 1988 ISBN 0-262-63111-3. 
  1174.  
  1175. Werbos, P.J. (1994), The Roots of Backpropagation, NY: John Wiley & Sons,
  1176. ISBN: 0471598976. Includes Werbos's 1974 Harvard Ph.D. thesis, Beyond
  1177. Regression. 
  1178.  
  1179. Kohonen, T. (1984/1989), Self-organization and Associative Memory, 1st ed.
  1180. 1988, 3rd ed. 1989, NY: Springer. 
  1181. Author's Webpage: http://www.cis.hut.fi/nnrc/teuvo.html
  1182. Book Webpage (Publisher): http://www.springer.de/
  1183. Additional Information: Book is out of print. 
  1184.  
  1185. Rumelhart, D. E. and McClelland, J. L. (1986), Parallel Distributed
  1186. Processing: Explorations in the Microstructure of Cognition, Volumes 1 & 2,
  1187. Cambridge, MA: The MIT Press ISBN 0-262-63112-1. 
  1188. Author's Webpage: 
  1189. http://www-med.stanford.edu/school/Neurosciences/faculty/rumelhart.html
  1190. Book Webpage (Publisher): 
  1191. http://mitpress.mit.edu/book-home.tcl?isbn=0262631121 
  1192.  
  1193. Hecht-Nielsen, R. (1990), Neurocomputing, Reading, MA: Addison-Wesley,
  1194. ISBN 0-201-09355-3.
  1195. Book Webpage (Publisher): http://www.awl.com/
  1196.  
  1197. Anderson, J.A., and Rosenfeld, E., eds. (1998), Talking Nets: An Oral
  1198. History of Neural Networks, Cambridge, MA: The MIT Press, ISBN
  1199. 0-262-51111-8. 
  1200.  
  1201. Knowledge, rules, and expert systems
  1202. ------------------------------------
  1203.  
  1204. Gallant, S.I. (1995), Neural Network Learning and Expert Systems, 
  1205. Cambridge, MA: The MIT Press, ISBN 0-262-07145-2.
  1206. Chapter headings:; Introduction and Important Definitions; Representation
  1207. Issues; Perceptron Learning and the Pocket Algorithm; Winner-Take-All Groups
  1208. or Linear Machines; Autoassociators and One-Shot Learning; Mean Squared
  1209. Error (MSE) Algorithms; Unsupervised Learning; The Distributed Method and
  1210. Radial Basis Functions; Computational Learning Theory and the BRD Algorithm;
  1211. Constructive Algorithms; Backpropagation; Backpropagation: Variations and
  1212. Applications; Simulated Annealing and Boltzmann Machines; Expert Systems and
  1213. Neural Networks; Details of the MACIE System; Noise, Redundancy, Fault
  1214. Detection, and Bayesian Decision Theory; Extracting Rules from Networks;
  1215. Appendix: Representation Comparisons. 
  1216.  
  1217. Cloete, I., and Zurada, J.M. (2000), Knowledge-Based Neurocomputing, 
  1218. Cambridge, MA: The MIT Press, ISBN 0-262-03274-0.
  1219. Articles: Knowledge-Based Neurocomputing: Past, Present, and Future;
  1220. Architectures and Techniques for Knowledge-Based Neurocomputing; Symbolic
  1221. Knowledge Representation in Recurrent Neural Networks: Insights from
  1222. Theoretical Models of Computation; A Tutorial on Neurocomputing of
  1223. Structures; Structural Learning and Rule Discovery; VL[subscript 1]ANN:
  1224. Transformation of Rules to Artificial Neural Networks; Integrations of
  1225. Heterogeneous Sources of Partial Domain Knowledge; Approximation of
  1226. Differential Equations Using Neural Networks; Fynesse: A Hybrid Architecture
  1227. for Self-Learning Control; Data Mining Techniques for Designing Neural
  1228. Network Time Series Predictors; Extraction of Decision Trees from Artificial
  1229. Neural Networks 369; Extraction of Linguistic Rules from Data via Neural
  1230. Networks and Fuzzy Approximation; Neural Knowledge Processing in Expert
  1231. Systems. 
  1232.  
  1233. Learning theory
  1234. ---------------
  1235.  
  1236. Wolpert, D.H., ed. (1995) The Mathematics of Generalization: The
  1237. Proceedings of the SFI/CNLS Workshop on Formal Approaches to Supervised
  1238. Learning, Santa Fe Institute Studies in the Sciences of Complexity, Volume
  1239. XX, Reading, MA: Addison-Wesley, ISBN: 0201409836.
  1240. Articles: The Status of Supervised Learning Science circa 1994 - The Search
  1241. for a Consensus; Reflections After Refereeing Papers for NIPS; The Probably
  1242. Approximately Correct (PAC) and Other Learning Models; Decision Theoretic
  1243. Generalizations of the PAC Model for Neural Net and Other Learning
  1244. Applications; The Relationship Between PAC, the Statistical Physics
  1245. Framework, the Bayesian Framework, and the VC Framework; Statistical Physics
  1246. Models of Supervised Learning; On Exhaustive Learning; A Study of
  1247. Maximal-Coverage Learning Algorithms; On Bayesian Model Selection; Soft
  1248. Classification, a.k.a. Risk Estimation, via Penalized Log Likelihood and
  1249. Smoothing Spline Analysis of Variance; Current Research; Preface to
  1250. Simplifying Neural Networks by Soft Weight Sharing; Simplifying Neural
  1251. Networks by Soft Weight Sharing; Error-Correcting Output Codes: A General
  1252. Method for Improving Multiclass Inductive Learning Programs; Image
  1253. Segmentation and Recognition. 
  1254.  
  1255. Anthony, M., and Bartlett, P.L. (1999), Neural Network Learning:
  1256. Theoretical Foundations, Cambridge: Cambridge University Press, ISBN
  1257. 0-521-57353-X. 
  1258.  
  1259. Vapnik, V.N. (1998) Statistical Learning Theory, NY: Wiley, ISBN: 0471030031
  1260. This book is much better than Vapnik's The Nature of Statistical Learning
  1261. Theory.
  1262. Chapter headings:
  1263. 0. Introduction: The Problem of Induction and Statistical Inference;
  1264. 1. Two Approaches to the Learning Problem;
  1265. Appendix: Methods for Solving Ill-Posed Problems;
  1266. 2. Estimation of the Probability Measure and Problem of Learning;
  1267. 3. Conditions for Consistency of Empirical Risk Minimization Principle;
  1268. 4. Bounds on the Risk for Indicator Loss Functions;
  1269. Appendix: Lower Bounds on the Risk of the ERM Principle;
  1270. 5. Bounds on the Risk for Real-Valued Loss Functions;
  1271. 6. The Structural Risk Minimization Principle;
  1272. Appendix: Estimating Functions on the Basis of Indirect Measurements;
  1273. 7. Stochastic Ill-Posed Problems;
  1274. 8. Estimating the Values of Functions at Given Points;
  1275. 9. Perceptrons and Their Generalizations;
  1276. 10. The Support Vector Method for Estimating Indicator Functions;
  1277. 11. The Support Vector Method for Estimating Real-Valued Functions;
  1278. 12. SV Machines for Pattern Recognition; (includes examples of digit
  1279. recognition)
  1280. 13. SV Machines for Function Approximations, Regression Estimation, and
  1281. Signal Processing; (includes an example of positron emission tomography)
  1282. 14. Necessary and Sufficient Conditions for Uniform Convergence of
  1283. Frequencies to Their Probabilities;
  1284. 15. Necessary and Sufficient Conditions for Uniform Convergence of Means to
  1285. Their Expectations;
  1286. 16. Necessary and Sufficient Conditions for Uniform One-Sided Convergence of
  1287. Means to Their Expectations;
  1288. Comments and Bibliographical Remarks. 
  1289.  
  1290. Object oriented programming
  1291. ---------------------------
  1292.  
  1293. The FAQ maintainer is an old-fashioned C programmer and has no expertise in
  1294. object oriented programming, so he must rely on the readers of
  1295. comp.ai.neural-nets regarding the merits of books on OOP for NNs. 
  1296.  
  1297. There are many excellent books about NNs by Timothy Masters (listed
  1298. elsewhere in the FAQ) that provide C++ code for NNs. If you simply want code
  1299. that works, these books should satisfy your needs. If you want code that
  1300. exemplifies the highest standards of object oriented design, you will be
  1301. disappointed by Masters. 
  1302.  
  1303. The one book on OOP for NNs that seems to be consistently praised is:
  1304.  
  1305. Rogers, Joey (1996), Object-Oriented Neural Networks in C++, Academic
  1306. Press, ISBN 0125931158.
  1307. Contents:
  1308. 1. Introduction
  1309. 2. Object-Oriented Programming Review
  1310. 3. Neural-Network Base Classes
  1311. 4. ADALINE Network
  1312. 5. Backpropagation Neural Network
  1313. 6. Self-Organizing Neural Network
  1314. 7. Bidirectional Associative Memory
  1315. Appendix A Support Classes
  1316. Appendix B Listings
  1317. References and Suggested Reading
  1318.  
  1319. However, you will learn very little about NNs other than elementary
  1320. programming techniques from Rogers. To quote a customer review at the Barnes
  1321. & Noble web site (http://www.bn.com): 
  1322.  
  1323.    A reviewer, a scientific programmer, July 19, 2000, **** Long
  1324.    explaination of neural net code - not of neural nets Good OO code for
  1325.    simple 'off the shelf' implementation, very open & fairly extensible
  1326.    for further cusomization. A complete & lucid explanation of the code
  1327.    but pretty weak on the principles, theory, and application of neural
  1328.    networks. Great as a code source, disappointing as a neural network
  1329.    tutorial. 
  1330.  
  1331. On-line and incremental learning
  1332. --------------------------------
  1333.  
  1334. Saad, D., ed. (1998), On-Line Learning in Neural Networks, Cambridge:
  1335. Cambridge University Press, ISBN 0-521-65263-4.
  1336. Articles: Introduction; On-line Learning and Stochastic Approximations;
  1337. Exact and Perturbation Solutions for the Ensemble Dynamics; A Statistical
  1338. Study of On-line Learning; On-line Learning in Switching and Drifting
  1339. Environments with Application to Blind Source Separation; Parameter
  1340. Adaptation in Stochastic Optimization; Optimal On-line Learning in
  1341. Multilayer Neural Networks; Universal Asymptotics in Committee Machines with
  1342. Tree Architecture; Incorporating Curvature Information into On-line
  1343. Learning; Annealed On-line Learning in Multilayer Neural Networks; On-line
  1344. Learning of Prototypes and Principal Components; On-line Learning with
  1345. Time-Correlated Examples; On-line Learning from Finite Training Sets;
  1346. Dynamics of Supervised Learning with Restricted Training Sets; On-line
  1347. Learning of a Decision Boundary with and without Queries; A Bayesian
  1348. Approach to On-line Learning; Optimal Perceptron Learning: an On-line
  1349. Bayesian Approach. 
  1350.  
  1351. Optimization
  1352. ------------
  1353.  
  1354. Cichocki, A. and Unbehauen, R. (1993). Neural Networks for Optimization
  1355. and Signal Processing. NY: John Wiley & Sons, ISBN 0-471-93010-5
  1356. (hardbound), 526 pages, $57.95. 
  1357. Book Webpage (Publisher): http://www.wiley.com/
  1358. Additional Information: One has to search.
  1359. Chapter headings: Mathematical Preliminaries of Neurocomputing;
  1360. Architectures and Electronic Implementation of Neural Network Models;
  1361. Unconstrained Optimization and Learning Algorithms; Neural Networks for
  1362. Linear, Quadratic Programming and Linear Complementarity Problems; A Neural
  1363. Network Approach to the On-Line Solution of a System of Linear Algebraic;
  1364. Equations and Related Problems; Neural Networks for Matrix Algebra Problems;
  1365. Neural Networks for Continuous, Nonlinear, Constrained Optimization
  1366. Problems; Neural Networks for Estimation, Identification and Prediction;
  1367. Neural Networks for Discrete and Combinatorial Optimization Problems. 
  1368.  
  1369. Pulsed/Spiking networks
  1370. -----------------------
  1371.  
  1372. Maass, W., and Bishop, C.M., eds. (1999) Pulsed Neural Networks, 
  1373. Cambridge, MA: The MIT Press, ISBN: 0262133504.
  1374. Articles: Spiking Neurons; Computing with Spiking Neurons; Pulse-Based
  1375. Computation in VLSI Neural Networks; Encoding Information in Neuronal
  1376. Activity; Building Silicon Nervous Systems with Dendritic Tree Neuromorphs;
  1377. A Pulse-Coded Communications Infrastructure; Analog VLSI Pulsed Networks for
  1378. Perceptive Processing; Preprocessing for Pulsed Neural VLSI Systems; Digital
  1379. Simulation of Spiking Neural Networks; Populations of Spiking Neurons;
  1380. Collective Excitation Phenomena and Their Applications; Computing and
  1381. Learning with Dynamic Synapses; Stochastic Bit-Stream Neural Networks;
  1382. Hebbian Learning of Pulse Timing in the Barn Owl Auditory System. 
  1383.  
  1384. Recurrent
  1385. ---------
  1386.  
  1387. Medsker, L.R., and Jain, L.C., eds. (2000), Recurrent Neural Networks:
  1388. Design and Applications, Boca Raton, FL: CRC Press, ISBN 0-8493-7181-3
  1389. Articles:
  1390. Introduction;
  1391. Recurrent Neural Networks for Optimization: The State of the Art;
  1392. Efficient Second-Order Learning Algorithms for Discrete-Time Recurrent
  1393. Neural Networks;
  1394. Designing High Order Recurrent Networks for Bayesian Belief Revision;
  1395. Equivalence in Knowledge Representation: Automata, Recurrent Neural
  1396. Networks, and Dynamical Fuzzy Systems;
  1397. Learning Long-Term Dependencies in NARX Recurrent Neural Networks;
  1398. Oscillation Responses in a Chaotic Recurrent Network;
  1399. Lessons from Language Learning;
  1400. Recurrent Autoassociative Networks: Developing Distributed Representations
  1401. of Hierarchically Structured Sequences by Autoassociation;
  1402. Comparison of Recurrent Neural Networks for Trajectory Generation;
  1403. Training Algorithms for Recurrent Neural Nets that Eliminate the Need for
  1404. Computation of Error Gradients with Application to Trajectory Production
  1405. Problem;
  1406. Training Recurrent Neural Networks for Filtering and Control;
  1407. Remembering How to Behave: Recurrent Neural Networks for Adaptive Robot
  1408. Behavior 
  1409.  
  1410. Reinforcement learning
  1411. ----------------------
  1412.  
  1413. Sutton, R.S., and Barto, A.G. (1998), Reinforcement Learning: An
  1414. Introduction, The MIT Press, ISBN: 0-262193-98-1.
  1415. Author's Webpage: http://envy.cs.umass.edu/~rich/sutton.html and 
  1416. http://www-anw.cs.umass.edu/People/barto/barto.html
  1417. Book Webpage (Publisher):
  1418. http://mitpress.mit.edu/book-home.tcl?isbn=0262193981
  1419. Additional Information: http://www-anw.cs.umass.edu/~rich/book/the-book.html
  1420. Chapter headings: The Problem; Introduction; Evaluative Feedback; The
  1421. Reinforcement Learning Problem; Elementary Solution Methods; Dynamic
  1422. Programming; Monte Carlo Methods; Temporal-Difference Learning; A Unified
  1423. View; Eligibility Traces; Generalization and Function Approximation;
  1424. Planning and Learning; Dimensions of Reinforcement Learning; Case Studies. 
  1425.  
  1426. Bertsekas, D. P. and Tsitsiklis, J. N. (1996), Neuro-Dynamic
  1427. Programming, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
  1428. Author's Webpage: http://www.mit.edu:8001/people/dimitrib/home.html and 
  1429. http://web.mit.edu/jnt/www/home.html
  1430. Book Webpage (Publisher):http://world.std.com/~athenasc/ndpbook.html
  1431.  
  1432. Speech recognition
  1433. ------------------
  1434.  
  1435. Bourlard, H.A., and Morgan, N. (1994), Connectionist Speech Recognition: A
  1436. Hybrid Approach, Boston: Kluwer Academic Publishers, ISBN: 0792393961.
  1437. From The Publisher: Describes the theory and implementation of a method to
  1438. incorporate neural network approaches into state-of-the-art continuous
  1439. speech recognition systems based on Hidden Markov Models (HMMs) to improve
  1440. their performance. In this framework, neural networks (and in particular,
  1441. multilayer perceptrons or MLPs) have been restricted to well-defined
  1442. subtasks of the whole system, i.e., HMM emission probability estimation and
  1443. feature extraction. The book describes a successful five year international
  1444. collaboration between the authors. The lessons learned form a case study
  1445. that demonstrates how hybrid systems can be developed to combine neural
  1446. networks with more traditional statistical approaches. The book illustrates
  1447. both the advantages and limitations of neural networks in the framework of a
  1448. statistical system. Using standard databases and comparing with some
  1449. conventional approaches, it is shown that MLP probability estimation can
  1450. improve recognition performance. Other approaches are discussed, though
  1451. there is no such unequivocal experimental result for these methods.
  1452. Connectionist Speech Recognition: A Hybrid Approach is of use to anyone
  1453. intending to use neural networks for speech recognition or within the
  1454. framework provided by an existing successful statistical approach. This
  1455. includes research and development groups working in the field of speech
  1456. recognition, both with standard and neural network approaches, as well as
  1457. other pattern recognition and/or neural network researchers. This book is
  1458. also suitable as a text for advanced courses on neural networks or speech
  1459. processing. 
  1460.  
  1461. Statistics
  1462. ----------
  1463.  
  1464. Cherkassky, V., Friedman, J.H., and Wechsler, H., eds. (1991) From
  1465. Statistics to Neural Networks: Theory and Pattern Recognition Applications, 
  1466. NY: Springer, ISBN 0-387-58199-5. 
  1467.  
  1468. Kay, J.W., and Titterington, D.M. (1999) Statistics and Neural Networks:
  1469. Advances at the Interface, Oxford: Oxford University Press, ISBN
  1470. 0-19-852422-6.
  1471. Articles: Flexible Discriminant and Mixture Models; Neural Networks for
  1472. Unsupervised Learning Based on Information Theory; Radial Basis Function
  1473. Networks and Statistics; Robust Prediction in Many-parameter Models; Density
  1474. Networks; Latent Variable Models and Data Visualisation; Analysis of Latent
  1475. Structure Models with Multidimensional Latent Variables; Artificial Neural
  1476. Networks and Multivariate Statistics. 
  1477.  
  1478. White, H. (1992b), Artificial Neural Networks: Approximation and Learning
  1479. Theory, Blackwell, ISBN: 1557863296.
  1480. Articles: There Exists a Neural Network That Does Not Make Avoidable
  1481. Mistakes; Multilayer Feedforward Networks Are Universal Approximators;
  1482. Universal Approximation Using Feedforward Networks with Non-sigmoid Hidden
  1483. Layer Activation Functions; Approximating and Learning Unknown Mappings
  1484. Using Multilayer Feedforward Networks with Bounded Weights; Universal
  1485. Approximation of an Unknown Mapping and Its Derivatives; Neural Network
  1486. Learning and Statistics; Learning in Artificial Neural Networks: a
  1487. Statistical Perspective; Some Asymptotic Results for Learning in Single
  1488. Hidden Layer Feedforward Networks; Connectionist Nonparametric Regression:
  1489. Multilayer Feedforward Networks Can Learn Arbitrary Mappings; Nonparametric
  1490. Estimation of Conditional Quantiles Using Neural Networks; On Learning the
  1491. Derivatives of an Unknown Mapping with Multilayer Feedforward Networks;
  1492. Consequences and Detection of Misspecified Nonlinear Regression Models;
  1493. Maximum Likelihood Estimation of Misspecified Models; Some Results for Sieve
  1494. Estimation with Dependent Observations. 
  1495.  
  1496. Time-series forecasting
  1497. -----------------------
  1498.  
  1499. Weigend, A.S. and Gershenfeld, N.A., eds. (1994) Time Series Prediction:
  1500. Forecasting the Future and Understanding the Past, Reading, MA:
  1501. Addison-Wesley, ISBN 0201626020. Book Webpage (Publisher): 
  1502. http://www2.awl.com/gb/abp/sfi/complexity.html
  1503.  
  1504. Unsupervised learning
  1505. ---------------------
  1506.  
  1507. Kohonen, T. (1995/1997), Self-Organizing Maps, 1st ed. 1995, 2nd ed. 1997,
  1508. Berlin: Springer-Verlag, ISBN 3540620176. 
  1509.  
  1510. Deco, G. and Obradovic, D. (1996), An Information-Theoretic Approach to
  1511. Neural Computing, NY: Springer-Verlag, ISBN 0-387-94666-7. 
  1512.  
  1513. Diamantaras, K.I., and Kung, S.Y. (1996) Principal Component Neural
  1514. Networks: Theory and Applications, NY: Wiley, ISBN 0-471-05436-4. 
  1515.  
  1516. Van Hulle, M.M. (2000), Faithful Representations and Topographic Maps:
  1517. From Distortion- to Information-Based Self-Organization, NY: Wiley, ISBN
  1518. 0-471-34507-5. 
  1519.  
  1520. Books for the Beginner
  1521. ++++++++++++++++++++++
  1522.  
  1523. Caudill, M. and Butler, C. (1990). Naturally Intelligent Systems. MIT Press:
  1524. Cambridge, Massachusetts. (ISBN 0-262-03156-6). 
  1525. Book Webpage (Publisher): 
  1526. http://mitpress.mit.edu/book-home.tcl?isbn=0262531135
  1527. The authors try to translate mathematical formulas into English. The results
  1528. are likely to disturb people who appreciate either mathematics or English.
  1529. Have the authors never heard that "a picture is worth a thousand words"?
  1530. What few diagrams they have (such as the one on p. 74) tend to be confusing.
  1531. Their jargon is peculiar even by NN standards; for example, they refer to
  1532. target values as "mentor inputs" (p. 66). The authors do not understand
  1533. elementary properties of error functions and optimization algorithms. For
  1534. example, in their discussion of the delta rule, the authors seem oblivious
  1535. to the differences between batch and on-line training, and they attribute
  1536. magical properties to the algorithm (p. 71): 
  1537.  
  1538.    [The on-line delta] rule always takes the most efficient route from
  1539.    the current position of the weight vector to the "ideal" position,
  1540.    based on the current input pattern. The delta rule not only minimizes
  1541.    the mean squared error, it does so in the most efficient fashion
  1542.    possible--quite an achievement for such a simple rule. 
  1543.  
  1544. While the authors realize that backpropagation networks can suffer from
  1545. local minima, they mistakenly think that counterpropagation has some kind of
  1546. global optimization ability (p. 202): 
  1547.  
  1548.    Unlike the backpropagation network, a counterpropagation network
  1549.    cannot be fooled into finding a local minimum solution. This means
  1550.    that the network is guaranteed to find the correct response (or the
  1551.    nearest stored response) to an input, no matter what. 
  1552.  
  1553. But even though they acknowledge the problem of local minima, the authors
  1554. are ignorant of the importance of initial weight values (p. 186): 
  1555.  
  1556.    To teach our imaginary network something using backpropagation, we
  1557.    must start by setting all the adaptive weights on all the neurodes in
  1558.    it to random values. It won't matter what those values are, as long
  1559.    as they are not all the same and not equal to 1. 
  1560.  
  1561. Like most introductory books, this one neglects the difficulties of getting
  1562. good generalization--the authors simply declare (p. 8) that "A neural
  1563. network is able to generalize"! 
  1564.  
  1565. Chester, M. (1993). Neural Networks: A Tutorial, Englewood Cliffs, NJ: PTR
  1566. Prentice Hall. 
  1567. Book Webpage (Publisher): http://www.prenhall.com/
  1568. Additional Information: Seems to be out of print.
  1569. Shallow, sometimes confused, especially with regard to Kohonen networks. 
  1570.  
  1571. Dayhoff, J. E. (1990). Neural Network Architectures: An Introduction. Van
  1572. Nostrand Reinhold: New York. 
  1573. Comments from readers of comp.ai.neural-nets: "Like Wasserman's book,
  1574. Dayhoff's book is also very easy to understand".
  1575.  
  1576. Freeman, James (1994). Simulating Neural Networks with Mathematica,
  1577. Addison-Wesley, ISBN: 0-201-56629-X. Book Webpage (Publisher): 
  1578. http://cseng.aw.com/bookdetail.qry?ISBN=0-201-56629-X&ptype=0
  1579. Additional Information: Sourcecode available under: 
  1580. ftp://ftp.mathsource.com/pub/Publications/BookSupplements/Freeman-1993
  1581. Helps the reader make his own NNs. The mathematica code for the programs in
  1582. the book is also available through the internet: Send mail to 
  1583. MathSource@wri.com or try http://www.wri.com/ on the World Wide Web.
  1584.  
  1585. Freeman, J.A. and Skapura, D.M. (1991). Neural Networks: Algorithms,
  1586. Applications, and Programming Techniques, Reading, MA: Addison-Wesley. 
  1587. Book Webpage (Publisher): http://www.awl.com/
  1588. Additional Information: Seems to be out of print.
  1589. A good book for beginning programmers who want to learn how to write NN
  1590. programs while avoiding any understanding of what NNs do or why they do it. 
  1591.  
  1592. Gately, E. (1996). Neural Networks for Financial Forecasting. New York:
  1593. John Wiley and Sons, Inc.
  1594. Book Webpage (Publisher): http://www.wiley.com/
  1595. Additional Information: One has to search.
  1596. Franco Insana comments:
  1597.  
  1598. * Decent book for the neural net beginner
  1599. * Very little devoted to statistical framework, although there 
  1600.     is some formulation of backprop theory
  1601. * Some food for thought
  1602. * Nothing here for those with any neural net experience
  1603.  
  1604. McClelland, J. L. and Rumelhart, D. E. (1988). Explorations in Parallel
  1605. Distributed Processing: Computational Models of Cognition and Perception
  1606. (software manual). The MIT Press. 
  1607. Book Webpage (Publisher): 
  1608. http://mitpress.mit.edu/book-home.tcl?isbn=026263113X (IBM version) and
  1609. http://mitpress.mit.edu/book-home.tcl?isbn=0262631296 (Macintosh)
  1610. Comments from readers of comp.ai.neural-nets: "Written in a tutorial style,
  1611. and includes 2 diskettes of NN simulation programs that can be compiled on
  1612. MS-DOS or Unix (and they do too !)"; "The programs are pretty reasonable as
  1613. an introduction to some of the things that NNs can do."; "There are *two*
  1614. editions of this book. One comes with disks for the IBM PC, the other comes
  1615. with disks for the Macintosh".
  1616.  
  1617. McCord Nelson, M. and Illingworth, W.T. (1990). A Practical Guide to Neural
  1618. Nets. Addison-Wesley Publishing Company, Inc. (ISBN 0-201-52376-0). 
  1619. Book Webpage (Publisher): 
  1620. http://cseng.aw.com/bookdetail.qry?ISBN=0-201-63378-7&ptype=1174
  1621. Lots of applications without technical details, lots of hype, lots of goofs,
  1622. no formulas.
  1623.  
  1624. Muller, B., Reinhardt, J., Strickland, M. T. (1995). Neural Networks.:An
  1625. Introduction (2nd ed.). Berlin, Heidelberg, New York: Springer-Verlag. ISBN
  1626. 3-540-60207-0. (DOS 3.5" disk included.) 
  1627. Book Webpage (Publisher): 
  1628. http://www.springer.de/catalog/html-files/deutsch/phys/3540602070.html
  1629. Comments from readers of comp.ai.neural-nets: "The book was developed out of
  1630. a course on neural-network models with computer demonstrations that was
  1631. taught by the authors to Physics students. The book comes together with a
  1632. PC-diskette. The book is divided into three parts: (1) Models of Neural
  1633. Networks; describing several architectures and learing rules, including the
  1634. mathematics. (2) Statistical Physics of Neural Networks; "hard-core" physics
  1635. section developing formal theories of stochastic neural networks. (3)
  1636. Computer Codes; explanation about the demonstration programs. First part
  1637. gives a nice introduction into neural networks together with the formulas.
  1638. Together with the demonstration programs a 'feel' for neural networks can be
  1639. developed." 
  1640.  
  1641. Orchard, G.A. & Phillips, W.A. (1991). Neural Computation: A Beginner's
  1642. Guide. Lawrence Earlbaum Associates: London. 
  1643. Comments from readers of comp.ai.neural-nets: "Short user-friendly
  1644. introduction to the area, with a non-technical flavour. Apparently
  1645. accompanies a software package, but I haven't seen that yet".
  1646.  
  1647. Rao, V.B, and Rao, H.V. (1993). C++ Neural Networks and Fuzzy Logic.
  1648. MIS:Press, ISBN 1-55828-298-x, US $45 incl. disks. 
  1649. Covers a wider variety of networks than Masters (1993), but is shallow and
  1650. lacks Masters's insight into practical issues of using NNs.
  1651.  
  1652. Wasserman, P. D. (1989). Neural Computing: Theory & Practice. Van Nostrand
  1653. Reinhold: New York. (ISBN 0-442-20743-3) 
  1654. This is not as bad as some books on NNs. It provides an elementary account
  1655. of the mechanics of a variety of networks. But it provides no insight into
  1656. why various methods behave as they do, or under what conditions a method
  1657. will or will not work well. It has no discussion of efficient training
  1658. methods such as RPROP or conventional numerical optimization techniques.
  1659. And, most egregiously, it has no explanation of overfitting and
  1660. generalization beyond the patently false statement on p. 2 that "It is
  1661. important to note that the artificial neural network generalizes
  1662. automatically as a result of its structure"! There is no mention of
  1663. training, validation, and test sets, or of other methods for estimating
  1664. generalization error. There is no practical advice on the important issue of
  1665. choosing the number of hidden units. There is no discussion of early
  1666. stopping or weight decay. The reader will come away from this book with a
  1667. grossly oversimplified view of NNs and no concept whatsoever of how to use
  1668. NNs for practical applications. 
  1669.  
  1670. Comments from readers of comp.ai.neural-nets: "Wasserman flatly enumerates
  1671. some common architectures from an engineer's perspective ('how it works')
  1672. without ever addressing the underlying fundamentals ('why it works') -
  1673. important basic concepts such as clustering, principal components or
  1674. gradient descent are not treated. It's also full of errors, and unhelpful
  1675. diagrams drawn with what appears to be PCB board layout software from the
  1676. '70s. For anyone who wants to do active research in the field I consider it
  1677. quite inadequate"; "Okay, but too shallow"; "Quite easy to understand"; "The
  1678. best bedtime reading for Neural Networks. I have given this book to numerous
  1679. collegues who want to know NN basics, but who never plan to implement
  1680. anything. An excellent book to give your manager."
  1681.  
  1682. Not-quite-so-introductory Literature
  1683. ++++++++++++++++++++++++++++++++++++
  1684.  
  1685. Kung, S.Y. (1993). Digital Neural Networks, Prentice Hall, Englewood
  1686. Cliffs, NJ.
  1687.  
  1688. Book Webpage (Publisher): http://www.prenhall.com/books/ptr_0136123260.html
  1689. Levine, D. S. (2000). Introduction to Neural and Cognitive Modeling. 2nd
  1690. ed., Lawrence Erlbaum: Hillsdale, N.J. 
  1691. Comments from readers of comp.ai.neural-nets: "Highly recommended".
  1692.  
  1693. Maren, A., Harston, C. and Pap, R., (1990). Handbook of Neural Computing
  1694. Applications. Academic Press. ISBN: 0-12-471260-6. (451 pages) 
  1695. Comments from readers of comp.ai.neural-nets: "They cover a broad area";
  1696. "Introductory with suggested applications implementation".
  1697.  
  1698. Pao, Y. H. (1989). Adaptive Pattern Recognition and Neural Networks
  1699. Addison-Wesley Publishing Company, Inc. (ISBN 0-201-12584-6) 
  1700. Book Webpage (Publisher): http://www.awl.com/
  1701. Comments from readers of comp.ai.neural-nets: "An excellent book that ties
  1702. together classical approaches to pattern recognition with Neural Nets. Most
  1703. other NN books do not even mention conventional approaches."
  1704.  
  1705. Refenes, A. (Ed.) (1995). Neural Networks in the Capital Markets.
  1706. Chichester, England: John Wiley and Sons, Inc.
  1707. Book Webpage (Publisher): http://www.wiley.com/
  1708. Additional Information: One has to search.
  1709. Franco Insana comments:
  1710.  
  1711. * Not for the beginner
  1712. * Excellent introductory material presented by editor in first 5 
  1713.   chapters, which could be a valuable reference source for any 
  1714.   practitioner
  1715. * Very thought-provoking
  1716. * Mostly backprop-related
  1717. * Most contributors lay good statistical foundation
  1718. * Overall, a wealth of information and ideas, but the reader has to 
  1719.   sift through it all to come away with anything useful
  1720.  
  1721. Simpson, P. K. (1990). Artificial Neural Systems: Foundations, Paradigms,
  1722. Applications and Implementations. Pergamon Press: New York. 
  1723. Comments from readers of comp.ai.neural-nets: "Contains a very useful 37
  1724. page bibliography. A large number of paradigms are presented. On the
  1725. negative side the book is very shallow. Best used as a complement to other
  1726. books".
  1727.  
  1728. Wasserman, P.D. (1993). Advanced Methods in Neural Computing. Van
  1729. Nostrand Reinhold: New York (ISBN: 0-442-00461-3). 
  1730. Comments from readers of comp.ai.neural-nets: "Several neural network topics
  1731. are discussed e.g. Probalistic Neural Networks, Backpropagation and beyond,
  1732. neural control, Radial Basis Function Networks, Neural Engineering.
  1733. Furthermore, several subjects related to neural networks are mentioned e.g.
  1734. genetic algorithms, fuzzy logic, chaos. Just the functionality of these
  1735. subjects is described; enough to get you started. Lots of references are
  1736. given to more elaborate descriptions. Easy to read, no extensive
  1737. mathematical background necessary." 
  1738.  
  1739. Zeidenberg. M. (1990). Neural Networks in Artificial Intelligence. Ellis
  1740. Horwood, Ltd., Chichester. 
  1741. Comments from readers of comp.ai.neural-nets: "Gives the AI point of view".
  1742.  
  1743. Zornetzer, S. F., Davis, J. L. and Lau, C. (1990). An Introduction to Neural
  1744. and Electronic Networks. Academic Press. (ISBN 0-12-781881-2) 
  1745. Comments from readers of comp.ai.neural-nets: "Covers quite a broad range of
  1746. topics (collection of articles/papers )."; "Provides a primer-like
  1747. introduction and overview for a broad audience, and employs a strong
  1748. interdisciplinary emphasis".
  1749.  
  1750. Zurada, Jacek M. (1992). Introduction To Artificial Neural Systems.
  1751. Hardcover, 785 Pages, 317 Figures, ISBN 0-534-95460-X, 1992, PWS Publishing
  1752. Company, Price: $56.75 (includes shipping, handling, and the ANS software
  1753. diskette). Solutions Manual available.
  1754. Comments from readers of comp.ai.neural-nets: "Cohesive and comprehensive
  1755. book on neural nets; as an engineering-oriented introduction, but also as a
  1756. research foundation. Thorough exposition of fundamentals, theory and
  1757. applications. Training and recall algorithms appear in boxes showing steps
  1758. of algorithms, thus making programming of learning paradigms easy. Many
  1759. illustrations and intuitive examples. Winner among NN textbooks at a senior
  1760. UG/first year graduate level-[175 problems]." Contents: Intro, Fundamentals
  1761. of Learning, Single-Layer & Multilayer Perceptron NN, Assoc. Memories,
  1762. Self-organizing and Matching Nets, Applications, Implementations, Appendix) 
  1763.  
  1764. Books with Source Code (C, C++)
  1765. +++++++++++++++++++++++++++++++
  1766.  
  1767. Blum, Adam (1992), Neural Networks in C++, Wiley.
  1768. -------------------------------------------------
  1769.  
  1770. Review by Ian Cresswell. (For a review of the text, see "The Worst" below.) 
  1771.  
  1772. Mr Blum has not only contributed a masterpiece of NN inaccuracy but also
  1773. seems to lack a fundamental understanding of Object Orientation. 
  1774.  
  1775. The excessive use of virtual methods (see page 32 for example), the
  1776. inclusion of unnecessary 'friend' relationships (page 133) and a penchant
  1777. for operator overloading (pick a page!) demonstrate inability in C++ and/or
  1778. OO. 
  1779.  
  1780. The introduction to OO that is provided trivialises the area and
  1781. demonstrates a distinct lack of direction and/or understanding. 
  1782.  
  1783. The public interfaces to classes are overspecified and the design relies
  1784. upon the flawed neuron/layer/network model. 
  1785.  
  1786. There is a notable disregard for any notion of a robust class hierarchy
  1787. which is demonstrated by an almost total lack of concern for inheritance and
  1788. associated reuse strategies. 
  1789.  
  1790. The attempt to rationalise differing types of Neural Network into a single
  1791. very shallow but wide class hierarchy is naive. 
  1792.  
  1793. The general use of the 'float' data type would cause serious hassle if this
  1794. software could possibly be extended to use some of the more sensitive
  1795. variants of backprop on more difficult problems. It is a matter of great
  1796. fortune that such software is unlikely to be reusable and will therefore,
  1797. like all good dinosaurs, disappear with the passage of time. 
  1798.  
  1799. The irony is that there is a card in the back of the book asking the
  1800. unfortunate reader to part with a further $39.95 for a copy of the software
  1801. (already included in print) on a 5.25" disk. 
  1802.  
  1803. The author claims that his work provides an 'Object Oriented Framework ...'.
  1804. This can best be put in his own terms (Page 137): 
  1805.  
  1806. ... garble(float noise) ...
  1807.  
  1808. Swingler, K. (1996), Applying Neural Networks: A Practical Guide, London:
  1809. -------------------------------------------------------------------------
  1810. Academic Press. 
  1811. ----------------
  1812.  
  1813. Review by Ian Cresswell. (For a review of the text, see "The Worst" below.) 
  1814.  
  1815. Before attempting to review the code associated with this book it should be
  1816. clearly stated that it is supplied as an extra--almost as an afterthought.
  1817. This may be a wise move. 
  1818.  
  1819. Although not as bad as other (even commercial) implementations, the code
  1820. provided lacks proper OO structure and is typical of C++ written in a C
  1821. style. 
  1822.  
  1823. Style criticisms include: 
  1824.  
  1825. 1. The use of public data fields within classes (loss of encapsulation). 
  1826. 2. Classes with no protected or private sections. 
  1827. 3. Little or no use of inheritance and/or run-time polymorphism. 
  1828. 4. Use of floats not doubles (a common mistake) to store values for
  1829.    connection weights. 
  1830. 5. Overuse of classes and public methods. The network class has 59 methods
  1831.    in its public section. 
  1832. 6. Lack of planning is evident for the construction of a class hierarchy. 
  1833.  
  1834. This code is without doubt written by a rushed C programmer. Whilst it would
  1835. require a C++ compiler to be successfully used, it lacks the tight
  1836. (optimised) nature of good C and the high level of abstraction of good C++. 
  1837.  
  1838. In a generous sense the code is free and the author doesn't claim any
  1839. expertise in software engineering. It works in a limited sense but would be
  1840. difficult to extend and/or reuse. It's fine for demonstration purposes in a
  1841. stand-alone manner and for use with the book concerned. 
  1842.  
  1843. If you're serious about nets you'll end up rewriting the whole lot (or
  1844. getting something better). 
  1845.  
  1846. The Worst
  1847. +++++++++
  1848.  
  1849. How not to use neural nets in any programming language
  1850. ------------------------------------------------------
  1851.  
  1852.    Blum, Adam (1992), Neural Networks in C++, NY: Wiley. 
  1853.  
  1854.    Welstead, Stephen T. (1994), Neural Network and Fuzzy Logic
  1855.    Applications in C/C++, NY: Wiley. 
  1856.  
  1857. (For a review of Blum's source code, see "Books with Source Code" above.) 
  1858.  
  1859. Both Blum and Welstead contribute to the dangerous myth that any idiot can
  1860. use a neural net by dumping in whatever data are handy and letting it train
  1861. for a few days. They both have little or no discussion of generalization,
  1862. validation, and overfitting. Neither provides any valid advice on choosing
  1863. the number of hidden nodes. If you have ever wondered where these stupid
  1864. "rules of thumb" that pop up frequently come from, here's a source for one
  1865. of them: 
  1866.  
  1867.    "A rule of thumb is for the size of this [hidden] layer to be
  1868.    somewhere between the input layer size ... and the output layer size
  1869.    ..." Blum, p. 60. 
  1870.  
  1871. (John Lazzaro tells me he recently "reviewed a paper that cited this rule of
  1872. thumb--and referenced this book! Needless to say, the final version of that
  1873. paper didn't include the reference!") 
  1874.  
  1875. Blum offers some profound advice on choosing inputs: 
  1876.  
  1877.    "The next step is to pick as many input factors as possible that
  1878.    might be related to [the target]." 
  1879.  
  1880. Blum also shows a deep understanding of statistics: 
  1881.  
  1882.    "A statistical model is simply a more indirect way of learning
  1883.    correlations. With a neural net approach, we model the problem
  1884.    directly." p. 8. 
  1885.  
  1886. Blum at least mentions some important issues, however simplistic his advice
  1887. may be. Welstead just ignores them. What Welstead gives you is code--vast
  1888. amounts of code. I have no idea how anyone could write that much code for a
  1889. simple feedforward NN. Welstead's approach to validation, in his chapter on
  1890. financial forecasting, is to reserve two cases for the validation set! 
  1891.  
  1892. My comments apply only to the text of the above books. I have not examined
  1893. or attempted to compile the code. 
  1894.  
  1895. An impractical guide to neural nets
  1896. -----------------------------------
  1897.  
  1898.    Swingler, K. (1996), Applying Neural Networks: A Practical Guide, 
  1899.    London: Academic Press. 
  1900.  
  1901. (For a review of the source code, see "Books with Source Code" above.) 
  1902.  
  1903. This book has lots of good advice liberally sprinkled with errors, incorrect
  1904. formulas, some bad advice, and some very serious mistakes. Experts will
  1905. learn nothing, while beginners will be unable to separate the useful
  1906. information from the dangerous. For example, there is a chapter on "Data
  1907. encoding and re-coding" that would be very useful to beginners if it were
  1908. accurate, but the formula for the standard deviation is wrong, and the
  1909. description of the softmax function is of something entirely different than
  1910. softmax (see What is a softmax activation function?). Even more dangerous is
  1911. the statement on p. 28 that "Any pair of variables with high covariance are
  1912. dependent, and one may be chosen to be discarded." Although high
  1913. correlations can be used to identify redundant inputs, it is incorrect to
  1914. use high covariances for this purpose, since a covariance can be high simply
  1915. because one of the inputs has a high standard deviation. 
  1916.  
  1917. The most ludicrous thing I've found in the book is the claim that
  1918. Hecht-Neilsen used Kolmogorov's theorem to show that "you will never require
  1919. more than twice the number of hidden units as you have inputs" (p. 53) in an
  1920. MLP with one hidden layer. Actually, Hecht-Neilsen, says "the direct
  1921. usefulness of this result is doubtful, because no constructive method for
  1922. developing the [output activation] functions is known." Then Swingler
  1923. implies that V. Kurkova (1991, "Kolmogorov's theorem is relevant," Neural
  1924. Computation, 3, 617-622) confirmed this alleged upper bound on the number of
  1925. hidden units, saying that, "Kurkova was able to restate Kolmogorov's theorem
  1926. in terms of a set of sigmoidal functions." If Kolmogorov's theorem, or
  1927. Hecht-Nielsen's adaptation of it, could be restated in terms of known
  1928. sigmoid activation functions in the (single) hidden and output layers, then
  1929. Swingler's alleged upper bound would be correct, but in fact no such
  1930. restatement of Kolmogorov's theorem is possible, and Kurkova did not claim
  1931. to prove any such restatement. Swingler omits the crucial details that
  1932. Kurkova used two hidden layers, staircase-like activation functions (not
  1933. ordinary sigmoidal functions such as the logistic) in the first hidden
  1934. layer, and a potentially large number of units in the second hidden layer.
  1935. Kurkova later estimated the number of units required for uniform
  1936. approximation within an error epsilon as nm(m+1) in the first hidden
  1937. layer and m^2(m+1)^n in the second hidden layer, where n is the number
  1938. of inputs and m "depends on epsilon/||f|| as well as on the rate with
  1939. which f increases distances." In other words, Kurkova says nothing to
  1940. support Swinglers advice (repeated on p. 55), "Never choose h to be more
  1941. than twice the number of input units." Furthermore, constructing a counter
  1942. example to Swingler's advice is trivial: use one input and one output, where
  1943. the output is the sine of the input, and the domain of the input extends
  1944. over many cycles of the sine wave; it is obvious that many more than two
  1945. hidden units are required. For some sound information on choosing the number
  1946. of hidden units, see How many hidden units should I use? 
  1947.  
  1948. Choosing the number of hidden units is one important aspect of getting good
  1949. generalization, which is the most crucial issue in neural network training.
  1950. There are many other considerations involved in getting good generalization,
  1951. and Swingler makes several more mistakes in this area: 
  1952.  
  1953.  o There is dangerous misinformation on p. 55, where Swingler says, "If a
  1954.    data set contains no noise, then there is no risk of overfitting as there
  1955.    is nothing to overfit." It is true that overfitting is more common with
  1956.    noisy data, but severe overfitting can occur with noise-free data, even
  1957.    when there are more training cases than weights. There is an example of
  1958.    such overfitting under How many hidden layers should I use? 
  1959.  
  1960.  o Regarding the use of added noise (jitter) in training, Swingler says on
  1961.    p. 60, "The more noise you add, the more general your model becomes."
  1962.    This statement makes no sense as it stands (it would make more sense if
  1963.    "general" were changed to "smooth"), but it could certainly encourage a
  1964.    beginner to use far too much jitter--see What is jitter? (Training with
  1965.    noise). 
  1966.  
  1967.  o On p. 109, Swingler describes leave-one-out cross-validation, which he
  1968.    ascribes to Hecht-Neilsen. But Swingler concludes, "the method provides
  1969.    you with L minus 1 networks to choose from; none of which has been
  1970.    validated properly," completely missing the point that cross-validation
  1971.    provides an estimate of the generalization error of a network trained on
  1972.    the entire training set of L cases--see What are cross-validation and
  1973.    bootstrapping? Also, there are L leave-one-out networks, not L-1. 
  1974.  
  1975. While Swingler has some knowldege of statistics, his expertise is not
  1976. sufficient for him to detect that certain articles on neural nets are
  1977. statistically nonsense. For example, on pp. 139-140 he uncritically reports
  1978. a method that allegedly obtains error bars by doing a simple linear
  1979. regression on the target vs. output scores. To a trained statistician, this
  1980. method is obviously wrong (and, as usual in this book, the formula for
  1981. variance given for this method on p. 150 is wrong). On p. 110, Swingler
  1982. reports an article that attempts to apply bootstrapping to neural nets, but
  1983. this article is also obviously wrong to anyone familiar with bootstrapping.
  1984. While Swingler cannot be blamed entirely for accepting these articles at
  1985. face value, such misinformation provides yet more hazards for beginners. 
  1986.  
  1987. Swingler addresses many important practical issues, and often provides good
  1988. practical advice. But the peculiar combination of much good advice with some
  1989. extremely bad advice, a few examples of which are provided above, could
  1990. easily seduce a beginner into thinking that the book as a whole is reliable.
  1991. It is this danger that earns the book a place in "The Worst" list. 
  1992.  
  1993. Bad science writing
  1994. -------------------
  1995.  
  1996.    Dewdney, A.K. (1997), Yes, We Have No Neutrons: An Eye-Opening Tour
  1997.    through the Twists and Turns of Bad Science, NY: Wiley. 
  1998.  
  1999. This book, allegedly an expose of bad science, contains only one chapter of
  2000. 19 pages on "the neural net debacle" (p. 97). Yet this chapter is so
  2001. egregiously misleading that the book has earned a place on "The Worst" list.
  2002. A detailed criticism of this chapter, along with some other sections of the
  2003. book, can be found at ftp://ftp.sas.com/pub/neural/badscience.html. Other
  2004. chapters of the book are reviewed in the November, 1997, issue of Scientific
  2005. American. 
  2006.  
  2007. ------------------------------------------------------------------------
  2008.  
  2009. Subject: Journals and magazines about Neural Networks?
  2010. ======================================================
  2011.  
  2012. [to be added: comments on speed of reviewing and publishing,
  2013.               whether they accept TeX format or ASCII by e-mail, etc.]
  2014.  
  2015. A. Dedicated Neural Network Journals:
  2016. +++++++++++++++++++++++++++++++++++++
  2017.  
  2018. Title:   Neural Networks
  2019. Publish: Pergamon Press
  2020. Address: Pergamon Journals Inc., Fairview Park, Elmsford,
  2021.          New York 10523, USA and Pergamon Journals Ltd.
  2022.          Headington Hill Hall, Oxford OX3, 0BW, England
  2023. Freq.:   10 issues/year (vol. 1 in 1988)
  2024. Cost/Yr: Free with INNS or JNNS or ENNS membership ($45?),
  2025.          Individual $65, Institution $175
  2026. ISSN #:  0893-6080
  2027. URL:     http://www.elsevier.nl/locate/inca/841
  2028. Remark:  Official Journal of International Neural Network Society (INNS),
  2029.          European Neural Network Society (ENNS) and Japanese Neural
  2030.          Network Society (JNNS).
  2031.          Contains Original Contributions, Invited Review Articles, Letters
  2032.          to Editor, Book Reviews, Editorials, Announcements, Software Surveys.
  2033.  
  2034. Title:   Neural Computation
  2035. Publish: MIT Press
  2036. Address: MIT Press Journals, 55 Hayward Street Cambridge,
  2037.          MA 02142-9949, USA, Phone: (617) 253-2889
  2038. Freq.:   Quarterly (vol. 1 in 1989)
  2039. Cost/Yr: Individual $45, Institution $90, Students $35; Add $9 Outside USA
  2040. ISSN #:  0899-7667
  2041. URL:     http://mitpress.mit.edu/journals-legacy.tcl
  2042. Remark:  Combination of Reviews (10,000 words), Views (4,000 words)
  2043.          and Letters (2,000 words).  I have found this journal to be of
  2044.          outstanding quality.
  2045.          (Note: Remarks supplied by Mike Plonski "plonski@aero.org")
  2046.  
  2047. Title:   NEURAL COMPUTING SURVEYS 
  2048. Publish: Lawrence Erlbaum Associates 
  2049. Address: 10 Industrial Avenue, Mahwah, NJ  07430-2262, USA
  2050. Freq.:   Yearly
  2051. Cost/Yr: Free on-line
  2052. ISSN #:  1093-7609
  2053. URL:     http://www.icsi.berkeley.edu/~jagota/NCS/
  2054. Remark:  One way to cope with the exponential increase in the number
  2055.          of articles published in recent years is to ignore most of
  2056.          them. A second, perhaps more satisfying, approach is to
  2057.          provide a forum that encourages the regular production --
  2058.          and perusal -- of high-quality survey articles. This is
  2059.          especially useful in an inter-disciplinary, evolving field
  2060.          such as neural networks. This journal aims to bring the
  2061.          second view-point to bear. It is intended to
  2062.  
  2063.          * encourage researchers to write good survey papers. 
  2064.          * motivate researchers to look here first to check
  2065.            what's known on an unfamiliar topic. 
  2066.  
  2067. Title:   IEEE Transactions on Neural Networks
  2068. Publish: Institute of Electrical and Electronics Engineers (IEEE)
  2069. Address: IEEE Service Cemter, 445 Hoes Lane, P.O. Box 1331, Piscataway, NJ,
  2070.          08855-1331 USA. Tel: (201) 981-0060
  2071. Cost/Yr: $10 for Members belonging to participating IEEE societies
  2072. Freq.:   Quarterly (vol. 1 in March 1990)
  2073. URL:     http://www.ieee.org/nnc/pubs/transactions.html
  2074. Remark:  Devoted to the science and technology of neural networks
  2075.          which disclose significant  technical knowledge, exploratory
  2076.          developments and applications of neural networks from biology to
  2077.          software to hardware.  Emphasis is on artificial neural networks.
  2078.          Specific aspects include self organizing systems, neurobiological
  2079.          connections, network dynamics and architecture, speech recognition,
  2080.          electronic and photonic implementation, robotics and controls.
  2081.          Includes Letters concerning new research results.
  2082.          (Note: Remarks are from journal announcement)
  2083.  
  2084. Title:   IEEE Transactions on Evolutionary Computation
  2085. Publish: Institute of Electrical and Electronics Engineers (IEEE)
  2086. Address: IEEE Service Cemter, 445 Hoes Lane, P.O. Box 1331, Piscataway, NJ,
  2087.          08855-1331 USA. Tel: (201) 981-0060
  2088. Cost/Yr: $10 for Members belonging to participating IEEE societies
  2089. Freq.:   Quarterly (vol. 1 in May 1997)
  2090. URL:     http://engine.ieee.org/nnc/pubs/transactions.html
  2091. Remark:  The IEEE Transactions on Evolutionary Computation will publish archival
  2092.          journal quality original papers in evolutionary computation and related
  2093.          areas, with particular emphasis on the practical application of the
  2094.          techniques to solving real problems in industry, medicine, and other
  2095.          disciplines.  Specific techniques include but are not limited to
  2096.          evolution strategies, evolutionary programming, genetic algorithms, and
  2097.          associated methods of genetic programming and classifier systems.  Papers
  2098.          emphasizing mathematical results should ideally seek to put these results
  2099.          in the context of algorithm design, however purely theoretical papers will
  2100.          be considered.  Other papers in the areas of cultural algorithms, artificial
  2101.          life, molecular computing, evolvable hardware, and the use of simulated
  2102.          evolution to gain a better understanding of naturally evolved systems are
  2103.          also encouraged.
  2104.          (Note: Remarks are from journal CFP)
  2105.  
  2106. Title:   International Journal of Neural Systems
  2107. Publish: World Scientific Publishing
  2108. Address: USA: World Scientific Publishing Co., 1060 Main Street, River Edge,
  2109.          NJ 07666. Tel: (201) 487 9655; Europe: World Scientific Publishing
  2110.          Co. Ltd., 57 Shelton Street, London WC2H 9HE, England.
  2111.          Tel: (0171) 836 0888; Asia: World Scientific Publishing Co. Pte. Ltd.,
  2112.          1022 Hougang Avenue 1 #05-3520, Singapore 1953, Rep. of Singapore
  2113.          Tel: 382 5663.
  2114. Freq.:   Quarterly (Vol. 1 in 1990)
  2115. Cost/Yr: Individual $122, Institution $255 (plus $15-$25 for postage)
  2116. ISSN #:  0129-0657 (IJNS)
  2117. Remark:  The International Journal of Neural Systems is a quarterly
  2118.          journal which covers information processing in natural
  2119.          and artificial neural systems. Contributions include research papers,
  2120.          reviews, and Letters to the Editor - communications under 3,000
  2121.          words in length, which are published within six months of receipt.
  2122.          Other contributions are typically published within nine months.
  2123.          The journal presents a fresh undogmatic attitude towards this
  2124.          multidisciplinary field and aims to be a forum for novel ideas and
  2125.          improved understanding of collective and cooperative phenomena with
  2126.          computational capabilities.
  2127.          Papers should be submitted to World Scientific's UK office. Once a
  2128.          paper is accepted for publication, authors are invited to e-mail
  2129.          the LaTeX source file of their paper in order to expedite publication.
  2130.  
  2131. Title:   International Journal of Neurocomputing
  2132. Publish: Elsevier Science Publishers, Journal Dept.; PO Box 211;
  2133.          1000 AE Amsterdam, The Netherlands
  2134. Freq.:   Quarterly (vol. 1 in 1989)
  2135. URL:     http://www.elsevier.nl/locate/inca/505628
  2136.  
  2137. Title:   Neural Processing Letters
  2138. Publish: Kluwer Academic publishers
  2139. Address: P.O. Box 322, 3300 AH Dordrecht, The Netherlands
  2140. Freq:    6 issues/year (vol. 1 in 1994)
  2141. Cost/Yr: Individuals $198, Institution $400 (including postage)
  2142. ISSN #:  1370-4621
  2143. URL:     http://www.wkap.nl/journalhome.htm/1370-4621
  2144. Remark:  The aim of the journal is to rapidly publish new ideas, original
  2145.          developments and work in progress.  Neural Processing Letters
  2146.          covers all aspects of the Artificial Neural Networks field.
  2147.          Publication delay is about 3 months.
  2148.  
  2149. Title:   Neural Network News
  2150. Publish: AIWeek Inc.
  2151. Address: Neural Network News, 2555 Cumberland Parkway, Suite 299,
  2152.          Atlanta, GA 30339 USA. Tel: (404) 434-2187
  2153. Freq.:   Monthly (beginning September 1989)
  2154. Cost/Yr: USA and Canada $249, Elsewhere $299
  2155. Remark:  Commercial Newsletter
  2156.  
  2157. Title:   Network: Computation in Neural Systems
  2158. Publish: IOP Publishing Ltd
  2159. Address: Europe: IOP Publishing Ltd, Techno House, Redcliffe Way, Bristol
  2160.          BS1 6NX, UK; IN USA: American Institute of Physics, Subscriber
  2161.          Services 500 Sunnyside Blvd., Woodbury, NY  11797-2999
  2162. Freq.:   Quarterly (1st issue 1990)
  2163. Cost/Yr: USA: $180,  Europe: 110 pounds
  2164. URL:     http://www.iop.org/Journals/ne
  2165. Remark:  Description: "a forum for integrating theoretical and experimental
  2166.          findings across relevant interdisciplinary boundaries."  Contents:
  2167.          Submitted articles reviewed by two technical referees  paper's
  2168.          interdisciplinary format and accessability."  Also Viewpoints and
  2169.          Reviews commissioned by the editors, abstracts (with reviews) of
  2170.          articles published in other journals, and book reviews.
  2171.          Comment: While the price discourages me (my comments are based
  2172.          upon a free sample copy), I think that the journal succeeds
  2173.          very well.  The highest density of interesting articles I
  2174.          have found in any journal.
  2175.          (Note: Remarks supplied by kehoe@csufres.CSUFresno.EDU)
  2176.  
  2177. Title:   Connection Science: Journal of Neural Computing,
  2178.          Artificial Intelligence and Cognitive Research
  2179. Publish: Carfax Publishing
  2180. Address: Europe: Carfax Publishing Company, PO Box 25, Abingdon, Oxfordshire
  2181.          OX14 3UE, UK.
  2182.          USA: Carfax Publishing Company, PO Box 2025, Dunnellon, Florida
  2183.          34430-2025, USA
  2184.          Australia: Carfax Publishing Company, Locked Bag 25, Deakin,
  2185.          ACT 2600, Australia
  2186. Freq.:   Quarterly (vol. 1 in 1989)
  2187. Cost/Yr: Personal rate:
  2188.          48 pounds (EC) 66 pounds (outside EC) US$118 (USA and Canada)
  2189.          Institutional rate:
  2190.          176 pounds (EC) 198 pounds (outside EC) US$340 (USA and Canada)
  2191.  
  2192. Title:   International Journal of Neural Networks
  2193. Publish: Learned Information
  2194. Freq.:   Quarterly (vol. 1 in 1989)
  2195. Cost/Yr: 90 pounds
  2196. ISSN #:  0954-9889
  2197. Remark:  The journal contains articles, a conference report (at least the
  2198.          issue I have), news and a calendar.
  2199.          (Note: remark provided by J.R.M. Smits "anjos@sci.kun.nl")
  2200.  
  2201. Title:   Sixth Generation Systems (formerly Neurocomputers)
  2202. Publish: Gallifrey Publishing
  2203. Address: Gallifrey Publishing, PO Box 155, Vicksburg, Michigan, 49097, USA
  2204.          Tel: (616) 649-3772, 649-3592 fax
  2205. Freq.    Monthly (1st issue January, 1987)
  2206. ISSN #:  0893-1585
  2207. Editor:  Derek F. Stubbs
  2208. Cost/Yr: $79 (USA, Canada), US$95 (elsewhere)
  2209. Remark:  Runs eight to 16 pages monthly. In 1995 will go to floppy disc-based
  2210. publishing with databases +, "the equivalent to 50 pages per issue are
  2211. planned." Often focuses on specific topics: e.g., August, 1994 contains two
  2212. articles: "Economics, Times Series and the Market," and "Finite Particle
  2213. Analysis - [part] II."  Stubbs also directs the company Advanced Forecasting
  2214. Technologies. (Remark by Ed Rosenfeld: ier@aol.com)
  2215.  
  2216. Title:   JNNS Newsletter (Newsletter of the Japan Neural Network Society)
  2217. Publish: The Japan Neural Network Society
  2218. Freq.:   Quarterly (vol. 1 in 1989)
  2219. Remark:  (IN JAPANESE LANGUAGE) Official Newsletter of the Japan Neural
  2220.          Network Society(JNNS)
  2221.          (Note: remarks by Osamu Saito "saito@nttica.NTT.JP")
  2222.  
  2223. Title:   Neural Networks Today
  2224. Remark:  I found this title in a bulletin board of october last year.
  2225.          It was a message of Tim Pattison, timpatt@augean.OZ
  2226.          (Note: remark provided by J.R.M. Smits "anjos@sci.kun.nl")
  2227.  
  2228. Title:   Computer Simulations in Brain Science
  2229.  
  2230. Title:   Internation Journal of Neuroscience
  2231.  
  2232. Title:   Neural Network Computation
  2233. Remark:  Possibly the same as "Neural Computation"
  2234.  
  2235. Title:   Neural Computing and Applications
  2236. Freq.:   Quarterly
  2237. Publish: Springer Verlag
  2238. Cost/yr: 120 Pounds
  2239. Remark:  Is the journal of the Neural Computing Applications Forum.
  2240.          Publishes original research and other information
  2241.          in the field of practical applications of neural computing.
  2242.  
  2243. B. NN Related Journals:
  2244. +++++++++++++++++++++++
  2245.  
  2246. Title:   Biological Cybernetics (Kybernetik)
  2247. Publish: Springer Verlag
  2248. Remark:  Monthly (vol. 1 in 1961)
  2249.  
  2250. Title:   Various IEEE Transactions and Magazines
  2251. Publish: IEEE
  2252. Remark:  Primarily see IEEE Trans. on System, Man and Cybernetics;
  2253.          Various Special Issues: April 1990 IEEE Control Systems
  2254.          Magazine.; May 1989 IEEE Trans. Circuits and Systems.;
  2255.          July 1988 IEEE Trans. Acoust. Speech Signal Process.
  2256.  
  2257. Title:   The Journal of Experimental and Theoretical Artificial Intelligence
  2258. Publish: Taylor & Francis, Ltd.
  2259. Address: London, New York, Philadelphia
  2260. Freq.:   ? (1st issue Jan 1989)
  2261. Remark:  For submission information, please contact either of the editors:
  2262.          Eric Dietrich                        Chris Fields
  2263.          PACSS - Department of Philosophy     Box 30001/3CRL
  2264.          SUNY Binghamton                      New Mexico State University
  2265.          Binghamton, NY 13901                 Las Cruces, NM 88003-0001
  2266.          dietrich@bingvaxu.cc.binghamton.edu  cfields@nmsu.edu
  2267.  
  2268. Title:   The Behavioral and Brain Sciences
  2269. Publish: Cambridge University Press
  2270. Remark:  (Remarks by Don Wunsch 
  2271.          This is a delightful journal that encourages discussion on a
  2272.          variety of controversial topics.  I have especially enjoyed
  2273.          reading some papers in there by Dana Ballard and Stephen
  2274.          Grossberg (separate papers, not collaborations) a few years
  2275.          back.  They have a really neat concept: they get a paper,
  2276.          then invite a number of noted scientists in the field to
  2277.          praise it or trash it.  They print these commentaries, and
  2278.          give the author(s) a chance to make a rebuttal or
  2279.          concurrence.  Sometimes, as I'm sure you can imagine, things
  2280.          get pretty lively. Their reviewers are called something like
  2281.          Behavioral and Brain Associates, and I believe they have to
  2282.          be nominated by current associates, and should be fairly
  2283.          well established in the field. The main thing is that I liked
  2284.          the articles I read. 
  2285.  
  2286. Title:   International Journal of Applied Intelligence
  2287. Publish: Kluwer Academic Publishers
  2288. Remark:  first issue in 1990(?)
  2289.  
  2290. Title:   International Journal of Modern Physics C
  2291. Publish: USA: World Scientific Publishing Co., 1060 Main Street, River Edge,
  2292.          NJ 07666. Tel: (201) 487 9655; Europe: World Scientific Publishing
  2293.          Co. Ltd., 57 Shelton Street, London WC2H 9HE, England.
  2294.          Tel: (0171) 836 0888; Asia: World Scientific Publishing Co. Pte. Ltd.,
  2295.          1022 Hougang Avenue 1 #05-3520, Singapore 1953, Rep. of Singapore
  2296.          Tel: 382 5663.
  2297. Freq:    bi-monthly
  2298. Eds:     H. Herrmann, R. Brower, G.C. Fox and S Nose
  2299.  
  2300. Title:   Machine Learning
  2301. Publish: Kluwer Academic Publishers
  2302. Address: Kluwer Academic Publishers
  2303.          P.O. Box 358
  2304.          Accord Station
  2305.          Hingham, MA 02018-0358 USA
  2306. Freq.:   Monthly (8 issues per year; increasing to 12 in 1993)
  2307. Cost/Yr: Individual $140 (1992); Member of AAAI or CSCSI $88
  2308. Remark:  Description: Machine Learning is an international forum for
  2309.          research on computational approaches to learning.  The journal
  2310.          publishes articles reporting substantive research results on a
  2311.          wide range of learning methods applied to a variety of task
  2312.          domains.  The ideal paper will make a theoretical contribution
  2313.          supported by a computer implementation.
  2314.          The journal has published many key papers in learning theory,
  2315.          reinforcement learning, and decision tree methods.  Recently
  2316.          it has published a special issue on connectionist approaches
  2317.          to symbolic reasoning.  The journal regularly publishes
  2318.          issues devoted to genetic algorithms as well.
  2319.  
  2320. Title:   INTELLIGENCE - The Future of Computing
  2321. Published by: Intelligence
  2322. Address: INTELLIGENCE, P.O. Box 20008, New York, NY 10025-1510, USA,
  2323. 212-222-1123 voice & fax; email: ier@aol.com, CIS: 72400,1013
  2324. Freq.    Monthly plus four special reports each year (1st issue: May, 1984)
  2325. ISSN #:  1042-4296
  2326. Editor:  Edward Rosenfeld
  2327. Cost/Yr: $395 (USA), US$450 (elsewhere)
  2328. Remark:  Has absorbed several other newsletters, like Synapse/Connection
  2329.          and Critical Technology Trends (formerly AI Trends).
  2330.          Covers NN, genetic algorithms, fuzzy systems, wavelets, chaos
  2331.          and other advanced computing approaches, as well as molecular
  2332.          computing and nanotechnology.
  2333.  
  2334. Title:   Journal of Physics A: Mathematical and General
  2335. Publish: Inst. of Physics, Bristol
  2336. Freq:    24 issues per year.
  2337. Remark:  Statistical mechanics aspects of neural networks
  2338.          (mostly Hopfield models).
  2339.  
  2340. Title:   Physical Review A: Atomic, Molecular and Optical Physics
  2341. Publish: The American Physical Society (Am. Inst. of Physics)
  2342. Freq:    Monthly
  2343. Remark:  Statistical mechanics of neural networks.
  2344.  
  2345. Title:   Information Sciences
  2346. Publish: North Holland (Elsevier Science)
  2347. Freq.:   Monthly
  2348. ISSN:    0020-0255
  2349. Editor:  Paul P. Wang; Department of Electrical Engineering; Duke University;
  2350.          Durham, NC 27706, USA
  2351.  
  2352. ------------------------------------------------------------------------
  2353.  
  2354. Subject: Conferences and Workshops on Neural
  2355. ============================================
  2356. Networks?
  2357. =========
  2358.  
  2359.  o The journal "Neural Networks" has a list of conferences, workshops and
  2360.    meetings in each issue. 
  2361.  o NEuroNet maintains a list of Neural Network Events at 
  2362.    http://www.kcl.ac.uk/neuronet/events/index.html 
  2363.  o The IEEE Neural Network Council maintains a list of conferences at 
  2364.    http://www.ieee.org/nnc. 
  2365.  o Conferences, workshops, and other events concerned with neural networks,
  2366.    inductive learning, genetic algorithms, data mining, agents, applications
  2367.    of AI, pattern recognition, vision, and related fields. are listed at
  2368.    Georg Thimm's web page http://www.drc.ntu.edu.sg/users/mgeorg/enter.epl 
  2369.  
  2370. ------------------------------------------------------------------------
  2371.  
  2372. Subject: Neural Network Associations?
  2373. =====================================
  2374.  
  2375. 1. International Neural Network Society (INNS).
  2376. +++++++++++++++++++++++++++++++++++++++++++++++
  2377.  
  2378.    INNS membership includes subscription to "Neural Networks", the official
  2379.    journal of the society. Membership is $55 for non-students and $45 for
  2380.    students per year. Address: INNS Membership, P.O. Box 491166, Ft.
  2381.    Washington, MD 20749. 
  2382.  
  2383. 2. International Student Society for Neural Networks
  2384. ++++++++++++++++++++++++++++++++++++++++++++++++++++
  2385.    (ISSNNets).
  2386.    +++++++++++
  2387.  
  2388.    Membership is $5 per year. Address: ISSNNet, Inc., P.O. Box 15661,
  2389.    Boston, MA 02215 USA 
  2390.  
  2391. 3. Women In Neural Network Research and technology
  2392. ++++++++++++++++++++++++++++++++++++++++++++++++++
  2393.    (WINNERS).
  2394.    ++++++++++
  2395.  
  2396.    Address: WINNERS, c/o Judith Dayhoff, 11141 Georgia Ave., Suite 206,
  2397.    Wheaton, MD 20902. Phone: 301-933-9000. 
  2398.  
  2399. 4. European Neural Network Society (ENNS)
  2400. +++++++++++++++++++++++++++++++++++++++++
  2401.  
  2402.    ENNS membership includes subscription to "Neural Networks", the official
  2403.    journal of the society. Membership is currently (1994) 50 UK pounds (35
  2404.    UK pounds for students) per year. Address: ENNS Membership, Centre for
  2405.    Neural Networks, King's College London, Strand, London WC2R 2LS, United
  2406.    Kingdom. 
  2407.  
  2408. 5. Japanese Neural Network Society (JNNS)
  2409. +++++++++++++++++++++++++++++++++++++++++
  2410.  
  2411.    Address: Japanese Neural Network Society; Department of Engineering,
  2412.    Tamagawa University; 6-1-1, Tamagawa Gakuen, Machida City, Tokyo; 194
  2413.    JAPAN; Phone: +81 427 28 3457, Fax: +81 427 28 3597 
  2414.  
  2415. 6. Association des Connexionnistes en THese (ACTH)
  2416. ++++++++++++++++++++++++++++++++++++++++++++++++++
  2417.  
  2418.    (the French Student Association for Neural Networks); Membership is 100
  2419.    FF per year; Activities: newsletter, conference (every year), list of
  2420.    members, electronic forum; Journal 'Valgo' (ISSN 1243-4825); WWW page: 
  2421.    http://www.supelec-rennes.fr/acth/welcome.html ; Contact: acth@loria.fr 
  2422.  
  2423. 7. Neurosciences et Sciences de l'Ingenieur (NSI)
  2424. +++++++++++++++++++++++++++++++++++++++++++++++++
  2425.  
  2426.    Biology & Computer Science Activity : conference (every year) Address :
  2427.    NSI - TIRF / INPG 46 avenue Felix Viallet 38031 Grenoble Cedex FRANCE 
  2428.  
  2429. 8. IEEE Neural Networks Council
  2430. +++++++++++++++++++++++++++++++
  2431.  
  2432.    Web page at http://www.ieee.org/nnc 
  2433.  
  2434. 9. SNN (Foundation for Neural Networks)
  2435. +++++++++++++++++++++++++++++++++++++++
  2436.  
  2437.    The Foundation for Neural Networks (SNN) is a university based non-profit
  2438.    organization that stimulates basic and applied research on neural
  2439.    networks in the Netherlands. Every year SNN orgines a symposium on Neural
  2440.    Networks. See http://www.mbfys.kun.nl/SNN/. 
  2441.  
  2442. You can find nice lists of NN societies in the WWW at 
  2443. http://www.emsl.pnl.gov:2080/proj/neuron/neural/societies.html and at 
  2444. http://www.ieee.org:80/nnc/research/othernnsoc.html. 
  2445.  
  2446. ------------------------------------------------------------------------
  2447.  
  2448. Subject: Mailing lists, BBS, CD-ROM?
  2449. ====================================
  2450.  
  2451.    See also "Other NN links?" in Part 7 of the FAQ.
  2452.  
  2453. 1. Machine Learning mailing list
  2454. ++++++++++++++++++++++++++++++++
  2455.  
  2456.    http://groups.yahoo.com/group/machine-learning/ 
  2457.  
  2458.    The Machine Learning mailing list is an unmoderated mailing list intended
  2459.    for people in Computer Sciences, Statistics, Mathematics, and other areas
  2460.    or disciplines with interests in Machine Learning. Researchers,
  2461.    practitioners, and users of Machine Learning in academia, industry, and
  2462.    government are encouraged to join the list to discuss and exchange ideas
  2463.    regarding any aspect of Machine Learning, e.g., various learning
  2464.    algorithms, data pre-processing, variable selection mechanism, instance
  2465.    selection, and applications to real-world problems. 
  2466.  
  2467.    You can post, read, and reply messages on the Web. Or you can choose to
  2468.    receive messages as individual emails, daily summaries, daily full-text
  2469.    digest, or read them on the Web only. 
  2470.  
  2471. 2. The Connectionists Mailing List 
  2472. +++++++++++++++++++++++++++++++++++
  2473.  
  2474.    http://www.cnbc.cmu.edu/other/connectionists.html 
  2475.  
  2476.    CONNECTIONISTS is a moderated mailing list for discussion of technical
  2477.    issues relating to neural computation, and dissemination of professional
  2478.    announcements such as calls for papers, book announcements, and
  2479.    electronic preprints. CONNECTIONISTS is focused on meeting the needs of
  2480.    active researchers in the field, not on answering questions from
  2481.    beginners. 
  2482.  
  2483. 3. Central Neural System Electronic Bulletin Board
  2484. ++++++++++++++++++++++++++++++++++++++++++++++++++
  2485.  
  2486.       URL: ftp://www.centralneuralsystem.com/pub/CNS/bbs
  2487.       Supported by: Wesley R. Elsberry
  2488.                     3027 Macaulay Street
  2489.                     San Diego, CA 92106
  2490.       Email: welsberr@inia.cls.org
  2491.       Alternative URL: http://www.cs.cmu.edu/afs/cs.cmu.edu/project/ai-repository/ai/areas/neural/cns/0.html
  2492.       
  2493.  
  2494.    Many MS-DOS PD and shareware simulations, source code, benchmarks,
  2495.    demonstration packages, information files; some Unix, Macintosh, Amiga
  2496.    related files. Also available are files on AI, AI Expert listings
  2497.    1986-1991, fuzzy logic, genetic algorithms, artificial life, evolutionary
  2498.    biology, and many Project Gutenberg and Wiretap e-texts. 
  2499.  
  2500. 4. AI CD-ROM
  2501. ++++++++++++
  2502.  
  2503.    Network Cybernetics Corporation produces the "AI CD-ROM". It is an
  2504.    ISO-9660 format CD-ROM and contains a large assortment of software
  2505.    related to artificial intelligence, artificial life, virtual reality, and
  2506.    other topics. Programs for OS/2, MS-DOS, Macintosh, UNIX, and other
  2507.    operating systems are included. Research papers, tutorials, and other
  2508.    text files are included in ASCII, RTF, and other universal formats. The
  2509.    files have been collected from AI bulletin boards, Internet archive
  2510.    sites, University computer deptartments, and other government and
  2511.    civilian AI research organizations. Network Cybernetics Corporation
  2512.    intends to release annual revisions to the AI CD-ROM to keep it up to
  2513.    date with current developments in the field. The AI CD-ROM includes
  2514.    collections of files that address many specific AI/AL topics including
  2515.    Neural Networks (Source code and executables for many different platforms
  2516.    including Unix, DOS, and Macintosh. ANN development tools, example
  2517.    networks, sample data, tutorials. A complete collection of Neural Digest
  2518.    is included as well.) The AI CD-ROM may be ordered directly by check,
  2519.    money order, bank draft, or credit card from: 
  2520.  
  2521.            Network Cybernetics Corporation;
  2522.            4201 Wingren Road Suite 202;
  2523.            Irving, TX 75062-2763;
  2524.            Tel 214/650-2002;
  2525.            Fax 214/650-1929;
  2526.  
  2527.    The cost is $129 per disc + shipping ($5/disc domestic or $10/disc
  2528.    foreign) (See the comp.ai FAQ for further details) 
  2529.  
  2530. ------------------------------------------------------------------------
  2531.  
  2532. Subject: How to benchmark learning methods?
  2533. ===========================================
  2534.  
  2535. The NN benchmarking resources page at 
  2536. http://wwwipd.ira.uka.de/~prechelt/NIPS_bench.html was created after a NIPS
  2537. 1995 workshop on NN benchmarking. The page contains pointers to various
  2538. papers on proper benchmarking methodology and to various sources of
  2539. datasets. 
  2540.  
  2541. Benchmark studies require some familiarity with the statistical design and
  2542. analysis of experiments. There are many textbooks on this subject, of which
  2543. Cohen (1995) will probably be of particular interest to researchers in
  2544. neural nets and machine learning (see also the review of Cohen's book by Ron
  2545. Kohavi in the International Journal of Neural Systems, which can be found
  2546. on-line at http://robotics.stanford.edu/users/ronnyk/ronnyk-bib.html). 
  2547.  
  2548. Reference: 
  2549.  
  2550.    Cohen, P.R. (1995), Empirical Methods for Artificial Intelligence,
  2551.    Cambridge, MA: The MIT Press. 
  2552.  
  2553. ------------------------------------------------------------------------
  2554.  
  2555. Subject: Databases for experimentation with NNs?
  2556. ================================================
  2557.  
  2558. 1. UCI machine learning database
  2559. ++++++++++++++++++++++++++++++++
  2560.  
  2561.    A large collection of data sets accessible via anonymous FTP at
  2562.    ftp.ics.uci.edu [128.195.1.1] in directory 
  2563.    /pub/machine-learning-databases" or via web browser at 
  2564.    http://www.ics.uci.edu/~mlearn/MLRepository.html 
  2565.  
  2566. 2. UCI KDD Archive
  2567. ++++++++++++++++++
  2568.  
  2569.    The UC Irvine Knowledge Discovery in Databases (KDD) Archive at 
  2570.    http://kdd.ics.uci.edu/ is an online repository of large datasets which
  2571.    encompasses a wide variety of data types, analysis tasks, and application
  2572.    areas. The primary role of this repository is to serve as a benchmark
  2573.    testbed to enable researchers in knowledge discovery and data mining to
  2574.    scale existing and future data analysis algorithms to very large and
  2575.    complex data sets. This archive is supported by the Information and Data
  2576.    Management Program at the National Science Foundation, and is intended to
  2577.    expand the current UCI Machine Learning Database Repository to datasets
  2578.    that are orders of magnitude larger and more complex. 
  2579.  
  2580. 3. The neural-bench Benchmark collection
  2581. ++++++++++++++++++++++++++++++++++++++++
  2582.  
  2583.    Accessible at http://www.boltz.cs.cmu.edu/ or via anonymous FTP at 
  2584.    ftp://ftp.boltz.cs.cmu.edu/pub/neural-bench/. In case of problems or if
  2585.    you want to donate data, email contact is "neural-bench@cs.cmu.edu". The
  2586.    data sets in this repository include the 'nettalk' data, 'two spirals',
  2587.    protein structure prediction, vowel recognition, sonar signal
  2588.    classification, and a few others. 
  2589.  
  2590. 4. Proben1
  2591. ++++++++++
  2592.  
  2593.    Proben1 is a collection of 12 learning problems consisting of real data.
  2594.    The datafiles all share a single simple common format. Along with the
  2595.    data comes a technical report describing a set of rules and conventions
  2596.    for performing and reporting benchmark tests and their results.
  2597.    Accessible via anonymous FTP on ftp.cs.cmu.edu [128.2.206.173] as 
  2598.    /afs/cs/project/connect/bench/contrib/prechelt/proben1.tar.gz. and also
  2599.    on ftp.ira.uka.de as /pub/neuron/proben1.tar.gz. The file is about 1.8 MB
  2600.    and unpacks into about 20 MB. 
  2601.  
  2602. 5. Delve: Data for Evaluating Learning in Valid Experiments
  2603. +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
  2604.  
  2605.    Delve is a standardised, copyrighted environment designed to evaluate the
  2606.    performance of learning methods. Delve makes it possible for users to
  2607.    compare their learning methods with other methods on many datasets. The
  2608.    Delve learning methods and evaluation procedures are well documented,
  2609.    such that meaningful comparisons can be made. The data collection
  2610.    includes not only isolated data sets, but "families" of data sets in
  2611.    which properties of the data, such as number of inputs and degree of
  2612.    nonlinearity or noise, are systematically varied. The Delve web page is
  2613.    at http://www.cs.toronto.edu/~delve/ 
  2614.  
  2615. 6. Bilkent University Function Approximation Repository
  2616. +++++++++++++++++++++++++++++++++++++++++++++++++++++++
  2617.  
  2618.    A repository of data sets collected mainly by searching resources on the
  2619.    web can be found at http://funapp.cs.bilkent.edu.tr/DataSets/ Most of the
  2620.    data sets are used for the experimental analysis of function
  2621.    approximation techniques and for training and demonstration by machine
  2622.    learning and statistics community. The original sources of most data sets
  2623.    can be accessed via associated links. A compressed tar file containing
  2624.    all data sets is available. 
  2625.  
  2626. 7. NIST special databases of the National Institute Of Standards
  2627. ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
  2628.    And Technology:
  2629.    +++++++++++++++
  2630.  
  2631.    Several large databases, each delivered on a CD-ROM. Here is a quick
  2632.    list. 
  2633.     o NIST Binary Images of Printed Digits, Alphas, and Text 
  2634.     o NIST Structured Forms Reference Set of Binary Images 
  2635.     o NIST Binary Images of Handwritten Segmented Characters 
  2636.     o NIST 8-bit Gray Scale Images of Fingerprint Image Groups 
  2637.     o NIST Structured Forms Reference Set 2 of Binary Images 
  2638.     o NIST Test Data 1: Binary Images of Hand-Printed Segmented Characters 
  2639.     o NIST Machine-Print Database of Gray Scale and Binary Images 
  2640.     o NIST 8-Bit Gray Scale Images of Mated Fingerprint Card Pairs 
  2641.     o NIST Supplemental Fingerprint Card Data (SFCD) for NIST Special
  2642.       Database 9 
  2643.     o NIST Binary Image Databases of Census Miniforms (MFDB) 
  2644.     o NIST Mated Fingerprint Card Pairs 2 (MFCP 2) 
  2645.     o NIST Scoring Package Release 1.0 
  2646.     o NIST FORM-BASED HANDPRINT RECOGNITION SYSTEM 
  2647.    Here are example descriptions of two of these databases: 
  2648.  
  2649.    NIST special database 2: Structured Forms Reference Set (SFRS)
  2650.    --------------------------------------------------------------
  2651.  
  2652.    The NIST database of structured forms contains 5,590 full page images of
  2653.    simulated tax forms completed using machine print. THERE IS NO REAL TAX
  2654.    DATA IN THIS DATABASE. The structured forms used in this database are 12
  2655.    different forms from the 1988, IRS 1040 Package X. These include Forms
  2656.    1040, 2106, 2441, 4562, and 6251 together with Schedules A, B, C, D, E, F
  2657.    and SE. Eight of these forms contain two pages or form faces making a
  2658.    total of 20 form faces represented in the database. Each image is stored
  2659.    in bi-level black and white raster format. The images in this database
  2660.    appear to be real forms prepared by individuals but the images have been
  2661.    automatically derived and synthesized using a computer and contain no
  2662.    "real" tax data. The entry field values on the forms have been
  2663.    automatically generated by a computer in order to make the data available
  2664.    without the danger of distributing privileged tax information. In
  2665.    addition to the images the database includes 5,590 answer files, one for
  2666.    each image. Each answer file contains an ASCII representation of the data
  2667.    found in the entry fields on the corresponding image. Image format
  2668.    documentation and example software are also provided. The uncompressed
  2669.    database totals approximately 5.9 gigabytes of data. 
  2670.  
  2671.    NIST special database 3: Binary Images of Handwritten Segmented
  2672.    ---------------------------------------------------------------
  2673.    Characters (HWSC)
  2674.    -----------------
  2675.  
  2676.    Contains 313,389 isolated character images segmented from the 2,100
  2677.    full-page images distributed with "NIST Special Database 1". 223,125
  2678.    digits, 44,951 upper-case, and 45,313 lower-case character images. Each
  2679.    character image has been centered in a separate 128 by 128 pixel region,
  2680.    error rate of the segmentation and assigned classification is less than
  2681.    0.1%. The uncompressed database totals approximately 2.75 gigabytes of
  2682.    image data and includes image format documentation and example software.
  2683.  
  2684.    The system requirements for all databases are a 5.25" CD-ROM drive with
  2685.    software to read ISO-9660 format. Contact: Darrin L. Dimmick;
  2686.    dld@magi.ncsl.nist.gov; (301)975-4147
  2687.  
  2688.    The prices of the databases are between US$ 250 and 1895 If you wish to
  2689.    order a database, please contact: Standard Reference Data; National
  2690.    Institute of Standards and Technology; 221/A323; Gaithersburg, MD 20899;
  2691.    Phone: (301)975-2208; FAX: (301)926-0416
  2692.  
  2693.    Samples of the data can be found by ftp on sequoyah.ncsl.nist.gov in
  2694.    directory /pub/data A more complete description of the available
  2695.    databases can be obtained from the same host as 
  2696.    /pub/databases/catalog.txt 
  2697.  
  2698. 8. CEDAR CD-ROM 1: Database of Handwritten Cities, States,
  2699. ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
  2700.    ZIP Codes, Digits, and Alphabetic Characters
  2701.    ++++++++++++++++++++++++++++++++++++++++++++
  2702.  
  2703.    The Center Of Excellence for Document Analysis and Recognition (CEDAR)
  2704.    State University of New York at Buffalo announces the availability of
  2705.    CEDAR CDROM 1: USPS Office of Advanced Technology The database contains
  2706.    handwritten words and ZIP Codes in high resolution grayscale (300 ppi
  2707.    8-bit) as well as binary handwritten digits and alphabetic characters
  2708.    (300 ppi 1-bit). This database is intended to encourage research in
  2709.    off-line handwriting recognition by providing access to handwriting
  2710.    samples digitized from envelopes in a working post office. 
  2711.  
  2712.         Specifications of the database include:
  2713.         +    300 ppi 8-bit grayscale handwritten words (cities,
  2714.              states, ZIP Codes)
  2715.              o    5632 city words
  2716.              o    4938 state words
  2717.              o    9454 ZIP Codes
  2718.         +    300 ppi binary handwritten characters and digits:
  2719.              o    27,837 mixed alphas  and  numerics  segmented
  2720.                   from address blocks
  2721.              o    21,179 digits segmented from ZIP Codes
  2722.         +    every image supplied with  a  manually  determined
  2723.              truth value
  2724.         +    extracted from live mail in a  working  U.S.  Post
  2725.              Office
  2726.         +    word images in the test  set  supplied  with  dic-
  2727.              tionaries  of  postal  words that simulate partial
  2728.              recognition of the corresponding ZIP Code.
  2729.         +    digit images included in test  set  that  simulate
  2730.              automatic ZIP Code segmentation.  Results on these
  2731.              data can be projected to overall ZIP Code recogni-
  2732.              tion performance.
  2733.         +    image format documentation and software included
  2734.  
  2735.    System requirements are a 5.25" CD-ROM drive with software to read
  2736.    ISO-9660 format. For further information, see 
  2737.    http://www.cedar.buffalo.edu/Databases/CDROM1/ or send email to Ajay
  2738.    Shekhawat at <ajay@cedar.Buffalo.EDU> 
  2739.  
  2740.    There is also a CEDAR CDROM-2, a database of machine-printed Japanese
  2741.    character images. 
  2742.  
  2743. 9. AI-CD-ROM (see question "Other sources of information")
  2744. ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
  2745.  
  2746. 10. Time series
  2747. +++++++++++++++
  2748.  
  2749.    Santa Fe Competition
  2750.    --------------------
  2751.  
  2752.    Various datasets of time series (to be used for prediction learning
  2753.    problems) are available for anonymous ftp from ftp.santafe.edu in 
  2754.    /pub/Time-Series". Data sets include:
  2755.     o Fluctuations in a far-infrared laser 
  2756.     o Physiological data of patients with sleep apnea; 
  2757.     o High frequency currency exchange rate data; 
  2758.     o Intensity of a white dwarf star; 
  2759.     o J.S. Bachs final (unfinished) fugue from "Die Kunst der Fuge" 
  2760.  
  2761.    Some of the datasets were used in a prediction contest and are described
  2762.    in detail in the book "Time series prediction: Forecasting the future and
  2763.    understanding the past", edited by Weigend/Gershenfield, Proceedings
  2764.    Volume XV in the Santa Fe Institute Studies in the Sciences of Complexity
  2765.    series of Addison Wesley (1994). 
  2766.  
  2767.    M3 Competition
  2768.    --------------
  2769.  
  2770.    3003 time series from the M3 Competition can be found at 
  2771.    http://forecasting.cwru.edu/Data/index.html 
  2772.  
  2773.    The numbers of series of various types are given in the following table: 
  2774.  
  2775.    Interval  Micro Industry    Macro  Finance    Demog    Other    Total
  2776.    Yearly      146      102       83       58      245       11      645
  2777.    Quarterly   204       83      336       76       57        0      756
  2778.    Monthly     474      334      312      145      111       52     1428
  2779.    Other         4        0        0       29        0      141      174
  2780.    Total       828      519      731      308      413      204     3003
  2781.  
  2782.    Rob Hyndman's Time Series Data Library
  2783.    --------------------------------------
  2784.  
  2785.    A collection of over 500 time series on subjects including agriculture,
  2786.    chemistry, crime, demography, ecology, economics & finance, health,
  2787.    hydrology & meteorology, industry, physics, production, sales, simulated
  2788.    series, sport, transport & tourism, and tree-rings can be found at 
  2789.    http://www-personal.buseco.monash.edu.au/~hyndman/TSDL/ 
  2790.  
  2791. 11. Financial data
  2792. ++++++++++++++++++
  2793.  
  2794.    http://chart.yahoo.com/d?s=
  2795.  
  2796.    http://www.chdwk.com/data/index.html
  2797.  
  2798. 12. USENIX Faces
  2799. ++++++++++++++++
  2800.  
  2801.    The USENIX faces archive is a public database, accessible by ftp, that
  2802.    can be of use to people working in the fields of human face recognition,
  2803.    classification and the like. It currently contains 5592 different faces
  2804.    (taken at USENIX conferences) and is updated twice each year. The images
  2805.    are mostly 96x128 greyscale frontal images and are stored in ascii files
  2806.    in a way that makes it easy to convert them to any usual graphic format
  2807.    (GIF, PCX, PBM etc.). Source code for viewers, filters, etc. is provided.
  2808.    Each image file takes approximately 25K. 
  2809.  
  2810.    For further information, see http://facesaver.usenix.org/
  2811.  
  2812.    According to the archive administrator, Barbara L. Dijker
  2813.    (barb.dijker@labyrinth.com), there is no restriction to use them.
  2814.    However, the image files are stored in separate directories corresponding
  2815.    to the Internet site to which the person represented in the image
  2816.    belongs, with each directory containing a small number of images (two in
  2817.    the average). This makes it difficult to retrieve by ftp even a small
  2818.    part of the database, as you have to get each one individually.
  2819.    A solution, as Barbara proposed me, would be to compress the whole set of
  2820.    images (in separate files of, say, 100 images) and maintain them as a
  2821.    specific archive for research on face processing, similar to the ones
  2822.    that already exist for fingerprints and others. The whole compressed
  2823.    database would take some 30 megabytes of disk space. I encourage anyone
  2824.    willing to host this database in his/her site, available for anonymous
  2825.    ftp, to contact her for details (unfortunately I don't have the resources
  2826.    to set up such a site). 
  2827.  
  2828.    Please consider that UUNET has graciously provided the ftp server for the
  2829.    FaceSaver archive and may discontinue that service if it becomes a
  2830.    burden. This means that people should not download more than maybe 10
  2831.    faces at a time from uunet. 
  2832.  
  2833.    A last remark: each file represents a different person (except for
  2834.    isolated cases). This makes the database quite unsuitable for training
  2835.    neural networks, since for proper generalisation several instances of the
  2836.    same subject are required. However, it is still useful for use as testing
  2837.    set on a trained network. 
  2838.  
  2839. 13. Linguistic Data Consortium
  2840. ++++++++++++++++++++++++++++++
  2841.  
  2842.    The Linguistic Data Consortium (URL: 
  2843.    http://www.ldc.upenn.edu/ldc/noframe.html) is an open consortium of
  2844.    universities, companies and government research laboratories. It creates,
  2845.    collects and distributes speech and text databases, lexicons, and other
  2846.    resources for research and development purposes. The University of
  2847.    Pennsylvania is the LDC's host institution. The LDC catalog includes
  2848.    pronunciation lexicons, varied lexicons, broadcast speech, microphone
  2849.    speech, mobile-radio speech, telephone speech, broadcast text,
  2850.    conversation text, newswire text, parallel text, and varied text, at
  2851.    widely varying fees. 
  2852.  
  2853.       Linguistic Data Consortium 
  2854.       University of Pennsylvania 
  2855.       3615 Market Street, Suite 200 
  2856.       Philadelphia, PA 19104-2608 
  2857.       Tel (215) 898-0464 Fax (215) 573-2175
  2858.       Email: ldc@ldc.upenn.edu 
  2859.       
  2860.  
  2861. 14. Otago Speech Corpus
  2862. +++++++++++++++++++++++
  2863.  
  2864.    The Otago Speech Corpus contains speech samples in RIFF WAVE format that
  2865.    can be downloaded from 
  2866.    http://divcom.otago.ac.nz/infosci/kel/software/RICBIS/hyspeech_main.html 
  2867.  
  2868. 15. Astronomical Time Series
  2869. ++++++++++++++++++++++++++++
  2870.  
  2871.    Prepared by Paul L. Hertz (Naval Research Laboratory) & Eric D. Feigelson
  2872.    (Pennsyvania State University): 
  2873.     o Detection of variability in photon counting observations 1
  2874.       (QSO1525+337) 
  2875.     o Detection of variability in photon counting observations 2 (H0323+022)
  2876.     o Detection of variability in photon counting observations 3 (SN1987A) 
  2877.     o Detecting orbital and pulsational periodicities in stars 1 (binaries) 
  2878.     o Detecting orbital and pulsational periodicities in stars 2 (variables)
  2879.     o Cross-correlation of two time series 1 (Sun) 
  2880.     o Cross-correlation of two time series 2 (OJ287) 
  2881.     o Periodicity in a gamma ray burster (GRB790305) 
  2882.     o Solar cycles in sunspot numbers (Sun) 
  2883.     o Deconvolution of sources in a scanning operation (HEAO A-1) 
  2884.     o Fractal time variability in a seyfert galaxy (NGC5506) 
  2885.     o Quasi-periodic oscillations in X-ray binaries (GX5-1) 
  2886.     o Deterministic chaos in an X-ray pulsar? (Her X-1) 
  2887.    URL: http://xweb.nrl.navy.mil/www_hertz/timeseries/timeseries.html 
  2888.  
  2889. 16. Miscellaneous Images
  2890. ++++++++++++++++++++++++
  2891.  
  2892.    The USC-SIPI Image Database: 
  2893.    http://sipi.usc.edu/services/database/Database.html
  2894.  
  2895.    CityU Image Processing Lab: 
  2896.    http://www.image.cityu.edu.hk/images/database.html
  2897.  
  2898.    Center for Image Processing Research: http://cipr.rpi.edu/
  2899.  
  2900.    Computer Vision Test Images: 
  2901.    http://www.cs.cmu.edu:80/afs/cs/project/cil/ftp/html/v-images.html
  2902.  
  2903.    Lenna 97: A Complete Story of Lenna: 
  2904.    http://www.image.cityu.edu.hk/images/lenna/Lenna97.html
  2905.  
  2906. 17. StatLib
  2907. +++++++++++
  2908.  
  2909.    The StatLib repository at http://lib.stat.cmu.edu/ at Carnegie Mellon
  2910.    University has a large collection of data sets, many of which can be used
  2911.    with NNs. 
  2912.  
  2913. ------------------------------------------------------------------------
  2914.  
  2915. Next part is part 5 (of 7). Previous part is part 3. 
  2916.  
  2917. -- 
  2918.  
  2919. Warren S. Sarle       SAS Institute Inc.   The opinions expressed here
  2920. saswss@unx.sas.com    SAS Campus Drive     are mine and not necessarily
  2921. (919) 677-8000        Cary, NC 27513, USA  those of SAS Institute.
  2922.