home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #1 / NN_1993_1.iso / spool / comp / ai / neuraln / 4815 < prev    next >
Encoding:
Text File  |  1993-01-12  |  1.9 KB  |  48 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!boulder!boulder!eesnyder
  3. From: eesnyder@boulder.Colorado.EDU (Eric E. Snyder)
  4. Subject: Weight update function: input -> hidden layer
  5. Message-ID: <eesnyder.726867596@beagle>
  6. Sender: news@colorado.edu (The Daily Planet)
  7. Nntp-Posting-Host: beagle.colorado.edu
  8. Organization: University of Colorado, Boulder
  9. Date: 12 Jan 93 19:39:56 GMT
  10. Lines: 36
  11.  
  12. Ok, I have been pulling my hair out for a couple of days now...
  13.  
  14. I am trying to write a really simple feed forward back prop net and 
  15. it just isn't working properly.  Everything seems pretty straight
  16. forward except for the function that calculates the change in weights
  17. for the weights connecting the inputs to the (single) hidden layer.
  18.  
  19. Starting from the formulas in Hertz, Krogh and Palmer, 6.9 and 6.10,
  20. I get the following update rule:
  21.  
  22.  
  23.  DeltaWeights[i][j] += Epsilon * Units[j] * (1 - Units[j]) * Weights[i][j] *
  24.                        Output * (1.0 - Output) * (Target[vector_number] - Output) *
  25.                        TrainingInputs[vector_number][i];
  26.  
  27.  
  28. Where Units[j] =          the activation of hidden unit j
  29.       Weights[i][j] =     weight connecting input i to hidden unit j
  30.       Output =            value of the (single) output unit
  31.       Target =            target output
  32.       TrainingInputs[i] = input i
  33.  
  34.  
  35. Am I screwing this up?  Any comments or suggestions would be greatly 
  36. appreciated.   
  37.  
  38. Many, many thanks... 
  39.  
  40. ---------------------------------------------------------------------------
  41. TTGATTGCTAAACACTGGGCGGCGAATCAGGGTTGGGATCTGAACAAAGACGGTCAGATTCAGTTCGTACTGCTG
  42. Eric E. Snyder                            
  43. Department of MCD Biology              ...making feet for childrens' shoes.
  44. University of Colorado, Boulder   
  45. Boulder, Colorado 80309-0347
  46. LeuIleAlaLysHisTrpAlaAlaAsnGlnGlyTrpAspLeuAsnLysAspGlyGlnIleGlnPheValLeuLeu
  47. ---------------------------------------------------------------------------
  48.