home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / sys / sgi / 12525 < prev    next >
Encoding:
Text File  |  1992-08-17  |  1.3 KB  |  41 lines
  1. Newsgroups: comp.sys.sgi
  2. Path: sparky!uunet!wupost!gumby!yale!cs.yale.edu!news
  3. From: dave@doctor.chem.yale.edu (David Maxwell)
  4. Subject: Numerical errors with xcalc?
  5. Message-ID: <1992Aug18.043858.18153@cs.yale.edu>
  6. Sender: news@cs.yale.edu (Usenet News)
  7. Nntp-Posting-Host: doctor.chem.yale.edu
  8. Organization: Laboratory for Computational Chemistry, Yale University
  9. Distribution: usa
  10. Date: Tue, 18 Aug 1992 04:38:58 GMT
  11. Lines: 28
  12.  
  13. Hello folks,
  14.  
  15. This may be better answer for another group, but I don't know which one.
  16. Anyhow, I was wondering why xcalc stores numbers with only 5 decimal
  17. places valid.  I was doing the following calculation in rpn mode :
  18.  
  19. 1) I entered and stored the value 154.5157925 in STO 1
  20. 3) I cleared the display
  21. 4) I recalled RCL 1 (it shows 154.51579)
  22. 5) Had to press "enter" even though in normal HP's you don't
  23. 3) I entered 154.5129008 and pressed "-"
  24. 4) Shows "0.0028892" as result
  25.  
  26. If the same calculation is done :
  27.  
  28. 1) Enter 154.5157925
  29. 2) Enter 154.5129008, and press "-"
  30. 3) Shows "0.0028917" as result
  31.  
  32. I checked the result with an HP-11C and it gives "0.0028917", the same
  33. as the later via xcalc.
  34.  
  35. Is there any way to get better precision out of xcalc?
  36.  
  37. BTW, I realize that I probably should use bc, but I would much rather use
  38. a nice graphical calculator instead.
  39.  
  40. Dave Maxwell (dave@doctor.chem.yale.edu)
  41.