home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / lang / tcl / 1022 < prev    next >
Encoding:
Internet Message Format  |  1992-07-22  |  1.5 KB
  1. Path: sparky!uunet!cis.ohio-state.edu!ucbvax!ansa.co.uk!rtor
  2. From: rtor@ansa.co.uk (Owen Rees)
  3. Newsgroups: comp.lang.tcl
  4. Subject: Re: bug in expr?
  5. Message-ID: <9207221015.AA13447@yscydion.ansa.co.uk>
  6. Date: 22 Jul 92 10:15:22 GMT
  7. References: <1992Jul21.215415.23716@crd.ge.com>
  8. Sender: daemon@ucbvax.BERKELEY.EDU
  9. Lines: 51
  10.  
  11.  
  12. (Kevin B. Kenny) writes:
  13.  
  14. > Can someone explain the following?  More to the point, can someone fix it?
  15. > 
  16. > wish: set x [expr 400000.0+500000.0]
  17. > 900000
  18. > wish: set y [expr $x*$x]
  19. > -1748818944
  20. > 
  21. > The square of 900000.0 oughtn't to be a large negative number.
  22.  
  23. The square of 900000.0 isn't a large negative number e.g.:
  24.  
  25. wish: set x 900000.0
  26. 900000.0
  27. wish: set y [expr $x*$x]
  28. 8.1e+11
  29.  
  30. The problem is that you are squaring "900000" and not "900000.0" -
  31. don't forget that "Tcl supports only one type of data: strings." and
  32. that expr returns the result as a string. The 'insignificant' zeros
  33. and the decimal point have been stripped off because %g is used to
  34. convert the result to a string.
  35.  
  36. One thing you could do is use format to force the string to have its
  37. decimal point as in:
  38.  
  39. wish: set x [format "%#g" [expr 400000.0+500000.0]]
  40. 900000.
  41. wish: set y [expr $x*$x]
  42. 8.1e+11
  43.  
  44. or you could force the second expr to use floating point like this:
  45.  
  46. wish: set x [expr 400000.0+500000.0]
  47. 900000
  48. wish: set y [expr 1.0*$x*$x]
  49. 8.1e+11
  50.  
  51.  
  52. Owen.
  53.  
  54.      /\/\    Owen Rees <rtor@ansa.co.uk>
  55.     / /  \    APM, Poseidon House
  56.    / / /\ \    Castle Park, Cambridge
  57.   / / /\ \ \    CB3 0RD, UK
  58.  / /_/__\ \ \    Phone:    + 44 223 323010
  59. /__________\_\    Fax:    + 44 223 359779
  60.   A  N  S  A
  61.  
  62.