home *** CD-ROM | disk | FTP | other *** search
/ The World of Computer Software / World_Of_Computer_Software-02-387-Vol-3of3.iso / r / rxridg93.zip / NICHE.SRX < prev    next >
Text File  |  1992-05-01  |  8KB  |  162 lines
  1. ┌──────────────────────────────────────── Bob Obenchain, Ph.D.─────────┐
  2. │                  ╥───┐ ╖   ┌─ (tm)                                   │
  3. │                  ║   │ ╙╖┌─┘                                         │
  4. │ ╓─┐ ╓─┐ ╓── ─╥─  ╟─┬─┘  ╙┼╖    ╓─┐ ╖ ┌ ╓─┐ ╥─┐ ╥─┐ ╥ ┌ ┌ ╓─┐ ╥─┐ ╥─┐ │
  5. │ ╙─┐ ║ │ ╟─   ║   ║ └┐  ┌─┘╙╖   ╙─┐ ╟─┤ ╟─┤ ╟┬┘ ╟─  ║ │ │ ╟─┤ ╟┬┘ ╟─  │
  6. │ ╙─┘ ╙─┘ ╨    ╨   ╨  └ ─┘   ╙   ╙─┘ ╜ └ ╜ └ ╜└─ ╨─┘ ╙─┴─┘ ╜ └ ╜└─ ╨─┘ │
  7. └─ 5261 Woodfield Drive North, Carmel, IN 46033, (317) 580-0144 voice ─┘
  8.  
  9.  
  10.         ╔═════════════════════════════════════════════════════╗
  11.         ║   softRX shareware's niche in the MS-DOS personal   ║
  12.         ║  computer market for statistical analysis software  ║
  13.         ╚═════════════════════════════════════════════════════╝
  14.  
  15.  
  16. softRX shareware modules for generalized ridge regression are best
  17. used to supplement (rather than replace) your favorite commercial
  18. statistics package.  Although softRX systems do provide
  19. computational tools and interactive graphical displays that are
  20. not presently available using any other statistical software,
  21. softRX systems may not provide all of the "standard" features a
  22. professional user of regression models would need to keep at
  23. his/her fingertips.  For example, RXridge.EXE cannot test general
  24. linear hypotheses, form confidence intervals, measure leverage of
  25. individual regressor combinations, or reveal lack-of-fit via
  26. residuals.  [This increased functionality is present in softRX's
  27. RelaxR.EXE module, but RelaxR lacks graphics and its user
  28. interface is quite un-friendly and old-fashioned by today's
  29. standards.]
  30.  
  31. Starting ??? and Stopping !!! :
  32. ===============================
  33. softRX shareware modules help users make well informed, objective
  34. decisions about the two most important questions that arise in
  35. each application of shrinkage methodology, Obenchain(1981):
  36.  
  37.                     Should I start ridging?   ...and
  38.  
  39.                     If I do start, where do I stop?
  40.  
  41. An extensive simulation study, Gibbons(1981), demonstrated that
  42. the two-parameter ridge approach (Q=>shape and MCAL=>extent of
  43. shrinkage) implemented in softRX shareware systematically provides
  44. "valuable information as to whether the regression situation is
  45. favorable or unfavorable" and "offers potential improvement [in
  46. mean squared error] over one-parameter ridge estimators."
  47.  
  48. Informal, Graphical Approach:
  49. =============================
  50. One's motivation for performing ridge regression analyses could be
  51. to simply gain exploratory, data analytic insights.  One may wish
  52. to "see", in a highly graphical way, just how ill-conditioned
  53. (statistically and/or numerically) one's regression formulation
  54. really is.  Usage of the ridge TRACE displays provided by softRX
  55. shareware in this mode is explained in Obenchain(1984).
  56.  
  57. Classical (fixed coefficient) Approach:
  58. =======================================
  59. Ridge shrinkage does NOT cause classical confidence intervals /
  60. regions to either shift in location or change their size or shape,
  61. Obenchain(1977).  Of course, Normal distribution theory confidence
  62. hyper-ellipsoids will be highly oblate when regressors are nearly
  63. multicollinear; the confidence intervals for certain linear
  64. combinations of regression coefficients may be extremely wide!  As
  65. a result, an appropriate classical strategy would be, first, to
  66. form confidence intervals using your favorite commercial
  67. statistics package.  Then use softRX shareware to identify
  68. reasonable point estimates which, although within these intervals,
  69. are pulled away from the interval centroid (at the least squares
  70. point estimate) toward the shrinkage origin (usually "zeroed out"
  71. coefficients) by an amount likely to reduce mean-squared-error.
  72.  
  73. Bayesian Approach:
  74. ==================
  75. Ridge estimates can be viewed as posterior means that result from
  76. combining observed sample information with one's prior information
  77. about regression coefficients.  The primary distinction between the
  78. classical and Bayesian interpretations lies not in the resulting
  79. family of point estimates but rather in their implied variability.
  80. Bayes estimates incorporate "added information" from the prior
  81. distribution as well as sample infromation from the available data;
  82. the theory obscures any differences between these two sources of
  83. (possibly conflicting) information by inflating the variance of point
  84. estimates.  softRX systems follow the "empirical Bayes" tradition of
  85. viewing ridge coefficients as Bayes estimates and yet still using
  86. classical variance formulas.  Specifically, RXridge.EXE computes the
  87. "empirical Bayes" likelihood criterion of Efron and Morris(1977) to
  88. help monitor shrinkage extent.  To perform full-blown Bayesian
  89. analyses, you will need to use a software system like BRAP [Zellner,
  90. Finnegan and Carlos(1988)] or XLISP-STAT [Tierney(1990,1992).]
  91.  
  92.  
  93. Random Coefficient Approach:
  94. ============================
  95. A specific amount of uniform shrinkage yields Best Linear Unbiased
  96. Predictions, Henderson(1975) and Robinson(1991).  Commercial
  97. statistics packages for analysis of "mixed" linear models have
  98. traditionally restricted attention to "variance component" models that
  99. allow only class variables (that define "cells") to be declared
  100. random.  This restriction is beginning to disappear; for example, SAS
  101. proc mixed [Wolfinger, Tobias and Sall(1991)], BMDP5V [Schluster
  102. (1988)], and GLMM [Blouin and Saxton(1990)] each also allow continuous
  103. variables to have random coefficients.  RXridge.EXE computes the
  104. random coefficient likelihood criterion of Golub, Heath, and
  105. Wahba(1979) and Shumway(1982) that is maximized at Henderson's BLUPs.
  106.  
  107. Summary:
  108. ========
  109. softRX shareware modules for generalized ridge regression have
  110. something unique to offer every type of regression modeler.  But
  111. they are unlikely to satisfy ALL of the computing needs of a
  112. professional statistician.
  113.  
  114.  
  115.                                REFERENCES
  116.  
  117. Blouin, D. C. and Saxton, A. M. (1990).  "General Linear Mixed Models
  118.        GLMM (Version 1.1)"  Department of Experimental Statistics,
  119.        Louisiana State University, Baton Rouge, LA 70803.
  120.  
  121. Gibbons, D. G. (1981), "A Simulation Study of Some Ridge Estimators,"
  122.        Journal of the American Statisitical Association, 76,
  123.        131-139.
  124.  
  125. Henderson, C. R. (1975), "Best Linear Unbiased Estimation and
  126.        Prediction Under a Selection Model," Biometrics, 31, 423-447.
  127.  
  128. Obenchain, R. L. (1977), "Classical F-tests and Confidence Regions for
  129.        Ridge Regression," Technometrics, 19, 429-439.
  130.  
  131. Obenchain, R. L. (1981), Comment on "A Critique of Some Ridge
  132.        Regression Methods," Journal of the American Statisitical
  133.        Association, 75, 95-96.
  134.  
  135. Obenchain, R. L. (1984), "Maximum Likelihood Ridge Displays,"
  136.        Communications in Statistics, Theory and Methods 13, 227-240.
  137.  
  138. Robinson, G. K. (1991), "That BLUP is a Good Thing: The Estimation
  139.        of Random Effects" (with discussion).  Statistical Science 6,
  140.        15-51.
  141.  
  142. Schluster, M. D. (1988).  "Unbalanced repeated measures models with
  143.        structured covariance matrices."  BMDP Statistical Software
  144.        Manual, Vol.2, 1081-1114. Berkeley: University of California
  145.        Press.
  146.  
  147. Tierney, L. (1990). Lisp-Stat.  New York: John Wiley and Sons.
  148.  
  149. Tierney, L. (1992). "Statistical computing and Dynamic graphics using
  150.         Lisp-Stat."  School of Statistics, University of Minnesota.
  151.  
  152. Wolfinger, R., Tobias, R., and Sall, J. (1991).  "Mixed models: a
  153.         future direction."  SUGI 16 Proceedings (SAS Users Group
  154.         International, 16th Annual Conference, New Olreans, Louisiana)
  155.         1380-1388.
  156.  
  157. Zellner, A., Finnegan, F. and Carlos, S. (1988).  PCBRAP (Version 2.1
  158.         Beta Test), Bayesian Regression Analysis Package.  H.G.B.
  159.         Alexander Research Foundation, 205D Rosenwald Hall, Graduate
  160.         School of Business, University of Chicago, Chicago, IL 60637.
  161.  
  162.