home *** CD-ROM | disk | FTP | other *** search
/ The World of Computer Software / World_Of_Computer_Software-02-387-Vol-3of3.iso / r / rxridg93.zip / RXRIDGE.DOC < prev    next >
Text File  |  1993-03-01  |  94KB  |  1,540 lines
  1.  
  2.  
  3.  
  4.  
  5.  
  6.           ┌─────────────────────────────────────────────────────────────┐
  7.           │ ┌─────────────────────────────────────────────────────────┐ │
  8.           │ │      ASCII Documentation File for ... RXridge.EXE       │ │
  9.           │ │                                                         │ │
  10.           │ │                       Version 9301                      │ │
  11.           │ ├─────────────────────────────────────────────────────────┤ │
  12.           │ │                                                         │ │
  13.           │ │             a softRX SHAREWARE module from              │ │
  14.           │ │                                                         │ │
  15.           │ │       Bob Obenchain, CompuServe User [72007,467]        │ │
  16.           │ └─────────────────────────────────────────────────────────┘ │
  17.           └─────────────────────────────────────────────────────────────┘
  18.             softRX is a trademark of The Software Prescriptions Company.
  19.            "Personal computing treatments for data analysis infirmities."
  20.                    Copyright(c) 1989-1993 by Bob Obenchain, Ph.D.
  21.                                 ALL RIGHTS RESERVED
  22.  
  23.                                 *******************
  24.  
  25.                 The author of RXridge, Bob Obenchain, is a member of
  26.                  the Association of Shareware Professionals <ASP>.
  27.  
  28.  
  29.                                 ┌───────────────────┐
  30.        ─────────────────────────┤ Table-of-Contents ├─────────────────────────
  31.                                 └───────────────────┘
  32.  
  33.        softRX User Registration . . . . . . . . . . . . . . . . . . . . . . 1
  34.        Introduction to RXridge. . . . . . . . . . . . . . . . . . . . . . . 2
  35.        Shrinkage Regression Background Information. . . . . . . . . . . . . 3
  36.        Computing System Requirements for RXridge. . . . . . . . . . . . . . 4
  37.        softRX Graphical Design Philosophy . . . . . . . . . . . . . . . . . 5
  38.        RXridge File Naming Conventions. . . . . . . . . . . . . . . . . . . 5
  39.        RXridge Walk-Through . . . . . . . . . . . . . . . . . . . . . . . . 6
  40.        Guidelines for Interpretation of Ridge Trace Plots . . . . . . . . .18
  41.        Shrinkage Regression REFERENCES. . . . . . . . . . . . . . . . . . .24
  42.        TECHNICAL APPENDIX: "Extent" and "Shape" of Shrinkage. . . . . . . .26
  43.        RXridge Update History . . . . . . . . . . . . . . . . . . . . . . .28
  44.        ASP Hub Network. . . . . . . . . . . . . . . . . . . . . . . . . . .29
  45.  
  46.                                ┌─────────────────────┐
  47.        ────────────────────────┤  USER REGISTRATION  ├────────────────────────
  48.                                └─────────────────────┘
  49.  
  50.        RXridge.EXE, its ASCII documentation files [RXridge & RXreview.DOC],
  51.        and the included batch input (numerical example *.ARX) files are user-
  52.        supported electronic information that we encourage you to examine and
  53.        to share with others, provided you have not modified them in any way.
  54.        All softRX SHAREWARE modules are distributed in fully functional form
  55.        and will remain so without any usage time limits.  softRX systems do
  56.        not display annoying registration "reminder" screens or messages.  And
  57.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 2 of 30
  58.  
  59.  
  60.  
  61.        no (non-commercial) user who is unable to correspond with softRX in
  62.        English is expected to register.
  63.  
  64.                        **************************************
  65.                        **************************************
  66.  
  67.               Only YOU know whether softRX systems are useful to you.
  68.  
  69.                      And, if you do use them, you must register!
  70.  
  71.                        **************************************
  72.                        **************************************
  73.  
  74.        The registration fee for RXridge is $25 for use either by a single
  75.        individual or for installation on one single-user-at-a-time system.
  76.        Three softRX modules (say, RXridge, RXtraces, and PathProj) may be
  77.        registered together for $50.  softRX offers MAIL-IN SUPPORT
  78.        SERVICES (e.g. answers to questions on the theory, application and/or
  79.        computation of statistical "shrinkage" regression techniques) only to
  80.        its REGISTERED users.
  81.  
  82.        However, registration fees are mandatory for use of softRX modules in
  83.        any commercial or government environment.  These users must register
  84.        and pay for their copies within 30 days of first actual use or else
  85.        their license is withdrawn.  Site-License arrangements (of at most $15
  86.        per module) may also be made by contacting softRX.
  87.  
  88.              Make checks payable to...        Bob Obenchain
  89.  
  90.              and mail them to...              5261 Woodfield Drive North
  91.                                               Carmel, IN 46033-8795, USA
  92.  
  93.            !!! Thank You for Supporting the softRX SHAREWARE Concept !!!
  94.  
  95.  
  96.                           ┌────────────────────────────┐
  97.        ───────────────────┤   INTRODUCTION to RXridge  ├──────────────────────
  98.                           └────────────────────────────┘
  99.  
  100.        RXridge performs maximum likelihood estimation of generalized ridge
  101.        regression models.  RXridge supports both keyboard and ASCII
  102.        batch-file data entry, tabulates ill-conditioning summary statistics,
  103.        makes inferences about the appropriate "form" as well as the "extent"
  104.        of ridge shrinkage, and generates interactive graphical "trace"
  105.        displays.  RXridge also outputs ASCII files of the exact form needed
  106.        for input to the softRX ridge regression "training" and "review"
  107.        modules, RXtraces and PathProj.
  108.  
  109.        You do not need to read this documentation before trying RXridge out.
  110.        There is very little damage you can do by giving "wrong" choices for
  111.        menu items and responses to prompts.  However, first of all, please
  112.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 3 of 30
  113.  
  114.  
  115.  
  116.                           > > >  MAKE BACK-UP COPIES  < < <
  117.  
  118.        of the distribution files and/or of the original softRX shareware
  119.        archives.  RXridge does not modify its own input files, but it writes
  120.        MANY output files for input to RXtraces, to PathProj, or to your
  121.        favorite Editor/WordProcessor system.  These outputs may overwrite
  122.        [obliterate] previous files (in the current working directory) with
  123.        the same names; you should consider using unique (8 character) initial
  124.        filenames for each different shrinkage parameterization you try.
  125.  
  126.        Each RXridge prompt has a [default] value that you may accept simply
  127.        by pressing the ENTER key; RXridge menus require you to press a single
  128.        key, where any differences between upper and lower case are ignored.
  129.  
  130.  
  131.                    ┌─────────────────────────────────────────────┐
  132.        ────────────┤ Shrinkage Regression Background Information ├────────────
  133.                    └─────────────────────────────────────────────┘
  134.  
  135.        RXridge provides a user-friendly text-mode Windows/Prompts/Menus
  136.        interface to linear algebra computation and interactive graphical
  137.        display routines that:
  138.  
  139.               ...display TRACES of fitted regression coefficients,
  140.                                    scaled mean squared error estimates,
  141.                                    excess (OLS-ridge) eigenvalues,
  142.                                    inferior direction cosines,      and
  143.                                    shrinkage factor patterns.
  144.  
  145.               ...make classical maximum likelihood inferences about appropriate
  146.                                    choices for the "Q-shape" parameter that
  147.                                    controls the "curvature" of a generalized
  148.                                    ridge regression shrinkage path.
  149.  
  150.               ...monitor 3 different types of likelihood ratios (classical,
  151.                                    empirical Bayes & random coefficient) that
  152.                                    identify optimal stopping points along a
  153.                                    ridge shrinkage path.
  154.  
  155.            and...tabulate ANOVA statistics not only for least squares estimates
  156.                                    of Beta Coefficients but also for their
  157.                                    (Principal Axis) Uncorrelated Components.
  158.  
  159.        RXridge displays results of ridge regression computations via "trace"
  160.        plots.  In a trace, P quantities (several estimated coefficients,
  161.        risks, shrinkage factors, etc.) are plotted vertically against a
  162.        horizontal indicator of the extent of shrinkage (from "no" shrinkage
  163.        at the left-hand, least squares estimates all the way to "total"
  164.        shrinkage at the right-hand extreme, where all coefficient estimates
  165.        are zero.) Here, P denotes the number of non-constant predictor
  166.        variables in the regression model; RXridge accepts values of P from 2
  167.        to 20.  RXridge uses a measure of the extent of shrinkage called the
  168.        "Multicollinearity Allowance," MCAL.  See the APPENDIX to this
  169.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 4 of 30
  170.  
  171.  
  172.  
  173.        documentation for the definitions not only of MCAL but also of Q, the
  174.        parameter that controls the "shape" (curvature) of the ridge path.
  175.  
  176.        RXridge attempts to identify ridge regression coefficient estimates
  177.        that are either "good" in the sense that they dominate least squares
  178.        estimates in every (multivariate) Mean Squared Error sense or are
  179.        "optimal" in one well-defined (univariate) MSE sense.  Definitions for
  180.        "good" or "optimal" ridge shrinkage factors are based upon risk
  181.        (expected loss) calculations that apply to all forms of statistical
  182.        distributions.  But the MAXIMUM LIKELIHOOD inferences for one and
  183.        2-parameter generalized ridge regression provided by RXridge use
  184.        standard, "normal" distribution theory.
  185.  
  186.        WARNING:  Your CONFIG.SYS file should specify at least...
  187.  
  188.                                 files=20
  189.  
  190.        Matrix decomposition functions bound into RXridge.EXE are compiled
  191.        from C code, Copyright 1987, 1988 by Numerical Recipes Software, and
  192.        are used with permission of the authors.
  193.  
  194.                            ┌───────────────────────────────┐
  195.        ────────────────────┤ Computing System Requirements ├──────────────────
  196.                            └───────────────────────────────┘
  197.  
  198.        RXridge.EXE requires your personal computer to be fully IBM-compatible
  199.        and to be running IBM PC-DOS or Microsoft MS-DOS version 2.0 or higher.
  200.        RXridge uses the screen handling capabilities of a CGA, EGA, or VGA
  201.        graphics card/monitor.  If you system has only a Monochrome Graphics
  202.        Adapter (MGA) card or Hercules Graphics Card (HGC), you could "simulate"
  203.        CGA graphics capabilities in order to view trace displays and review
  204.        ASCII files from within RXridge.  For example, if you have SIMCGA.COM
  205.        (version 4.0, July 1987) by C. P. Guzis, you could make the SIMCGA
  206.        system "memory resident" before invoking RXridge.
  207.  
  208.                                DOS Prompt> simcga 3
  209.  
  210.        On the other hand, simulating CGA graphics will slow RXridge execution
  211.        down considerably.  Thus a wise alternative for users without CGA+
  212.        hardware might be to run RXridge.EXE to perform all calculations without
  213.        making SIMCGA memory resident.  Then, after invoking SIMCGA, use
  214.        RXtraces.EXE and PathProj.EXE to read the output files from RXridge.EXE
  215.        to regenerate graphical displays.
  216.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 5 of 30
  217.  
  218.  
  219.  
  220.                            ┌─────────────────────────────┐
  221.        ────────────────────┤ Graphical Design Philosophy ├────────────────────
  222.                            └─────────────────────────────┘
  223.  
  224.        RXridge uses CGA (medium resolution, 320x200 pixel) graphics because
  225.        all true graphics hardware for IBM-compatible personal computers has
  226.        at least this (minimum) capability.  Besides, the (8x8) text font for
  227.        this resolution resides in ROM within your system.  But using CGA also
  228.        means that there isn't enough resolution to draw "nice" labels, tick
  229.        marks, and numerical values along axes without greatly reducing the
  230.        size of the trace plot window.  I certainly did not want to use any
  231.        sort of reduced-size plot; rather, I decided to emphasize INTERACTIVE
  232.        (dynamic, on-screen annotation) methods for high-lighting / reading
  233.        numerical values directly off of shrinkage TRACE screen displays.
  234.  
  235.        Once in RXridge graphics mode, you can view a "help" screen by
  236.        pressing either the SpaceBar or function key F1.  The resulting HELP
  237.        screen tells you which keys to press to activate and move the
  238.        on-screen cursor and/or how to dynamically annotate, save, or print
  239.        the screen display.  And you can always return to the Menus simply by
  240.        repeated pressing of the ENTER or Escape keys.
  241.  
  242.                               ┌─────────────────────────┐
  243.        ───────────────────────┤ File Naming Conventions ├─────────────────────
  244.                               └─────────────────────────┘
  245.  
  246.        RXridge accepts either keyboard or ASCII batch file data entry.  If you
  247.        use keyboard data entry, RXridge will output a (data/parameter) archive
  248.        (filename.ARX) file containing the data you entered.  The next time you
  249.        run RXridge, you could specify batch input from that filename.  And, you
  250.        can also use any text editor to make changes and/or correct data errors.
  251.  
  252.        RXridge performs ridge calculations and writes results to a series of
  253.        ASCII (text) output files.  These files have a common FileName (of at
  254.        most 8 characters) and a 3-character DOS extension, ending with the
  255.        two letters "RX".  The 3-character DOS extensions used by softRX
  256.        software systems for generalized ridge regression analysis are:
  257.  
  258.                      .ARX    ...RXridge (data/parameter) input Archive,
  259.  
  260.                      .PRX    ...Parameters and variable names,
  261.  
  262.                      .CRX    ...generalized ridge Coefficients,
  263.                      .RRX    ...Risk (mean-sq-error) estimates,
  264.                      .ERX    ...Excess Eigenvalues (OLS-Ridge),
  265.                      .IRX    ...Inferior direction cosines, and
  266.                      .DRX    ...shrinkage Delta factors.
  267.  
  268.                      .XRX    ...regressor matrix coordinates.
  269.                      .YRX    ...response  vector coordinates.
  270.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 6 of 30
  271.  
  272.  
  273.  
  274.                      .QRX    ...Q-shape selection information.
  275.                      .MRX    ...MCAL shrinkage extent selection info.
  276.  
  277.                      .DTL    ...Detailed RXridge Output
  278.                                 (correlations, coordinates, etc.)
  279.  
  280.                      .LRX    ...squared error Loss (from RXsimu scenario)
  281.                      .TRX    ...True risk (from RXrisk analyses when
  282.                                 signal/noise ratios are known)
  283.  
  284.        RXtraces and PathProj cannot regenerate graphical displays for a data
  285.        set unless they can find the corresponding *.PRX file generated by
  286.        RXridge.  RXtraces uses the information from the first six lines of
  287.        this file to recreate ridge trace displays, while PathProj uses the
  288.        first three lines to construct 2-dimensional projections of the
  289.        shrinkage path.  For example, the "mpg0.PRX" file contains...
  290.  
  291.        Line  1:         4 = P, number of regressors
  292.        Line  2:        32 = N, number of observations
  293.        Line  3:         8 = STEPSPU, steps per unit change in MCAL
  294.        Line  4:         0 = QSHAPE of the shrinkage path
  295.        Line  5:        XNAM= CYLNDS CUBINS HPOWER WEIGHT
  296.        Line  6:        YNAM= MPG
  297.  
  298.        By proposed convention, the 8-character filenames associated with each
  299.        fixed "Q-shape" curvature for a generalized ridge path end with, say,
  300.        1 or more trailing NUMERICAL characters, such as "0" or "-2". (By the
  301.        way, the "+" character cannot be part of any PC/MS-DOS filename.)  For
  302.        example, the 4-character FileName "mpg0" could be used label all files
  303.        associated with the Hoerl-Kennard(1970a,b) "ordinary" ridge shrinkage
  304.        path, Q = 0, when applied to the example (gas mileage) data, MPG.ARX,
  305.        of Hocking(1976).
  306.  
  307.                               ┌──────────────────────────┐
  308.                               │ ┌──────────────────────┐ │
  309.        ═════════════════════════╡ RXridge Walk-Through ╞══════════════════════
  310.                               │ └──────────────────────┘ │
  311.                               └──────────────────────────┘
  312.  
  313.  
  314.        RXridge is envoked by entering its .EXE filename at your DOS> prompt:
  315.  
  316.                                       rxridge
  317.  
  318.        The following start-up screen will then appear...
  319.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 7 of 30
  320.  
  321.  
  322.  
  323.        ╔══════════════════════      softRX ridge      ══════════════════════╗
  324.        ║                                                                    ║
  325.        ║         ***  2-Parameter Generalized Ridge Regression  ***         ║
  326.        ║                                                                    ║
  327.        ║    Memory available for Dynamic Allocation:  305.5 Kbytes.         ║
  328.        ║                                                                    ║
  329.        ║ ╔════════════════════════════════════════════════════════════════╗ ║
  330.        ║ ║ At colon Prompts : ...simply press ENTER to get the [default]. ║ ║
  331.        ║ ║                                                                ║ ║
  332.        ║ ║ Are you using a COLOR monitor ? [Y|n] : Y  <------------Default║ ║
  333.        ║ ║                                                                ║ ║
  334.        ║ ║ Do you have a CGA (or better) GRAPHICS card, or         Default║ ║
  335.        ║ ║ Is CGA simulation software currently active ? [Y|n] : Y <------║ ║
  336.        ║ ╚════════════════════════════════════════════════════════════════╝ ║
  337.         ---                                                              ---
  338.         ---                                                              ---
  339.        ║ ╔════════════════════════════════════════════════════════════════╗ ║
  340.        ║ ║ Do you wish to use K = Keyboard Data Matrix Input ?      ...or ║ ║
  341.        ║ ║                    B = Batch Input from .ARX File ?            ║ ║
  342.        ║ ║                                                                ║ ║
  343.        ║ ║ Press  K  or  B  ...or H for Overview HELP -->  H              ║ ║
  344.        ║ ╚════════════════════════════════════════════════════════════════╝ ║
  345.        ╚════════════════════════════════════════════════════════════════════╝
  346.  
  347.        RXridge uses dynamic RAM memory allocation for handling matrices.  My
  348.        own personal computer usually has about 584 Kbytes of RAM free (out of
  349.        640 Kbytes) before I invoke RXridge.  The start-up screen for RXridge
  350.        shows that only 305 Kbytes still remain free, so RXridge occupies
  351.        about 180 Kbytes all by itself.
  352.  
  353.        When you press the H key, as shown above, a small "overview help"
  354.        window will "pop" out...
  355.  
  356.          ╔═══════════════════════════════════════════════════════════════╗
  357.          ║                    RXRIDGE.EXE...Overview Help                ║
  358.          ║                                                               ║
  359.          ║  RXridge is a *** softRX shareware *** system for performing  ║
  360.          ║  2-parameter Generalized Ridge Regression computations.       ║
  361.          ║                                                               ║
  362.          ║  RXridge accepts either keyboard or ASCII batch file input of ║
  363.          ║      (1) the matrix of regressor/response data values, and    ║
  364.          ║      (2) regression model/parameter specifications.           ║
  365.          ║                                                               ║
  366.          ║  RXridge also draws CGA ridge TRACE displays and writes out   ║
  367.          ║  ASCII files designed for input to other softRX shareware     ║
  368.          ║  systems, RXtraces and PathProj.                              ║
  369.          ║                                                               ║
  370.          ║  Press any key to return to Data Matrix Entry...              ║
  371.          ╚═══════════════════════════════════════════════════════════════╝
  372.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 8 of 30
  373.  
  374.  
  375.  
  376.        Let us suppose that, upon return to the RXridge start-up screen, you
  377.        press B ...for Batch input from a (data & parameters) .ARX file.  In
  378.        fact, let us suppose that you want to use Hocking's gasoline mileage
  379.        data.  So, fill in the next screen as follows...
  380.  
  381.        ╔══════════════════════      softRX ridge      ══════════════════════╗
  382.        ║                                                                    ║
  383.        ║   ╔FileNames╗   Arrow Keys: Move Highlight Bar Up / Down.          ║
  384.        ║   ║AIRPOLUT ║                                                      ║
  385.        ║   ║HALDCEMT ║   Return Key: Selects the Highlighted File.   HighLight
  386.        ║   ║MPG██████║                                         <---------------
  387.        ║   ╚═════════╝   Escape Key: Abandon BATCH RXridge Input.     MPG and
  388.        ║                                                            press ENTER
  389.        ║   The Batch Matrix .ARX input file is to be: mpg.arx               ║
  390.        ║                                                                    ║
  391.        ║   Specify filename (max 8 characters)         Take default here by ║
  392.        ║   to save Detailed Output [mpg.dtl] :     <----------------------- ║
  393.        ║                                              simply pressing Enter ║
  394.        ║                                                                    ║
  395.        ║   The RXRIDGE Output Save file is to be: mpg.dtl                   ║
  396.        ║                                                                    ║
  397.        ║   Press Q to QUIT now...Other Key to Continue...                   ║
  398.        ╚════════════════════════════════════════════════════════════════════╝
  399.  
  400.        The next two screens will appear as variable names and numerical values
  401.        are read from the "mpg.arx" file...
  402.  
  403.        ╔═══════════════════════   softRX variables    ══════════════════════╗
  404.        ║        Number of Variables =   5.                                  ║
  405.        ║        Number of Observations =  32.                               ║
  406.        ║        Column No. 1 Name = CYLNDS                                  ║
  407.        ║        Column No. 2 Name = CUBINS                                  ║
  408.        ║        Column No. 3 Name = HPOWER                                  ║
  409.        ║        Column No. 4 Name = WEIGHT                                  ║
  410.        ║        Column No. 5 Name = MPG                                     ║
  411.        ║        Data Values are to be entered in the Next Window.           ║
  412.        ║        Press Q to QUIT now...Other Key to Continue...              ║
  413.        ╚════════════════════════════════════════════════════════════════════╝
  414.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 9 of 30
  415.  
  416.  
  417.  
  418.        ╔═════════════════════  softRX data entry   ═════════════════════════╗
  419.        ║        6       160       110      2620      21.0                   ║
  420.        ║        6       160       110      2875      21.0                   ║
  421.        ║        4       108        93      2320      22.8                   ║
  422.        ║        6       258       110      3215      21.4                   ║
  423.        ║        8       360       175      3440      18.7                   ║
  424.        ║        6       225       105      3460      18.1                   ║
  425.        ║        8       360       245      3570      14.3                   ║
  426.        ║        4     146.7        62      3190      24.4                   ║
  427.        ║        4     140.8        95      3150      22.8                   ║
  428.        ║        6     167.6       123      3440      19.2                   ║
  429.        ║        6     167.6       123      3440      17.8                   ║
  430.        ║        8     275.8       180      4070      16.4                   ║
  431.        ║        8     275.8       180      3730      17.3                   ║
  432.        ║        8     275.8       180      3780      15.2                   ║
  433.        ║        8       472       205      5250      10.4                   ║
  434.        ║        8       460       215      5424      10.4                   ║
  435.        ║        8       440       230      5345      14.7                   ║
  436.        ║   -- More --                                                       ║
  437.        ║        4      78.7        66      2200      32.4                   ║
  438.        ║        4      75.7        52      1615      30.4                   ║
  439.        ║        4      71.1        65      1835      33.9                   ║
  440.        ║        4     120.1        97      2465      21.5                   ║
  441.        ║        8       318       150      3520      15.5                   ║
  442.        ║        8       304       150      3435      15.2                   ║
  443.        ║        8       350       245      3840      13.3                   ║
  444.        ║        8       400       175      3845      19.2                   ║
  445.        ║        4        79        66      1935      27.3                   ║
  446.        ║        4     120.3        91      2140        26                   ║
  447.        ║        4      95.1       113      1513      30.4                   ║
  448.        ║        8       351       264      3170      15.8                   ║
  449.        ║        6       145       175      2770      19.7                   ║
  450.        ║        8       301       335      3570        15                   ║
  451.        ║        4       121       109      2780      21.4                   ║
  452.        ║      Memory still available for Dynamic Allocation:  289.1 Kbytes  ║
  453.        ║      Press Q to QUIT now...Other Key to Continue...                ║
  454.        ╚════════════════════════════════════════════════════════════════════╝
  455.        Note that even a "smallish" data set like this one can easily grab 15
  456.        Kbytes of RAM.
  457.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 10 of 30
  458.  
  459.  
  460.  
  461.        The RXridge "main menu" will appear next.  But you don't have any
  462.        options on this first visit.  Item "M" is mandatory right now!!!
  463.  
  464.        ╔══════════════════      softRX menus      ══════════════════════════╗
  465.        ║                                                                    ║
  466.        ║  ╔════════════════════════════════╗                                ║
  467.        ║  ║           Main Menu            ║                                ║
  468.        ║  ║                                ║                                ║
  469.        ║  ║   M = Model Parameters         ║                                ║
  470.        ║  ║                                ║                                ║
  471.        ║  ║   S = Shrinkage Calculations   ║                                ║
  472.        ║  ║                                ║                                ║
  473.        ║  ║   R = Review Previous Results  ║                                ║
  474.        ║  ║                                ║                                ║
  475.        ║  ║   X = eXit RXridge  ╔════════════════════════════════╗          ║
  476.        ║  ║                     ║   Item "M" from the softRX     ║          ║
  477.        ║  ║   choice --> M      ║   Main Menu...                 ║          ║
  478.        ║  ║                     ║                                ║          ║
  479.        ║  ╚═════════════════════║   M = Model Parameters         ║          ║
  480.        ║                        ║                                ║          ║
  481.        ║                        ║   is mandatory at this time.   ║          ║
  482.        ║                        ║   Press a Key...               ║          ║
  483.        ║                        ╚════════════════════════════════╝          ║
  484.        ╚════════════════════════════════════════════════════════════════════╝
  485.  
  486.        First of all, some administrative details.  Answering "N" for NO to the
  487.        first question generates the next three prompts...
  488.  
  489.        ╔═════════════════════  RXmodel Vars and Parms  ═════════════════════╗
  490.        ║                                                             Y is   ║
  491.        ║        Use Default Screen & Pause Settings ? [Y|n] : N    <------- ║
  492.        ║                                                            Default ║
  493.        ║        Specify Level for On-Screen Detail:                         ║
  494.        ║                                                                    ║
  495.        ║                C  =>  Complete Details.......Level = 1.            ║
  496.        ║                A  =>  Abbreviated Detail.....Level = 2.            ║
  497.        ║                N  =>  No Details Displayed...Level = 3.            ║
  498.        ║                                                     Default is C   ║
  499.        ║                choice --> N                       <--------------- ║
  500.        ║                                                                    ║
  501.        ║        Screen Pausing:  0 => NO,  1 => YES          Default is 1   ║
  502.        ║        Set Screen Display PAUSE Parameter [1] : 0 <--------------- ║
  503.        ║                                                                    ║
  504.        ║        Screen Scroll Length:  10 to 40 lines.                      ║
  505.        ║        Set Screen Scroll Length [22] :     <---------------------- ║
  506.        ║                                              Accept Default of 22  ║
  507.        ╚════════════════════════════════════════════════════════════════════╝
  508.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 11 of 30
  509.  
  510.  
  511.  
  512.        Respond to each of the following variable "status" prompts by pressing
  513.        the P, R, or I key...or simply press Enter to get the [default] value...
  514.  
  515.        ╔═══════════════════  RXmodel Vars and Parms  ═══════════════════════╗
  516.        ║                                                                    ║
  517.        ║ You will be prompted to specify a STATUS for each RXridge variable.║
  518.        ║                                                                    ║
  519.        ║ Specify...   P ...to indicate a Predictor variable.                ║
  520.        ║              R ...to indicate the single Response.                 ║
  521.        ║              I ...to ignore a variable in RXridge computations.    ║
  522.        ║                                                                    ║
  523.        ║ Variable No.  1, Name = CYLNDS   ...  Status [P] : p               ║
  524.        ║ Variable No.  2, Name = CUBINS   ...  Status [P] : p               ║
  525.        ║ Variable No.  3, Name = HPOWER   ...  Status [P] : p               ║
  526.        ║ Variable No.  4, Name = WEIGHT   ...  Status [P] : p               ║
  527.        ║ Variable No.  5, Name = MPG      ...  Status [R] : r               ║
  528.        ║                                                                    ║
  529.        ║ Number of Predictors = 4; Response Index = 5.                      ║
  530.        ║                                                   Take N Default   ║
  531.        ║ Use only a Subset of the Observations ? [N|y] : <----------------- ║
  532.        ╚════════════════════════════════════════════════════════════════════╝
  533.  
  534.        A response of Y to the "Subset of Observations" prompt would generate
  535.        the following sorts of additional prompts...
  536.  
  537.        ╔═════════════════════  RXmodel Vars and Parms  ═════════════════════╗
  538.        ║        Use only a Subset of the Observations ? [N|y] : Y           ║
  539.        ║                                                                    ║
  540.        ║        Select a RANGE of Observations, n1 <= obs <= n2.            ║
  541.        ║                                                                    ║
  542.        ║        First Observation [ 1 to 24 ] : n1 = 3                      ║
  543.        ║        First Obs. Number = 3                                       ║
  544.        ║                                                                    ║
  545.        ║        Last Observation [ 9 to 32 ] : n2 = 29                      ║
  546.        ║        Last Obs. Number = 29                                       ║
  547.        ║                                                                    ║
  548.        ║        Number of Observations in this Range = 27                   ║
  549.        ╚════════════════════════════════════════════════════════════════════╝
  550.  
  551.        The "Vars & Parms" window continues to scroll upward revealing...
  552.        ╔════════════════════  RXmodel Vars and Parms  ══════════════════════╗
  553.        ║                                                                    ║
  554.        ║  Specify Variable Standardization Option:                          ║
  555.        ║                                                                    ║
  556.        ║          C  =>  Center only (Mean at 0)..............Code=0        ║
  557.        ║          R  =>  Rescale (and center) variables.......Code=1        ║
  558.        ║          E  =>  rescale but Express on given scale...Code=2        ║
  559.        ║                                                                    ║
  560.        ║          choice --> R    <<< Code=1 is the Default Here >>>        ║
  561.        ║                                                                    ║
  562.        ╚════════════════════════════════════════════════════════════════════╝
  563.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 12 of 30
  564.  
  565.  
  566.  
  567.        Choice of scales along the given regressor axes is an extremely
  568.        important "initial phase" of every ridge regression analysis.  Choice
  569.        R puts all variables into what Hoerl and Kennard(1970a,b) call
  570.        "correlation form."  Choice C uses the given scales, which is a
  571.        reasonable choice as long as those scales are not too different.
  572.        Choice E rescales as in R but the re-expresses coefficient and risk
  573.        estimates as in C, using a rescaling invariance assumption.
  574.  
  575.        Next...
  576.  
  577.        ╔════════════════════  RXmodel Vars and Parms  ══════════════════════╗
  578.        ║  Forming Response Vector and Predictor Matrix...                   ║
  579.        ║                                                                    ║
  580.        ║  Specify filename (max 8 characters) for                           ║
  581.        ║  Regressor .XRX and Response .YRX Output [mpg] :  <--------------  ║
  582.        ║                                                    Defaults here!  ║
  583.        ║  Use Default Screen & Pause Settings ? [Y|n] :    <--------------  ║
  584.        ╚════════════════════════════════════════════════════════════════════╝
  585.  
  586.        If you hit some "wrong" keys while responding to prompts, you may not
  587.        be able to "correct" them right away...especially if you have already
  588.        pressed the ENTER key.  However, when the main menu reappears, as
  589.        below, you can always re-run item "M" as often as necessary to get
  590.        each prompt response EXACTLY want you want!
  591.  
  592.        On the other hand, let us suppose that you made no Model/Parameter
  593.        specification blunders.  In that case, one usually proceeds by selecting
  594.        item "S" next...
  595.  
  596.                           ╔════════════════════════════════╗
  597.                           ║           Main Menu            ║
  598.                           ║                                ║
  599.                           ║   M = Model Parameters         ║
  600.                           ║                                ║
  601.                           ║   S = Shrinkage Calculations   ║
  602.                           ║                                ║
  603.                           ║   R = Review Previous Results  ║
  604.                           ║                                ║
  605.                           ║   X = eXit RXridge             ║
  606.                           ║                                ║
  607.                           ║   choice --> S                 ║
  608.                           ║                                ║
  609.                           ╚════════════════════════════════╝
  610.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 13 of 30
  611.  
  612.  
  613.  
  614.        ANOVA statistics will now appear for the principal axis rotation that
  615.        yields a canonical form...with "Uncorrelated Components"...
  616.  
  617.        ╔═════════════════════  RXridge Calculations  ═══════════════════════╗
  618.        ║                                                                    ║
  619.        ║  PRELIMINARY CALCULATIONS:                                         ║
  620.        ║                                                                    ║
  621.        ║  Memory still available for Dynamic Allocation:  273.2 Kbytes.     ║
  622.        ║                                                                    ║
  623.        ║                                                                    ║
  624.        ║  Component Summary Statistics:                                     ║
  625.        ║                                                                    ║
  626.        ║     Singular Uncorrelated  Principal      t-                       ║
  627.        ║      Values   Components  Correlations Statistics                  ║
  628.        ║       10.31    -0.4872     -0.9025     -12.05                      ║
  629.        ║        3.35    -0.1325     -0.0797      -1.06                      ║
  630.        ║       2.084     0.1535      0.0575       0.77                      ║
  631.        ║       1.429    -0.6094     -0.1564      -2.09                      ║
  632.        ║                                                                    ║
  633.        ║  Uncorrelated Component Std.Error = 0.074874                       ║
  634.        ║               R-squared Statistic = 0.8486                         ║
  635.        ║  Press a Key...                                                    ║
  636.        ╚════════════════════════════════════════════════════════════════════╝
  637.  
  638.        ANOVA statistics for the given regressor axes appear next.  Note that
  639.        attention is drawn to any "sign conflicts" between Beta coefficient
  640.        estimates and the corresponding marginal correlation between regressor
  641.        and response coordinates...
  642.  
  643.        ╔═════════════════════  RXridge Calculations  ═══════════════════════╗
  644.        ║                                                                    ║
  645.        ║  Ordinary Least Squares Summary:                                   ║
  646.        ║                                                                    ║
  647.        ║     Marginal     Regression    Relative      t-                    ║
  648.        ║   Correlations  Coefficients  Std.Errors Statistics                ║
  649.        ║     -0.8522       -0.3832       0.4662      -1.97                  ║
  650.        ║     -0.8476 <-->   0.2385       0.5785       0.99                  ║
  651.        ║     -0.7762       -0.2336       0.3315      -1.69                  ║
  652.        ║     -0.8677       -0.6257       0.3955      -3.80                  ║
  653.        ║                                                                    ║
  654.        ║             <-->  ...Sign Conflict, Corr. vs Coeff.                ║
  655.        ║  Residual Variance = 0.17379                                       ║
  656.        ║  Press a Key...                                                    ║
  657.        ╚════════════════════════════════════════════════════════════════════╝
  658.  
  659.        When the "shrinkage calculations" MENU appears, as below, you have a
  660.        choice between several possible tactics/strategies.  For example, if you
  661.        only want to perform "ordinary" ridge regression, you could use item "S"
  662.        to confirm the default path shape [Q=0] and enter a custom filename for
  663.        output files.  (In fact, you could even go directly to item "T" in this
  664.        case and write all output to the default file, "rxridge".)
  665.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 14 of 30
  666.  
  667.  
  668.  
  669.        But, here, let us select item "C" to let our data suggest an optimal
  670.        "Q-shape" via classical (normal theory) maximum likelihood...
  671.  
  672.        ╔════════════════════  RXridge Calculations  ════════════════════════╗
  673.        ║    Singular Uncorrelated  Principal      t-                        ║
  674.        ║     Values   Components  Correlations Statistics                   ║
  675.        ║      10.31    -0.4872     -0.9025     -12.05                       ║
  676.        ║       3.35    -╔════════════════════════════════════╗              ║
  677.        ║      2.084     ║       Shrinkage Calculations       ║              ║
  678.        ║      1.429    -║        [Path Shape: Q= 0.0]        ║              ║
  679.        ║                ║                                    ║              ║
  680.        ║ Uncorrelated Co║ C = Classical Max.Likelihood Shape ║              ║
  681.        ║              R-║                                    ║              ║
  682.        ║ Press a Key... ║ S = Specify Shrinkage Shape, Q     ║              ║
  683.        ║                ║                                    ║              ║
  684.        ║ Ordinary Least ║ T = TRACE Computations             ║              ║
  685.        ║                ║                                    ║              ║
  686.        ║    Marginal    ║ M = Monitor 3 Extent Likelihoods   ║              ║
  687.        ║  Correlations  ║                                    ║              ║
  688.        ║    -0.8522     ║ R = Return to Main Menu            ║              ║
  689.        ║    -0.8476 <-->║                                    ║              ║
  690.        ║    -0.7762     ║ choice --> C                       ║              ║
  691.        ║    -0.8677     ║                                    ║              ║
  692.        ║                ╚════════════════════════════════════╝              ║
  693.        ║            <-->  ...Sign Conflict, Corr. vs Coeff.                 ║
  694.        ║ Residual Variance = 0.17379                                        ║
  695.        ║ Press a Key...                                                     ║
  696.        ╚════════════════════════════════════════════════════════════════════╝
  697.  
  698.        The following table appears in the next window...
  699.  
  700.        ╔═════════════════════  RXmodel Vars and Parms  ═════════════════════╗
  701.        ║                                                                    ║
  702.        ║        Classical Maximum Likelihood Shape Selection:               ║
  703.        ║                                                                    ║
  704.        ║        Q-shape   MCAL      Konst    CRLQ   Chi-Sq  Best            ║
  705.        ║                                                                    ║
  706.        ║          2.00   2.717      0.314  0.2980    57.91                  ║
  707.        ║          1.50   1.839      0.267  0.4284    55.00                  ║
  708.        ║          1.00   0.733      0.224  0.6492    46.25                  ║
  709.        ║          0.50   0.413      0.303  0.8681    27.77                  ║
  710.        ║          0.00   0.611       1.01  0.9670     9.94                  ║
  711.        ║         -0.50   1.340       7.42  0.9881     4.00                  ║
  712.        ║         -1.00   2.121       74.1  0.9881     3.97  <<<             ║
  713.        ║         -1.50   2.601        783  0.9853     4.86                  ║
  714.        ║         -2.00   2.850  8.27e+003  0.9830     5.54                  ║
  715.        ║                                                                    ║
  716.        ║        NOTE: The Q-shape most likely to be MSE optimal             ║
  717.        ║              maximizes CRLQ and minimizes Chi-Squared.             ║
  718.        ║                                                                    ║
  719.        ║        Press a Key...                                              ║
  720.        ╚════════════════════════════════════════════════════════════════════╝
  721.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 15 of 30
  722.  
  723.  
  724.  
  725.        So, now that we know our data favor the Q = -1 shrinkage pattern, which
  726.        Q-shape are we going to actually use?  We still have several options!
  727.  
  728.        Let us return to the "shrinkage calculations" MENU, and use item "S" to
  729.        specify a Q-shape...
  730.  
  731.        ╔══════════════════════  RXridge Calculations  ══════════════════════╗
  732.        ║                                                                    ║
  733.        ║        Shrinkage Shape Specification...                            ║
  734.        ║                                                                    ║
  735.        ║        Q = Ridge Path Shape parameter can range from -5 to +5.     ║
  736.        ║                                 ┌─────┐                            ║
  737.        ║        Specify Q Shape [ 0.0] : │ -1  │ <-----------------------   ║
  738.        ║                                 └─────┘   Enter your choice here!  ║
  739.        ║        Q Shape = -1.0.                                             ║
  740.        ║                                                                    ║
  741.        ║        Specify filename (max 8 characters)       Accept Default    ║
  742.        ║        for Trace Matrix Output [mpg-1] : <----------------------   ║
  743.        ║                                                                    ║
  744.        ║        The Trace Matrix Output files will have filename: mpg-1     ║
  745.        ║                                                                    ║
  746.        ║        Press Any Key to Continue...                                ║
  747.        ╚════════════════════════════════════════════════════════════════════╝
  748.        We could have chosen the "ordinary" ridge value of Q = 0 above, but we
  749.        will (first) test drive the Q = -1 value suggested by the data!
  750.  
  751.        The following screens will now appear...
  752.  
  753.        ╔═════════════════════  Shrinkage Pattern Type  ═════════════════════╗
  754.        ║                                                                    ║
  755.        ║        Shrinkage Pattern:  Declining Deltas...Q < 1.               ║
  756.        ║                                                                    ║
  757.        ║        Delta shrinkage factors for principal axes will             ║
  758.        ║        be in the same numerical order as the observed              ║
  759.        ║        spreads in regressor coordinates along those axes.          ║
  760.        ║                                                                    ║
  761.        ║        This will shrink the relatively imprecise                   ║
  762.        ║        components of the regression coefficient vector             ║
  763.        ║        more than the relatively precise components.                ║
  764.        ║                                                                    ║
  765.        ╚════════════════════════════════════════════════════════════════════╝
  766.  
  767.        ╔══════════════════════  RXridge Calculations  ══════════════════════╗
  768.        ║                                                                    ║
  769.        ║    RIDGE TRACE CALCULATIONS:                                       ║
  770.        ║                                                                    ║
  771.        ║      [Path Shape: Q=-1.0]                                          ║
  772.        ║                                                          Take      ║
  773.        ║    Specify No. of Steps Per Unit Increase in M [8] :  <----------  ║
  774.        ║                                                         Default    ║
  775.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 16 of 30
  776.  
  777.  
  778.  
  779.        ║    Steps Per Unit = 8 implies a total of 33 Steps                  ║
  780.        ║    along the TRACE from M = 0 to M = 4.                            ║
  781.        ║                                                           Confirm  ║
  782.        ║    Is that number of Total Steps satisfactory ? [Y|n] : <--------  ║
  783.        ║                                                                    ║
  784.        ║    Memory still available for Dynamic Allocation:  256.8 Kbytes.   ║
  785.        ║                                                                    ║
  786.        ║    Now Computing...Step = 33, MCAL =  4.000                        ║
  787.        ║                                                                    ║
  788.        ║    Press a Key...                                                  ║
  789.        ╚════════════════════════════════════════════════════════════════════╝
  790.  
  791.        Next the CGA interactive graphics TRACE displays will appear in the
  792.        following order...
  793.  
  794.                 1: Ridge Coefficient Trace
  795.  
  796.                 2: Estimated "Scaled" Risk (Mean-Squared-Error) Trace
  797.  
  798.                 3: Excess EigenValues Trace
  799.  
  800.                 4: Inferior Direction-Cosine Trace
  801.  
  802.                 5: Shrinkage Factor Pattern Trace
  803.  
  804.  
  805.        You will see the following HELP screen if you press the Space Bar
  806.        or function key F1 when in this graphics mode...
  807.  
  808.        ╔══════════════  RXridge.EXE  - softRX (tm) shareware  ══════════════╗
  809.        ║    To view this HELP screen, press.............  SpaceBar or F1    ║
  810.        ║    To view the NEXT type of TRACE, press....... Enter or Escape    ║
  811.        ║╔═ Dynamic On-Screen Annotation ═╗╔═════ Special Effect Keys ══════╗║
  812.        ║║                                ║║                                ║║
  813.        ║║ View VALUE at Cursor, press V. ║║ Press the S key first, then    ║║
  814.        ║║ ...then move the Cursor with   ║║ press a Second, Special Key... ║║
  815.        ║║    ArrowKeys, Tab & BackSpace. ║║                                ║║
  816.        ║║                                ║║   L or F10...Dump screen to HP ║║
  817.        ║║ To HIGHLIGHT coordinates for a ║║              LaserJet/DeskJet. ║║
  818.        ║║ Variable/Axis, press........H. ║║   I or F9....Dump to IBM dot   ║║
  819.        ║║                                ║║              matrix graphics.  ║║
  820.        ║║ Move On-Screen Messages to.... ║║   E or F8....Dump to Epson FX. ║║
  821.        ║║    Top of Screen, press..PgUp. ║║   O or F7....Dump to Okidata.  ║║
  822.        ║║    Bottom of Screen,.....PgDn. ║║                                ║║
  823.        ║║                                ║║   S ...Save Screen in PCX form ║║
  824.        ║║ NAMES and NUMERICS, press....N ║║        to specified filename.  ║║
  825.        ║║    & scroll left/right arrows. ║║                                ║║
  826.        ║╚════════════════════════════════╝╚════════════════════════════════╝║
  827.        ╚══════════════════  Press Any Key to Continue...  ══════════════════╝
  828.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 17 of 30
  829.  
  830.  
  831.  
  832.        The following is a much more complete discussion of the "interactive"
  833.        graphical options you have whenever RXridge displays a trace plot...
  834.  
  835.        ENTER or ESCape key...will remove all on-screen annotation from a
  836.                 trace and/or display the next trace.
  837.  
  838.        V key....Displays an On-Screen Cursor that you can move with the "arrow"
  839.                 keys (on your numeric keypad) as well as an On-Screen Listing
  840.                 of the numeric values at the Cursor (see PgUp and PgDn, below.)
  841.                 Use the up and down arrows to jump between the different curves
  842.                 on each trace.  Use the left and right arrows to decrease and
  843.                 increase, respectively, MCAL by one "step", usually 0.125.  Use
  844.                 the BackSpace and Tab keys to decrease and increase,
  845.                 respectively, MCAL, by 4 steps, usually 0.500.  Finally, press
  846.                 either... S (special key) to Save/Print the annotated screen
  847.                 or....... ENTER key, ESCape key, or space bar ONCE to eliminate
  848.                           the On-Screen Cursor and Values.
  849.  
  850.        PgUp key...Move On-Screen Messages to the  TOP   of the Screen.
  851.  
  852.        PgDn key...Move On-Screen Messages to the BOTTOM of the Screen.
  853.  
  854.        N key....Replaces the trace plot with a "NAMES and NUMERICS" screen.
  855.                 Use the right arrow, left arrow, Tab, and BackSpace keys to
  856.                 change MCAL (by 1 or 4 steps)...same as with the V key, above.
  857.                 (Up and down arrow keys are not used here.) Finally, press
  858.                 ENTER just once to return to the trace plot.
  859.  
  860.        H key....HIGH-LIGHT one of the curves on the trace plot by changing its
  861.                 color from cyan to magenta and display the NAME of the
  862.                 corresponding regressor variable or principal axis.  Use PgUp
  863.                 and PgDn to reveal trace details under the on-screen message.
  864.                 You may Highlight curve "0" to return to a "plain" trace plot.
  865.  
  866.        S key....SPECIAL KEY signal.  A message will appear to indicate which
  867.                 keys have been activate for screen saves, dumps, etc.  Press
  868.                 any other key to deactivate the special keys...
  869.  
  870.                              L or F10 dumps screen to HP Laserjet
  871.                              I or F9  dumps to IBM Graphics Matrix
  872.                              E or F8  dumps to Epson FX, JX, or LQ
  873.                              O or F7  dumps to Okidata Microline
  874.                              S = SAVE screen...as filename.PIX
  875.  
  876.                 NOTE: If you invoke the DOS "graphics" command before entering
  877.                 RXridge, you could also use the Shift-PrtSc key combination
  878.                 for screen dumps to your printer.  With some dot-matrix
  879.                 printers, this may work better than the I, E, O Special Keys.
  880.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 18 of 30
  881.  
  882.  
  883.  
  884.             ╔═════════════════════════════════════════════════════════╗
  885.             ║  GUIDELINES on the Interpretation of Ridge Trace Plots  ║
  886.             ╚═════════════════════════════════════════════════════════╝
  887.  
  888.         ┌─────────────────────────┐
  889.         │ Ridge Coefficient Trace │
  890.         └────┬────────────────────┴────────────────────────────────────────────┐
  891.              │ This trace shows how regression coefficient point estimates     │
  892.              │ change as shrinkage (along a path of shape Q) occurs.  Any      │
  893.              │ coefficient estimate that is numerically "stable" will plot     │
  894.              │ close to the straight line from its least-squares estimate at   │
  895.              │ MCAL=0 to zero at MCAL=P.  Unstable coefficient estimates       │
  896.              │ will change more quickly, possibly switching numerical sign, as │
  897.              │ soon as MCAL starts increasing from zero.  Super-stable         │
  898.              │ estimates will change only very little initially, finally       │
  899.              │ approaching zero only as MCAL approaches P.                     │
  900.              └─────────────────────────────────────────────────────────────────┘
  901.  
  902.         ┌────────────────────────────────────────────────────┐
  903.         │ Estimated "Scaled" Risk (Mean-Squared-Error) Trace │
  904.         └────┬───────────────────────────────────────────────┴─────────────────┐
  905.              │ This trace gives normal distribution theory, "modified" maximum │
  906.              │ likelihood estimates of "scaled" risk (mean-squared-error       │
  907.              │ loss) as shrinkage of shape Q occurs.                           │
  908.              │                                                                 │
  909.              │     The risk is "scaled" by dividing it by an estimate of the   │
  910.              │     error (disturbance term) variance. In other words, scaled   │
  911.              │     risk expresses imprecision in fitted coefficients as a      │
  912.              │     multiple of the variance of a single observation.           │
  913.              │                                                                 │
  914.              │     Maximum likelihood scaled risk estimates are "modified,"    │
  915.              │     first of all, so as to be unbiased.  Then they are adjusted │
  916.              │     upward, if necessary, to have correct range relative to a   │
  917.              │     known lower bound on scaled risk, which re-introduces bias. │
  918.              └─────────────────────────────────────────────────────────────────┘
  919.  
  920.         ┌───────────────────────────┐
  921.         │ Excess EigenValues Trace  │
  922.         └────┬──────────────────────┴──────────────────────────────────────────┐
  923.              │ This trace plots the EigenValues of the estimated difference in │
  924.              │ Mean Squared Error matrices, ordinary least squares minus ridge.│
  925.              │ As long as all EigenValues are zero or positive, there is good  │
  926.              │ reason to hope that the corresponding ridge estimators yield    │
  927.              │ smaller MSE risk than Least Squares for all directions in       │
  928.              │ P-space (i.e. all possible linear combinations.)  As shrinkage  │
  929.              │ continues, at most one negative EigenValue will appear.         │
  930.              └─────────────────────────────────────────────────────────────────┘
  931.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 19 of 30
  932.  
  933.  
  934.  
  935.         ┌──────────────────────────────────┐
  936.         │ Inferior Direction-Cosine Trace  │
  937.         └────┬─────────────────────────────┴───────────────────────────────────┐
  938.              │ This trace plots the Direction Cosines (normalized EigenVector) │
  939.              │ corresponding to any negative EigenValue of the difference in   │
  940.              │ MeanSquaredError matrices, OLS - ridge.  This direction gives   │
  941.              │ that single linear combination of ridge regression coefficients │
  942.              │ that not only fails to benefit from ridge shrinkage of shape Q  │
  943.              │ but probably actually suffers increased risk due to shrinkage.  │
  944.              └─────────────────────────────────────────────────────────────────┘
  945.  
  946.         ┌────────────────────────────────┐
  947.         │ Shrinkage Factor Pattern Trace │
  948.         └────┬───────────────────────────┴─────────────────────────────────────┐
  949.              │ This trace plots the Delta Shrinkage-Factor Pattern as shrinkage│
  950.              │ of shape Q occurs.  All deltas are equal when Q=1; the trailing │
  951.              │ deltas are small when Q < 1; and the leading deltas are small   │
  952.              │ when Q > 1.                                                     │
  953.              └─────────────────────────────────────────────────────────────────┘
  954.  
  955.        So what did we learn from the traces about Hocking's MPG data?  Well,
  956.        first of all, this certainly is an ill-conditioned regression situation!
  957.        The ridge regression coefficient for CUBINS goes negative (as it
  958.        "should" be) for MCAL of 0.75 or larger.  But an "inferior direction"
  959.        also pops out with this much (or more) ridge shrinkage.  Anyway, the
  960.        solution at ( MCAL = 1.0, Q-shape = -1 ) looks reasonable to me.  What
  961.        do YOU think?
  962.  
  963.        For more information on appropriate stopping-points along a ridge
  964.        shrinkage path, return to the "shrinkage calculations" MENU, and use
  965.        item "M".  This option allows us to monitor the classical, empirical
  966.        Bayes & random coefficient likelihood ratio statistics associated with
  967.        any fixed Q-shape...
  968.        ╔═════════════════════       softRX ridge       ═════════════════════╗
  969.        ║                                                                    ║
  970.        ║        Monitor 3 Types of Likelihood Extent Selection:             ║
  971.        ║                                                                    ║
  972.        ║                  [Path Shape: Q=-1.0]                              ║
  973.        ║                                                            Take    ║
  974.        ║        Specify No. of Steps Per Unit Increase in M [8] : <-------- ║
  975.        ║                                                           Default  ║
  976.        ║        Steps Per Unit = 8 implies a total of 33 Steps              ║
  977.        ║        along the TRACE from M = 0 to M = 4.                        ║
  978.        ║                                                                    ║
  979.        ║        Is that number of Total Steps satisfactory ? [Y|n] : <----- ║
  980.        ╚════════════════════════════════════════════════════════════════════╝
  981.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 20 of 30
  982.  
  983.  
  984.  
  985.        ╔═════════════════════       softRX ridge       ═════════════════════╗
  986.        ║                                                                    ║
  987.        ║   Now Computing...Step = 33, MCAL =  4.000                         ║
  988.        ║                                                                    ║
  989.        ║      MCAL        CLIK           EBAYS           RCOEF              ║
  990.        ║     0.000     +infinity       +infinity       +infinity            ║
  991.        ║     0.125   4.16e+003            22.3            22.4              ║
  992.        ║     0.250   1.82e+003            19.7            19.9              ║
  993.        ║     0.375   1.06e+003            18.3            18.5              ║
  994.        ║     0.500         686            17.3            17.6              ║
  995.        ║     0.625         467            16.6            16.9              ║
  996.        ║     0.750         327              16            16.3              ║
  997.        ║     0.875         232            15.4            15.8              ║
  998.        ║     1.000         164 GUP          15            15.4              ║
  999.        ║     1.125         116            14.6              15              ║
  1000.        ║     1.250        80.5            14.2            14.6              ║
  1001.        ║     1.375        54.6            13.8            14.2              ║
  1002.        ║     1.500        35.8            13.5            13.9              ║
  1003.        ║   -- More --                                                       ║
  1004.        ║     1.625        22.6            13.1            13.6              ║
  1005.        ║     1.750        13.5            12.9            13.3              ║
  1006.        ║     1.875        7.85            12.6              13              ║
  1007.        ║     2.000        4.84            12.4            12.8              ║
  1008.        ║     2.125        3.97 <<<        12.3            12.7              ║
  1009.        ║     2.250        4.84            12.2 <<<        12.6 <<<          ║
  1010.        ║     2.375        7.12            12.3            12.7              ║
  1011.        ║     2.500        10.6            12.6            12.9              ║
  1012.        ║     2.625        15.2            13.2            13.4              ║
  1013.        ║     2.750        20.9            14.6            14.5              ║
  1014.        ║     2.875        27.7            17.4            16.7              ║
  1015.        ║     3.000        34.9            23.5            20.9              ║
  1016.        ║     3.125          41            34.2              27              ║
  1017.        ║     3.250        45.4            48.4            33.6              ║
  1018.        ║     3.375        48.5            64.4            39.6              ║
  1019.        ║     3.500        50.9            81.2            44.9              ║
  1020.        ║     3.625        52.9            98.5            49.5              ║
  1021.        ║     3.750        54.7             116            53.6              ║
  1022.        ║     3.875        56.6             134            57.2              ║
  1023.        ║     4.000        60.4             151            60.4              ║
  1024.        ║                                                                    ║
  1025.        ║ NOTE:The shrinkage-extent MCAL value most likely to be MSE optimal ║
  1026.        ║      minimizes a "normalized" (minus 2 log) likelihood ratio...    ║
  1027.        ║                                                                    ║
  1028.        ║      MCAL= 1.0 is marked "GUP" above because this is the estimated ║
  1029.        ║      UPper limit on extent of shrinkage that is GOOD [dominates    ║
  1030.        ║      least squares in the multivariate (matrix) MSE risk sense.]   ║
  1031.        ║                                                                    ║
  1032.        ║ Press a Key...                                                     ║
  1033.        ╚════════════════════════════════════════════════════════════════════╝
  1034.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 21 of 30
  1035.  
  1036.  
  1037.  
  1038.        CLIK is the asymptotic chi-square statistic for testing that the form
  1039.        and extent of shrinkage at each step is MSE optimal.  The solution with
  1040.        the smallest entry in the CLIK column is thus the one which is most
  1041.        likely to be the optimally biased estimate of Beta.  However, if the
  1042.        chi-square statistic is significantly greater than zero (compared to
  1043.        quantities of chi-square with df = P-1 when QPAR is input or df = P-2
  1044.        when QPAR is fit to data), then evidence is strong that the form (or
  1045.        "shape") of the ridge path you are considering is not the most
  1046.        appropriate one.
  1047.  
  1048.        EBAYS is the minus-two-log-likelihood factor for the empirical Bayes
  1049.        formulation of Efron and Morris(1977) in their discussion of Dempster
  1050.        et.al. (1977).
  1051.  
  1052.        RCOEF is the minus-two-log-likelihood factor for the random coefficient
  1053.        formulation of Golub, Heath, and Wahba(1979) and Shumway(1982).  This
  1054.        third likelihood criterion behaves more like the empirical Bayes
  1055.        criterion of Efron-Morris when M is small and more like the classical
  1056.        Obenchain criterion as M approaches P.
  1057.  
  1058.        According to the "2/R-ths rule" of Obenchain(1978), the MCAL shrinkage
  1059.        extent for "good" (multivariate) ridge estimates is roughly a factor
  1060.        of (two divided by R) times the "optimal" (univariate) MCAL values.
  1061.        Since rank R = 4 in the MPG example, we again see evidence that ridge
  1062.        shrinkage of at least MCAL = 1 is appropriate here.
  1063.  
  1064.                     *** RXreview of Output Files Saved to Disk ***
  1065.  
  1066.        Next, we use item "R" on the "shrinkage calculations" MENU to return to
  1067.        the MAIN MENU.  And then item "R" there also to access file "Reviews"...
  1068.        ╔══════════════════════  RXridge Calculations  ══════════════════════╗
  1069.        ║  ╔════════════════════════════════╗                                ║
  1070.        ║  ║           Main Menu            ║════════════════════════╗       ║
  1071.        ║  ║                                ║kage Calculations       ║       ║
  1072.        ║  ║   M = Model Parameters         ║h Shape: Q=-1.0]        ║       ║
  1073.        ║  ║   S = Shrinkage╔════════════════════════════════════╗   ║       ║
  1074.        ║  ║   R = Review Pr║        Review of Results           ║   ║       ║
  1075.        ║  ║   X = eXit RXri║       [Filename:mpg-1   ]          ║   ║       ║
  1076.        ║  ║                ║                                    ║   ║       ║
  1077.        ║  ║   choice --> R ║ H = Help on Review Keys & Menu     ║   ║       ║
  1078.        ║  ╚════════════════║                                    ║   ║       ║
  1079.        ║                   ║ R = Return to Main Menu            ║   ║       ║
  1080.        ║        Now Computi║                                    ║   ║       ║
  1081.        ║                   ║ S = Summary Files, for all Shapes  ║   ║t write║
  1082.        ║                   ║                                    ║   ║       ║
  1083.        ║        Press a Key║ T = TRACE Files of fixed Q-Shape   ║   ║       ║
  1084.        ║                   ║                                    ║═══╝       ║
  1085.        ║                   ║ choice --> H                       ║           ║
  1086.        ║                   ╚════════════════════════════════════╝           ║
  1087.        ╚════════════════════════════════════════════════════════════════════╝
  1088.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 22 of 30
  1089.  
  1090.  
  1091.  
  1092.        The HELP item here first allows you to "move around" within the
  1093.        RXreview Documentation Window (warning: CGA+ required here)...
  1094.        ╔══════════════════════ RXreview: rxreview.doc ══════════════════════╗
  1095.        ║12345678901234567890123456789012345678901234567890123456789012345678║
  1096.        ║         1         2         3         4         5         6        ║
  1097.        ║Row  3                                                              ║
  1098.        ║Row  4         RXreview.DOC...Browse text files stored on disk.     ║
  1099.        ║Row  5                        Window displays 23 lines of text.     ║
  1100.        ║Row  6                                                              ║
  1101.        ║Row  7         KEYS:                                                ║
  1102.        ║Row  8           Esc, X or Q - terminate browse window display      ║
  1103.        ║Row  9                                                              ║
  1104.        ║Row 10              Up Arrow - move highlight line up one row       ║
  1105.        ║Row 11            Down Arrow                                        ║
  1106.        ║Row 12              or ENTER - move highlight line down one row     ║
  1107.        ║Row 13                                                              ║
  1108.        ║Row 14            Left Arrow - move window 20 characters left       ║
  1109.        ║Row 15           Right Arrow - move window 20 characters right      ║
  1110.        ║Row 16                                                              ║
  1111.        ║Row 17          PgUp & PgDn  - move highlight one page up or down   ║
  1112.        ║Row 18                                                              ║
  1113.        ║Row 19          Home - move highlight to the top,left of the file   ║
  1114.        ║Row 20           End - move highlight to the bottom, left of file   ║
  1115.        ║Row 21                                                              ║
  1116.        ║         1         2         3         4         5         6        ║
  1117.        ║12345678901234567890123456789012345678901234567890123456789012345678║
  1118.        ╚════════════════════════════════════════════════════════════════════╝
  1119.  
  1120.        Then items "S" and "T" on the "review menu" are explained...
  1121.        ╔══════════════════════  RXreview Keys & Menu  ══════════════════════╗
  1122.        ║                                                                    ║
  1123.        ║   Practice Using Review Window KEYS ? [N|y] : y                    ║
  1124.        ║                                                                    ║
  1125.        ║   The *** SUMMARY *** Review-Menu ITEM gives you access            ║
  1126.        ║   to existing RXridge files associated with ridge paths            ║
  1127.        ║   of all possible Q-shapes.                                        ║
  1128.        ║                                                                    ║
  1129.        ║   The filename EXTensions for these files identify...              ║
  1130.        ║                                                                    ║
  1131.        ║   .ARX => Archive (data/parameters) input for RXridge              ║
  1132.        ║                                                                    ║
  1133.        ║   .XRX => Regressor X Matrix........input for PathProj             ║
  1134.        ║   .YRX => Response  Y Vector........input for PathProj             ║
  1135.        ║                                                                    ║
  1136.        ║   .QRX => Classical Max.Likelihood Q-shape Selection               ║
  1137.        ║                                                                    ║
  1138.        ║   Press a Key...                                                   ║
  1139.        ╚════════════════════════════════════════════════════════════════════╝
  1140.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 23 of 30
  1141.  
  1142.  
  1143.  
  1144.        ╔══════════════════════  RXreview Keys & Menu  ══════════════════════╗
  1145.        ║                                                                    ║
  1146.        ║   The *** TRACE *** Review-Menu ITEM gives you access to           ║
  1147.        ║   existing RXridge files associated with shrinkage along           ║
  1148.        ║   a ridge path of fixed Q-shape, usually indicated by the          ║
  1149.        ║   trailing NUMERICAL character(s) of the filename.                 ║
  1150.        ║                                                                    ║
  1151.        ║   The filename EXTensions for these files identify...              ║
  1152.        ║                                                                    ║
  1153.        ║   .PRX => RXridge Parameters File...input for RXtraces             ║
  1154.        ║   .CRX => ridge Coefficient Trace...input for RXtraces             ║
  1155.        ║   .RRX => relative Risk Trace.......input for RXtraces             ║
  1156.        ║   .ERX => Excess MSE Trace..........input for RXtraces             ║
  1157.        ║   .IRX => Inferior Direction Trace..input for RXtraces             ║
  1158.        ║   .DRX => shrinkage Delta factors...input for RXtraces             ║
  1159.        ║                                                                    ║
  1160.        ║   .MRX => Monitor 3 Likelihoods for Extent-Selection               ║
  1161.        ║                                                                    ║
  1162.        ║   Press a Key to Return to Review Menu...                          ║
  1163.        ╚════════════════════════════════════════════════════════════════════╝
  1164.  
  1165.        When we return to the menu, let's try item "T"...
  1166.        ╔═════════════════════  RXreview TRACE Files  ═══════════════════════╗
  1167.        ║                                                                    ║
  1168.        ║  This *** TRACE *** Review-Menu ITEM gives you access to           ║
  1169.        ║  existing RXridge files associated with shrinkage along            ║
  1170.        ║  a ridge path of fixed Q-shape, usually indicated by the           ║
  1171.        ║  trailing NUMERICAL character(s) of the filename.                  ║
  1172.        ║                                                                    ║
  1173.        ║  The filename EXTensions for these files are always                ║
  1174.        ║  .PRX, .CRX, .RRX, .ERX, .IRX, .DRX, or .MRX ...                   ║
  1175.        ║                                                                    ║
  1176.        ║  Existing Filename (max 8 characters)              Take            ║
  1177.        ║  for TRACE Review [mpg-1] :    <-----------------------------      ║
  1178.        ║                                                   Default          ║
  1179.        ║  All TRACE files will have filename:    mpg-1                      ║
  1180.        ║                                                                    ║
  1181.        ║  NOTE: Press Q Key to QUIT Review...                               ║
  1182.        ║                                                                    ║
  1183.        ║  Press a Key to Review : mpg-1.prx                                 ║
  1184.        ║                                                                    ║
  1185.        ╚════════════════════════════════════════════════════════════════════╝
  1186.  
  1187.        Here's what that file contains (warning: CGA+ required here)...
  1188.  
  1189.        ╔════════════════════════ RXreview: mpg-1.prx ═══════════════════════╗
  1190.        ║ 4 = P, number of regressors                                        ║
  1191.        ║32 = N, number of observations                                      ║
  1192.        ║ 8 = STEPSPU, steps per unit change in MCAL                         ║
  1193.        ║-1.0= QSHAPE of the shrinkage path                                  ║
  1194.        ║XNAM= CYLNDS CUBINS HPOWER WEIGHT                                   ║
  1195.        ╚════════════════════════════════════════════════════════════════════╝
  1196.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 24 of 30
  1197.  
  1198.  
  1199.  
  1200.        Press X, Q, or the ESCape key to go on to the next file in the sequence.
  1201.        Actually, rather than review all of the other "mpg-1" files now, press
  1202.        the Q key to return to the main RXreview menu.
  1203.  
  1204.        Now that we have explored most of the major features of RXridge, let us
  1205.        end this on-disk tutorial...
  1206.        ╔══════════════════════  RXreview TRACE Files  ══════════════════════╗
  1207.        ║                                                                    ║
  1208.        ║  ╔════════════════════════════════╗                                ║
  1209.        ║  ║           Main Menu            ║nu ITEM gives you access to     ║
  1210.        ║  ║                                ║════════════════════════╗g      ║
  1211.        ║  ║   M = Model Parameters         ║kage Calculations       ║he     ║
  1212.        ║  ║                                ║h Shape: Q=-1.0]        ║       ║
  1213.        ║  ║   S = Shrinkage Calculations   ║                        ║       ║
  1214.        ║  ║                                ║al Max.Likelihood Shape ║       ║
  1215.        ║  ║   R = Review Previous Results  ║                        ║       ║
  1216.        ║  ║                                ║ Shrinkage Shape, Q     ║       ║
  1217.        ║  ║   X = eXit RXridge             ║                        ║       ║
  1218.        ║  ║                                ║omputations             ║       ║
  1219.        ║  ║   choice --> X                 ║                        ║       ║
  1220.        ║  ║                                ║ 3 Extent Likelihoods   ║       ║
  1221.        ║  ╚════════════════════════════════╝                        ║       ║
  1222.        ║        NOTE: Press║   ║ R = Return to Main Menu            ║       ║
  1223.        ║                   ║ S ║                                    ║       ║
  1224.        ║                   ║   ║ choice --> R                       ║       ║
  1225.        ║        Press a Key║ T ║                                    ║       ║
  1226.        ║                   ║   ╚════════════════════════════════════╝       ║
  1227.        ║        Press a Key║ choice --> R                       ║           ║
  1228.        ║                   ║                                    ║           ║
  1229.        ║                   ╚════════════════════════════════════╝           ║
  1230.        ╚════════════════════════════════════════════════════════════════════╝
  1231.  
  1232.        REMINDER(S) :
  1233.  
  1234.        RXRIDGE created an Output File named... mpg.dtl
  1235.                Use the DOS invocation... TYPE mpg.dtl | MORE
  1236.                to review detailed computational results from
  1237.                this RXRIDGE run.
  1238.  
  1239.        DOS Prompt>   ...and we arrive back at the DOS system prompt!
  1240.  
  1241.                              ┌──────────────────────────────┐
  1242.         ─────────────────────┤  RIDGE REGRESSION REFERENCES ├─────────────────
  1243.                              └──────────────────────────────┘
  1244.  
  1245.        Dempster, A. P., Schatzoff, M. and Wermuth, N.  (1976).  "A simulation
  1246.          study of alternatives to ordinary least squares."  Journal American
  1247.          Statistical Association, 72, 77-91  (with discussion, pp. 91-106.)
  1248.  
  1249.        Efron B. and Morris, C. N. (1976). "Discussion" (of Dempster,
  1250.          Schatzoff and Wermuth.)  Journal American Statistical Association,
  1251.          72, 91-93.
  1252.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 25 of 30
  1253.  
  1254.  
  1255.  
  1256.        Golub, G.H., Heath, M., and Wahba, G. (1979).  "Generalized cross-
  1257.          validation as a method for choosing a good ridge parameter."
  1258.          Technometrics  21, 215-223.
  1259.  
  1260.        Hocking, R.R. (1976). "The Analysis and Selection of Variables in
  1261.          Regression," Biometrics 32, 1-51.
  1262.  
  1263.        Hoerl, A.E. (1962). "Application of Ridge Analysis to Regression
  1264.          Problems."  Chemical Engineering Progress 58, 54-59.
  1265.  
  1266.        Hoerl, A.E. and Kennard, R.W. (1970a). "Ridge Regression: Biased
  1267.          Estimation for Nonorthogonal Problems."  Technometrics 12, 55-67.
  1268.  
  1269.        Hoerl, A.E. and Kennard, R.W. (1970b). "Ridge Regression:  Applications
  1270.          to Nonorthogonal Problems."  Technometrics 12, 69-82.
  1271.  
  1272.        Mallows, C.L. (1973).  "Some Comments on Cp."  Technometrics, 15,
  1273.          661-677.
  1274.  
  1275.        Marquardt, D.W.  (1970).  "Generalized Inverses, Ridge Regression,
  1276.          Biased Linear Estimation, and Nonlinear Estimation."  Technometrics
  1277.          12, 591-612.
  1278.  
  1279.        Marquardt, D.W. and Snee, R.D. (1975).  "Ridge Regression in Practice."
  1280.          The American Statistician, 29,  3-19.
  1281.  
  1282.        Nash, J.C. (1992).  "Statistical shareware: illustrations from
  1283.          regression techniques."  The American Statistician 46, 312-318.
  1284.          (A review article that includes coverage of softRX shareware.)
  1285.  
  1286.        Obenchain, R.L. and Vinod, H. (1974).  "Estimates of partial derivatives
  1287.          from ridge regression on ill-conditioned data."  NBER-NSF Seminar on
  1288.          Bayesian Inference in Econometrics, Ann-Arbor, Michigan.
  1289.  
  1290.        Obenchain, R.L.  (1975).  "Ridge Analysis Following a Preliminary Test
  1291.          of the Shrunken Hypothesis."  Technometrics, 17, 431-441. (Discussion:
  1292.          McDonald, G.C.,  443-445.)
  1293.  
  1294.        Obenchain, R.L. (1976).  "Methods of ridge regression."  Proceedings of
  1295.          the Ninth International Biometric Conference, Invited Papers, Volume
  1296.          One, 37-57, Boston.
  1297.  
  1298.        Obenchain, R.L. (1977).  "Classical F-tests and Confidence Regions for
  1299.          Ridge Regression."  Technometrics 19, 429-439.
  1300.  
  1301.        Obenchain, R.L. (1978).  "Good and optimal ridge estimators."  Annals of
  1302.          Statistics  6,  1111-1121.
  1303.  
  1304.            This highly theoretical paper derived the "ridge function," the
  1305.            "excess mean squared error matrix," and the "inferior direction."
  1306.            Normal distribution theory maximum likelihood estimators used in
  1307.            RXridge are also discussed.  Obenchain (1980) and Obenchain(1984)
  1308.            describe uses of these concepts in practical applications.
  1309.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 26 of 30
  1310.  
  1311.  
  1312.  
  1313.        Obenchain, R.L. (1980).  Comment on "A Critique of Some Ridge Regression
  1314.          Methods" by G. Smith and F. Campbell.  Journal of the American
  1315.          Statistical Association 75, 95-96.
  1316.  
  1317.        Obenchain, R.L. (1984).  "Maximum likelihood ridge displays."
  1318.          Communications in Statistics A13, 227-240.  (Proceedings of the
  1319.          Fordham Ridge Symposium, ed. H.D.Vinod.)
  1320.  
  1321.        Obenchain, R.L. (1991).  "Ridge regression systems for MS-DOS personal
  1322.          computers."  The American Statistician 45, 245-246.
  1323.  
  1324.        Press, W.H., Flannery, B.P., Teukolsky, S.A. and Vetterling, W.T.
  1325.          (1988). "Numerical Recipes in C: The Art of Scientific Computing."
  1326.          Cambridge, Massachusetts: Cambridge University Press. {Source Code:
  1327.          Copyright 1985, 1987 by Numerical Recipes Software P.O.Box 243,
  1328.          Cambridge, MA 02238.}
  1329.  
  1330.        Shumway, R.H. (1982). "Maximum likelihood estimation of the ridge
  1331.          parameter in linear regression." Technical Report, Department of
  1332.          Statistics, University of California at Davis.
  1333.  
  1334.        ┌────────────────────────────────────────────────────────────────────┐
  1335.        │  TECHNICAL APPENDIX......"Extent" and "Shape" of Shrinkage in the  │
  1336.        │                          Two-Parameter Generalized Ridge Family.   │
  1337.        └────────────────────────────────────────────────────────────────────┘
  1338.  
  1339.        MCAL = the "Multicollinearity Allowance" parameter that indexes
  1340.                   the "extent" of ridge shrinkage along any ridge path.
  1341.             = R - trace( R x R diagonal matrix of Delta Shrinkage Factors ).
  1342.  
  1343.        MCAL = 0 ...yields zero shrinkage.  This is the "starting point" of the
  1344.                    ridge path, where the ridge estimator coincides with the
  1345.                    Ordinary Least Squares estimator at the left-hand extreme.
  1346.  
  1347.        MCAL = R ...yields "total" shrinkage.  This is the right-hand "end
  1348.                    point" of the path, where the ridge estimator is all ZEROS.
  1349.  
  1350.        Again, MCAL = R - Delta(1) -...- Delta(R), where Delta(j) is the ridge
  1351.        "shrinkage factor" applied to the j-th uncorrelated component, c(j), of
  1352.        Bzero .  The average value of Delta(1),...,Delta(R) is (R-M)/R, which is
  1353.        Theil's "proportion of posterior precision in Bstar due to sample
  1354.        information."  More importantly, MCAL can be interpreted as the
  1355.        approximate deficiency in the rank of ( I - 11'/ N ) X.  For example, if
  1356.        the regressor matrix has only two relatively small singular values, then
  1357.        the coefficient ridge trace is expected to "stabilize" at about MCAL =
  1358.        2.  Perfectly stable relative magnitudes plot on the MCAL-scale as
  1359.        straight lines all intersecting at MCAL = R and Bstar = 0.
  1360.  
  1361.        Q = the ridge parameter that controls the "shape" (or "curvature") of
  1362.            the ridge path through regression coefficient likelihood space.
  1363.  
  1364.            Q = +1 ...yields uniform shrinkage (all Shrinkage Factors equal.)
  1365.            Q =  0 ...yields Hoerl-Kennard "ordinary" ridge regression.
  1366.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 27 of 30
  1367.  
  1368.  
  1369.  
  1370.            Q = -5 ...is usually very close, numerically, to "Principal
  1371.                      Components Regression," with exact agreement in the
  1372.                      limit as Q approaches minus infinity.
  1373.  
  1374.        Shrinkage Factor Formulas...
  1375.  
  1376.           P = Number of Predictor Variables (non-constant Regressors),
  1377.           R = Rank of the Centered Predictor Variable X-matrix,
  1378.           N = Number of Observations (or Regressor Combinations), and
  1379.  
  1380.           generalized ridge regression "Shrinkage Factors" are of the form...
  1381.  
  1382.                                                      EigenValue
  1383.                             Delta  =    ----------------------------------
  1384.                                         EigenValue + Konstant*EigenValue^Q
  1385.  
  1386.           or, equivalently,...                           1
  1387.                                    =      -----------------------------
  1388.                                           1 + Konstant*EigenValue^(Q-1)
  1389.  
  1390.        Empirical evidence that choice of "shape" as well as "extent" of
  1391.        shrinkage can be rewarding is given in the following table...
  1392.  
  1393.                                                  Min.MeanSqErr  Min.MeanSqErr
  1394.        Data Set        Number of     Number of   Extent of      Shrinkage
  1395.        Name            Observations  Predictors  Shrinkage      Shape
  1396.        =============   ============  ==========  =============  =============
  1397.  
  1398.        FACE data       N = 21,       R = 10,     MCAL = 2.3,    Qshape = +.77
  1399.  
  1400.        Air Pollution   N = 60,       R = 15,     MCAL = 5.4,    Qshape = +.07
  1401.        and Mortality
  1402.  
  1403.        Acetylene       N = 16,       R = 9,      MCAL = 5.2,    Qshape = -.35
  1404.  
  1405.        Ten-Factor      N = 36,       R = 10,     MCAL = 3.6,    Qshape = -.78
  1406.  
  1407.        Stack Loss      N = 15,       R = 3,      MCAL = 0.24,   Qshape = -.95
  1408.  
  1409.        Mantell, Bell   N = 25,       R = 3,      MCAL = 0.95,   Qshape = -1.1
  1410.        Productivity
  1411.  
  1412.        Wood Beam       N = 10,       R = 2,      MCAL = 0.26,   Qshape = -1.4
  1413.  
  1414.        Longley         N = 16,       R = 6,      MCAL = 4.0,    Qshape = -1.4
  1415.  
  1416.        Hocking MPG     N = 32,       R = 10,     MCAL = 8.8,    Qshape = -7.6
  1417.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 28 of 30
  1418.  
  1419.  
  1420.  
  1421.        Diesel data     N = 44,       R = 9,      MCAL = 4.9,    Qshape =  -20
  1422.  
  1423.        Portland        N = 13,       R = 4,      MCAL = 3.0,    Qshape = -INF.
  1424.        Cement, Hald.
  1425.  
  1426.        =============   ============  ==========  ============   =============
  1427.        Data Set        Number of     Number of   Extent of      Shrinkage
  1428.        Name            Observations  Predictors  Shrinkage      Shape
  1429.                                                  Min.MeanSqErr  Min.MeanSqErr
  1430.  
  1431.                           ┌───────────────────────────┐
  1432.        ───────────────────┤ RXridge UpDate History... ├────────────────────
  1433.                           └───────────────────────────┘                    
  1434.        9004    ...BETA-TEST version
  1435.        9005    ...original release;  LZEXE 0.91 (c) Fabrice Bellard        
  1436.        9008    ...bounce-bar file selection menu; change-of-address        
  1437.        9010    ...change screen save file to .PCX format; ANSI.SYS warning 
  1438.        9012    ...handle exact singularities; adopt huge memory model;     
  1439.                   eliminate need for device=ANSI.SYS; shadows on windows   
  1440.        9101    ...convert to Microsoft C version 6.00AX                    
  1441.        9103    ...documentation update; final change-of-address            
  1442.        9104    ...fix help-screen bug in version 9103                      
  1443.        9108    ...fix shrinkage pattern default for special cases where    
  1444.                   all positive regressor singular values are equal and     
  1445.                   abandon calculations when SVD is numerically inaccurate. 
  1446.        9109    ...round centered and rescaled X matrix to at most six      
  1447.                   decimal places to enhance convergence in SVD algorithm.  
  1448.        9110    ...make more checks on amount of RAM available for dynamic  
  1449.                   matrix allocation; avoid "most" lack-of-memory crashes.  
  1450.                ...add column of k = additive-eigenvalue-inflation-factor   
  1451.                   to the .MRX (shrinkage extent selection) output file.    
  1452.        9205    ...fix "bug" in small-MCAL display of inferior direction.   
  1453.                ...ask permission before overwriting an existing .ARX file. 
  1454.        9207    ...display "GUP" pointer to the most-likely MCAL upper limit
  1455.                   from the "2/R-ths Rule-of-Thumb"...this is the max extent
  1456.                   of shrinkage likely to be "GOOD" in multivariate/matrix  
  1457.                   MSE risk [rather than OPTIMAL in a scalar-valued sense.] 
  1458.        9208    ...fix major batch-input BUG in the July 1992 version.      
  1459.        9301    ...add date/time stamp at beginning of .DTL output file.
  1460.        9303    ...documentation review/update.
  1461.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 29 of 30
  1462.  
  1463.  
  1464.  
  1465.                                 ┌─────────┐
  1466.                           ┌─────┴───┐     │               (R)
  1467.                         ──│         │o    │──────────────────
  1468.                           │   ┌─────┴╨──┐ │  Association of
  1469.                           │   │         │─┘  Shareware
  1470.                           └───│    o    │    Professionals
  1471.                         ──────│    ║    │────────────────────
  1472.                               └────╨────┘    MEMBER
  1473.  
  1474.        ASP wants to make sure that the shareware principle works for you. If
  1475.        you are unable to resolve a shareware-related problem with an ASP member
  1476.        by contacting the member directly, ASP may be able to help. The ASP
  1477.        Ombudsman can help you resolve a dispute or problem with an ASP member,
  1478.        but does not provide technical support for members' products.  Please
  1479.        write to the ASP Ombudsman at 545 Grover Road, Muskegon, MI 49442-9427
  1480.        or send a CompuServe Mail message to 70007,3536.
  1481.  
  1482.         ┌───────────────────────────────────────────────────────────────────┐
  1483.         │ In an effort to make it easier for you to obtain your favorite    │
  1484.         │ software, the latest updates of many ASP authored programs can be │
  1485.         │ found on the BBSs listed below.  These BBSs are members of the... │
  1486.         ├───────────────────────────────────────────────────────────────────┤
  1487.         │                      ASP Hub Network (AHN).                       │
  1488.         └───────────────────────────────────────────────────────────────────┘
  1489.  
  1490.        Zone 1 - East Coast USA
  1491.  
  1492.             North-East Coast                      Mid-East Coast
  1493.  
  1494.        [Site #1]                             [Site #2]
  1495.             The Consultant BBS                    The Break RBBS <East>
  1496.             Jay Caplan                            Bruce Jackson
  1497.             P.O. Box 8571                         4660 Whitaker PL
  1498.             New York NY 10116-4655                Dale City, VA 22193-3011
  1499.             Data1) 718-837-3236                   Data1) 703-680-9269
  1500.             Data2)                                Data2) 703-551-0000
  1501.  
  1502.        Zone 2 - North Mid-USA               Zone 3 - Southern Mid-USA
  1503.  
  1504.        [Site #3]                             [Site #4]
  1505.             The Twilight Zone                     The DataExchange BBS
  1506.             John Hrusovszky                       Don Morris
  1507.             1119 E. Main St                       119 Herring St.
  1508.             Auburndale, WI 54412                  Leesville, LA 71446
  1509.             Data1) 715-652-2758                   Data1) 318-239-2122
  1510.             Data2)                                Data2)
  1511.           RXridge, version 9301 . . . . . . . . . . . . . . . Page 30 of 30
  1512.  
  1513.  
  1514.  
  1515.        Zone 4 - West Coast USA                              
  1516.  
  1517.        [Site #5]                            [Site #6]
  1518.             Attention to Details BBS             Space BBS
  1519.             Clint Bradford                       Owen Hawkins
  1520.             5085 Trail Canyon Dr                 PO Box X
  1521.             Mira Loma CA 91752                   Menlo Park, CA 94026
  1522.             Data1) 909-681-6221                  Data1) 415-323-4398 (ASP Files)
  1523.             Data2)                               Data2) 415-323-4193 (Other Files)
  1524.  
  1525.        Zone 5 - Canada
  1526.  
  1527.        [Site #7]
  1528.             Knightec BBS
  1529.             Phil Knight
  1530.             35 Robb Blvd #6
  1531.             Orangeville, ONT L9W 3L1
  1532.             Data1) 519-940-0007
  1533.             Data2)
  1534.  
  1535.           ┌──────────────────────────────────────────────────────────────┐
  1536.           │   These BBSs are bound by special agreement with the ASP.    │
  1537.           │    In the case of a dispute contact the ASP Omsbudsman.      │
  1538.           └──────────────────────────────────────────────────────────────┘
  1539.  
  1540.