home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / math / rxrg93.zip / PATHPROJ.DOC < prev    next >
Text File  |  1993-05-01  |  46KB  |  846 lines
  1.  
  2.  
  3.  
  4.  
  5.  
  6.           ┌─────────────────────────────────────────────────────────────┐
  7.           │ ┌─────────────────────────────────────────────────────────┐ │
  8.           │ │     ASCII Documentation File for ... PathProj.EXE       │ │
  9.           │ │                                                         │ │
  10.           │ │                       Version 9305                      │ │
  11.           │ ├─────────────────────────────────────────────────────────┤ │
  12.           │ │                                                         │ │
  13.           │ │             a softRX SHAREWARE module from              │ │
  14.           │ │                                                         │ │
  15.           │ │       Bob Obenchain, CompuServe User [72007,467]        │ │
  16.           │ └─────────────────────────────────────────────────────────┘ │
  17.           └─────────────────────────────────────────────────────────────┘
  18.             softRX is a trademark of The Software Prescriptions Company.
  19.            "Personal computing treatments for data analysis infirmities."
  20.                    Copyright(c) 1989-1993 by Bob Obenchain, Ph.D.
  21.                                 ALL RIGHTS RESERVED
  22.  
  23.                                 *******************
  24.  
  25.                The author of PathProj, Bob Obenchain, is a member of
  26.                  the Association of Shareware Professionals <ASP>.
  27.  
  28.  
  29.                                 ┌───────────────────┐
  30.        ─────────────────────────┤ Table-of-Contents ├─────────────────────────
  31.                                 └───────────────────┘
  32.  
  33.        softRX User Registration . . . . . . . . . . . . . . . . . . . . . . 1
  34.        Introduction to PathProj . . . . . . . . . . . . . . . . . . . . . . 2
  35.        Shrinkage Regression Background Information. . . . . . . . . . . . . 3
  36.        Computing System Requirements for PathProj . . . . . . . . . . . . . 4
  37.        softRX Graphical Design Philosophy . . . . . . . . . . . . . . . . . 4
  38.        PathProj File Naming Conventions . . . . . . . . . . . . . . . . . . 5
  39.        PathProj Walk-Through. . . . . . . . . . . . . . . . . . . . . . . . 6
  40.        TECHNICAL APPENDIX: "Extent" and "Shape" of Shrinkage. . . . . . . .12
  41.        PathProj Update History. . . . . . . . . . . . . . . . . . . . . . .14
  42.        ASP Hub Network. . . . . . . . . . . . . . . . . . . . . . . . . . .15
  43.  
  44.                                ┌─────────────────────┐
  45.        ────────────────────────┤  USER REGISTRATION  ├────────────────────────
  46.                                └─────────────────────┘
  47.  
  48.        PathProj.EXE, its ASCII documentation file [PathProj.DOC], and the
  49.        included batch input/output (numerical example) files are user-
  50.        supported electronic information that we encourage you to examine and
  51.        to share with others, provided you have not modified them in any way.
  52.        All softRX SHAREWARE modules are distributed in fully functional form
  53.        and will remain so without any usage time limits.  softRX systems do
  54.        not display annoying registration "reminder" screens or messages.  And
  55.        no (non-commercial) user who is unable to correspond with softRX in
  56.        English is expected to register.
  57.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 2 of 16
  58.  
  59.  
  60.  
  61.                        **************************************
  62.                        **************************************
  63.  
  64.               Only YOU know whether softRX systems are useful to you.
  65.  
  66.                      And, if you do use them, you must register!
  67.  
  68.                        **************************************
  69.                        **************************************
  70.  
  71.        The registration fee for PathProj is $25 for use either by a single
  72.        individual or for installation on one single-user-at-a-time system.
  73.        Three softRX modules (say, RXridge, RXtraces, and PathProj) may be
  74.        registered together for $50.  softRX offers MAIL-IN SUPPORT SERVICES
  75.        (e.g. answers to questions on the theory, application and/or
  76.        computation of statistical "shrinkage" regression techniques) only to
  77.        its REGISTERED users.
  78.  
  79.        However, registration fees are mandatory for use of softRX modules in
  80.        any commercial or government environment.  These users must register
  81.        and pay for their copies within 30 days of first actual use or else
  82.        their license is withdrawn.  Site-License arrangements (of at most $15
  83.        per module) may also be made by contacting softRX.
  84.  
  85.              Make checks payable to...        Bob Obenchain
  86.  
  87.              and mail them to...              5261 Woodfield Drive North
  88.                                               Carmel, IN 46033-8795, USA
  89.  
  90.         !!! Thank You for Supporting the <<<softRX shareware>>> Concept !!!
  91.  
  92.  
  93.                          ┌─────────────────────────────┐
  94.        ──────────────────┤   INTRODUCTION to PathProj  ├──────────────────────
  95.                          └─────────────────────────────┘
  96.  
  97.        PathProj does NOT perform generalized ridge regression computations.
  98.        Rather, PathProj generates interactive graphical displays of the results
  99.        from other softRX shareware systems...like RXridge.EXE, RelaxR.EXE, or
  100.        the RXridge procedures distributed as source code for the GAUSS,
  101.        SAS/IML, and S matrix-language interpreters.
  102.  
  103.        PathProj generates INTERACTIVE graphical displays on IBM-compatible
  104.        personal computers in CGA (medium resolution, 320x200 pixel) mode.
  105.        PathProj helps users interpret the results of a generalized ridge
  106.        regression analysis by displaying orthogonal
  107.  
  108.               PROJECTIONS of either  regression coefficient estimates
  109.                                  or  predictor (regressor) coordinates
  110.  
  111.        from P-dimensional space down onto a user specified 2-dimensional
  112.        subspace, where P = [ number of non-constant predictor variables
  113.        in the regression model ] can range from 2 to 20.
  114.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 3 of 16
  115.  
  116.  
  117.  
  118.        You do not need to read this documentation before trying PathProj out.
  119.        There is very little damage you can do by giving "wrong" choices for
  120.        menu items and responses to prompts.  However, first of all, please
  121.  
  122.                           > > >  MAKE BACK-UP COPIES  < < <
  123.  
  124.        of the distribution files and/or of the original softRX shareware
  125.        archives.  PathProj does not modify its input files, which are output
  126.        files created by RXridge or RelaxR.  And PathProj does not write
  127.        output files (or make screen prints) unless you first press the "S"
  128.        key and then press a second, "special" key.
  129.  
  130.        Each PathProj prompt has a [default] value that you may accept simply
  131.        by pressing the ENTER key; PathProj menus require you to press a
  132.        single key, where any differences between upper and lower case are
  133.        ignored.  Unless you are already being prompted for input, you can
  134.        view a "help" screen simply by pressing function key F1 or the
  135.        SpaceBar.  And you can always return to the "Main Menu" by repeated
  136.        pressing of the ENTER key.
  137.  
  138.  
  139.                    ┌─────────────────────────────────────────────┐
  140.        ────────────┤ Shrinkage Regression Background Information ├────────────
  141.                    └─────────────────────────────────────────────┘
  142.  
  143.        RXridge and RXtraces are softRX shareware products that interactively
  144.        display results of ridge computations using traditional TRACE plots.
  145.        In a trace, P quantities (several estimated coefficients, risks,
  146.        shrinkage factors, etc.) are plotted vertically against a horizontal
  147.        indicator of the extent of shrinkage (from "no" shrinkage at the least
  148.        squares estimates all the way to "total" shrinkage, where all
  149.        coefficient estimates for non-constant regressor variables are zero.)
  150.  
  151.        PathProj graphics are quite different from traditional trace displays.
  152.        Projection plots focus on two-dimensional views that depict the
  153.        shrinkage path as a curve from an initial point (representing least
  154.        squares) to the origin, [0,0].  There would be no loss in information
  155.        in depicting a trace with only two non-constant regressors as a
  156.        projection plot.  But projection plots usually convey a user-specified
  157.        focussing of attention onto some 2-dimensional linear subspace of a
  158.        (much) larger space.
  159.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 4 of 16
  160.  
  161.  
  162.  
  163.                            ┌───────────────────────────────┐
  164.        ────────────────────┤ Computing System Requirements ├──────────────────
  165.                            └───────────────────────────────┘
  166.  
  167.        PathProj.EXE requires your personal computer to be fully IBM-compatible
  168.        and to be running IBM PC-DOS or Microsoft MS-DOS version 2.0 or
  169.        higher.  PathProj uses the screen handling capabilities of a CGA, EGA,
  170.        or VGA graphics card/monitor.  If you system has only a Monochrome
  171.        Graphics Adapter (MGA) card or Hercules Graphics Card (HGC), you could
  172.        "simulate" CGA graphics capabilities in order to view trace displays.
  173.        For example, if you have SIMCGA.COM (version 4.0, July 1987) by C. P.
  174.        Guzis, you could make the SIMCGA system "memory resident" before
  175.        invoking PathProj.
  176.  
  177.                                 DOS Prompt> simcga 3
  178.  
  179.        WARNING:  Your CONFIG.SYS file should specify at least...
  180.  
  181.                                       files=20
  182.  
  183.                            ┌─────────────────────────────┐
  184.        ────────────────────┤ Graphical Design Philosophy ├────────────────────
  185.                            └─────────────────────────────┘
  186.  
  187.        PathProj uses CGA (medium resolution, 320x200 pixel) graphics because
  188.        all true graphics hardware for IBM-compatible personal computers has
  189.        at least this (minimum) capability.  Besides, the (8x8) text font for
  190.        this resolution resides in ROM within your system.  But using CGA also
  191.        means that there isn't enough resolution to draw "nice" labels, tick
  192.        marks, and numerical values along axes without greatly reducing the
  193.        size of the TRACE plot window.  I certainly did not want to use any
  194.        sort of reduced-size plot; rather, I decided to emphasize INTERACTIVE
  195.        (dynamic, on-screen annotation) methods for high-lighting / reading
  196.        numerical values directly off of shrinkage TRACE screen displays.
  197.        [You interact with the display using the I, V, H, N, and arrow keys as
  198.        explained below.]
  199.  
  200.        The PathProj plot window is square, rather than oblong, to emphasize
  201.        that the horizontal and vertical units of measurement are identical
  202.        for coefficient projections, i.e. they have an "aspect ratio" of one.
  203.        You can view a "help" screen by pressing either the SpaceBar or
  204.        function key F1.  The resulting HELP screen tells you which keys to
  205.        press to activate and move the on-screen cursor and/or how to
  206.        dynamically annotate, save, or print the screen display.  And you can
  207.        always return to the Menus simply by repeated pressing of the ENTER or
  208.        Escape keys.
  209.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 5 of 16
  210.  
  211.  
  212.  
  213.                               ┌─────────────────────────┐
  214.        ───────────────────────┤ File Naming Conventions ├─────────────────────
  215.                               └─────────────────────────┘
  216.  
  217.        PathProj assumes that you have (or someone else has) already performed
  218.        ridge calculations using one of our softRX systems, each of which
  219.        writes its output to a series of eight (or more) ASCII files.  These
  220.        files have a common FILENAME (of at most 8 characters) and a
  221.        3-character DOS extension, ending with the two letters "RX".
  222.  
  223.        By convention, the filename should not only indicate which set of
  224.        regressor and response data are being analyzed but also which
  225.        numerical value of the shrinkage path "shape" parameter, Q, was used
  226.        in the computations.
  227.  
  228.            For example, the filename "mpg0" labels files associated with
  229.            analysis of "gas mileage data" [ Hocking(1976), "The Analysis and
  230.            Selection of Variables in Regression," Biometrics 32, 1-51 ] using
  231.            Hoerl-Kennard "ordinary" ridge regression, Q = 0.
  232.  
  233.        The 3-character DOS extensions used by softRX software for generalized
  234.        ridge regression analysis are:
  235.  
  236.                              .PRX    ...Parameters and variable names,
  237.  
  238.                              .CRX    ...generalized ridge Coefficients,
  239.                              .RRX    ...Risk (mean-sq-error) estimates,
  240.                              .ERX    ...Excess Eigenvalues (OLS-Ridge),
  241.                              .IRX    ...Inferior direction cosines, and
  242.                              .DRX    ...shrinkage DELTA factors.
  243.                              .LRX    ...likelihood contour quadratic forms.
  244.  
  245.                              .XRX    ...regressor matrix coordinates.
  246.                              .YRX    ...response  vector coordinates.
  247.  
  248.        NOTE: .RRX, .ERX, .DRX & .YRX files are not presently used by PathProj.
  249.  
  250.        PathProj cannot make plots for a data set unless it can find the
  251.        corresponding .PRX file; it uses the information from the first six
  252.        lines of this file in projection plots of both types.  For example,
  253.        both "mpg0.PRX" and "mpg.PRX" contain...
  254.  
  255.        Line  1:         4 = P, number of regressors (non-constant predictors)
  256.        Line  2:        32 = N, number of observations
  257.        Line  3:         8 = STEPSPU, steps per unit change in MCAL
  258.        Line  4:         0 = QSHAPE of the shrinkage path
  259.        Line  5:        XNAM= CYLNDS CUBINS HPOWER WEIGHT
  260.        Line  6:        YNAM= MPG
  261.        Line  7:          0.8182   0.0000   0.0000
  262.        Line  8:          0.7383   0.1618   0.1250   Note: Lines 7 through 39
  263.         ***                                               contain a 33 by 3
  264.        Line 38:          2.4907 900.7049   3.8750         matrix with columns
  265.        Line 39:          2.7772     +INF   4.0000         TMSE, K, and MCAL.
  266.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 6 of 16
  267.  
  268.  
  269.  
  270.            NOTE: Lines 3 and 4 are present in "mpg.PRX" simply for format
  271.            uniformity; STEPSPU and QSHAPE are meaningless for .XRX files.
  272.  
  273.        The other 3 types of files used by PathProj ( .CRX, .IRX, and .XRX )
  274.        will each contain a matrix with P columns and ( 1 + P * STEPSPU )
  275.        rows...for MCAL = 0 to MCAL = P.  (See the APPENDIX for technical
  276.        information about MCAL.)
  277.  
  278.                               ┌───────────────────────────┐
  279.                               │ ┌───────────────────────┐ │
  280.        ═════════════════════════╡ PathProj Walk-Through ╞══════════════════════
  281.                               │ └───────────────────────┘ │
  282.                               └───────────────────────────┘
  283.  
  284.        To use PathProj, several RXridge or RelaxR output files (*.PRX, etc.)
  285.        MUST be located in the current working directory.  Furthermore, the
  286.        PathProj.EXE file must also either be located in that same directory
  287.        or else in a some location named in your DOS PATH= environment
  288.        variable.  The first step in use of PathProj is thus usually to
  289.        "Change Directories" to the place where your RXridge or RelaxR output
  290.        files are located.  For example, you might need to enter the following
  291.        three sorts of commands at your DOS> prompt...
  292.  
  293.                                       c:
  294.                                       cd \srx\mydata
  295.                                       pathproj
  296.  
  297.        The above three commands: (1) make the "C" partition of your hard-disk
  298.        active, (2) change directories to the "MYDATA" sub-directory of the
  299.        C:\SRX directory, and (3) launch PathProj.
  300.  
  301.        Next, you must select the filename of a softRX ".PRX" file using the
  302.        bounce-bar menu on the FILENAME Specification Screen:
  303.  
  304.            ┌─────────────────────────────────────────────────────────────┐
  305.            │               F I L E N A M E  Specification Screen         │
  306.            │                                                             │
  307.            │                                                             │
  308.            │ ╔FileNames╗   Arrow Keys: Move Highlight Bar Up / Down.     │
  309.            │ ║MPG      ║                                                 │
  310.            │ ║MPG0█████║   Return Key: Selects the Highlighted File.     │
  311.            │ ╚═════════╝                                                 │
  312.            │               Escape Key: Quit......Terminate PathProj.     │
  313.            │                                                             │
  314.            │               Example FILENAMES...                          │
  315.            │                   mpg0         ...Hocking Q =  0 path.      │
  316.            │                   mpg          ...Hocking data coordinates. │
  317.            │                   cement-5     ...Hald    Q = -5 path.      │
  318.            │                   cement       ...Hald    data coordinates. │
  319.            └─────────────────────────────────────────────────────────────┘
  320.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 7 of 16
  321.  
  322.  
  323.  
  324.        Let us suppose you highlighted "mpg0" and then selected that filename by
  325.        pressing the enter key.  The next screen will then be...
  326.  
  327.                    ┌─────────────────────────────────────────────────┐
  328.                    │                                                 │
  329.                    │          M  A  I  N  *  M  E  N  U              │
  330.                    │                                                 │
  331.                    │    FILENAME : mpg0                              │
  332.                    │                                                 │
  333.                    │    Using RX Parameters... mpg0.prx              │
  334.                    │                                                 │
  335.                    │       1 ...Select Horizontal Axis               │
  336.                    │       2 ...Select Vertical Axis                 │
  337.                    │       3 ...Display Path Projection Plot         │
  338.                    │       4 ...Display Predictor Projections        │
  339.                    │       Q ...quit - Exit PathProj.                │
  340.                    │                                                 │
  341.                    │    Choose both 1 and 2 before either 3 or 4.    │
  342.                    │                                                 │
  343.                    │    Choice --> ___      Default = 1              │
  344.                    │                                                 │
  345.                    │    Press a Single Key :  1 2 3 4 Q or Enter     │
  346.                    │    Use ENTER key for Default Choice.            │
  347.                    │    Press Q key to Exit PathProj now.            │
  348.                    └─────────────────────────────────────────────────┘
  349.  
  350.        Accept the default (choice=1) by simply pressing the ENTER key.
  351.  
  352.        ------------------------------------------------------------------------
  353.        Choice = 1 :              Select Horizontal Axis
  354.        ------------------------------------------------------------------------
  355.  
  356.        Modify Horizontal Axis ? <Y|N>
  357.                                      -1        -.5        0        +.5       +1
  358.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  359.         1  CYLNDS =    1.0000                             |▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
  360.         2  CUBINS =    0.0000                             |
  361.         3  HPOWER =    0.0000                             |
  362.         4  WEIGHT =    0.0000                             |
  363.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  364.                                      -1        -.5        0        +.5       +1
  365.  
  366.        Press the N key (or the ENTER key) to accept this default choice for the
  367.        horizontal axis direction on the projection plot - i.e. parallel to
  368.        variable number 1.
  369.  
  370.        But, if you press the Y key instead, you will be able to move DOWN the
  371.        predictor variable listing making potential changes to the direction
  372.        cosines.  As soon as you press the ENTER key with the cursor on the last
  373.        direction cosine in the list, PathProj will re-normalize the direction
  374.        cosine vector to total length one, redisplay it, and return the cursor
  375.        to the <Y|N> prompt line.  Pressing the N or ENTER key now signals that
  376.        the revised horizontal direction cosine vector is acceptable to you.  So
  377.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 8 of 16
  378.  
  379.  
  380.  
  381.        keep pressing the Y key and modifying the direction cosines until you
  382.        have exactly the direction you want for the horizontal axis.
  383.  
  384.        EXAMPLE 1: You might respond y(es) and modify the screen as follows:
  385.  
  386.        Modify Horizontal Axis ? <Y|N>  y
  387.                                      -1        -.5        0        +.5       +1
  388.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  389.         1  CYLNDS > 1                                     |▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
  390.         2  CUBINS > 1                                     |
  391.         3  HPOWER > 0                                     |
  392.         4  WEIGHT > 0                                     |
  393.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  394.                                      -1        -.5        0        +.5       +1
  395.  
  396.        As soon as you press the ENTER key with the cursor on position 4, above,
  397.        PathProj will re-normalize the direction cosine vector to...
  398.  
  399.        Modify Horizontal Axis ? <Y|N>
  400.                                      -1        -.5        0        +.5       +1
  401.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  402.         1  CYLNDS =    0.7071                             |▀▀▀▀▀▀▀▀▀▀▀▀▀▀
  403.         2  CUBINS =    0.7071                             |▀▀▀▀▀▀▀▀▀▀▀▀▀▀
  404.         3  HPOWER =    0.0000                             |
  405.         4  WEIGHT =    0.0000                             |
  406.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  407.                                      -1        -.5        0        +.5       +1
  408.  
  409.        ------------------------------------------------------------------------
  410.        Choice = 2 :              Select Vertical Axis
  411.        ------------------------------------------------------------------------
  412.  
  413.        Choice number 2 will be the default when you return to the MainMenu
  414.        after making choice=1.  A screen similar to that for choice = 1 will
  415.        appear, except you will now be specifying a vertical projection axis.
  416.  
  417.        Modify Vertical Axis ? <Y|N>
  418.                                      -1        -.5        0        +.5       +1
  419.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  420.         1  CYLNDS =    0.0000                             |
  421.         2  CUBINS =    1.0000                             |▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
  422.         3  HPOWER =    0.0000                             |
  423.         4  WEIGHT =    0.0000                             |
  424.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  425.                                      -1        -.5        0        +.5       +1
  426.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 9 of 16
  427.  
  428.  
  429.  
  430.        Press the N key (or the ENTER key) to accept the default value for the
  431.        vertical axis on projection plots.  The default shown above is to use
  432.        variable number 2 as the vertical axis on projection plots.
  433.  
  434.        If you press the Y key, you will again be able to move DOWN the
  435.        predictor variable listing making potential changes to direction
  436.        cosines.  When you press the ENTER key with the cursor on the last
  437.        variable in the list, PathProj will not only re-normalize the direction
  438.        cosine vector to total length one but will also make it...
  439.  
  440.             ORTHOGONAL to the vector of horizontal axis direction cosines.
  441.  
  442.        Pressing the N or ENTER key now signals that the revised vertical
  443.        direction cosine vector is acceptable to you.  So, again, keep pressing
  444.        the Y key and modifying direction cosines until you have exactly what
  445.        you want for the vertical axis.
  446.  
  447.        EXAMPLE 2: If you modified the default for axis 1 as described in
  448.        example 1, above, the the default for axis 2 automatically becomes:
  449.                                      -1        -.5        0        +.5       +1
  450.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  451.         1  CYLNDS =   -0.7071              ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀|
  452.         2  CUBINS =    0.7071                             |▀▀▀▀▀▀▀▀▀▀▀▀▀▀
  453.         3  HPOWER =    0.0000                             |
  454.         4  WEIGHT =    0.0000                             |
  455.        No. Name   = Direction Cosine  +----+----+----+----+----+----+----+----+
  456.  
  457.        EXAMPLE 3: If you want to see somewhat "distorted" projections onto a
  458.        pair of oblique (rather than mutually orthogonal) axes, proceed as
  459.        follows.  First use choice=1 to specify ANY direction orthogonal to your
  460.        desired vertical axis.  Next, use choice=2 to specify that desired
  461.        vertical axis.  Then use choice=1 to change the horizontal axis as
  462.        desired.  Finally, go directly to choice=3 or choice=4 without viewing
  463.        or redoing choice=2.
  464.  
  465.        ------------------------------------------------------------------------
  466.        Choice = 3 :       Ridge Coefficient Path-Projection
  467.                           with Inferior Direction Depiction
  468.        ------------------------------------------------------------------------
  469.  
  470.        This projection plot has horizontal and vertical magenta axes that
  471.        intersect at the ORIGIN, [0,0], which is the end-point of the ridge
  472.        path.  The projection of the least-squares regression coefficient vector
  473.        onto the 2-dimensional subspace you selected is marked with a white BOX.
  474.        And the projection of the ridge path is drawn as a cyan curve that
  475.        connects the white, least-squares BOX with the shrinkage ORIGIN.
  476.  
  477.        We now list and discuss the "interactive" graphical options you have
  478.        each time that PathProj displays a coefficient projection plot...
  479.  
  480.        ENTER or ESCape key...will return you to the menus so you can switch
  481.                 data sets, axes, and/or to a "coordinate" (rather than
  482.                 coefficient) projection plot.
  483.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 10 of 16
  484.  
  485.  
  486.  
  487.        I key....IDENTIFY points on the 2-dimensional projection of the
  488.                 shrinkage path.  You then use the right/left arrow keys to move
  489.                 a cyan BOX along the shrinkage path.  The horizontal and
  490.                 vertical coordinates of the BOX are displayed, along with the
  491.                 numerical value of the MultiColinearity ALlowance (MCAL) along
  492.                 the shrinkage path.
  493.  
  494.                 Pressing the RightArrow [or TabKey] increases MCAL by 1 [or 4]
  495.                 "steps."  This corresponds to moving to the right on a ridge
  496.                 TRACE, towards the shrinkage terminus at [0,0].  This increase
  497.                 in MCAL may move the BOX left, up or down rather than right on
  498.                 your screen, but you will always be moving toward the
  499.                 intersection of the magenta axes at [0,0].
  500.  
  501.                 Pressing the LeftArrow [or BackSpace] decreases MCAL by 1 [or 4]
  502.                 "steps."  This corresponds to moving to the left on a ridge
  503.                 TRACE, towards the least squares starting point of the shrinkage
  504.                 path.  This decrease in MCAL may move the cyan BOX right, up or
  505.                 down rather than left on your screen, but you will always be
  506.                 moving toward the white least squares box.
  507.  
  508.                 An estimated "Inferior Direction" usually appears as ridge
  509.                 shrinkage progresses, and the projection of a vector of "unit"
  510.                 length onto your 2-dimensional subspace is shown as a double-
  511.                 headed magenta ARROW emerging from the BOX that marks your
  512.                 present position along the ridge path.
  513.  
  514.                    It really doesn't make much difference how long this ARROW
  515.                    "appears" to be, so you may change its apparent length on
  516.                    your screen with the up and down arrow keys.  On the other
  517.                    hand, you do need to monitor the size of the component that
  518.                    lies "in" (parallel to rather than orthogonal to) your
  519.                    2-dimensional subspace.  This relative size (projected
  520.                    length per unit of total length) is listed on your screen
  521.                    as "INFERIOR LENGTH = ".  Note, in particular, that this
  522.                    relative size does not change when you change the apparent
  523.                    length of the ARROW.
  524.  
  525.                    LENGTH = 0.0000 indicates either that no inferior direction
  526.                    exists for that MCAL value or that it is orthogonal to your
  527.                    chosen subspace.  LENGTH = 1.0000 would indicate not only
  528.                    that an inferior direction exists but also that it lies
  529.                    entirely "within" (parallel to) the 2-dimensional subspace
  530.                    you are viewing.
  531.  
  532.                 Finally, press ENTER (to eliminate the on-screen BOX around a
  533.                 path point and the inferior direction projection ARROW) or the
  534.                 S(pecial) key to save or print the annotated screen.
  535.  
  536.        L key....Projected constant LIKELIHOOD contours around the projection
  537.                 of the Least Squares point in fitted regression coefficient
  538.                 space.
  539.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 11 of 16
  540.  
  541.  
  542.  
  543.                    You may use the up and down arrow keys to increase or
  544.                    decrease the apparent density of these contours.
  545.  
  546.                 NOTES: Unless only 2 coefficients are in your model, PathProj
  547.                 does NOT show the likelihood ellipses that apply to only the
  548.                 two specific linear combinations of regression coefficients
  549.                 being displayed.  Rather, PathProj shows the outlines of the
  550.                 overall, p ( > 2 ) dimensional hyper-ellipsoids projected
  551.                 down onto the same 2-dimensional space as the shrinkage path.
  552.                 In other words, the likelihood contours displayed account for
  553.                 the fact that more than 2 regression coefficients may be in
  554.                 your model.
  555.  
  556.        H key....to review the Horizontal Axis direction cosine screen.
  557.  
  558.        V key....to review the  Vertical  Axis direction cosine screen.
  559.  
  560.        N key....Replaces the PathProj plot with a "NAMES and NUMERICS" screen.
  561.                 Use the right arrow, left arrow, Tab, and BackSpace keys to
  562.                 change MCAL [by 1 or 4 steps]...same as with the I key, above.
  563.                 Finally, press ENTER just once to return to graphics mode.
  564.  
  565.        S key....SPECIAL KEY signal.  A message will appear to indicate which
  566.                 keys have been activate for screen saves, dumps, etc.  Press
  567.                 any other key to deactivate the special keys...
  568.  
  569.                       L or F10 dumps screen to HP LaserJet/DeskJet on LPT1
  570.                       I or F9  dumps screen to IBM Graphics Dot Matrix on LPT1
  571.                       E or F8  dumps screen to Epson FX, JX, or LQ on LPT1
  572.                       O or F7  dumps screen to Okidata Microline on LPT1
  573.                       S = SAVE screen in PCX format to specified filename
  574.                       Q = QUIT...Immediate Termination!!!
  575.  
  576.                 NOTE: You may also invoke the DOS "graphics" command before
  577.                       entering PathProj and use the Shift-PrtSc key combination
  578.                       for screen dumps.  With some types of dot-matrix printer,
  579.                       this method will produce a better reproduction of your
  580.                       screen than any of the built-in (I, E, or O) keys.
  581.  
  582.        F1 key or SpaceBar...displays a "help" screen that summarizes the above.
  583.  
  584.        ------------------------------------------------------------------------
  585.        Choice = 4 :      Predictor (Coordinate) Projections
  586.        ------------------------------------------------------------------------
  587.  
  588.        This projection plot also has horizontal and vertical magenta axes that
  589.        intersect at the ORIGIN, [0,0].  (This will be the mean of predictor
  590.        coordinates IF they have been "centered.")  The projections of all N
  591.        predictor combinations onto the 2-dimensional subspace you selected are
  592.        marked with cyan BOXes.
  593.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 12 of 16
  594.  
  595.  
  596.  
  597.        NOTE: Predictor coordinates and regression coefficient estimates should
  598.        be visualized as existing in two different Euclidean spaces, each of
  599.        dimension P.  Under normal distribution theory, the two sets of contours
  600.        of constant likelihood are both hyper-ellipsoids with the same principal
  601.        axes (eigenvectors.)  But X'X characterizes the dispersion ellipsoids
  602.        for predictor coordinates, while the inverse of X'X characterizes the
  603.        dispersion ellipsoids of regression coefficients.  Thus, coordinate and
  604.        coefficient eigenvalues (principal axis variances) are the reciprocals
  605.        of each other.  Limited "spread" in the observed predictor coordinates
  606.        along a certain direction translates directly into high variability in
  607.        estimates along that same direction in coefficient space.
  608.  
  609.        We now list and discuss the "interactive" graphical options you have
  610.        when PathProj displays a coordinate projection plot...
  611.  
  612.        ENTER, ESC, or letter M key...will return you to the above menus so
  613.                 you can switch data sets, axes, and/or to a "coefficient"
  614.                 (rather than coordinate) projection plot.
  615.  
  616.        I key....Displays a magenta on-screen BOX that you can move from point
  617.                 to point with the left and right arrow keys.  Horizontal and
  618.                 vertical coordinates (as well as observation number) for the
  619.                 high-lighted point are also listed on your screen. (The
  620.                 observation number is simply the row index of a predictor
  621.                 combination in the X matrix.)  Right arrow high-lights the
  622.                 point with the next higher row index; left arrow high-lights
  623.                 the point with the next lower row index.
  624.  
  625.        L key....Projected constant LIKELIHOOD contours around the centroid of
  626.                 the projections of the given predictor variable coordinates.
  627.  
  628.                    You may use the up and down arrow keys to increase or
  629.                    decrease the apparent density of these contours.
  630.  
  631.                 NOTES: Unless only 2 predictor variables are in your model,
  632.                 PathProj does NOT show the likelihood ellipses that apply to
  633.                 only the two specific linear combinations of predictors being
  634.                 displayed.  Rather, PathProj shows the outlines of the
  635.                 overall, p ( > 2 ) dimensional hyper-ellipsoids projected
  636.                 down onto the same 2-dimensional space as the X variable
  637.                 combinations.  In other words, the likelihood contours
  638.                 displayed account for the fact that more than 2 regressors
  639.                 may be in your model.
  640.  
  641.        H key....to review the Horizontal Axis direction cosine screen.
  642.  
  643.        V key....to review the  Vertical  Axis direction cosine screen.
  644.  
  645.        N key....Replaces the PathProj plot with a "NAMES and NUMERICS" screen.
  646.                 Use the right arrow, left arrow, Tab, and BackSpace keys to
  647.                 change row indices, 1 to N, of predictor combinations...in
  648.                 increments of either 1 or 4, as with the I key.  Finally,
  649.                 press ENTER just once to return to graphics mode.
  650.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 13 of 16
  651.  
  652.  
  653.  
  654.        S key....SPECIAL KEYS are the same as for coefficient plots, above.
  655.  
  656.        F1 key or SpaceBar...displays a "help" screen that summarizes the above.
  657.  
  658.        ┌────────────────────────────────────────────────────────────────────┐
  659.        │  TECHNICAL APPENDIX......"Shape" and "Extent" of Shrinkage in the  │
  660.        │                          Two-Parameter Generalized Ridge Family.   │
  661.        └────────────────────────────────────────────────────────────────────┘
  662.  
  663.        Q = the ridge parameter that controls the "shape" (or "curvature") of
  664.            the ridge path through regression coefficient likelihood space.
  665.  
  666.            Q = +1 ...yields uniform shrinkage (all Shrinkage Factors equal.)
  667.            Q =  0 ...yields Hoerl-Kennard "ordinary" ridge regression.
  668.            Q = -5 ...is usually very close, numerically, to "Principal
  669.                      Components Regression," with exact agreement in the
  670.                      limit as Q approaches minus infinity.
  671.  
  672.        MCAL = the "Multicollinearity Allowance" parameter that indexes
  673.                   the "extent" of ridge shrinkage along any ridge path.
  674.             = P - trace( P x P diagonal matrix of Delta Shrinkage Factors ).
  675.  
  676.        MCAL = 0 ...yields zero shrinkage.  This is the "starting point" of the
  677.                    ridge path, where the ridge estimator coincides with the
  678.                    Ordinary Least Squares estimator at the left-hand extreme.
  679.        MCAL = P ...yields "total" shrinkage.  This is the right-hand "end
  680.                    point" of the path, where the ridge estimator is all ZEROS.
  681.  
  682.        where...
  683.           P = Number of Predictor Variables (non-constant Regressors),
  684.           N = Number of Observations (or Regressor Combinations), and
  685.  
  686.           generalized ridge regression "Shrinkage Factors" are of the form...
  687.  
  688.                                                      EigenValue
  689.                             Delta  =    ----------------------------------
  690.                                         EigenValue + Konstant*EigenValue^Q
  691.  
  692.           or, equivalently,...                           1
  693.                                    =      -----------------------------
  694.                                           1 + Konstant*EigenValue^(Q-1)
  695.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 14 of 16
  696.  
  697.  
  698.  
  699.        Empirical evidence that choice of "shape" as well as "extent" of
  700.        shrinkage can be rewarding...
  701.                                                  Min.MeanSqErr  Min.MeanSqErr
  702.        Data Set        Number of     Number of   Amount of      Shrinkage
  703.        Name            Observations  Predictors  Shrinkage      Shape
  704.        =============   ============  ==========  =============  =============
  705.  
  706.        FACE data       N = 21,       P = 10,     MCAL = 2.3,    Qshape = +.77
  707.  
  708.        Air Pollution   N = 60,       P = 15,     MCAL = 5.4,    Qshape = +.07
  709.        and Mortality
  710.  
  711.        Acetylene       N = 16,       P = 9,      MCAL = 5.2,    Qshape = -.35
  712.  
  713.        Ten-Factor      N = 36,       P = 10,     MCAL = 3.6,    Qshape = -.78
  714.  
  715.        Stack Loss      N = 15,       P = 3,      MCAL = 0.24,   Qshape = -.95
  716.  
  717.        Mantell, Bell   N = 25,       P = 3,      MCAL = 0.95,   Qshape = -1.1
  718.        Productivity
  719.  
  720.        Wood Beam       N = 10,       P = 2,      MCAL = 0.26,   Qshape = -1.4
  721.  
  722.        Longley         N = 16,       P = 6,      MCAL = 4.0,    Qshape = -1.4
  723.  
  724.        Hocking MPG     N = 32,       P = 10,     MCAL = 8.8,    Qshape = -7.6
  725.  
  726.        Diesel data     N = 44,       P = 9,      MCAL = 4.9,    Qshape =  -20
  727.  
  728.        Portland        N = 13,       P = 4,      MCAL = 3.0,    Qshape = -INF.
  729.        Cement, Hald.
  730.  
  731.        =============   ============  ==========  ============   =============
  732.        Data Set        Number of     Number of   Amount of      Shrinkage
  733.        Name            Observations  Predictors  Shrinkage      Shape
  734.                                                  Min.MeanSqErr  Min.MeanSqErr
  735.  
  736.                             ┌────────────────────────────┐
  737.        ┌────────────────────┤ PathProj UpDate History... ├────────────────────┐
  738.        │                    └────────────────────────────┘                    │
  739.        │ 8904-06 ...developmental versions                                    │
  740.        │ 8907    ...beta test version                                         │
  741.        │ 8910    ...cosmetic changes to menus, variable name defaults, etc.   │
  742.        │ 9002    ...add ability to save\print annotated path projections      │
  743.        │ 9004    ...LZEXE ver0.90 compression (c) 1989 Fabrice Bellard        │
  744.        │ 9008    ...bounce-bar filename menu; change-of-address; LZEXE v0.91  │
  745.        │ 9010    ...change screen save file to .PCX format                    │
  746.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 15 of 16
  747.  
  748.  
  749.  
  750.        │ 9012    ...fix bounce-bar selection menu for monochrome screens      │
  751.        │ 9103    ...change permanent address; update documentation files      │
  752.        │ 9201    ...change default responses; shorten screen pause delays     │
  753.        │ 9303    ...major documentation revision/update.                      │
  754.        │ 9305    ...add capability to draw constant likelihood contours.      │
  755.        │         ...depict inferior-direction as arrows in both orientations. │
  756.        └──────────────────────────────────────────────────────────────────────┘
  757.  
  758.                                 ┌─────────┐
  759.                           ┌─────┴───┐     │               (R)
  760.                         ──│         │o    │──────────────────
  761.                           │   ┌─────┴╨──┐ │  Association of
  762.                           │   │         │─┘  Shareware
  763.                           └───│    o    │    Professionals
  764.                         ──────│    ║    │────────────────────
  765.                               └────╨────┘    MEMBER
  766.  
  767.        ASP wants to make sure that the shareware principle works for you. If
  768.        you are unable to resolve a shareware-related problem with an ASP member
  769.        by contacting the member directly, ASP may be able to help. The ASP
  770.        Ombudsman can help you resolve a dispute or problem with an ASP member,
  771.        but does not provide technical support for members' products.  Please
  772.        write to the ASP Ombudsman at 545 Grover Road, Muskegon, MI 49442-9427
  773.        or send a CompuServe Mail message to 70007,3536.
  774.  
  775.         ┌───────────────────────────────────────────────────────────────────┐
  776.         │ In an effort to make it easier for you to obtain your favorite    │
  777.         │ software, the latest updates of many ASP authored programs can be │
  778.         │ found on the BBSs listed below.  These BBSs are members of the... │
  779.         ├───────────────────────────────────────────────────────────────────┤
  780.         │                      ASP Hub Network (AHN).                       │
  781.         └───────────────────────────────────────────────────────────────────┘
  782.  
  783.        Zone 1 - East Coast USA
  784.  
  785.             North-East Coast                      Mid-East Coast
  786.  
  787.        [Site #1]                             [Site #2]
  788.             The Consultant BBS                    The Break RBBS <East>
  789.             Jay Caplan                            Bruce Jackson
  790.             P.O. Box 8571                         4660 Whitaker PL
  791.             New York NY 10116-4655                Dale City, VA 22193-3011
  792.             Data1) 718-837-3236                   Data1) 703-680-9269
  793.             Data2)                                Data2) 703-551-0000
  794.          PathProj, version 9305 . . . . . . . . . . . . . . . Page 16 of 16
  795.  
  796.  
  797.  
  798.        Zone 2 - North Mid-USA               Zone 3 - Southern Mid-USA
  799.  
  800.        [Site #3]                             [Site #4]
  801.             The Twilight Zone                     The DataExchange BBS
  802.             John Hrusovszky                       Don Morris
  803.             1119 E. Main St                       119 Herring St.
  804.             Auburndale, WI 54412                  Leesville, LA 71446
  805.             Data1) 715-652-2758                   Data1) 318-239-2122
  806.             Data2)                                Data2)
  807.  
  808.        Zone 4 - West Coast USA
  809.  
  810.        [Site #5]                            [Site #6]
  811.             Attention to Details BBS             Space BBS
  812.             Clint Bradford                       Owen Hawkins
  813.             5085 Trail Canyon Dr                 PO Box X
  814.             Mira Loma CA 91752                   Menlo Park, CA 94026
  815.             Data1) 909-681-6221                  Data1) 415-323-4398 (ASP Files)
  816.             Data2)                               Data2) 415-323-4193 (Other Files)
  817.  
  818.        Zone 5 - Canada
  819.  
  820.        [Site #7]
  821.             Knightec BBS
  822.             Phil Knight
  823.             35 Robb Blvd #6
  824.             Orangeville, ONT L9W 3L1
  825.             Data1) 519-940-0007
  826.             Data2)
  827.  
  828.           ┌──────────────────────────────────────────────────────────────┐
  829.           │   These BBSs are bound by special agreement with the ASP.    │
  830.           │    In the case of a dispute contact the ASP Omsbudsman.      │
  831.           └──────────────────────────────────────────────────────────────┘
  832.  
  833.  
  834.  
  835.  
  836.  
  837.  
  838.  
  839.  
  840.  
  841.  
  842.  
  843.  
  844.  
  845.  
  846.