home *** CD-ROM | disk | FTP | other *** search
/ OS/2 Shareware BBS: 10 Tools / 10-Tools.zip / PMTEST30.ZIP / PMTESTER.DOC < prev    next >
Text File  |  1991-01-31  |  15KB  |  464 lines
  1.  
  2.  
  3.  
  4.                               PMTESTER  3.00 Demo
  5.                               -------------------
  6.  
  7.                     An Automated PM Application Testing Tool
  8.                     ----------------------------------------
  9.  
  10.  
  11.   Description
  12.   -----------
  13.  
  14.        PMTESTER is an OS/2 PM application testing tool.
  15.   PMTESTER records all mouse and keyboard input while you perform
  16.   a test and allows you to replay the test when desired.  And 
  17.   because each test can be associated with one or more groups,
  18.   you can create a complete regression test suite in which all or 
  19.   selected tests can be replayed at will to ensure your application 
  20.   remains error-free after modifications.  Since this is a demo, 
  21.   saving of test groups and test cases will not occur.
  22.        Although not designed for creating demos, this tool can very
  23.   well be used to automate demos.  The demo is documented via the
  24.   online "Help" built-in the product.
  25.  
  26.   Features
  27.   --------
  28.  
  29.  NEW!  1.  Time Delayed Test Case Recording and Recording File Editing !
  30.  
  31.  NEW!  2.  Built-in Screen Capture and Comparison - Color and Monochrome !
  32.  
  33.        3.  Associate Multiple Test Cases with Test Groups
  34.  
  35.        4.  Associate Multiple Test Groups with a Product-Level
  36.  
  37.        5.  Multiple Product-Level Creation and Deletion
  38.  
  39.        6.  Automatic Execution of Selected Test Cases within a Test Group
  40.  
  41.        7.  Automatic Execution of Selected Test Groups within a Product-Level
  42.  
  43.        8.  Automatic Execution and Logging of Test Case Confirmation
  44.            Programs or DLL Routines
  45.  
  46.  NEW!  9.  Batch Execution of Test Cases !
  47.  
  48.  NEW!  10. Import/Export Test Groups and Test Cases !
  49.  
  50.        11. Enable/Disable Logging of Test Case Execution abd Confirmation
  51.            Routine Outcomes
  52.  
  53.        12. Built-in File Comparison Confirmation Method 
  54.  
  55.        13. Modifiable Test Group and Test Case Description
  56.  
  57.   PMTESTER                 A Regression Testing Tool                Page 1
  58.               (C) Copyright 1989-1991 Princeton Windowing Systems
  59.  
  60.        14. Internal Clipboard Functions for Test Case and Test Group
  61.            Manipulations (Cut, Copy and Paste)
  62.  
  63.        15. One Touch Window Reorganization Key
  64.  
  65.        16. Adjustable Audio Indication of Test Case Execution and Recording
  66.  
  67.        17. User Configurable Test Case Execution Abort and Record Termination
  68.            Hotkeys
  69.  
  70.        18. Adjustable Test Case Execution Speed
  71.  
  72.        19. Complete On-line Help
  73.  
  74.  NEW!  20. Display Log Function with Start and End Date and Time, Test Group
  75.            and Test Case Names !
  76.  
  77.  
  78.   Copyright
  79.   ---------
  80.  
  81.        PMTESTER is (C) Copyright 1989-1991 Princeton Windowing 
  82.   Systems.  All rights are reserved by the copyright owner.  This 
  83.   documentation is (C) Copyright 1989-1991 Princeton Windowing 
  84.   Systems.  All rights are reserved on this documentation by the
  85.   copyright owner.
  86.  
  87.        No part of PMTESTER or this documentation may be reproduced,
  88.   stored in a retrieval system, or transmitted in any form or by
  89.   any means, electronic mechanical, photographic, magnetic, or
  90.   otherwise except in accordance with the Licensing Agreement
  91.   contained in this document, or without the express written
  92.   consent of Princeton Windowing Systems.
  93.  
  94.  
  95.   Licensing Agreement
  96.   -------------------
  97.  
  98.        Permission is granted for the transfer of the PMTESTER
  99.   program and this documentation by any means under the condition
  100.   that the program and this document are together on the transfer
  101.   medium.
  102.  
  103.        The PMTESTER program is provided for demonstration purposes.
  104.  
  105.        You are also granted license to transfer this program as
  106.   long as it is accompanied by this document to electronic bulletin
  107.   boards (BBS's), or to your friends.
  108.  
  109.        You are not permitted to change this document, or to modify 
  110.   or reverse compile/assemble the PMTESTER program.
  111.  
  112.  
  113.  
  114.   PMTESTER                 A Regression Testing Tool                Page 2
  115.               (C) Copyright 1989-1991 Princeton Windowing Systems
  116.  
  117.  
  118.  
  119.   Disclaimer
  120.   ----------
  121.  
  122.        The PMTESTER program and all accompanying documentation are
  123.   provided on an "AS IS" basis.  This means that Princeton
  124.   Windowing Systems does not warrant, guarantee, or make any other
  125.   representations regarding the use, or results of use, of the PMTESTER
  126.   demo or the documentation in terms of accuracy, reliability,
  127.   correctness, currentness, or otherwise.  Princeton Windowing Systems
  128.   will not be held responsible for any direct, indirect, incidental, or
  129.   consequential damages including damages for loss of business
  130.   profits, business interruption, loss of business information, or
  131.   otherwise arising from the use or inability to use PMTESTER, even
  132.   if Princeton Windowing Systems has been advised of the possibility
  133.   of such damages.  The use of this product is on an "AT YOUR OWN 
  134.   RISK" basis.
  135.  
  136.  
  137.  
  138.   Ordering the Commercial Version of PMTESTER
  139.   -------------------------------------------
  140.  
  141.        To order the commercial version(s) of PMTESTER, call or FAX to
  142.   (609) 921-6695 to place your order.  PMTESTER is available at
  143.   $395.00 per copy, plus shipping and handling.  You will be placed
  144.   on a mailing list for future update announcements upon ordering.
  145.  
  146.         
  147.  
  148.   System Requirements
  149.   -------------------
  150.  
  151.        The following software and hardware are required to run
  152.   PMTESTER:
  153.  
  154.        1. OS/2 Version 1.2 or higher
  155.  
  156.        2. An OS/2 compatible mouse
  157.  
  158.        3. 200K of hard disk space for the Product files and 
  159.           more as needed for storing Product-Levels and
  160.           test case recordings (100K +)
  161.  
  162.        4. 200K of RAM above that needed for existing applications
  163.  
  164.  
  165.  
  166.  
  167.  
  168.  
  169.  
  170.  
  171.  
  172.   PMTESTER                 A Regression Testing Tool                Page 3
  173.               (C) Copyright 1989-1991 Princeton Windowing Systems
  174.  
  175.  
  176.   Installation
  177.   ------------
  178.  
  179.        First create a subdirectory on your hard disk to hold the
  180.   PMTESTER files.  For example we will call our subdirectory TEST.
  181.  
  182.        e.g.     C:\TEST
  183.  
  184.        In order to run PMTESTER, you must change the LIBPATH 
  185.   statement in the CONFIG.SYS file to include the "*.DLL" files.
  186.   If you wish to set up a PATH for the new subdirectory (TEST), 
  187.   follow steps 1 through 4, otherwise skip step 4.
  188.  
  189.        1. Open the CONFIG.SYS file using any existing editor
  190.  
  191.        2. Set the LIBPATH statement:
  192.  
  193.           a. Place the PMTESTER subdirectory in the LIBPATH
  194.              statement.  For example, 
  195.  
  196.              set:  LIBPATH=C:\OS2\DLL;
  197.  
  198.                         to
  199.  
  200.                    LIBPATH=C:\OS2\DLL;C:\TEST;
  201.  
  202.  
  203.                         OR
  204.  
  205.  
  206.           b. Copy the "*.DLL" files on the PMTESTER Product Disk
  207.              into a directory already in the LIBPATH statement.
  208.              For example, assuming the "C:\OS2\DLL" subdirectory
  209.              is in the LIBPATH statement,
  210.  
  211.               type:   COPY ?:\?\*.DLL  C:\OS2\DLL
  212.  
  213.        3. You must set the PMTESTER environment variable.  Using 
  214.           the TEST subdirectory we created above, 
  215.  
  216.              set:    SET PMTESTER=C:\TEST\
  217.  
  218.           NOTE: The complete Drive\Path\FileName are necessary.
  219.  
  220.  
  221.  
  222.  
  223.  
  224.  
  225.  
  226.  
  227.  
  228.  
  229.  
  230.   PMTESTER                 A Regression Testing Tool                Page 4
  231.               (C) Copyright 1989-1991 Princeton Windowing Systems
  232.  
  233.  
  234.        4. To set the PATH statement for the C:\TEST subdirectory,
  235.  
  236.              change:  PATH=C:\;C:\OS2;C:\OS2\SYSTEM;
  237.  
  238.                               to
  239.               
  240.                       PATH=C:\;C:\OS2;C:\OS2\SYSTEM;C:\TEST;
  241.  
  242.  
  243.        5. You must copy all of the PMTESTER Product files to
  244.           the directory you created (C:\TEST).
  245.  
  246.              type:   COPY ?:\?\*.*  C:\TEST
  247.  
  248.              The following files should be copied:
  249.  
  250.              PMTESTER.EXE  - PMTESTER application executable
  251.              PWSUTILS.DLL  - Internal routines
  252.              PWSHOOKS.DLL  - Internal routines
  253.              PASSCASE.EXE  - Confirmation routine (Program - Pass)
  254.              PASSCASE.C    - Confirmation routine (Program source)
  255.              FAILCASE.EXE  - Confirmation routine (Program - Fail)
  256.              FAILCASE.C    - Confirmation routine (Program source)
  257.              PASSDLL.C     - Confirmation routine (DLL Function - Pass)
  258.              FAILDLL.C     - Confirmation routine (DLL Function - Fail)
  259.              PMTESTER.HLP  - PMTESTER online help
  260.              PMTESTER.DOC  - PMTESTER documentation
  261.              PMT.EXE       - Batch execution program
  262.              PMTDRIVE.CMD  - Sample batch file
  263.              PMTTEST.CMD   - Sample batch file
  264.  
  265.  
  266.  
  267.   Starting PMTESTER
  268.   -----------------
  269.  
  270.        Now you must reboot the system in order for the changes you
  271.   made in the CONFIG.SYS file to take effect.  If the C:\TEST
  272.   subdirectory is in the PATH statement, you will be able to run
  273.   PMTESTER from the OS/2 command prompt in the directory specified
  274.   by the PMTESTER environment variable by typing "PMTESTER".
  275.   Otherwise you can make an entry in the "Group - Main" window
  276.   for PMTESTER (e.g., with the Working directory set to C:\TEST)
  277.   or you can change directories to C:\TEST and type "PMTESTER"
  278.   You can start PMTESTER in Hide Mode by typing "PMTESTER h".  Hide
  279.   Mode is neccesary to run PMTESTER test cases from a bacth file.
  280.   (See *.CMD files).
  281.  
  282.  
  283.  
  284.  
  285.  
  286.  
  287.  
  288.   PMTESTER                 A Regression Testing Tool                Page 5
  289.               (C) Copyright 1989-1991 Princeton Windowing Systems
  290.  
  291.  
  292.   Usage
  293.   -----
  294.  
  295.        PMTESTER is an OS/2 PM application testing tool.  It enables
  296.   an application tester to record the keystroke and mouse events 
  297.   (in the OS/2 PM session) which exercise a specific path or path
  298.   segment in an application and play them back at a later time.  
  299.   Such a "test case" is associated with a "test group". Each
  300.   Product-Level can contain one or more test groups and each 
  301.   test group can contain one or more test cases.  There can also be
  302.   one or more test groups.
  303.  
  304.   A selected list of test groups can be run once or continually until
  305.   a tester uses a special (modifiable) hotkey to stop the test.  
  306.   Similarily, test cases can be selected within a test group for execution. 
  307.   Each test case is run in the order beginning from the top and progressing 
  308.   downwards.
  309.  
  310.  
  311.   Operations on a Product Level
  312.   -----------------------------
  313.  
  314.        When you first start PMTESTER you have to create a Product Level under
  315.   which you can begin creating test groups and test cases.  If there are 
  316.   existing Product Levels, you can open the desired one.  The "Operate on 
  317.   Product Level" form window lets you create, delete & open any product level.
  318.  
  319.        Operations on a product levels are done by selecting the Product Level 
  320.   menu or by starting PMTESTER.  
  321.  
  322.        To create a product level, select the "Create" button in the "Operate
  323.   on Product Level" form window.  Then type in the product and level names.
  324.  
  325.        To open a product level, double click on the product level name or
  326.   select the product level name then choose the "Open" radio button.
  327.  
  328.        To delete a product level, select the product level name then choose
  329.   the "Delete" radio button.
  330.           
  331.  
  332.  
  333.  
  334.  
  335.  
  336.  
  337.  
  338.  
  339.  
  340.  
  341.  
  342.  
  343.  
  344.  
  345.  
  346.   PMTESTER                 A Regression Testing Tool                Page 6
  347.               (C) Copyright 1989-1991 Princeton Windowing Systems
  348.  
  349.  
  350.   Create a Test Group or a Test Case and Case Confirmation Routine
  351.   ----------------------------------------------------------------
  352.  
  353.        A test group can be created at any time, however, a test case can
  354.   only be created in a defined group.  Similarly, a case confirmation
  355.   routine can only be created within a defined case.
  356.  
  357.   To create,
  358.  
  359.    1. Select the Object menu then choose Create or press F5.  A form window
  360.       will prompt for your input.
  361.    2. Select the object type
  362.    3. Enter the object name and description.
  363.    
  364.   For test groups,
  365.    4. Select the "Create" button or press <ENTER>
  366.  
  367.   For test cases,
  368.    4. Select the "Test Confirmation...", the "Case Confirmation Routine"
  369.       form window will appear
  370.    5. Enter the program name, DLL and function names, file names and
  371.       screen comparison type.
  372.    6. You can select the "Ok" button to save these options.  Then press
  373.       the "Create" button to create the test case.
  374.       
  375.  
  376.   Record a Test Case
  377.   ------------------
  378.  
  379.        Only test cases and be recorded and only done one at a time.
  380.  
  381.        To record a test case, select the test case to be recorded then choose
  382.   Record in the Object menu or press F7.          
  383.  
  384.        To abort any recording, just press the default Stop Record Hotkey - 
  385.   <NUMLOCK>.
  386.  
  387.  
  388.  
  389.  
  390.  
  391.  
  392.  
  393.  
  394.  
  395.  
  396.  
  397.  
  398.  
  399.  
  400.  
  401.  
  402.  
  403.  
  404.   PMTESTER                 A Regression Testing Tool                Page 7
  405.               (C) Copyright 1989-1991 Princeton Windowing Systems
  406.  
  407.  
  408.  
  409.   Run One or More Test Groups or Test Cases
  410.   -----------------------------------------
  411.  
  412.        There are several ways to run one or more test groups for test cases. 
  413.   You can choose to run selected or all groups or cases once or forever.
  414.   These functions are listed below.
  415.  
  416.        To run test group(s) and test case(s), select a list of the object to
  417.   run then choose Run... in the Object menu.  Then choose one of the following:
  418.         1. Run Once or F8
  419.         2. Run Forever
  420.         3. Run All Groups
  421.         4. Run All Groups Forever          
  422.        To terminate any of the Run functions, press the default Stop Run
  423.   Hotkey - <NUMLOCK>. 
  424.  
  425.  
  426.  
  427.   Edit 
  428.   ----
  429.  
  430.        The Cut, Copy and Paste functions do not use the PM clipboard.  They
  431.   use a PMTESTER Internal Clipboard. Test groups can be cut but not pasted 
  432.   or copied.  Test cases can use any of these functions.
  433.  
  434.  
  435.  
  436.   - Limitations
  437.     -----------
  438.  
  439.        The following are the known limitations of the PMTESTER 
  440.   program :
  441.  
  442.    1. You cannot use a keyboard monitor for the PM session while
  443.       using PMTESTER.
  444.  
  445.    2. Use of the WinGetPhysKeyState and WinQueryQueueStatus in the
  446.       application being tested may result in incorrect results
  447.       when running a test case.
  448.  
  449.  
  450.  
  451.  
  452.  
  453.  
  454.  
  455.  
  456.  
  457.  
  458.  
  459.  
  460.  
  461.  
  462.   PMTESTER                 A Regression Testing Tool                Page 8
  463.               (C) Copyright 1989-1991 Princeton Windowing Systems
  464.