home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / bit / listserv / statl / 1181 < prev    next >
Encoding:
Text File  |  1992-07-21  |  16.7 KB  |  340 lines

  1. Comments: Gated by NETNEWS@AUVM.AMERICAN.EDU
  2. Path: sparky!uunet!paladin.american.edu!auvm!UNC.BITNET!UPHILG
  3. Message-ID: <STAT-L%92072109291197@VM1.MCGILL.CA>
  4. Newsgroups: bit.listserv.stat-l
  5. Date:         Tue, 21 Jul 1992 09:23:00 EST
  6. Sender:       "STATISTICAL CONSULTING" <STAT-L@MCGILL1.BITNET>
  7. From:         "Philip Gallagher,(919)966-7275" <UPHILG@UNC.BITNET>
  8. Subject:      Power Analysis texts compendium
  9. X-To:         STAT-L@mcgill1.BITNET, st8330@siucvmb.BITNET
  10. Lines: 328
  11.  
  12.     Last week I requested advice on texts to study in order to
  13.     become a Power Guru.  I have had several references to
  14.     established texts and a set of updates on what I suppose to
  15.     be the cutting edge of power research and theory, mostly
  16.     from the shops of Keith Muller at UNC and Ralph O'Brien at
  17.     Florida State.  (Apologies to Ralph O'Brien for having misnamed
  18.     him in my first note.)
  19.  
  20.     Please note how much brand new power software is being offered
  21.     for distribution in one form or another.  If the major stat
  22.     packages can bring themselves to ignore this, they deserve
  23.     to go down the drain.
  24.  
  25.     I note that I have heard from no one from the school of thought
  26.     that says that power analyses are totally without value because
  27.     the distributional requirements so vital to power calculations
  28.     are never (well, almost never) satisfied except in stat textbook
  29.     classroom by-hand problems.  (I have certainly not done justice
  30.     to this argument, and I beg anyone who can make it better to please
  31.     do so.)  I know that persons who feel this way exist (there is
  32.     one in our department), and, if you have never run into these
  33.     ideas, it is only fair of me to tell you that they make a strong
  34.     and impassioned case.
  35.  
  36.     I have had occasion to go back to Cohen's work since I wrote
  37.     first, and I find it to be more useful than my first message
  38.     conveyed.  It is of only limited help with the Muller/O'Brien
  39.     field, but much of their work has reached the literature since
  40.     his 2nd edition was published, so it's only fair to give him
  41.     a break.
  42.  
  43.     Now I will cut and paste - if I do anyone an injustice, please
  44.     write an explanatory rejoinder directly to STAT-L.
  45.  
  46.     Thanks to everyone - I now have lots of EXCITING reading material
  47.     for my vacation!
  48.  
  49.  
  50. ========================================================================
  51. From: phil@wubios.wustl.edu(J. Philip Miller)
  52. I started with Cohn's book but it is too simplified for me as well - he really
  53. does not ever mention the noncentral stat distributions, and that is all you
  54. really have to know if you are prepared to compute things themselves.  I have
  55. worried a lot about this and and one time really wrote some good code to "do
  56. it right", but have become less anamored with it since most of the use of
  57. power that I have on a day to day basis starts with some "off the top of my
  58. head" numbers and to then worry about whether the math is being done "right"
  59. or not is not placing the emphasis where it should.
  60.  
  61. ========================================================================
  62. From:         Ken Hardy <KENHARDY@UNCVM1>
  63.  
  64. A piece of software that performs many power calculations and has a nice
  65. bibliography on power analyses for various statistics is  PASS (Power
  66. Analysis and Sample Size). I've got the software and will campus mail
  67. you the references section.
  68. ========================================================================
  69. From: "dick darlington" <dick_darlington@qmrelay.mail.cornell.edu>
  70.  
  71. Power analysis is of course highly dependent on the test you're using, so I
  72. will answer just for my specialty: regression and linear models.  Two books
  73. with fairly extensive discussions of power are:
  74.   Rao, C.R. Linear statistical inference and its applications
  75.   Graybill, F.A. Intro to linear statistical models
  76. I should mention that the power tables for linear models in Cohen are not
  77. exact, and do not distinguish between fixed and random scores, which is
  78. necessary for exact power analysis.  My own book "Regression and Linear Models"
  79. gives short BASIC programs that yield exact power values for linear-model tests
  80. under the standard assumptions.  There was a good article on linear-model power
  81. analysis in the Psych Bulletin a year or two ago, but I don't have the
  82. reference handy.
  83. ========================================================================
  84. From:     WKJ <JAMES@XAVIER>
  85.  
  86. Michael Korda's Book " Power " is a lot of fun.
  87.  
  88. ========================================================================
  89. From: jones@reed.edu(Albyn Jones)
  90.  
  91. well, you could always start with Johnson & Kotz, the set of books
  92. called "Continuous univariate distributions" and look at the non-central
  93. t, non-central chi-squared, non-central F distributions...
  94.  
  95. ========================================================================
  96. From:    "Dennis Roberts" <DMR@PSUVM>
  97.  
  98. If you want, I will be glad to send you a section from a book of mine re:
  99. power, pretty elementary but may help.  In addition, I would suggest you
  100. contant Jack Barnette at the Univ of Alabama who has an excellent demo
  101. software program on power, that is very useful for "seeing" what power is.
  102. His address is Behavioral Studies, Univ of Alabama, Tuscaloosa Alabama and I
  103. am blocking on the zip.  His bitnet is JBARNETT at UAVM1 ....  but he may
  104. not respond.  If you want my material, send me your surface address and I
  105. will ship immediately.
  106. ========================================================================
  107. From:   tgee@ccs.carleton.ca(Travis Gee)
  108.  
  109. You might try Wm. Hays and Robert Winkler's _Statistics: Probability,
  110. Inference and Decision._ My edition's well out-of-date, but there was
  111. a healthy discussion of it in 1971, at least.  More recently, an
  112. author to search in the PsychLit database is Bruno Zumbo (alas, no
  113. references available in my filing cabinet at the moment). He's a
  114. specialist on relative efficiency of nonparametric stats. His PhD
  115. comprised a Monte Carlo simulation which showed that under violation
  116. of assumptions, nonparametric stats are often _more_ powerful than
  117. their parametric analogues.  If that fascinates you, and you can't
  118. access his papers, you could e-mail him at zumbo@acadvm1.uottawa.ca
  119. He _is_ a power guru.
  120.   Also along those lines, Seigel and Castellan's _Nonparametric
  121. Statistics for the Behavioral Sciences_ discusses the power of various
  122. and sundry methods.  If you're looking at multivariate models, I seem
  123. to recall that the SPSSx manuals and the SAS manuals have references
  124. in many sections which refer to the power of assorted statistics. But
  125. don't try those papers until the groundwork is done.  Good luck!!
  126.  
  127. ========================================================================
  128. From: phil@wubios.wustl.edu(J. Philip Miller)
  129.  
  130. A recent reference for the simple stuff:
  131.  
  132. Jurgen Bock & H Toutenburg, Sample Size Determination in Clinical Research,
  133. Chapter 16 in Rao & Chakraborty, eds, Handbook of statistics, vol 8, 515-38,
  134. 1991.
  135.  
  136. ========================================================================
  137. From: dixon@srel.edu
  138.  
  139. Phil:
  140.   Scheffe, The Analysis of Variance, is still a good place to go
  141. for the theory of power for ANOVA.
  142.   Otherwise, the literature on power is really scattered.  There are
  143. lots of 'warm fuzzy' treatments for nonstatisticians, e.g. Cohen, as
  144. you have discovered.  One I give to my consultees is Lipsey, Design
  145. Sensitivity: Statistical power for experimental research, Sage.  It's
  146. a bit more concise than Cohen, but it still shoehorns everything into
  147. an ANOVA framework.
  148.   My favorite source is the Russ Lenth's manual for his PowerPack
  149. program.  It includes a practical guide to power calculations that
  150. lays everything out in a very understandable way, if you know about
  151. non-centrality parameters.  I otherwords, I use it, but I don't expect
  152. my consultees to read it.  PowerPack is also a very easy to use program
  153. that got high marks in Goldstein's review of packages to compute power
  154. (Am. Stat. 43:253).
  155. ========================================================================
  156. From:         Jerry Dallal <jerry@NUTMEG.HNRC.TUFTS.EDU>
  157.  
  158. Have a look at Odeh and Fox, Sample Size Choice, for starters.  Don't buy
  159. it without having a look at it first.  It's very expensive and mostly charts,
  160. but the discussion in the front of the book is reasonable.
  161.  
  162. I've found Cohen's Statistical Power Analysis for the Behavioral Sciences hard
  163. to read.  It may just be me.  But if you find it hard going, don't think all
  164. texts are like it.  (Who knows?  You may like Cohen and dislike O&F!)
  165. ========================================================================
  166. From: Fred Detwiler                                  ST8330   at SIUCVMB
  167.  
  168. Lipsey, M. W.  (1990).  Design Sensitivity.  Sage.
  169.  
  170.  
  171. ========================================================================
  172. From: "GEOFF SELIG - CONCORDIA U. COMPUTING SERVICES"
  173.  <ILFC594@Vax2.Concordia.CA>
  174.  
  175. You might want to have a look at a text by Neter, Wasserman and Kutner
  176. (_Applied Linear Statistical Models, Third Edition_ [Irwin]) for some
  177. fairly good discussions on power (and linear models in general).  As well,
  178. David Howell's _Statistical Methods for Psychology, Third Edition_
  179. [PWS-Kent] has excellent discusions of power in a variety of t-test and
  180. ANOVA situations (and just about everything else).
  181.  
  182. ========================================================================
  183. From: Ralph G. O'Brien <robrien@stat.ufl.edu>
  184.  
  185. Phil: Bob Parker (Vandy) relayed a memo that you are interested in
  186. becoming more "power"ful. I have just finished the final, final draft of
  187. a long chapter on power analysis (O'Brien, R. G. and Muller, K. E.
  188. (early 1993), Unified Power Analysis for t Tests Through Multivariate
  189. Hypotheses, (to appear) in Applied Analysis of Variance in Behavioral
  190. Sciences, eds. L. K. Edwards, New York: Marcel Dekker.).  We think our
  191. approach is more general and unifying, yet no harder to understand and
  192. apply than Cohen's.  We cover some things he doesn't, and vice-versa.
  193. We don't use constructs such as "small," medium," and "large" effect
  194. sizes as this is an unjustified, oversimplified notion: Most content
  195. researchers will quickly opt for "medium," even though they have no idea
  196. what "medium" implies with respect to their proposed study.  What is a
  197. "small" effect size in one field of study may be a "huge" one in
  198. another.
  199.  
  200. We have SAS %INCLUDE modules to get things done, available for the
  201. taking via anonymous ftp from my workstation, as outlined below.  Also
  202. included below is an example that should be almost self-explanatory if
  203. you like the cell-means model for ANOVA. The chapter and software
  204. start at a more basic level and go through the general univariate and
  205. multivariate linear models.  We use the modules all the time here in
  206. developing protocols within the Clinical Research Center, and I keep
  207. expanding their capabilities as needs arise.  Our beta version has
  208. options covering tests of correlations (via Fisher's r-to-z), and tests
  209. comparing independent logits from 2 x NumGroups contingency tables.
  210.  
  211. I am doing a poster paper on power for the multivariate GLM in August at the
  212. Boston Joint Stat Meetings (O'Brien, R.  G. and Shieh, G., "Pragmatic,
  213. Unifying Algorithm Gives Power Probabilities for Common F Tests of the
  214. Multivariate General Linear Hypothesis").  We think our algorithm offers
  215. an "upgrade" on the Muller-Peterson (1984) method, which will be
  216. discussed again in a forthcoming (Dec. 1992?) JASA paper by Muller and
  217. others.  "O'Brien and Shieh" is now being reviewed informally by Jon
  218. Shuster of our group, and it should be submitted soon for journal review.
  219. It will NOT appear in any of the ASA Proceedings. No public software is
  220. being planned/developed yet for the our proposed algorithm.  Actually,
  221. Keith Muller's SAS IML module can be altered in minor ways to do it, but
  222. such a change would be up to Keith, of course.
  223.  
  224.  
  225.  
  226.  
  227.             -----------------------------------------------
  228.                     INPUT FOR 2 x 3 UNBALANCED ANOVA
  229.             (runs in "base" SAS environment; no IML needed)
  230.              -----------------------------------------------
  231. options ls=72 nosource2;
  232. %include "~robrien/POWER.public/OneWyPow.beta.sas";  *(UNIX format);
  233. * %include OneWyPow;   *(CMS format);
  234. title1 "Example: Unbalanced 2 x 3 ANOVA";
  235. title2 "Order: A1B1 A1B2 A1B3 A2B1 A2B2 A2B3";
  236. cards;
  237. mu 100 110 90 105 130 80 .
  238. weight .2 .2 .1 .2 .1 .2 .
  239. sigma 25 40 .
  240. alpha .05 .01 .
  241. Ntotal 100 120 160 .
  242. nooverall
  243. contrasts
  244. "A Main Effect (Type III)"  1  1  1 -1 -1 -1 .
  245. "B Main Effect (Type III)"  1 -1  0  1 -1  0 .
  246. >                           0  1 -1  0  1 -1 .
  247. "AB Interaction" 1 -1  0 -1  1  0 .
  248. >                0  1 -1  0 -1  1 .
  249. "A2B1&2 vs. A2B3" 0 0 0 .5 .5  -1 .
  250. end
  251. %include "~robrien/POWER.public/FPowTab2.sas";  *(UNIX format);
  252. *  %include FPowTab2;  * (CMS format);
  253.  
  254.                                 --------------
  255.                                 PART OF OUTPUT
  256.                                 --------------
  257. ALPHA 0.05
  258.        ----------------------------------------------------------
  259.        |                          |           Std Dev           |
  260.        |                          |-----------------------------|
  261.        |                          |      25      |      40      |
  262.        |                          |--------------+--------------|
  263.        |                          |   Total N    |   Total N    |
  264.        |                          |--------------+--------------|
  265.        |                          |100 |120 |160 |100 |120 |160 |
  266.        |                          |----+----+----+----+----+----|
  267.        |                          |Pow-|Pow-|Pow-|Pow-|Pow-|Pow-|
  268.        |                          | er | er | er | er | er | er |
  269.        |--------------------------+----+----+----+----+----+----|
  270.        |EFFCTITL    |TESTTYPE     |    |    |    |    |    |    |
  271.        |------------+-------------|    |    |    |    |    |    |
  272.        |A Main      |2-tailed t   |.156|.178|.222|.090|.099|.116|
  273.        |Effect (Type|-------------+----+----+----+----+----+----|
  274.        |III)        |1-tailed t   |.241|.270|.326|.145|.159|.185|
  275.        |------------+-------------+----+----+----+----+----+----|
  276.        |B Main      |Regular F    |    |    |    |    |    |    |
  277.        |Effect (Type|             |    |    |    |    |    |    |
  278.        |III)        |             |.997|.999|.999|.811|.881|.957|
  279.        |------------+-------------+----+----+----+----+----+----|
  280.        |AB          |Regular F    |    |    |    |    |    |    |
  281.        |Interaction |             |.474|.554|.690|.208|.244|.316|
  282.        |------------+-------------+----+----+----+----+----+----|
  283.        |A2B1&2 vs.  |2-tailed t   |.999|.999|.999|.880|.931|.979|
  284.        |A2B3        |-------------+----+----+----+----+----+----|
  285.        |            |1-tailed t   |.999|.999|.999|.933|.965|.991|
  286.        ----------------------------------------------------------
  287.  
  288.  
  289.        -------------------------------------------------------------
  290.        Getting SAS-based Power Shareware Modules Using anonymous ftp
  291.        -------------------------------------------------------------
  292.  
  293. The best way to obtain the current versions of these modules and
  294. related files is to use the Internet network to ftp-get the files.
  295. ftp (lower case letters may be required) stands for File Transfer
  296. Protocol and is now almost universally available.  The details
  297. regarding where and how these files are stored will change over time.
  298. Accordingly, the instructions given here only tell how to get a short
  299. file that gives complete up-to-date information on this.
  300.  
  301. (1)  To get to the "front door" of the correct workstation in the
  302.      University of Florida's Department of Statistics enter
  303.                ftp banana.stat.ufl.edu
  304.  
  305. (2)  To login, use the name
  306.                anonymous
  307.  
  308.      For the password, enter your full system name, something like
  309.                mmouse@wdw.orlando.fl
  310.  
  311. (3)  To get a copy of the short information file, enter
  312.                cd pub
  313.                get ReadMe.power myfile.asc
  314.      This will put the contents of a file called ReadMe.power on your
  315.      computer using the file name of your choice ('myfile.asc').
  316.  
  317. (4)  Enter
  318.                quit
  319.      to return to your local computer, where you can study
  320.      the instructions in ReadMe.power and proceed.
  321.  
  322. (5)  This method should work for a number of years, but computing
  323.      systems have unpredictable half-lives. If you encounter problems,
  324.      contact me.
  325.  
  326.  Ralph G. O'Brien, PhD
  327.  Division of Biostatistics              UF Office:   904-392-8446
  328.  Box 100212                             Home office: 904-378-7381
  329.  Univ. of Florida Health Sci. Center    UF fax:      904-392-4168
  330.  Gainesville, FL  32610-0212            email:       robrien@stat.ufl.edu
  331.  
  332.  
  333.  
  334. =======================================================================
  335.  
  336. Note from Phil Gallagher:  Keith Muller gave me a photocopy of his
  337. paper that Ralph O'Brien mentioned, and it does indeed have "JASA,
  338. December 1992" pencilled on the top.  What a great Christmas present
  339. to look forward to!  (Yes, some of us really that nerdy, Virginia.)
  340.