home *** CD-ROM | disk | FTP | other *** search
/ ftp.pasteur.org/FAQ/ / ftp-pasteur-org-FAQ.zip / FAQ / computer / system / cray / faq
Encoding:
Internet Message Format  |  2003-12-25  |  54.9 KB

  1. Path: senator-bedfellow.mit.edu!bloom-beacon.mit.edu!news2.telebyte.nl!lightspeed.eweka.nl!62.45.52.242.MISMATCH!newsfeed.kabelfoon.nl!195.129.110.21.MISMATCH!bnewsfeed00.bru.ops.eu.uu.net!bnewsinpeer01.bru.ops.eu.uu.net!lnewsinpeer01.lnd.ops.eu.uu.net!lnewspost00.lnd.ops.eu.uu.net!emea.uu.net!not-for-mail
  2. Newsgroups: comp.unix.cray,comp.sys.super,comp.answers,news.answers
  3. Followup-To: poster
  4. Subject: Cray Supercomputer FAQ
  5. From: Newsposter@SpikyNorman.net (jen)
  6. Date: Wed, 24 Dec 2003 09:35:43 +0000
  7. Message-ID: <1g6gshg.1hxj8ze1wicba8N@[192.168.0.2]>
  8. Distribution: world
  9. Organization: westwardhouse.com
  10. Approved: news-answers-request@MIT.EDU
  11. X-Newsreader: MacSOUP 2.3
  12. Lines: 1134
  13. NNTP-Posting-Date: 24 Dec 2003 09:35:46 GMT
  14. NNTP-Posting-Host: 81-86-249-241.dsl.pipex.com
  15. X-Trace: 1072258546 news.dial.pipex.com 2761 81.86.249.241:49875
  16. X-Complaints-To: abuse@uk.uu.net
  17. Xref: senator-bedfellow.mit.edu comp.unix.cray:4202 comp.sys.super:18643 comp.answers:55803 news.answers:263590
  18.  
  19. Archive-name: computer/system/cray/faq
  20. Posting-Frequency: bi-monthly
  21. Last-modified: Dec 2003
  22. Version: 1.1.0
  23. URL: http://www.SpikyNorman.net/
  24. Copyright: (c) 1999 "Fred Gannett"
  25. Maintainer: Fred Gannett <CrayFaq0220@SpikyNorman.net>
  26.  
  27.                  Cray Research and Cray computers FAQ Part 3
  28.  
  29.   ------------------------------------------------------------------------
  30. Cray Research and Cray computers FAQ Part 3
  31.  
  32.    * What's in a name ?
  33.    * What's in a number ?
  34.    * Where did the first ones go ?
  35.    * Who has/had the most Cray systems ?
  36.    * What is a T94/SSS ?
  37.    * What went overseas ?
  38.    * Keeping it cool
  39.    * What's a Mega word ?
  40.    * What is an SSD ?
  41.    * What is SEC-DED ?
  42.    * Binary compatibility
  43.    * How did users shape the design of Cray machines ?
  44.    * Why was it hard to program Cray machines ?
  45.    * What is boundary scan ?
  46.    * How is a T3d different from a Beowoulf/NOW/PC cluster ?
  47.    * What is dumping ?
  48.    * How do you start a Cray system ?
  49.    * Instructions for starting a Cray EL system
  50.    * Chips off the same block
  51.    * Could you choose the colour of your Cray machine ?
  52.    * What was Ducky Day ?
  53.    * What were the code names rain, gust, drizzle, cyclone etc ?
  54.    * What was the physically smallest Cray machine ?
  55.    * What was the physically largest Cray machine ?
  56.    * What was the computationally largest machine that Cray made ?
  57.    * What limits prevented Cray from building even "bigger" machines ?
  58.    * What was the Cray connection with Apple ?
  59.    * How many people worked for Cray Research ?
  60.    * Who ran Cray Research
  61.    * Was a Cray supercomputer value for money ?
  62.    * Did Cray fail? It was bought out by SGI in 1996
  63.    * Whats happening now ?
  64.    * Trademark Disclaimer and copyright notice
  65.  
  66.   ------------------------------------------------------------------------
  67.  
  68.  
  69. This Cray supercomputer Faq is split into sections, Part 1 describes
  70. Cray supercomputer families, Part 2 is titled "Tales from the crypto and
  71. other bar stories", part 3 is "FAQ kind of items", part 4 is titled
  72. "Buying a previously owned machine" and part 5 is "Cray machine
  73. specifications". Corrections, contributions and replacement paragraphs
  74. to CrayFaq0220@SpikyNorman.net Please see copyright and other notes at the
  75. end of each document. Note: Part 3 is the only part posted to
  76. newsgroups, the latest version of this and the rest of the documents can
  77. be located in http format just down from:
  78.  
  79. Portable URL http://www.SpikyNorman.net/
  80. ISP Specific http://www.SpikyNorman.dsl.pipex.com/CrayWWWStuff/index.html
  81.  
  82. Xmas 2003 The webpages are moving please update any ISP direct links 
  83.  
  84. What's in a name ?
  85.  
  86. Cray Research (CRI), the original founded by Seymour Cray Jr. in 1972 bought by
  87. SGI in 1996. Was considered a seperate business unit within SGI from 1999 that was
  88. Sold to Tera Computer in 2000 who then changed their name to Cray Inc
  89. Cray Computer Corporation, spun off from CRI to Colorado Springs. 1989 .. 1995
  90. Cray Labs research arm of Cri in Boulder in the early 1980s.
  91. Cray Communications, Not related, changed name to Anite corp.
  92. Cray Electronics ditto.
  93. CraySoft, a venture to exploit the compiler technology and expertise of the
  94. application software development group. This lead to the interesting fact
  95. the each time a program was compiled on a T3e the compile script checked to
  96. see if the machines was running Solaris!
  97. SuperTek, original developer of the XMS, was bought in 1989 by CRI
  98. Floating point systems, original developer of the CS6400, folded in 198?,
  99. assets bought by CRI. Was sometimes known as Cray Research Superservers (CRS)
  100. SSI, Supercomputer systems Inc, founded by Steve Chen chief architect of the YMP.
  101.  
  102. Crayfaq@spikynorman.net, Caryfaq@spikynorman.net, Newsposter@spikynorman.net, 
  103. These email addresses have been discontinued and blackholed due to the huge 
  104. quantity of spam sent to them. 
  105. Please use the current email address CrayFaq0220@.... for communications about this
  106. faq. 
  107.  
  108. What's in a number ?
  109.  
  110. All CPU chassis, SSD chassis and in the larger machines IOS chassis had
  111. serial numbers but the CPU chassis number was taken as the main system
  112. designation. From the serial number it is possible to get a general
  113. indication of the model type as different ranges of machines were grouped
  114. into ranges of numbers. The structure of the model designation varied but
  115. often indicated the max. number of CPUs that could be installed, the chassis
  116. size, and sometimes the memory size.
  117.  
  118. Cray Research System Serial numbers
  119.         Machine type
  120. <100    Cray 1
  121. 1nn     XMP 2 CPUs
  122. 2nn     XMP 4 CPUs
  123. 3nn     XMP 1 CPU
  124. 4nn     XMP 2 CPUs
  125. 5nn     XMP 1 CPU (SE)
  126. 6nn     Cray/ELS XMS 1 CPU
  127. 10nn    YMP 8 CPUs, Model D IOS
  128. 11nn    XMP/EA 4 CPUs
  129. 12nn    XMP/EA 2 CPUs
  130. 13nn    XMP/EA 1 CPU (SE)
  131. 14nn    YMP 2 CPUs, Model D IOS
  132. 15nn    YMP 4 CPUs, Model D IOS
  133. 16nn    YMP 2 CPUs, Model E IOS
  134. 17nn    YMP 8 CPUs, Model E IOS YMP8I
  135. 18nn    YMP 8 CPUs, Model E IOS YMP8E
  136. 19nn    YMP 4 CPUs, Model E IOS
  137. 20nn    Cray 2, 2/4 CPUs
  138. 2101    Cray 2, 8 CPUs
  139. 24nn    Cray YMP/M94 4 CPU
  140. 26nn    Cray YMP/M92 2 CPU
  141. 28nn    Cray YMP/M98 8 CPU
  142. 3nnn    SV-1
  143. 40nn    C90 16 CPUs
  144. 42nn    C92A 2 CPU
  145. 43nn    D92A 2 CPU
  146. 44nn    C94A 4 CPU
  147. 46nn    C94  4 CPU
  148. 47nn    D94  4 CPU
  149. 48nn    C98  8 CPU
  150. 49nn    D98  8 CPU
  151. 5nnn    ELs
  152. 60nn    T3d
  153. 61nn    T3d Included in a YMP2E + IOS
  154. 62nn    T3d
  155. 63nn    T3E 300 - liquid cooled
  156. 65nn    T3E 600 - air cooled
  157. 66nn    T3E 600 - air cooled
  158. 67nn    T3E 900 - liquid cooled
  159. 68nn    T3E 900 - liquid cooled
  160. 69nn    T3E 1200 - liquid cooled
  161. 70nn    T94   4 CPU
  162. 71nn    T916 16 CPU
  163. 72nn    T932 32 CPU
  164. 9nnn    J90
  165. 95nn    J90 32 CPUs
  166.  
  167. Notes:
  168.  
  169. The < 100 series can be further subdivided, among the Cray-1, Cray-1A,
  170. Cray-1S, and Cray-1M lines. SN101 was the first XMP with 2 cpus
  171.  
  172. Eugene R. Somdahl posted in c.u.c The 1Ms were 1Ss with MOS memory. I
  173. believe only six were built. Plus one that wound up as "scrap" running CTSS
  174. for several years in a basement in Chippewa Falls. This was the machine on
  175. which much of the Y-MP (and later Chen's MP project) design work was done.
  176.  
  177. XMP/EA: systems had 500 series serial numbers. Production ran from sn501 (19
  178. Jul 87) through SN515 (15 Jan 89).
  179.  
  180. Cray-2: Later, a small number of variants occurred: 2 and 8 processors, 128
  181. MW and 512 MW, Dynamic RAM (DRAM) and Static RAM (SRAM) don't know what SNs
  182. Only Serial numbers Q1,Q2 and 2001..2029 built.
  183.  
  184. SN1001 Had slower clock speed than later YMP 8s.
  185.  
  186. SN1040: Originally a Model D IO system it was converted to Model E IOS for
  187. use as a T3d host then later went to Moscow.
  188.  
  189. Cray-2 SN2000 (only a single CPU) and SN2101 (only 8 CPU) now reside in the
  190. computer museum at Moffett field CA. There were 4 single cpu Cray2 systems
  191. built, Q1 -> Q4. Only one was shipped to a customer, one was in Eagan and 2
  192. were used as test systems in Chippewa.
  193.  
  194. The 1700 series was known as a Y-MP8I because it could hold 8 CPU's with 1
  195. SSD Section and 4 IOSE clusters in a single integrated chassis. One 1700
  196. chassis was rewired to hold three 1600 type machines. That wiremat wasn't
  197. pretty. Served in CCN as software development machines ICE, FROST and
  198. SUBZERO.
  199.  
  200. The 1800 series known as the Y-MP8E with similar module layout to a 1000
  201. series but could hook up to a Model E IOS. It would typically hook up to a
  202. 700 series Model E IOS which had a chassis very similar to an 1800 that
  203. holds 4 SSD sections and 8 IOSE clusters.
  204.  
  205. IOSE/SSDE boxes usually came in three serial number ranges 7xx, 8xx and 9xx.
  206. The 8xx is a short chassis like the 1600 that held 1 SSDE section and 2 or 3
  207. I/O clusters. The 900 chassis looked like a 700 chassis but was only wired
  208. for SSDE.
  209.  
  210. A couple of these machine types (1600, 1900 and 6100) could support a JSSD
  211. (SSDE32i/SSDE128i). That was a 32 or 128 Mword SSD that fit in a single
  212. chassis slot.
  213.  
  214. The T3D 6100 series integrated 128 EV4's 2 Y-MP CPU's and 4 IOSE clusters
  215. into 1 chassis, and a 6200 which I believe is like a 6100 without the
  216. Y-MP/IOSE integration.
  217.  
  218. SV-1 may comprise of a cluster of systems resulting in the use of more than
  219. one serial numbers.
  220.  
  221. SV-1 SN3001 to SN3007 and SN3213 to 3220 ... note that SN3217-3220 comprise
  222. SN3501 (super-cluster) at NIH.
  223.  
  224. In 1978 5 Cray-1 systems were installed. In 1996 350 Cray J90 systems where
  225. shipped the large part of the total of 415 J90 systems. Some J90 systems are
  226. being converted to SV1 chasis just to keep the records complicated.
  227.  
  228. If you know sub ranges of serial numbers or special variants from the above
  229. pattern please email the document author. Details of C3, C4 and CRS6400
  230. numbers would also be appreciated.
  231.  
  232. The small serial number ranges indicate that the phrase "Hand built in
  233. Chippewa Falls" was never far from the truth. With SGI winding down
  234. development of the big Cray machines will we ever see Cray SN10,000?
  235.  
  236. Where did the first ones go ?
  237.  
  238. The early adopters of a technology are the crucial customers that can make
  239. or break a developing technology company so it is interesting to look where
  240. the first few Cray-1 machines were installed. In 1978 5 Cray-1 systems were
  241. installed.
  242.  
  243. The first Cray one SN1 went to LASL in 04/76 for a six month evaluation 
  244. after which a short-term contract was signed. In 09/77 SN1 was replaced 
  245. with SN4, a 1000k word machine with SECDED memory protection hardware. 
  246. SN1 Ran an OS called DEMOS written in MODEL.
  247.  
  248. SN2 was gutted and never shipped.
  249.  
  250. Looking at the Cray 1 installed base in the 1976 to 1979 time frame.
  251.  
  252. Date, Place, application
  253. 04/76, LASL Los Alamos NM, Nuclear research later replaced by SN3
  254. 07/77, NCAR CO, Atmospheric research
  255. 10/77, ECMWF UK, Weather forecasting initially SN1 later replaced in 10/78
  256. 01/78, US DOD, Defence research
  257. 07/78, US DOD, Defence research
  258. 04/78, NNFECC National magnetic fusion energy centre Livermore CA, magnetic fusion
  259. research
  260. 09/78, United computing systems Kansas City MO, Commercial computing services
  261. 10/78, MOD UK, Defence research Used SN1 replaced 04/79
  262. 01/79, Lawrence Livermore Lab Ca, Nuclear research
  263. 04/79, Cray Research Inc., Development and bench marking
  264.  
  265. The machines above were 500k or 1000k Words. These machines were so far
  266. ahead of their time that many of them worked at a number of sites, sometimes
  267. being leased for short periods until the customer-ordered machine was ready.
  268.  
  269. Most non-government Cray-1 systems were front-ended by CDC CYBER 170
  270. systems, IBM MVS or VM machines or DEC VAX systems.
  271.  
  272. Apart from the first Cray-1, which travelled the world, the first machine of
  273. most product types typically served in the Cray computer centre (CCN) first
  274. at Mendota Heights and later at 655 Lone Oak Road, Eagan.
  275.  
  276. The first (prototype) Y-MP/8D, sn1001, served in the Cray computer centre as
  277. the compute platform "Mist" ( later changed name to "Gust" as "Mist" is a
  278. rude word in German ).
  279.  
  280. The first (prototype) X-MP, sn101, remained on the floor of the 1440
  281. building until 1989 (17 Aug 82 - 25 May 89). ... It was subsequently
  282. scrapped.
  283.  
  284. The first Y-MP2E, sn1601, travelled to the UK and served in the Cray UK data
  285. centre as a software development machine.
  286.  
  287. Pittsburg super computer centre (PSC) had the first customer T3D and T3E.
  288.  
  289. Cray 2 customers included NMFECC, NASA Ames, University of Minnesota, US
  290. DOD, Harwell Laboratory UK, Aramco, University of Stuttgart in Germany and
  291. Ecole Polytechnique Federale de Lausanne (EPFL) in Switzerland.
  292.  
  293. Quoted from From HPC wire Subject: 9037 CASH-STARVED CRAY COMPUTER CLOSES,
  294. SEEKS CHAPTER 11 Mar. 27 CCC did make one tentative sale, to Lawrence
  295. Livermore National Laboratory (LLNL) for support of the Department of
  296. Energy's nationwide research program. In December 1991 when CCC was unable
  297. to meet delivery/performance goals, the order was cancelled.
  298. A small (4-CPU) CRAY-3 was later placed at the National Center for
  299. Atmospheric Research (NCAR) where, after some time and effort, it became
  300. ready for production work. This was not followed, however, by an actual
  301. sale.
  302.  
  303. Who has/had the most Cray systems?
  304.  
  305. According to the SuperSites list in Aug 1999 The NSA runs a lot of Cray
  306. machines.
  307.  
  308.  National Security Agency, Fort Meade, Maryland,US
  309.        1)      Cray T3E-1200 LC1084             1300.8
  310.        2)      Cray T3E-900 LC1328              1195.2
  311.        3)      Cray SV1-18/576                   576
  312.        4)      SGI Origin2000/250-864            432
  313.        5)      Cray T3E-1200 LC284               340.8
  314.        6)  3 * Cray T932/321024                  174
  315.        7)      Cray T3E-750 LC220                165
  316.        8)      Cray T94/SSS-256K                 100
  317.       ... snip
  318.        20) 4 * Cray C916/161024                   64
  319.  
  320. I can't possibly comment but the only other place where so many Cray
  321. machines have been co-located is in the 655-D machine room of CCN located in
  322. the Cray Eagan building (now Wham!net). The population of that centre
  323. changed over time but will have had just about every sort of Cray Research
  324. machine at one time or another. As the CCN data centre was used to house and
  325. manage customer machines there was often more than one of each current
  326. production system.
  327.  
  328. What is a T94/SSS ?
  329.  
  330. The SSS designation on a T90 indicates a special configuration that was
  331. developed for particular customer. Its actual "speciality" may be seen in a
  332. section of an ARPA document on the net. The document mentions a processor in
  333. memory development for the Cray-3 for use in " This machine would be suited
  334. for parallel applications that require a small amount of memory per process.
  335. Examples of such applications are laminar flow over a wing, weather
  336. modeling, image processing, and other large cale simulations or
  337. bit-processing applications." It is thought (by me anyway) that this
  338. development was updated into T90 technology.
  339.  
  340. What went overseas ?
  341.  
  342. To the eastern block.
  343.  
  344.    * An EL went to Prague.
  345.    * 2 ELs and later a YMP-4E and two J90s went to Poland.
  346.    * An EL and later a YMP-8E went to Moscow.
  347.    * A C90 went to China.
  348.    * An XMP went to India for weather forecasting.
  349.  
  350. All with the agreement of the export control authorities.
  351.  
  352. The first mainframe class Cray machine was installed in Moscow the same week
  353. that the Moscow branch of "Planet Hollywood" opened.
  354.  
  355. International subsidiaries as of December 31, 1995. It could be reasonably
  356. assumed that the offices were for the supply and support of Cray Research
  357. computers in the host country. Not in the list is the UAE and the large
  358. Aramco site that had a Cray-2 followed by a C98-DRAM machine.
  359.  
  360. International offices
  361. Cray Research A.B.                         Sweden
  362. Cray Research Scandinavia A/S              Norway
  363. Cray Research (Australia) Pty. Ltd.        Australia
  364. Cray Research B.V.                         The Netherlands
  365. Cray Research (Canada) Inc.                Canada
  366. Cray Research Europe Ltd.                  United Kingdom
  367. Cray Research France S.A.                  France
  368. Cray Research GmbH                         Germany
  369. Cray Research Japan, Ltd.                  Japan
  370. Cray Research (Korea) Ltd.                 Korea
  371. Cray Research (Malaysia) Sdn. Bhd.         Malaysia
  372. Cray Research de Mexico, S.A. de C.V.      Mexico
  373. Cray Research OY                           Finland
  374. Cray Research, S.A.E.                      Spain
  375. Cray Research S.R.L.                       Italy
  376. Cray Research (Suisse) S.A.                Switzerland
  377. Cray Research (UK) Ltd.                    United Kingdom
  378.  
  379. Keeping it cool
  380.  
  381. The development of Cray cooling technology allowed each technology
  382. generation to increase the circuit board density. "Someone (perhaps Gary
  383. Smaby? I truly don't remember) once said that Cray Research was primarily a
  384. refrigerator company."
  385.  
  386. Cray-1: Single sided boards clamped to copper plates placed in aluminium
  387. racks that had cooling fluid in tubes.
  388. XMP: Double side sandwich boards clamped to twin copper plates placed in
  389. aluminium racks which had cooling fluid in tubes.
  390. Cray-2,3,4: Immersion cooling. The CPU and memory boards sat in a bath of
  391. electrically inert cooling fluid.
  392. YMP, C90, T3d LC, T3e MC: Double-sided circuit boards clamped to hollow
  393. aluminium boards in which the cooling fluid circulated.
  394. El,J90,T3eAC,SV-1: Blown air cooling.
  395. T90: Immersion cooling. The CPU and memory boards sat in a bath of
  396. electrically inert cooling fluid.
  397.  
  398. So the main forms of cooling were conduction to external cooling, conduction
  399. to internal coolant, blown air cooling and total immersion cooling. There
  400. was some research done into sprayed coolant methods for J90 modules,
  401. reported in an internal technical symposium paper, but this did not make it
  402. into a publicly available product.
  403.  
  404. What's a Mega word ?
  405.  
  406. All Cray machines (except the CS6400 range) had 64 bit words. Each word
  407. could hold 1 integer, 1 floating point numeric value or 8 characters. All
  408. arithmetic and logical operations were done in 64 bit maths. Memory sizes
  409. were generally designated in Mega Words. 32 MWd can be thought of as 256
  410. Megabytes. However really the memory was 72 or 80 bits wide at the hardware
  411. level See SECDED.
  412.  
  413. What is an SSD
  414.  
  415. Bigs gobs of memory that are attached via very high speed channels to vector
  416. CPUs. These extra memories, often 4 to 16 times the size of central memory
  417. could be utilised as disk IO cache, swap space, extra memory segments for
  418. programs or even RAM based file systems. These memories were accessed on a
  419. YMP at up to 1000 Mbytes/sec and are often used to transparently hide the IO
  420. required for an out-of-memory solution. Sites that used SSD as root/usr file
  421. system disk cache often saw little or no physical disk activity even when
  422. the system was stressed. A trickle sync mechanism was employed to prevent
  423. these vast disk caches from becoming stale.
  424.  
  425. Some later SSDs were built from J90 technology memory boards and some from
  426. T3E boards.
  427.  
  428. What is SECDED ?
  429.  
  430. Single bit Error Correction, Double bit Error Detection. This was a hardware
  431. scheme used in all Cray machine (except the very first C1 and CRS systems)
  432. to allow single bit memory errors to be effectively ignored and for
  433. detecting other memory errors to prevent memory data corruption. Each 64 bit
  434. word had 8 other bits that were used in this advanced parity
  435. checking/correction method. If a double bit error was detected a syndrome
  436. byte indicated where the error had occurred. SECDED on the C90 has 64+16
  437. bits and allowed correction at the 4-bit level.
  438.  
  439. Binary compatibility
  440.  
  441. Binary compatibility, the ability to run programs compiled on one machine on
  442. another, extended back one generation only. You could run XMP binaries on a
  443. YMP but not on a C90. The J90 counted like a YMP.
  444.  
  445. There were some cross compilation libraries available so that you could make
  446. binaries for different architectures i.e. it was possible to build YMP
  447. native codes on an XMP. Cray always recommended recompilation on the newer
  448. system in the case of an upgrade in order to take advantage of the new
  449. hardware features.
  450.  
  451. Execution compatibility across the range looks like :
  452.  
  453. C1 --> XMP --> XMPema --> YMP --> C90 --> T90
  454.                    |       |       ^
  455.                    V       V       |
  456.                   XMS --> ELs --> J90 --> J90se --> SV1
  457.                            *
  458.                            *
  459.                            T3d ==> T3e
  460. APP --> CS64 --> CS64000
  461. C2  .   C3  .  C4
  462.  
  463. For binary compatibility you can go across one arrow or up/down one arrow
  464. only.
  465.  
  466. Note ==> the T3e used the same programming models as the T3d and so was
  467. source code compatible with only minor exceptions.
  468.  
  469. Note ** An MPP emulator was available for ELs to develop MPP codes while
  470. waiting for the T3 product line to arrive. The emulator managed about 4 MPP
  471. nodes but used the native CRI arithmetic.
  472.  
  473. Note The C90 could run J90 binaries if compiled without the scalar cache
  474. optimisation. The T90 comes with either Cray Floating Point CPUs or IEEE
  475. CPUs (or both).T90 IEEE arithmetic CPUs will not support C90 native codes.
  476.  
  477. The C4 had IEEE FP and went back to lots of registers instead of local
  478. memory. There was no binary compatibility between the C2, C3 and C4.
  479.  
  480. How did users shape the design of Cray machines ?
  481.  
  482. System owners asked for and got machine instructions to do "population
  483. counts", leading zero and later a bit matrix multiply functional unit. BMM
  484. was provided as an option on C90 and standard on all T90 CPUs.
  485.  
  486. Hardware based gather/scatter instructions were included in the EL and later
  487. systems. This instruction allowed the compilers to manage array indexed data
  488. more efficiently.
  489.  
  490. See also What is a T94/SSS ?
  491.  
  492. Why was it hard to program Cray machines ?
  493.  
  494. There has always been lots of Unix src code sloshing round on the net since
  495. well before Linux and the admirable open src code movement was invented.
  496. However there were a couple of things about Cray machines that made porting
  497. codes to Cray machines tricky. We won't get into what you had to do to your
  498. algorithm to get the best out of a Cray machine but just examine a few
  499. things that made the conversion of codes to Cray machines interesting.
  500.  
  501. Firstly there was the word size, one rather large size fitted all, integers
  502. and floats were represented in 64 bits, whereas most other machines used 16
  503. or 32 bit for ints and floats. This would not cause a problem in well
  504. written codes unless assumption were made about the range of an integer or
  505. the relative sizes of integers to character data types.
  506.  
  507. Cray PVP machines are word addressable, the T3D and T3E are byte addressable
  508. machines. 
  509. Although the compilers used transparent word division to mimic byte addressable
  510. constructs, advanced character handling was never a natural process on a
  511. Cray machine.
  512.  
  513. When the original arithmetic units were designed for Cray PVP systems, the
  514. IEEE floating point standard for arithmetic overflow and underflow did not
  515. exist. The IEEE standard compromises performance in favour of ease of use
  516. and so may not have made it in anyway. The Cray floating point format
  517. provided a different range of numbers and level of accuracy that tripped up
  518. some programs.
  519.  
  520. There are also other subtle considerations that have caused headaches for
  521. many programmers porting codes to Cray machines. Known collectively as the
  522. "Cray effect", they are the combination of algorithm scaling problems,
  523. cyclic accumulation of errors and parallelism interdependencies that seem to
  524. show up most times you take an apparently well behaved small program and run
  525. it longer harder and further than possible on a conventional system.
  526.  
  527. A source adds :
  528.     Possibly the most subtle problem in porting
  529.     programs to UNICOS was that some very "bright"
  530.     person put a #define for "WORD" in a header
  531.     file required by the kernel.  The first
  532.     thing to do in porting a program to UNICOS
  533.     was to find if it used WORD as a #define
  534.     or as a typedef and work around that.
  535.  
  536.     Cray machines could not support "alloca", so
  537.     minor magic had to be applied to programs
  538.     using "alloca."
  539.  
  540.     In the very early days, many C programs
  541.     suffered from the "nUxi" problem, but that
  542.     was hardly unique to Cray machines.
  543.  
  544. At various times, the following languages were available on Cray machines,
  545. FORTRAN 66,77,90,HPF, Cray C, Standard C, C++, Pascal, Ada, Perl, but never
  546. GNU C or Basic. There was an implementation of APL for the CRAY-1, and an
  547. implementation of SNOBOL 4. Neither was ever "officially supported." LANL is
  548. reported to have ported Common LISP as documented in Dick Gabriel's MIT
  549. Press PhD thesis.
  550.  
  551. What is boundary scan ?
  552.  
  553. This is a low level logic feature that is used to initialise and test the
  554. logic state of a board in a machine. Originally introduced on the EL it was
  555. later adopted and used on the J90 and T90 machines.
  556.  
  557. Scan files are unique to each CPU/memory board type. On the early EL systems
  558. boundary scan tapes with pre-built scan initialisation files for various
  559. part numbered CPUs were available but had to be updated whenever a later
  560. revision of board was used.
  561.  
  562. As the number of CPU module types mushroomed, Cray engineering realised the
  563. service problems associated with scan tapes. Releasing the scb command and
  564. the associated ASIC data files structures allowed service personnel to
  565. rebuild scan files of a machine in the field.
  566.  
  567. If you know that your hardware is sound you can use scb command to
  568. regenerate boundary scan files, as long as you have the /install/asic files
  569. and scb command.
  570.  
  571. The bscan command is used to read and write the scan state off/onto a board
  572. to progress hardware problems.
  573.  
  574. How is a T3d different from a Beowulf/NOW/PC cluster ?
  575.  
  576. This section could also have the title "The return of the Killer (network
  577. of) micros." The battles between the proponents of the "network of
  578. workstations" and the "it's only a supercomputer if it costs more than 1M$
  579. per CPU" crowd rattle endlessly round the halls of comp.sys.super but we are
  580. not going discuss the merits or otherwise of MPPs V. Vector supers. This
  581. section is purely to describe some of the differences between modern
  582. implementations of MPP technology. The term cluster can be considered to
  583. refer to any collection of generic parts pushed together to make a compute
  584. engine. e.g. Beowulf, NOW, SP2. An understanding of the applications that
  585. you will be using in an MPP system is vital when deciding what performance
  586. attributes are important to you.
  587.  
  588. There are four main areas of differences between a cluster and a T3e,
  589.         . Interconnect bandwidth ( and low latency ),
  590.         . Single system image,
  591.         . Programming models, and
  592.         . I/O ability.
  593. Some of these differences may erode, as cluster technology develops,
  594. but for now these differences stand to justify the extra 0s on the price.
  595.  
  596. Interconnect bandwidth and low latency: To make effective use of an MPP
  597. computer or cluster the problem/program has to split the work between
  598. multiple CPUs. Inevitably the whole task will require some communication
  599. between the nodes working on the different parts of the answer. Sometimes
  600. this co-ordination is only a very small part of the process, with just a
  601. distribution of sections of the problem, at the start, and the collection of
  602. the answers at the end, but with other types of problem close
  603. synchronisation and large amounts of inter processor data passing is
  604. required.
  605.  
  606. This is where understanding the speed and latency between the processing
  607. nodes becomes important. Inter processor synchronisation speed depends on
  608. network latency. Inter processor data passing speed depends on network
  609. bandwidth. Total communication bandwidth depends on the interconnection
  610. topology and sophistication of the routing algorithm.
  611.  
  612. The amount of communication required by a cartoon film render farm, for
  613. instance, would be at the low end of the communication requirements scale
  614. whereas a large finite element or fluid dynamic problem would be at the top
  615. end requiring low latency interconnects and high bandwidth. Combining these
  616. factors is the ratio of communication time to processing time. Delays in
  617. synchronisation and bandwidth become less significant if the calculation
  618. time between communication is long.
  619.  
  620. See The Gannett's law document for a description of a possible method of
  621. assessing problems and cluster computer solutions.
  622.  
  623. Single system image: The T3e has a single system image, this is not to be
  624. confused by the fact that the operating system is distributed across an
  625. number of CPUS. One of the main benefits is that there is just one OS to
  626. upgrade, monitor, boot and tune. Another even more important benefits is the
  627. availability of global memory data segments, closer synchronisation between
  628. the processing elements and shared filesystem access. The downside of a
  629. single system image is a high degree of inter node dependence that can make
  630. hardware problems tricky to find and fix. The close PE co-ordination makes
  631. command and task load balancing fast and efficient.
  632.  
  633. Programming models: The hardware support of a barrier tree mechanism allows
  634. fast multi-node synchronisation. The eureka hardware support allows problems
  635. with wide solution branching to be co-ordinated on "first to find the
  636. results" basis. Hardware support for atomic swap (and block memory move)
  637. allows for fast and accurate semaphore operation between shared memory
  638. locations. Clusters support the message passing programming models but also
  639. seen in the T3e are the shared memory programming models popular from
  640. symmetric multiprocessor systems.
  641.  
  642. Processor interconnect: The high level of processor and network integration
  643. allows the T3e to perform multi-node process moves, checkpointing and
  644. program debugging. Problems that require 1000s of process synchronisation
  645. per short problem step can only be realistically considered on the T3e.
  646.  
  647. IO ability: Clusters can work well in the cases where the IO is limited or
  648. centralised but many super computer applications are defined by large
  649. amounts of computation and huge amounts of data. The T3es provision of large
  650. shared file systems that makes sharing of huge datasets between
  651. computational processors easy. Support for huge raid disk arrays equally
  652. available across all CPUs in the system make shared file access routine. NFS
  653. cross mounting between 100s of processing nodes just doesn't provide the
  654. strength for many big problems. The emergence of multinode access
  655. filesystems on the SP2 have served to make IO a closer race.
  656.  
  657. So to sum up a T3e is best suited to problems whose parts require very high
  658. levels of synchronisation, co-ordination and communication. If the
  659. requirement is for chunks of computer power loosely coordinated over long
  660. time steps and budget is a big consideration generic cluster technology
  661. should be considered.
  662.  
  663. What is dumping ?
  664.  
  665. Copying memory contents to disk, copying disk contents to tape or selling
  666. computers at less than cost to stuff the opposition. CRI filed a government
  667. investigated dumping complaint against NEC over the supply of a system to
  668. NCAR. In a later quirk of economic fourtunes Cray Inc now sells the NEC 
  669. machines into the Amerian market.
  670.  
  671. How do you start a large Cray system ?
  672.  
  673. This is the short version, the full version fills a very long chapter and a
  674. whole day on the "Unicos kernel internals" course. The exact details varied
  675. a bit from generation to generation but the principals remained the same.
  676. Starting from a cold machine, the first thing to do would be to call the
  677. Cray engineer to start the power conditioning MG set. Next check the
  678. cooling circuits and WACS panel on the side of the main cabinet, to see that
  679. the power supply rails and temperature levels are normal. Working from the
  680. MWS the engineer would then master clear the machine to initialise the
  681. processor and IO channel logic. After this the first code would be copied
  682. main memory and the DEAD START command issued. The first code would usually
  683. be diagnostics to set and check the internal logic of the CPUs and memory.
  684. This diagnostic stage was largely replaced by the boundary scan logic in
  685. later systems.
  686.  
  687. Finally the system would be handed over to the operators for the booting of
  688. Unicos. The Unicos boot process went like this. Firstly all the CPUs are
  689. halted and, starting from word 0, the kernel is copied into main memory from
  690. the OWS or support disk, along with a parameter file describing the hardware
  691. environment, kernel parameters, disk and IOS layout. At this point CPU 0
  692. would deadstart and run while the rest of the CPUS idled. The kernel parsed
  693. the parameter file and used it to locate the IOSs and root partition, both
  694. of which it would need for single user mode. Once in single user mode the
  695. rest of boot sequence ( triggered by init 2 ) was much like most Unixs,
  696. spawn the service demons, initialise the networks, check and mount the rest
  697. of the file systems, spawn the console gettys.
  698.  
  699. There were many an interesting reasons why systems would not boot but most
  700. of them came down to hardware problems, incorrect parameter files and Unicos
  701. bugs on new hardware. Finding what was causing a system boot failure was of
  702. course a source of endless amusement.
  703.  
  704. Instructions for starting a Cray EL system
  705.  
  706. Check the "big red button" is up. Switch system power on at the power
  707. breaker on rear mchine wait until system ready indicator lights up on front
  708. panel of the machine. Press the system reset buttons under the flap on the
  709. front of the machine. Let the console messages and diagnostics scroll up.
  710.  
  711. It should come to the BOOT> prompt. Type "load" this will scan the hardware
  712. looking for disks and controllers according to the config.sys file on the
  713. IOS disk. It will also run diagnostics if this is a cold start.
  714.  
  715. At this point you should have a IOS> prompt. You can now cat /bin/boot Look
  716. for the line that has something like
  717. lu /sys/sys.ymp /sys/config.uni
  718.  
  719. /sys/sys.ymp is the kernel the other is the text parameter file which
  720. describes the disks/filesystems that Unicos will use. Then type "boot" to
  721. start Unicos into single user mode. The system should now arrive at the #
  722. Unicos prompt. Check your file systems with /etc/gencat. When this is
  723. complete go to multi user mode with init 2
  724.  
  725. Typing ^a on the console switched you between talking to the IOS and talking
  726. to the Unicos console unless either the scroll lock (right next to the
  727. delete key) had been pressed or the console line had been switched into
  728. remote support mode in which case the machine just looks hung.
  729.  
  730. A computer based learning training course for system operators was
  731. constructed that simulated the boot sequence and other basic EL maintenance
  732. procedures. See the annotated boot sequence in a near by document.
  733.  
  734. Chips off the same block
  735.  
  736. What was the difference between the Alpha chips used in the T3[de] and other
  737. Alpha chips ? Basically not much except in the liquid cooled T3[de] versions
  738. the chip was packaged upside down. Normally the heat from the Alpha
  739. chip is dissipated through an air heat sink on the top of the chip but with
  740. the T3e providing cooling from inside the board the packaging was flipped to
  741. have the heat go down instead of up. DEC also provided a pin to allow CRI to
  742. run data fetches big-endian rather than little-endian.
  743.  
  744. Heat| ++++++  chips
  745.     V ======  PCB board
  746.     --------  Cooling fluid in hollow copper module
  747.     ^ ======  PCB board
  748. Heat| ++++++  Chips
  749.  
  750. There was some consternation in 1997 when Intel bought the Alpha chip
  751. fabrication plant, the prospect of putting "Intel Inside" on the case of the
  752. Cray T3e filled purists with horror.
  753.  
  754. What was Ducky day ?
  755.  
  756. This was an employee fun day that happened once a year at the Eagan
  757. buildings. The day was a holiday for all staff with organised sport and
  758. social events. The Tee shirt design of the day was decided by a cartoon
  759. competition. The origins of the "Ducky day" name came from a prank; a plastic duck
  760. was found in the rather grand water pond with sculpture outside the 1440
  761. building. The facilities manager issued a rather stern warning so the next
  762. day the pond was filled to the brim with yellow plastic ducks.
  763.  
  764. A Revisionist view of Ducky day From Bill P.
  765. Ducky Day began at the Mendota Heights facility (1440 Bldg.) and was moved 
  766. to the Eagan facility with the construction of the new campus. The combination 
  767. fountain/sculpture was christened "Octal".  It was made of wooden lattice work, 
  768. concrete and plumbing (probably procured from a local Menards Building Center).
  769. On the company move to the "new" Cray Research Park  from the 1440 Northland Drive 
  770. facility,  the first ducky day at the new location was celebrated by
  771. putting the torch to the wooden portion of the reassembled sculpture on the island 
  772. in the middle of Cray Lake. This "Viking like" ceremony was presided over by Bob 
  773. Ewald, the VP of Software Development at that time.
  774.  
  775.  
  776. What were the code names rain, gust, drizzle, cyclone etc ?
  777.  
  778. Up to about 1994 the computers in the Cray Research, Eagan and Chippewa
  779. Falls, machines rooms in were known by their serial numbers. For
  780. manufacturing this was fine but for the Eagan centre it was a pain as
  781. computers were replaced and upgraded on a reasonably regular basis. CCN in
  782. Eagan was more interested in running compute environments so it was decided
  783. that each type compute platform benchmarking, filestore, batch engine etc.
  784. would have an environment name instead. This meant that "Rain" as a compute
  785. platform started out as a YMP8e but later transparently changed into a C90
  786. with less disruption to the end users. The exception to this was USS the
  787. Data Migration file server that was always called USS. The 
  788. biggest machines in Eagan were interconnected by very high speed networking,
  789. HYPER channel in the early days, and later (@1994) 200MB/s HIPPI
  790. connections.
  791.  
  792. Could you choose the colour of your Cray machine ?
  793.  
  794. In the early days of the company yes, there was even rumour of a cowhide
  795. covered XMP delivered to a Houston oil company. As time went on this was
  796. dropped as a customer option. Well almost - when there is that much money
  797. changing hands, if enough fuss is made, the exterior panels would revisit
  798. the paint shop. This did not apply to Els which were all black and red. Well
  799. almost - one customer which had just upgraded a pair of YMPs (one green, one
  800. blue) for a C90 and an EL did manage to get the EL painted a rather fetching
  801. sky blue colour.
  802.  
  803. As for XMP/EA, sn501 and internal contact reports "We lobbied to have it
  804. done up in denim (like the denim Jeans) & have a little red Levis tag
  805. attached. ... Management was not amused & it never happened."
  806.  
  807. One second user customer did have a bit of a surprise when their second user
  808. C90 arrived in a lurid deep rose/pink colour. The top of the C90, being a
  809. convex shape happened to sit just a couple of feet under a set of strip
  810. lights and resulted in lovely pink glow over a whole section of the machine
  811. room.
  812.  
  813. The Bell Labs Cray (XMP) was a wallpaper'ed IC design.
  814.  
  815. What was the physically smallest Cray machine ?
  816.  
  817. The smallest, commercially available machine, was the EL92 a repackaged
  818. version of the air cooled EL range which measured approx. 1.2m high by 0.6m
  819. wide by 0.6m deep and could run from a normal power outlet. Whilst not a big
  820. commercial success as it was a bit late to market, it was widely used for
  821. trade shows, software development and as loan equipment. Available in 2 and
  822. 4 CPU versions with 512Mb memory it was truly a deskside Cray. Good write up
  823. and pictorial in "Advanced systems" magazine July 1994.
  824.  
  825. What was the physically largest Cray machine?
  826.  
  827. The 16 CPU version of the C90 was a truly big machine standing at 2.5m tall
  828. and CPU cab just fitting in a 4m diameter circle. Together with the power
  829. and cooling equipment the whole system weighed in at approx. 12 (?) tonnes.
  830. There was one (or more?) systems delivered that consisted of four
  831. interconnected 16 CPU C90s.
  832.  
  833. What was the computationally largest machine that Cray made ?
  834.  
  835. In December 1998 the biggest machine was a 1048 CPU T3e assembled by Cray
  836. and temporaly released to a small community of scientists. This machine was
  837. subsequently delivered to an undisclosed customer. The design at that time would
  838. scale up to 2176 Cpus before node addressing limits were reached.
  839.  
  840. The "Guinness World records 2000" has the Cray C90/16 as the fastest general
  841. purpose vector-parallel computer but we all know this should be updated to
  842. the T90/32.
  843.  
  844. What limits prevented Cray from building even "bigger" machines ?
  845.  
  846. By bigger in supercomputing terms we mean more CPU horsepower in one system. 
  847. Looking at the T3e range of machines, we see that that the T3e was a very 
  848. scaleable architecture. The systems can be grown by adding boards of 4 or 
  849. 8 processors during a maintenance slot. However adding boards does require 
  850. some rewiring of the interconnect torus and takes a few hours. 
  851.  
  852. There would be various reasons why a limit is set on the upper size of a T3E. 
  853. I am not sure which of the following played a part in the upper size limit 
  854. of a T3e but here are the ideas.
  855.  
  856. Physical size limits: 1048 CPUs, the largest known configuration, would fill 8
  857. system cabinets and beyond that the distance across the frame could have adverse
  858. timing influences on the clock circuits. The clock was carried from cab to cab
  859. using Fibre optic circuits. The physically bigger a system gets the longer it
  860. takes to co-ordinate the parts. Which is why computers get denser by preference
  861. rather than larger. Seymour Cray always concentrated on making smaller denser
  862. machines rather than larger ones with more in because of this factor.
  863.  
  864. Power and cooling: not really a limit, bigger, hotter machines had been built
  865. by Cray in the past. However beyond certain wattage very special and usually
  866. expensive power and cooling arrangements have to be made and this will contribute
  867. to large infrastructure and running costs.
  868.  
  869. Reliability: Because of the tightly bound interconnect of the machine, very much
  870. tighter than nodes on a network, the failure of any CPU or board power supply
  871. could kill the machine. If you had a CPU/power supply combination that fails once
  872. randomly distributed in 50 years (50*52=2600weeks) / 2176cpus = 1.19 So you can
  873. expect to see a failure just over once a week.  Building a board that fails less
  874. than once in 50 years is hard but a system failure once a week is unacceptable.
  875. Driving up that reliability curve for the machines was something that the
  876. engineers battled with during the development of the system. Having "Spare" CPUs
  877. ready to map in limited the down time associated with a CPU/cpu failure but it
  878. still took time to locate the point of failure and map around it. A system
  879. running weather predictions to a tight time scale could not afford to have random
  880. 2..4 hour failures once a week.  After an initial burn-in period boards do not
  881. fail randomly but you can see that the more cpus/parts there are the less
  882. reliable a machine will tend to be.
  883.  
  884. Operating System scaleability: The T3e is a single system image machine, even
  885. though parts of it are distributed between processors, there is only one copy of
  886. the operating system, process table memory map etc.  A "normal" SMP type
  887. architecture will struggle once the number of active processes exceeds 2000 and
  888. it has the advantage of uniform access to all its memory map. The T3E has to cope
  889. with just as many processes with the extra strain of them all running in
  890. parallel. The scheduling was made easier by dividing the processors into
  891. application pools and by treating a group of processors working on a single task
  892. as a single job but controlling the machine gets harder the more parallel
  893. elements there are to co-ordinate. The bigger the machine the more likely it is
  894. that you will hit a situation where much of the machine is pounding on a single
  895. part of the machine that runs a critical resource. The cost of having that a big
  896. machine all waiting on the completion of a single task limits the scaleability of
  897. the system. E.g. Root filesystem inode contention, process table interactions
  898. etc. These and other throttle points limit the scaleability of any operating
  899. system.
  900.  
  901. Market demand: The amount of CPU horse power you can get out of one CPU was such
  902. that most problems fitted into 50..100 CPUs before the program bogs down waiting
  903. on I/O or system resources. If you have 40 lots of 50 CPU programs to run you
  904. would have a more reliable solution having 2 * 1000 CPU boxes.  The demand to run
  905. 2000 CPU problems just is not large enough to cover the extra costs of building
  906. them.
  907.  
  908.  
  909. What was the Cray connection with Apple ?
  910.  
  911. Cray and Apple, seemly at opposite ends of the computer spectrum, do have
  912. some subtle links. It was known that Seymour Cray used an Apple desktop some
  913. of the time when designing the Cray-2. It is also known that Apple had a
  914. sequence of Cray machines starting in March 1986 with an XMP/28 followed by
  915. another XMP in Feb 1991. A YMP-2E arrived later in 1991 and finally an EL
  916. from Dec 1993 to Jun 98. It is said that Apple's first XMP was bought by
  917. Steve Jobs after he just walked into the Cray facility in Mendota Hights.
  918.  
  919. Originally purchased to help out on a computer on a chip project, the
  920. machines eventually earned their keep running MOLDFLOW an injection plastic
  921. modelling program ( producing some results in the form of Quicktime movies)
  922. and later as a file server. Other applications were CFD codes for disk drive
  923. design improvement and one source reports ".. they sometimes ran the first
  924. XMP as a single user MacOS emulator ... They had a frame buffer and a mouse
  925. hooked up to the IOP."
  926.  
  927. What is less known however is that the small active display panel on the T3d
  928. was an Apple powerbook. The powerbook ran a Macromedia presentation showing
  929. the T3e cube of cubes logo with an orbiting growing/shrinking sphere. The
  930. display at one site was changed to alternate with a presentation plaque
  931. display. It was rumoured that one site engineer ordered a collection of
  932. spare bits that, over time, comprised a complete new powerbook.
  933.  
  934. According to a CCC inside source Seymour Cray and the Cray Computer 
  935. Corporation used Macintosh desktop computers almost exclusivly for 
  936. work on the Cray-3 and Cray-4 projects. Much of such work was just 
  937. moving text and graphic files arround on a shared network.
  938.  
  939. The recent (Sept 1999) launch on the www.Apple.com web site of the G4
  940. Macintosh computers displayed a YMP-8D computer on the processor page.
  941. Whilst there was no direct reference to that particular machine there was a
  942. requote of the Seymour quote about "using an Apple to simulate the Cray-3"
  943. in a sidebar. ( prob this should be Cray-2 ED). The G4 is being touted as a
  944. "Supercomputer for the desktop" and with the performance figures of a
  945. Gigaflop/s (1 CPU) it is certainly up to at least 1992 supercomputer cpu
  946. speed. The YMP pictured on the site would have had 0.333 Gflop/s per cpu but
  947. was sold as sustaining 1 Gflop/s, for the whole machine, on real life
  948. applications. It remains to be seen if the G4 can match the memory size,
  949. memory bandwidth and IO capacity of this 8 year old Cray. Supercomputers
  950. these days do a Teraflop/s. There is however no doubt that it will be cheaper
  951. to buy.
  952.  
  953. The popular Macintosh telnet program developed by NCSA has an icon which
  954. is an XMP surrounded by a network with Macs. NCSA had a Cray
  955. accessed by Macs and thus needed to develop such a program. 
  956. NCSA = National Centre for Supercomputer Applications.
  957.  
  958.  
  959.  
  960. How many people worked for Cray Research
  961.  
  962. This compiled from various SEC 10-K documents.
  963.  
  964. As of December 31, 1995, the Company had 4,225 full-time employees; 83 in
  965. development and engineering, 1,399 in manufacturing, 763 in marketing and
  966. sales, 915 in field service and 165 in general management and administrative
  967. positions.
  968.  
  969. As of December 31, 1994, the Company had 4,840 full-time employees;1,172 in
  970. development and engineering, 1,531 in manufacturing, 849 in marketing and
  971. sales, 1,075 in field service and 213 in general management and
  972. administrative positions.
  973.  
  974. As of December 31, 1993, the Company had 4,960 full-time employees: 1082 in
  975. development and engineering, 1798 in manufacturing, 728 in marketing and
  976. sales, 1157 in field service and 195 in general management and
  977. administrative positions.
  978.  
  979.                         Cray Research Growth Table
  980.  
  981.  YearEmployees Locations USA/International New Systems Installed systems
  982.  1972    12                 1                   0              0
  983.  1973    24                 2                   0              0
  984.  1974    29                 2                   0              0
  985.  1975    42                 2                   0              0
  986.  1976    24                 4                   1              1
  987.  1977   199               6 / 1                 3              4
  988.  1978   321               8 / 1                 5              8
  989.  1979   524               10 / 3                6             13
  990.  1980   761               13 / 4                9             22
  991.  1981   1079              16 / 4               13             35
  992.  1982   1352              17 / 4               15             50
  993.  1983   1551              18 / 6               16             65
  994.  1984   2203              20 / 8               23             84
  995.  1985   3180             22 / 10               28             108
  996.  1986   3999             28 / 12               35             138
  997.  1987   4308             34 / 13               43             113
  998.  1988   5237             35 / 18               52             220
  999.  1989   4708             32 / 18               57             240
  1000.  1990   4857             34 / 18               52             263
  1001.  1991   5395             35 / 21               71             309
  1002.  1992   4895                                                  446
  1003.  1993   4960      6 + 153600 ft^2 Leased                      505
  1004.  1994   4840      6 + 190600 ft^2 Leased                      638
  1005.  1995   4225      6 + 211100 ft^2 Leased
  1006.  
  1007. Data from Cray Research via www.cbi.umn.edu.
  1008.  
  1009. CCC had 350 workers at the time of its closure in 1995.
  1010.  
  1011. Who ran Cray Research ?
  1012.  
  1013. CEOs of Cray Research
  1014.  
  1015. Who                    Dates       Where are they now ?
  1016. John Rollwagen        1976..1992   Now is a "Venture Partner" at Paul Venture
  1017. Capital in St. Paul, Minnesota
  1018. Marcello Gummucio     1992..1994   Now at BeOS ?
  1019. John F. Carlson   Jan 1993..1994
  1020. Robert Ewald      Dec 1994..1996   Now at Estamp an internet venture selling
  1021. snailmail postage over the web.
  1022. J. Phillip Samper May 1995.. ?       ?
  1023. Irene Qualters         ?
  1024.  
  1025. Mr. Ewald ... joined the Company (SGI) in 1996 as President of Cray Research
  1026. and a Senior Vice President of the Company. Mr. Ewald was the President and
  1027. Chief Operating Officer of Cray Research, Inc. from 1994 until 1996, when
  1028. Cray was acquired by the Company. Prior to that, he was Chief Operating
  1029. Officer of Cray's Supercomputer Operations and in 1993 served as Executive
  1030. Vice President and General Manager, Supercomputer Operations. From 1991
  1031. through 1993, Mr. Ewald was Cray's Executive Vice President, Development.
  1032. His daughter worked for part of the Craysoft organisation.
  1033.  
  1034. Les Davis can certainly be considered one of the spritual leaders of the
  1035. traditional Crayons.
  1036.  
  1037. Was a Cray supercomputer value for money ?
  1038.  
  1039. The utilization of most of the 16 cpu C90 systems I ever saw approached 98%
  1040. at most sites, month after month, year after year so despite the high,
  1041. typically USD 30,000,000 price customers got value for money.
  1042.  
  1043. Warning salesmen maths ahead, full of apples=oranges assumptions but go with
  1044. me for while...
  1045.  
  1046. Lets work it out over 6 years the typical life of a C90. USD 30,000,000
  1047. purchase price + 3,000,000 * 6 Per year service cost = USD 54,000,000 total.
  1048. That would be 9,000,000 per year over 365 days = USD 24,657 per day for the
  1049. system. Per CPU that would be approx. USD 1,541 per day. In that day on that
  1050. one CPU you could do 1 Gigaflop/s * 24 * 3600 * 98 % = 84,672,000,000,000
  1051. Flops in the day.
  1052.  
  1053. C90 Cost per 10^6 flops = 154,100 / 84,672,000 = 0.0018 cents per MFlops
  1054.  
  1055. Think that a workstation in 1994 would cost you approx. USD 8,000 + 800 PA
  1056. and would be obsolete in 3 years. So that is USD 10,400 total or 4366.6 PA.
  1057. Per day that's USD 12. Typically workstations are person driven, and people
  1058. work 9 to 5 - 1 hours in a day, 5 days out of 7 that's a 40/168 = 23 %
  1059. utilisation. Workstations in 1994 could manage about 5 Mflops/s on real
  1060. codes. So the workload works out at 5,000,000 * 24 * 3600 * 23% =
  1061. 99,360,000,000 Flops in a day.
  1062.  
  1063. PC Cost per 10^6 flops = 1200 / 99,360 = 0.012 cents per MFlop.
  1064.  
  1065. So it is cheaper to work things out on a C90 than a workstation just as long
  1066. as you have enough work to keep it busy. We won't go into the fact that you
  1067. can run much bigger problems on the C90 or that you can get the same work
  1068. done faster as we seem to have won this point already.
  1069.  
  1070. Did Cray fail? It was bought out by SGI in 1996
  1071.  
  1072. No. Cray dominated, after inventing the super computing marketplace, for 20
  1073. years. Cray was *the* name in high performance scientific and engineering
  1074. computing. Cray did seem to lose the technology focus in the later part of
  1075. the '90s, the T90 was too expensive to build, the T3e cost too much to
  1076. develop and the DEC deal scuppered the chances of world domination in
  1077. departmental compute servers but there is no doubt that the sheer quantity
  1078. of engineering and science completed on Cray hardware changed the face of
  1079. the 20th century.
  1080.  
  1081. So did Cray Research fail? No. Whilst relatively few machines were ever made,
  1082. even of the more popular models, they provided an unrivalled platform for
  1083. tackling the toughest computational problems, which is of course, the mission of
  1084. Cray Research. In March 2000 the Cray Research name and business was sold by SGI
  1085. to Tera Inc, the inovative supercomputer maker from Seattle. Tera inc have now
  1086. changed their name to Cray inc and continute to develop, service and inovate Cray
  1087. computers.
  1088.  
  1089. Whats happening now ?
  1090.  
  1091. Since the join up Cray inc have delivered the SV-1 and X1 traditional vector super
  1092. computers,
  1093. sealed a deal with one-time rival NEC to market the sx-6 and serviced the MTA line.
  1094. There
  1095. have also been developments in the Linux cluster areas leeding on to this recent
  1096. announcement.
  1097.  
  1098. In October 2003, Cray Inc. announced plans to create a product line based on the 
  1099. "Red Storm" 40-TeraOp (40 trillion calculations per second) supercomputer it is 
  1100. developing for Sandia National Laboratories. Red Storm is a supercomputer system 
  1101. leveraging over 10,000 AMD Opteron(tm) processors connected by an innovative
  1102. high-speed, 
  1103. high-bandwidth 3D mesh interconnect designed by Cray.  See http://www.cray.com for
  1104. more details.
  1105.  
  1106.  
  1107.  
  1108. Trademark Disclaimer and copyright notice
  1109.  
  1110. Thank you for taking time to read these important notes.
  1111.  
  1112. Cray, Cray Research, CRI, XMP, YMP, C90, T90, J90, T3d, T3e, Unicos, plus
  1113. other words and logos used in this document are trademarks which belong to
  1114. Silicon Graphics Inc. and others. There is nothing generic about a Cray
  1115. supercomputer.
  1116.  
  1117. Some of the ideas described in this document are subject to patent law or
  1118. are registered inventions. Description here does not place these ideas and
  1119. techniques in the public domain.
  1120.  
  1121. I wrote this document with input from a number of sources, but I get both
  1122. the credit and the blame for its content. I am happy to read your polite
  1123. correction notes and may even integrate them with the text so please
  1124. indicate if you require an acknowledgement.
  1125.  
  1126. Personal use of this document is free but if you wish to redistribute this
  1127. document, in whole or in part, for commercial gain, you must obtain
  1128. permission from and acknowledge the author.
  1129.  
  1130.   ------------------------------------------------------------------------
  1131. Things to do: Detailed machine type specs, URls and links to resources, War
  1132. stories - Time warp, Fixed on site, T3e OS internals, T3e logical to
  1133. physical, T3e go faster bits express message queues, Multi CPU Process
  1134. relocation, How to program, vectorisation, macro tasking, micro tasking,
  1135. auto tasking, Large memory, expand ccc, expand SPARC superserver.
  1136. Contributions please ...
  1137.   ------------------------------------------------------------------------
  1138. Dec 2003 V1.1.0
  1139.  
  1140. Copyright (c) 1999 by "Fred Gannett", all rights reserved.
  1141. This FAQ may be posted to any appropriate USENET newsgroup, on-line service, web
  1142. site, or BBS as long as it is posted in its entirety and includes this copyright
  1143. statement.
  1144. This FAQ may be distributed as class material on diskette or CD-ROM as long as there
  1145. is no charge (except to cover materials).
  1146. This FAQ may not be distributed for financial gain except to the author.
  1147. This FAQ may not be included in commercial collections or compilations without
  1148. express permission from the author.
  1149.  
  1150. Downloaded from Gannett's home page www.SpikyNorman.net
  1151.  
  1152.