home *** CD-ROM | disk | FTP | other *** search
/ ftp.robelle3000.ai 2014 / 2014.06.ftp.robelle3000.ai.tar / ftp.robelle3000.ai / newsletter / 2001 / w2001-01.txt next >
Text File  |  2001-01-15  |  22KB  |  540 lines
  1. What's Up, DOCumentation? 2001 # 1
  2.  
  3.  
  4. January 2001
  5.  
  6.  
  7. From: Robert M. Green, President
  8.     Mike Shumko, Editor pro tem
  9. To: Users of Robelle Software
  10. Re: News of the HP e3000 and Robelle, 2001 #1
  11.  
  12. What You Will Find in This Newsletter:
  13.     * Suprtool's Powerful New String Functions
  14.     * Cleaning Up E-mail Addresses in Ecometry, by Chris Bartram
  15.     * WOW! 17 X Performance Improvement with Suprtool!
  16.     * Schedule: February Is Action Packed
  17.     * An HMO Tries the "e" in "e3000", by Eben Yong
  18.     * Robelle-L Discussion Group Has Moved, Now on Web
  19.     * Using Qedit For Windows to Test Suprtool Jobs
  20.     * Robelle Website Now Changes Daily
  21.     * Is Your Disc Being Eaten By MPE?
  22.  
  23. ------------------------------------------------------------------------
  24.  
  25. Suprtool's Powerful New String Functions
  26.  
  27. With Suprtool's extract already being so fast, and new machines being
  28. more powerful all the time, our next focus is to reduce the number of
  29. passes that you need to do to get your data into the format you want. So
  30. in pre-release version 4.3.03, Suprtool has some powerful new string
  31. handling capabilities that users have been looking forward to for some
  32. time. These allow you to trim blanks around string values, concatenate
  33. strings, and upshift or downshift values, all in a single task.
  34.  
  35. A simple example is the formatting of an Address line out of three
  36. separate fields, with one Suprtool command and in one pass.
  37.  
  38. The sample file with address information:
  39.  
  40. >form testaddr
  41.     File: TESTADDR.GROUP.ACCT     (SD Version B.00.00)
  42.        Entry:                     Offset
  43.           NAME                 X30     1
  44.           STREET               X20    31
  45.           CITY                 X20    51
  46.           PROV-STATE           X2     71
  47.           COUNTRY              X20    73
  48.     Limit: 10000  EOF: 15  Entry Length: 92  Blocking: 44
  49.  
  50. You can now combine fields and constants with the spaces trimmed with
  51. one single extract command, as follows:
  52.  
  53. >input testaddr
  54. >define address3,1,40
  55. >extract name,street
  56. >extract address3 = $trim(city) + "," + prov-state + " " + $trim(country)
  57. >numrecs 1
  58. >list
  59. >xeq
  60.  
  61. The result is a neatly formatted address line ready for printing on
  62. labels.
  63.  
  64. >IN TESTADDR.NEIL.GREEN (0) >OUT $NULL (0)
  65. NAME            = Neil Armstrong
  66. STREET          = 123 54th St West
  67. ADDRESS3        = New York,NY U.S.A
  68.  
  69. Note that if the output had been sent to a self-describing file, the
  70. field "address3" would have contained the result of the expression. This
  71. technique can be used in a range of applications, including date
  72. reformatting, firstname and lastname concatenation (with intervening
  73. blank) for generating form letters, etc, all in a single task.
  74.  
  75. The above example shows the use of the $trim function which removes both
  76. leading and trailing spaces from a field. The $ltrim and $rtrim are also
  77. available; these functions remove leading and trailing spaces
  78. respectively.
  79.  
  80. Two other string functions have been added, for upshifting or
  81. downshifting strings:
  82.     * $upper  {upshift}
  83.     * $lower  {downshift}
  84.  
  85. Say for example you wanted to find all the customers in New York City,
  86. but your data has combinations of New York, NEW YORK and New YOrk. You
  87. can find all of these records by doing the following:
  88.  
  89. >if $upper(city) = "NEW YORK"
  90.  
  91. These new functions can be used in the If and the Extract commands, and
  92. add a whole new dimension of functionality to Suprtool, by allowing you
  93. to do much more work in a single pass.
  94.  
  95. Please contact Robelle at 1.888.robelle or e-mail support@robelle.com if
  96. you'd like us to send you a pre-release version of Suprtool 4.3.03 with
  97. these new "string" functions. These new functions will also be included
  98. in the next general release of Suprtool, version 4.4, which will be sent
  99. out to all supported customers in Spring 2001.
  100.  
  101. [Neil Armstrong, Robelle Senior Programmer]
  102.  
  103. ------------------------------------------------------------------------
  104.  
  105. Cleaning Up E-mail Addresses in Ecometry
  106.  
  107. by Chris Bartram, U.S. Mint
  108.  
  109. Thought I'd pass along this script that scans the e-mail addresses in
  110. CUST-XREF, looking for junk (like zeros, NONE, NA, etc) and getting rid
  111. of them. It then does a second pass that checks the remaining addresses
  112. for valid syntax (using a pattern match in Suprtool) - i.e. something @
  113. something . something ... not perfect, but it will find most badly
  114. formed or mistyped addresses.
  115.  
  116. This script e-mails the list of CUST-EDP records to a contact list; easy
  117. enough to just print it or not as you want (replace the !xeq sendhtml
  118. line with a PRINT command or something). The lists are left on the
  119. system as the files 'NULLMAIL' and  'BADEMAIL' in ASCII format.
  120.  
  121. The script is written for the Ecometry application, but the techniques
  122. would apply, with revisions, to other applications as well.
  123.  
  124. !JOB fixemail,jobs.sgaii
  125. !continue
  126. !purge nullmail > $NULL
  127. !SUPR
  128. base macord,1,passwd
  129. get cust-xref
  130. define email,xref-no[3],47
  131. define emtype,xref-no[1],2
  132. if emtype='EM','EU' and (email='NONE ','N/A','NA ','0 ','00 ',&
  133. '000 ','0000 ' OR email=='00000@')
  134. extract cust-edp
  135. extract email
  136. sort cust-edp
  137. duplicate none keys
  138. output nullmail,ascii
  139. delete
  140. xeq
  141. exit
  142. !IF FINFO("NULLMAIL","EOF")>0 THEN
  143. !  sendhtml.xeq.threek ^macsl2.data.sys,,,NULLMAIL,&
  144. !    'Improperly entered Email Addresses - deleted'
  145. !ENDIF
  146. !continue
  147. !purge bademail > $NULL
  148. !SUPR
  149. base macord,1,passwd
  150. get cust-xref
  151. define email,xref-no[3],47
  152. define emtype,xref-no[1],2
  153. if emtype='EM','EU' and email><'?@&@?@.?@'
  154. extract cust-edp
  155. extract email
  156. output bademail,ascii
  157. xeq
  158. exit
  159. !IF FINFO("BADEMAIL","EOF")>0 THEN
  160. !  sendhtml.xeq.threek ^macsl2.data.sys,,,BADEMAIL,&
  161. !    'Badly formatted Email Addresses - need to be corrected'
  162. !ENDIF
  163. !EOJ
  164.  
  165. Note: Doing a DUPLICATE NONE KEYS and a DELETE in the same pass, as
  166. shown above, does work, but may not be best practice. Robelle generally
  167. suggests that users don't archive and delete in the same pass, because
  168. it's not recoverable (i.e., if the job is aborted, records are deleted
  169. but you don't have the archive copy). Better practice is to archive in
  170. pass one, and once you have the secure copy, go back and delete from the
  171. dataset in a separate pass.
  172.  
  173. I was toying with figuring out how to check the domain names in the e-
  174. mail addresses against the Internet to see if they are valid. That is
  175. described in part 2 of this article <http://www.robelle.com/tips/email-
  176. whois.html>.
  177.  
  178. [Chris.Bartram@usmint.treas.gov]
  179.  
  180. ------------------------------------------------------------------------
  181.  
  182. 17 X Performance Improvement with Suprtool!
  183.  
  184. Recently, Robert Allen Green, of Long Reach, Inc., Houston, evaluated
  185. our Suprtool product on MPE, and was impressed with the results...
  186.  
  187. Robert took one of their existing monthly reports, "Activity to closed
  188. Work Orders", which uses Query to access 2 datasets in a database,
  189. selecting on date and order-status, and replaced it with a Suprtool job.
  190.  
  191. The Query job was run monthly, and took 2 hrs and 18 minutes to run. It
  192. also didn't include component costs, so users would have to manually
  193. lookup the part costs to compute the standard cost of each order. In his
  194. Suprtool replacement, Robert included tasks to link in the component
  195. costs, so that the final report includes the computed cost per order.
  196. And, to top it all off, Suprtool creates an ASCII output file that can
  197. be imported directly into an Excel spreadsheet by the user.
  198.  
  199. Total time to execute the Suprtool jobstream? 8 minutes. That's a 17-
  200. times performance improvement!
  201.  
  202. Way to go, Robert!
  203.  
  204. [Hans Hendriks, Robelle Technical Support]
  205.  
  206. ------------------------------------------------------------------------
  207.  
  208. February Is Action Packed
  209.  
  210. There are four major e3000 related events in February 2001:
  211.     * SigSoftVend, a meeting of vendors with HP
  212.     * Solutions Symposium: training for new and intermediate users
  213.     * SIG/3000, a  meeting of technical special interest groups such
  214.       as SIG/IMAGE
  215.     * Performance Training Seminar in Florida
  216.  
  217. Robelle plans to attend all four. Here are the details of two of them:
  218.  
  219. Performance Training Seminar in Florida
  220.  
  221. This seminar hosted by FloRUG on February 13-16, 2001 offers four full
  222. days to rub shoulders with the top e3000 performance experts in a more
  223. intimate setting than the big conferences. Robelle's resident Suprtool
  224. performance authority, Neil Armstrong, will be speaking Thursday
  225. afternoon from 1:30 to 3:00. Neil describes his talk, entitled 
  226.  
  227. "I/O Performance: Living with 400 I/Os Per Second"
  228.  
  229. "The slowest link in the performance chain will always be physical
  230. mechanisms, i.e. disk and tape drives. Where CPU transactions are
  231. measured in millions or billions of instructions per second and logical
  232. memory I/O's measured in tens of thousands per second, physical I/O's
  233. are still measured in dozens, or perhaps hundreds. I'll explain software
  234. and database strategies for improving I/O performance, and also detail
  235. my explorations of HP's new PCI backbone and what it suggests for
  236. increased I/O performance."
  237.  
  238. Robelle will also have a booth at the show where Neil will be available
  239. to answer your performance questions. And if you have Suprtool, bring
  240. any Suprtool questions along as well. We look forward to seeing you
  241. there.
  242.  
  243. Visit the FloRUG web site to see the program schedule <A
  244. HREF="http://www.florug.net/NEWSLETTERS/5thperf/5thperf.html">,
  245. abstracts of the sessions, hotel form <A
  246. HREF="http://www.florug.net/NEWSLETTERS/5thperf/5thperf-p6/5thperf-
  247. p6.html">, and the seminar registration information <A
  248. HREF="http://www.florug.net/NEWSLETTERS/5thperf/5thperf-p7/5thperf-
  249. p7.html">.
  250.  
  251. Increase Your Skills at the Solutions Symposium
  252.  
  253. Mark February 7-10, 2001 on your calendar for the second HP e3000
  254. Solutions Symposium <A
  255. HREF="http://www.interex.org/conference/hpe3000solutions2001/index.html"
  256. >, an event that offers 4 days of extensive technical training for e3000
  257. System Managers, Programmers, Webmasters and Application Developers.
  258. Paul Gobes, Technical Support Manager of Robelle, attended the Symposium
  259. last year and sums it up as "great talks by sharp people". This year
  260. Paul will be giving three tutorials: 
  261.  
  262. IMAGE PROGRAMMING
  263.  
  264. Thursday 8th, 1-3pm
  265.  
  266. Audience: Application Developers
  267.  
  268. Topics Covered: IMAGE Fundamentals, Creating Databases, Intrinsics,
  269. Programming Considerations, New Features of Image, Tools and Utilities.
  270.  
  271. Abstract: IMAGE is the rich, functional database management system that
  272. is at the core of almost every application developed for the HP e3000.
  273. Programmers with any level of application development experience will
  274. benefit from this insider's look at the theory and practice of
  275. programming IMAGE. 
  276.  
  277. DATABASE PERFORMANCE ANALYSIS USING HOWMESSY
  278.  
  279. Wednesday 7th, 11-12am
  280.  
  281. Audience: System Administrators and Developers
  282.  
  283. Topics Covered: Migrating Secondaries, Interpreting HowMessy Reports,
  284. Masters and Detail Issues, DBGeneral Reports, Repacking Detail sets.
  285.  
  286. Abstract: IMAGE databases are inherently messy. Their tidy exteriors
  287. sometimes conceal nasty surprises that can hamper performance and reduce
  288. the speed of retrievals and updates. But armed with the right tools and
  289. know-how you can quickly bring order to the chaos. The HowMessy program
  290. from Robelle can report on the internal inefficiencies of your IMAGE
  291. database, to help you determine why performance is not what it should
  292. be. Then you can use Adager or DBGeneral to apply the changes that will
  293. reorganize the data along the most efficient lines. 
  294.  
  295. SHARING HP e3000 DATA WITH THE WORLD
  296.  
  297. Friday 9th, 3-4pm
  298.  
  299. Audience: Application Developers, Webmasters, and System Administrators
  300.  
  301. Topics Covered: Direct Access, Publishing on the Web, Mapping Drives,
  302. Exporting and Converting Data, Transport Methods.
  303.  
  304. Abstract: No HP e3000 is an island. The data that lives on your e3000
  305. needs to be shared with applications that reside on other machines,
  306. platforms, and networks. The "E"-revolution means that you need to make
  307. your e3000 data available to the rest of the world. Learn how you can be
  308. the hero of your workgroup, department or company.
  309.  
  310. ------------------------------------------------------------------------
  311.  
  312. An HMO Tries the "e" in "e3000"
  313.  
  314. by Eben Yong, Health Plan of San Mateo
  315.  
  316. The Health Plan of San Mateo (HPSM) <http://www.hpsm.org/> first began
  317. working with the "e" portion of the e3000 approximately 6 months ago.
  318.  
  319. It began with my desire to simplify some of the IS Operational aspects
  320. of our environment.  As a California Medi-Cal HMO with a duty to report
  321. consistent and accurate data to the Department of Health Services of
  322. California, HPSM has fairly large number of different jobs that are set
  323. up to report various slices of claims data based on fiscal year
  324. parameters. These jobs are all run on a monthly basis to reflect changes
  325. in our claims data.  Since it is our standard practice to retain seven
  326. years of historical data on our systems, each job essentially runs up to
  327. seven times each month (based on the request of our CFO).  With
  328. approximately 50 jobs (and rising), up to 350 job streams may be
  329. requested during an end-of-month cycle!
  330.  
  331. Since all of these reports were using JOBBER as the input screen, all
  332. parameter input was not validated at stream time, and it caused problems
  333. when even one parameter was incorrectly entered.
  334.  
  335. Enter STREAMX.  STREAMX allowed fully validated stream-time parameters
  336. and even reusable STREAMX modules.  Jobs were rewritten to use STREAMX
  337. in place of JOBBER, and STREAMX modules were created to further simplify
  338. parameter entry. [Note: STREAMX is part of Security/3000 from Vesoft.]
  339.  
  340. Enter Apache.  We installed the Apache webserver <A
  341. HREF="http://jazz.external.hp.com/src/apache/index.html"> on our e3000.
  342.  
  343. Enter Perl.  With invaluable assistance from Robelle, HPSM received the
  344. kickstart necessary to launch e3000 administration using Perl
  345. <http://www.bixby.org/mark/perlix.html> and Apache.  We successfully
  346. created reusable Perl modules that allowed for extremely easy
  347. integration within our existing environment.
  348.  
  349. The end result of all this activity was about 20 (or so) different web
  350. pages that allowed the majority of the end-of-month jobs to be streamed
  351. with just a few mouse-clicks, and with the jobs  having fully accurate
  352. parameters.  We have one web page that has the ability to STREAM up to
  353. 49 jobs.  This takes just a few seconds.  Doing this manually would
  354. require between one and two minutes per job and introduce the potential
  355. for inaccurately entered parameters.
  356.  
  357. How has Robelle's Qedit for Windows assisted in all this?
  358.  
  359. It has been, in a word, a beautiful linchpin.  This is because Qedit for
  360. Windows <A
  361. href="http://www.robelle.com/products/qwin/"> speeds up development time
  362. by allowing users to edit both POSIX, MPE and PC files within an
  363. integrated GUI environment.  In the above scenario, the STREAMX jobs
  364. were MPE-based, while the PERL scripts were POSIX-based.
  365.  
  366. In August 2000, we implemented ReflectionWeb. In September, we
  367. implemented a full Virtual Private Network at the Health Plan.  Both
  368. methods of remote access allow for authenticated, secure and encrypted
  369. access!  With ReflectionWeb <A
  370. HREF="http://www.wrq.com/products/reflection/fortheweb/">, we can access
  371. the e3000 using Internet Explorer (and Java); but with our VPN, we can
  372. now also access all of our protected systems (behind our Firewall and
  373. DMZ) that also have web interfaces.  Qedit for Windows works onsite and
  374. remotely (through our VPN) and allows for much quicker viewing and
  375. troubleshooting of reports and $stdlists.
  376.  
  377. Again, all remote access is secure, authenticated and encrypted. This is
  378. very important for HMO's because of the new HIPAA regulations regarding
  379. security and privacy.
  380.  
  381. We are always looking for ways to further automate things, and we have
  382. done quite a bit using Visual Basic and Reflection1.  We're now looking
  383. at Qedit's Scripting Language to see how it might fit into our
  384. framework.  No development thus far, but it is in our future. Qedit for
  385. Windows truly simplifies our work and provides a great GUI editing
  386. environment for files from any source--MPE, POSIX or PC-LAN.
  387.  
  388. [eben_yong@hpsm.org]
  389.  
  390. ------------------------------------------------------------------------
  391.  
  392. Forum.Robelle.com
  393.  
  394. We have enhanced our Robelle-L discussion list with the ability to
  395. search and browse past postings via your web browser. This forum is a
  396. friendly place where users of Qedit and Suprtool can post tips and
  397. questions. For example, see the suggestion by Ole Nord
  398. <http://www.olenordab.se/> on a simple way to delete related records
  399. from many datasets
  400. <http://forum.robelle.com/scripts/wa.exe?A2=ind0012&L=ROBELLE-L&P=R276>.
  401.  
  402. To webify the mailing list, we had to move it from our Nitro.robelle.com
  403. server to another server. Please check your e-mail address books: any
  404. references to NITRO should be removed. If your address book has robelle-
  405. l@nitro.robelle.com then it needs to be changed to robelle-l@robelle.com
  406.  
  407. [Bob Green, Robelle President]
  408.  
  409. ------------------------------------------------------------------------
  410.  
  411. Using Qedit For Windows to Test Suprtool Jobs
  412.  
  413. I maintain a number of jobstreams which check the integrity of our
  414. production databases. They do this by executing Suprtool tasks which
  415. check for valid data values. These jobstreams have grown over time and
  416. may now contain over 1000 lines of intermixed MPE commands and Suprtool
  417. tasks. They also can take many minutes to complete and it is not
  418. something which should be tested during the day. So maintaining and
  419. testing them had become a big problem for me.
  420.  
  421. I found a technique that lets me change and test the jobs on the fly.
  422. The solution is to use the HOST command facility within Qedit for
  423. Windows.
  424.  
  425. I open my host jobstream in Qedit For Windows. It consists of code
  426. portions like this:
  427.  
  428. !comment
  429. !comment     If a customer has SA outstanding
  430. !comment     in d-products must have update flag in master
  431. !comment
  432. get m-customer
  433. if sa-outstanding = "SA"
  434. sort account-no
  435. extract account-no,company-name
  436. output mcust,link,temp
  437. xeq
  438. get d-products
  439. ...
  440.  
  441. To test this piece of code without streaming the whole jobstream I can
  442. simply add the lines
  443.  
  444. run suprtool.pub.robelle
  445. base kco.db
  446.  
  447. after the last !comment, and replace the xeq with an exit.
  448.  
  449. Then I select all the lines between the "run suprtool" and the "exit",
  450. use the right mouse button and choose "run selection as host command".
  451.  
  452. This causes the host command dialog box to pop up, and my commands are
  453. executed with the results showing in the box.
  454.  
  455. When I have finished debugging this section of the jobstream I need to
  456. remember to remove the "run suprtool", "base" and "exit" lines and save
  457. my file. But I didn't have to run the entire job stream, and work late
  458. to schedule the run!
  459.  
  460. [Robyn Rennie, Robelle IS Programmer Analyst]
  461.  
  462. ------------------------------------------------------------------------
  463.  
  464. Robelle Website Now Changes Daily
  465.  
  466. The Robelle web site <http://www.robelle.com/> is now updated daily with
  467. items of interest to HP e3000 users.  Besides tips about Robelle's Qedit
  468. and Suprtool software, you will find advice about major HP e3000
  469. applications such as Ecometry, pointers about the Internet, and news
  470. about upcoming versions of MPE.
  471.  
  472. Articles are written by Robelle customers and HP e3000 experts, and are
  473. edited and published by Robelle president Bob Green. He made the people
  474. of the little Caribbean island of Anguilla famous with his daily news
  475. updates at www.news.ai. Submit your HP e3000 stories and tips to
  476. bgreen@robelle.com and let him bring you a little fame too.
  477.  
  478. Visit www.robelle.com often --make it your home page so you don't miss
  479. any of the news.
  480.  
  481. If you had been following the new www.robelle.com site regularly, you 
  482. would have already read everything that is in this newsletter.
  483.  
  484. [Mike Shumko, Robelle Senior Manager]
  485.  
  486. ------------------------------------------------------------------------
  487.  
  488. Is Your Disc Being Eaten By MPE?
  489.  
  490. While doing some consulting work offsite, I overheard the system manager
  491. discussing the possibility of having to get more disc space for the
  492. system volume set. They were looking at an upgrade from 5.5 to 6.0
  493. shortly and were concerned whether they had enough room to do the
  494. upgrade. Disc space on the system volume set was getting critical.
  495.  
  496. I asked if they purged their log files on a regular basis. They replied
  497. that they did this regularly. I then asked if that included the NM log
  498. files? The look I received in response was my answer. They were not
  499. aware of the log files that all network processes write to. I told them
  500. to sign on as manager.sys and do a listf nmlg####,2 and see how much
  501. disc space the log files took up. A few screenfuls later they realized
  502. that the these log files took up nearly 1 gig of space, on the system
  503. volumeset.
  504.  
  505. We added the following commands to the end of their backup job, so they
  506. would never run into this situation again.
  507.  
  508. !continue
  509. !purge log####.pub.sys
  510. !continue
  511. !purge nmlg####.pub.sys
  512.  
  513. [Neil Armstrong, Robelle Senior Programmer]
  514.  
  515. ------------------------------------------------------------------------
  516.  
  517. Newsletter Distribution and Format Choices
  518.  
  519. Robelle Solutions Technology Inc. provides the What's Up, DOCumentation?
  520. newsletter as a service to our customers. You are receiving this
  521. newsletter because you registered for What's Up Doc with Robelle. If you
  522. would like to unsubscribe from this publication, or are receiving this
  523. in error, please send an e-mail message to admin@robelle.com.
  524.  
  525. The e-mail newsletter is available in HTML, plain-text, or PDF formats.
  526. To change your subscription option, please send an e-mail message to
  527. admin@robelle.com.
  528.  
  529. What's Up Doc is archived on the web at
  530. http://www.robelle.com/library/newsletter/.
  531.  
  532. Comments about this issue, as well as ideas for future issues, including
  533. news, tips, and suggestions for articles, can be sent to
  534. support@robelle.com.
  535.  
  536.  
  537. ------------------------------------------------------------------------
  538.  
  539. Newsletter Copyright 2001 Robelle Solutions Technology Inc. 
  540. Suprtool and Qedit are trademarks of Robelle Solutions Technology Inc.