home *** CD-ROM | disk | FTP | other *** search
/ ftp.pasteur.org/FAQ/ / ftp-pasteur-org-FAQ.zip / FAQ / internet / research-faq / part1 next >
Encoding:
Internet Message Format  |  2003-07-01  |  66.4 KB

  1. Path: senator-bedfellow.mit.edu!bloom-beacon.mit.edu!nycmny1-snh1.gtei.net!news.gtei.net!newsfeed!wn13feed!wn12feed!wn14feed!worldnet.att.net!24.30.200.11!news-east.rr.com!bigfeed.bellsouth.net!news.bellsouth.net!peer01.cox.net!cox.net!news-hub.cableinet.net!blueyonder!internal-news-hub.cableinet.net!news-binary.blueyonder.co.uk.POSTED!53ab2750!not-for-mail
  2. From: charlie@harris.u-net.com (Charlie Harris)
  3. Newsgroups: misc.writing,misc.writing.screenplays,alt.answers,misc.answers,news.answers
  4. Approved: news-answers-request@MIT.EDU
  5. Subject: Internet Search FAQ 1/2
  6. Followup-To: misc.writing
  7. Summary: Part 1 of 2: This posting gives help for writers and others in using the Internet for research, giving suggestions as to which methods are best for different needs, and including worked examples.
  8. Reply-To: charlie@harris.u-net.com
  9. Expires: Sun, 27 Jul 2003 00:00:00 GMT
  10. Message-ID: <3eff490a.31147928@news.blueyonder.co.uk>
  11. X-Newsreader: Forte Free Agent 1.1/32.230
  12. Lines: 1518
  13. Date: Sun, 29 Jun 2003 20:21:39 GMT
  14. NNTP-Posting-Host: 82.35.42.38
  15. X-Complaints-To: abuse@blueyonder.co.uk
  16. X-Trace: news-binary.blueyonder.co.uk 1056918187 82.35.42.38 (Sun, 29 Jun 2003 20:23:07 GMT)
  17. NNTP-Posting-Date: Sun, 29 Jun 2003 20:23:07 GMT
  18. Organization: blueyonder (post doesn't reflect views of blueyonder)
  19. Xref: senator-bedfellow.mit.edu misc.writing:729659 misc.writing.screenplays:362837 alt.answers:68111 misc.answers:16112 news.answers:253500
  20.  
  21. Archive-name: internet/research-faq/part1
  22. Posting-Frequency: last week-end of each month
  23. Last-modified:     27 June 2003. 
  24. Copyright-Notice: see end.
  25.  
  26.                     Internet Search FAQ
  27.  
  28. Part 1 of 2
  29.  
  30. ********************************************************************
  31.  
  32. Part 1
  33.  
  34. 1.       WHAT IS THIS FAQ?
  35. 2.       DISCLAIMER
  36. 3.       WHY USE THE INTERNET AT ALL?
  37. 4.       HOW CAN I FIND...?
  38.        4.1      How Can I Find Specific files, text, multi-media or
  39. people?
  40.        4.2      How Can I Find Specific information?
  41.        4.3      How Can I Find More General Background Information?
  42. 5.       HOW CAN I FIND INFORMATION FASTER?
  43. 6.       SHOULD I PAY FOR INFORMATION?
  44. 7.       WHERE CAN I GET FURTHER HELP?
  45. 8.         HOW CAN I VALIDATE WHAT I FIND?
  46.        8.1         How reliable is the Net?
  47.        8.2        What can I do about it?
  48.        8.3        How should Internet sources be cited?
  49. 9.       WHAT ABOUT THE FUTURE?
  50.  
  51. Part 2
  52.  
  53. 10.      URLS FOR A RAINY DAY - useful links for research
  54. 11.      END CREDITS
  55.  
  56. This FAQ is available on the web at <http://www.search-faq.com> along
  57. with an archive of changes.
  58.  
  59. It is updated and posted roughly the first weekend of each month,
  60. circumstances permitting, to: misc.writing, alt.movies.independent,
  61. alt.union.natl-writers, misc.writing.screenplays, alt.answers,
  62. misc.answers and news.answers.
  63.  
  64. At the same time, any changes to the FAQ, including new resource
  65. links, are posted to all except the *.news groups in a separate
  66. message "Internet Search FAQ - What's New", to save users having to
  67. download the entire FAQ each month just to find out what's been added.
  68. This can also be found at
  69. <http://www.purefiction.com/pages/wotnew.htm>.  
  70.  
  71. Keen searchers are urged to check this out regularly for new ideas and
  72. links, and those with clever browsers (Navigator and Internet Explorer
  73. 4 and above) can set them to "subscribe" to the page on a regular
  74. basis - if they can work out how.
  75.  
  76. All suggestions and comments are welcome.  Please send to
  77. charlie@harris.u-net.com.
  78.  
  79. ********************************************************************
  80.  
  81. 1.      WHAT IS THIS FAQ?
  82.  
  83. Although this posting was compiled originally for writers, it has
  84. become increasingly clear that this FAQ (Frequently Asked Questions)
  85. list is of use to anyone who wants to find their way around the Net. 
  86.  
  87. It grew out of a cry for help that I sent out, in desperation. As a
  88. professional writer, I wanted information of a variety of types. One
  89. day I might want specific dates, another day just background
  90. information. I wanted to know if I could use the Internet to find
  91. these different types of information quickly and reliably. And I
  92. wanted to know which of the many different bits of the Internet would
  93. be good for which different type of search. 
  94.  
  95. However, the vast majority of books, articles and Usenet postings do
  96. not address the question from the point of view of the user, and tend
  97. to be obsessed with either vague surfing or searching out free
  98. software. The last thing I wanted was yet more software. 
  99.  
  100. I was pleased to receive a number of responses to that original cry
  101. for assistance - useful and supportive answers, which gradually became
  102. the foundation of this FAQ. 
  103.  
  104. The FAQ tries to look at the Net from the point of view of the user.
  105. So it is divided into the kinds of questions that Net searchers might
  106. have.  It also includes "worked examples" where possible, to clarify
  107. the methods that can be used.  Finally there is a list of useful URLs
  108. (Urls For A Rainy Day) which includes most of those mentioned in the
  109. main text plus a load more, and is also available at
  110. <http://www.purefiction.com/pages/res2.htm>.
  111.  
  112. I haven't tried to explain what all the technical terms mean (eg: URL,
  113. ARCHIE, FTP...) These are very adequately explained in a thousand
  114. postings, books and magazines.  The problem is knowing which to use in
  115. which circumstances.
  116.  
  117. The Internet is constantly changing, and so I welcome any suggestions,
  118. criticisms and additions.   However, most Net users are snowed under
  119. with URLs, etc, so please send personal recommendations, or that of
  120. someone you know, and say why or how it is useful.  (For example,
  121. state that a particular URL is good for geographical queries, or how
  122. you used Gopher to research background for your romantic novel).
  123.  
  124. ************************************************************************
  125.  
  126. 2.   *DISCLAIMER*
  127.  
  128. Information, advice, URLS, e-mail addresses, etc, are generally
  129. included on the recommendation of satisfied users.  They are passed on
  130. herewith without prejudice! I've not checked all of them out, and make
  131. no guarantees that they are accurate, useful, or still appropriate, or
  132. in fact ever were.  I take no responsibility for any loss, damage or
  133. waste of time in using them.  Sorry.  But please do tell me if an URL
  134. turns out to be useless, or non-existent, so that the information can
  135. be kept up- to-date.
  136.  
  137. ************************************************************************
  138.  
  139. 3.   WHY USE THE INTERNET AT ALL?
  140.  
  141. 3.1   If you want to use the Net effectively, you need to be prepared
  142. for what it can and can't do.
  143.  
  144. The Internet is not a substitute for a good library.  The Internet can
  145. be very frustrating.  The Internet is very variable.  The Internet is
  146. not well indexed.  And the Internet is not comprehensive.  So is it
  147. worth using at all? Well...
  148.  
  149.  
  150. 3.2   The Internet is an additional source of information, which often
  151. can't be found, or isn't as up-to-date, elsewhere.
  152.  
  153. "Searching for data on Internet can be frustrating but what you find
  154. often can't be found in a library -- the same is true in reverse.   I
  155. didn't stop using the library when I started using the Internet."
  156. (writer Laurence A.Moore)
  157.  
  158.  
  159. 3.3  The Internet is convenient, and supplies information in usable
  160. form.
  161.  
  162. "One handy thing about Internet research is that when I'm done, the
  163. results are on my computer.   With the library, the best I can do is
  164. photocopy what I find, or bring the books home and type the data in.
  165.  
  166. "Looking out the window above my computer, I see birds and
  167. autumn-colored trees and calm, quiet, gently-falling rain.   As soon
  168. as I send this, I'm going to bring a mug of fresh coffee back from the
  169. kitchen and take off on Internet.   Can't do that at my local
  170. library!"
  171. (Laurence A.Moore)
  172.  
  173.  
  174. 3.4  However, the Internet has to be worked at.  The "superhighway" is
  175. still substantially under construction.  As one writer put it: "the
  176. Internet is an enormous library in which someone has turned out the
  177. lights and tipped the index cards all over the floor." (Or, variously,
  178. "Like trying to work off the librarian's notes after discarding the
  179. card catalogue," Allen Schaaf).  
  180.  
  181.  
  182. 3.5  Be realistic and focused about what you want to find.  Do you
  183. want a precise fact, or more general background material?  How will
  184. you know when you've found enough information - or when to stop
  185. trying?  Faced with the enormous size of the Net, it's tempting to
  186. believe that the ideal link is just around the next corner, but some
  187. types of information simply aren't there, while other information may
  188. exist on the Net, but be extremely difficult to locate.  Sometimes, to
  189. be honest, there are easier ways: a phone call, the local bookshop, a
  190. friend of a friend.
  191.  
  192. Nevertheless, the more you learn about the Internet, the more you
  193. become aware of what it can and can't do.  The most difficult way to
  194. approach the Internet is when you already have a large and urgent
  195. piece of research to conduct.  Better to check out small areas of it
  196. without stress, for a few minutes at a time, on a regular basis.  Give
  197. yourself a chance to play about with the Net when the pressure is off,
  198. so that when the pressure is on you can find what you need quickly and
  199. efficiently.
  200.  
  201. ***********************************************************************
  202.  
  203. 4.   HOW CAN I FIND...?
  204.  
  205. What's the best and most efficient way to look for what I need? (Here
  206. we look at some ways of finding the different kinds of information
  207. that's on the Net.) 
  208.  
  209.  
  210. 4.1  How can I find Specific Files, Texts, Media (images, sounds, etc)
  211. or People?
  212.    -------------------------------------------------------
  213.  
  214.  
  215. 4.1.1   How can I find specific file by name?
  216.  
  217. The more precise you can be with your search, the better.  So if you
  218. have a precise filename, you've got the best chance of finding what
  219. you want.  
  220.  
  221. Many search engines and meta-search engines now have facilities for
  222. searching for software files, etc).  Try Google, for example
  223. <http://www.google.com/> or many of the others listed in URLs For A
  224. Rainy Day (9.3.4).  
  225.  
  226. There are many books, articles, etc, on the Internet which show how to
  227. search for specific filenames, using Archie, etc, so this is not dealt
  228. with further in the FAQ.  However, researchers rarely have a precise,
  229. or even imprecise, filename.  So....
  230.  
  231.  
  232. 4.1.2   How can I find a specific text?
  233.  
  234. There are an increasing number of web and FTP sites which hold public
  235. domain copies of a wide range of classic texts, song lyrics, etc.
  236. Some links are given in part two of this FAQ - URLs For A Rainy Day
  237. (Section 9.7).
  238.  
  239. You can also link to some of these via:
  240. <http://dspace.dial.pipex.com/jane.dorner/jd_links.htm>
  241.  
  242. There are history archives on the Internet and a number of libraries
  243. on the Net.  For example, David Brager suggests the Library of
  244. Congress' American Memory section - "Large collections of primary
  245. source and archival material relating to American culture and
  246. history."
  247.  
  248. <http://rs6.loc.gov/>.
  249.  
  250. In addition, increasing numbers of search engines will allow you to
  251. search across a number of search engines for specific items such as
  252. lyrics.  One such is OnlineSpy <http://www.onlinespy.com/>.  See
  253. Section 4.2.2 for discussion of other such "metasearch" engines and
  254. 9.3.4 for a list of metasearch engines to use.
  255.  
  256. 4.1.3   How can I find a specific image, movie or sound?
  257.  
  258. Many metasearch engines, such as OnlineSpy (see above) will allow you
  259. to search for images specifically - or even sounds or movie clips.
  260. You may however need to be very precise with the terms you search with
  261. (see 4.2.1 below for how to use search engines with precision).
  262.  
  263. One particularly useful site is Image Surfer <http://isurf.yahoo.com>
  264. recently developed by Yahoo.  Image Surfer is a search engine which
  265. you can search by category or using search terms, but instead of
  266. giving its answers in text form it produces a series of small
  267. thumbnail images.  Much the most useful image searcher I've yet seen,
  268. Image Surfer's capacity is still small, but Yahoo promise it will grow
  269. in size.  Well worth checking out. 
  270.  
  271. ImageFinder <http://sunsite.berkeley.edu/ImageFinder/> gives you a
  272. number of different databases to search for a variety of types of
  273. image - eg: the Smithsonian Photographic Collection or Colombia
  274. University Image and Video Catalog. 
  275.  
  276. Useful for both pictures and sound is the search engine HotBot
  277. <http://www.hotbot.com> which provides tick boxes to allow your search
  278. to include still images, video or audio sound clips, or even shockwave
  279. animations.  Said to be one of the best MP3 search engines at the
  280. moment.
  281.  
  282. 4.1.4    How can I find specific people?
  283.  
  284. There are many resources on the Net that can help you locate and even
  285. make contact with specific people - famous or not, individuals or
  286. companies.  Whether they'll be of any use to you will depend on a
  287. number of factors, not least geographical.
  288.  
  289. As with so much on the Internet, the vast majority of resources are
  290. devoted to the USA.  So there's little difficulty in finding
  291. directories and databases with look-up or even reverse look-up
  292. facilities covering just about every member of the US population,
  293. alive or dead.  
  294.  
  295. (Particularly intriguing, in passing, is Ancestry.com
  296. <http://ssdi.ancestry.com/> which among its useful resources for
  297. genealogical research allows you to find the social security number
  298. and other details of any dead American.... and then offers a facility
  299. to write a letter!  Do they know of some postal service that we
  300. don't?)
  301.  
  302. More wide-ranging are the directories of email addresses.  However
  303. these are far from all-inclusive, even assuming your target has an
  304. email address.  Some Internet Service Providers - such as CompuServe
  305. and AOL used to provide a look-up service which included all
  306. subscribers (and probably still do) but only for other subscribers, as
  307. I understand.  
  308.  
  309. For the rest, directories such as BigFoot <http://www.bigfoot.com>
  310. rely on finding email addresses of those who have web-pages or post
  311. regularly to newsgroups.  By no means does this include everybody.
  312. Expect to have to try a number of sites before you find a lead.  
  313.  
  314. In Urls For A Rainy Day - Section 9 - there are numerous search
  315. facilities.  9.3.4, 9.3.5 and 9.11.2 give a number of meta-search
  316. engines, people searchers and reference sites which offer specific
  317. people-finding databases.  Particularly useful are those such as
  318. All-In-One <http://www.allonesearch.com/> or Langenberg
  319. <http://www.langenberg.com/> which have links to many different
  320. "people" sites on one page.  
  321.  
  322. There are also databases devoted to certain types, eg: politicians
  323. (9.13.2).
  324.  
  325. Organisations are generally easier to find through a search engine.
  326. But even then it is not always easy - especially if the organisation
  327. doesn't have a web page of its own.  However, David Brager writes to
  328. inform us that if you know a domain name you can use it to find all
  329. kinds of details, from contact e-mail and snail-mail addresses to
  330. phone numbers at <http://www.vservers.com/before/dnscheck/>.  
  331.  
  332. Whether looking for people or organisations, in difficult cases you
  333. may need to try the more refined methods for finding information by
  334. using Search Engines, or posting questions on Newsgroups or Mailing
  335. Lists, as described in the next section.
  336.  
  337.  
  338. 4.2    How can I find Specific Information?
  339.        ----------------------------------------------
  340.  
  341. (eg: dates and places.  Or questions like: "what is a...?" "who
  342. is...?")
  343.  
  344. 4.2.1   SEARCH ENGINES are popular for this.  You type in a key word
  345. or phrase (such as Spain, or Spanish Civil War) and wait to see what
  346. they provide.
  347.  
  348. The popularity of search engines on the Net can be changeable. When I
  349. started this FAQ there was no clear winner. Then Alta Vista  appeared
  350. <http://www.altavista.com/>, and for some time beat all the others
  351. hands down. For at least two years Google has taken over at the top
  352. <http://www.google.com>. 
  353.  
  354. Google has many strong points, including simplicity, a lack of adverts
  355. and the ability to check its own "cache" of pages if the page you're
  356. looking for has temporarily disappeared. But no search angine is
  357. perfect and different people have their different favourites. You can
  358. find many other good search engines, each with its own paticular
  359. strengths in our list of links - Urls for a Rainy Day.
  360.   
  361. The trick with using a search engine, is to know what each is good for
  362. and to look carefully at the hints and tips that they offer.  For
  363. example some engines will only search for a precise phrase if you put
  364. it in quotes - such as: "Spanish Civil War."
  365.  
  366. Planning is necessary for any search.  Do some advance work with a
  367. Thesaurus and list a fair number of relevent search terms.  Remember
  368. that search engines aren't like "Find" facilities on word processors.
  369. So you can afford a scattergun approach, trying a number of related
  370. words at the same time in case one of them hits home.  For example: in
  371. starting a search for items on dealing with tiredness you might type
  372. the following related terms into the search box: fatigue overwork
  373. tired exhausted exhaustion sleep.
  374.  
  375. Most search engines treat search words as potential parts of words.
  376. So in the above example 'fatigue' could also find web sites containing
  377. the word 'fatigued', and 'sleep' will find 'sleepy', 'sleepless' and
  378. 'sleeping pill'.  But while 'exhaust' might have found 'exhausted' and
  379. 'exhaustion' it has been avoided so as not to pull out articles on car
  380. engines and pollution!
  381.  
  382. If you find you've got too many articles, you can often make the
  383. search more specific by adding words you want to see (eg: 'overwork')
  384. or conversely specifying terms that you *don't* want to see (eg:
  385. 'Seattle').
  386.  
  387. Often you do this by using symbols (+ and -) or logical terms (AND and
  388. NOT).  Check the rules for the search engine you're using. Some
  389. require wild-cards such as * to stand for missing letters.  And many
  390. of them allow increasingly sophisticated ways of refining your search,
  391. by suggesting useful key words or popular web pages.
  392.  
  393. Note: you may not get access to the hint pages (or even be able to use
  394. all the available refinements) if you're not accessing directly via
  395. the search engine's home page. In addition to using the search
  396. engines' own help pages, you can find a brisk and useful guide to the
  397. top search engines and how they work from the Web Search Cheat Sheet
  398. <http://www.colosys.net/search/>.
  399.  
  400. Some examples follow, but please be aware that things move fast on the
  401. Net.  The link that was found today may not be there tomorrow - or may
  402. not work in the same way!
  403.  
  404. Richard Broke described such a search for information on the Spanish
  405. Civil War: "There are remarkable amounts of free information on the
  406. Internet.   I looked up the 'Spanish Civil War' in Lycos
  407. <http://www.lycos.com> (in my view the best search engine on the Net).
  408. It came up with (inter alia):
  409.  
  410. "http://www.civeng.carleton.ca/SiSpain/history/civil.html
  411. http://tigerden.com/~berios/spunk/Spunk336.html
  412. http://press-gopher.uchicago.edu:70/CGI/cgi-bin/hfs.cgi/99/beacon/88043317.ctl
  413. http://www.nypl.org/research/chss/subguides/milhist/home.html
  414. http://www.nypl.org/admin/../research/chss/subguides/milhist/home.html
  415. http://www.anatomy.su.oz.au/danny/book-reviews/h/The_Last_Mile_to_Huesca.html
  416. "
  417.  
  418. Laurence A.Moore started with Yahoo:
  419.  
  420. "First, I went to <http://www.yahoo.com> and ran a search for Spanish
  421. Civil War
  422.  
  423. "Then I went down to the bottom of Yahoo's home page where there are
  424. several other search-engine links, and ran a search with Lycos.
  425.  
  426. "Those two searches pulled several interesting items, and each had
  427. links to other sites.   The most interesting site from this quick
  428. search was http://www.civeng.carleton.ca/SiSpain/history/civil.html
  429.  
  430. "If I'd really been doing research on the Spanish Civil War, I would
  431. have followed the links, and also used the other search engines."
  432.  
  433. However, TJ had mixed feelings: "I find that using a keyword or Yahoo
  434. gets me much more than I wanted.
  435.  
  436. "For some reason, I feel as if all I have to do is type in a subject
  437. and I'll find everything referenced on that one subject.   Doesn't
  438. happen that way, does it?"
  439.  
  440. As I said, each search site has its particular strengths.
  441.  
  442. Nick Tompkins writes to tell us about  Google <http://www.google.com>.
  443. "I am currently training employees at a major TV company, so I have
  444. been showing them a few search engines - running searches for the same
  445. subject matter to see how much relevant material is found.  Google
  446. came out tops and a producer found his own name on a site selling
  447. videos of a film he made a few years ago.  He went straight to the
  448. legal dept to see if they owed him any money....."
  449.  
  450. Look in particular for the "search within results" link at the foot of
  451. Google's results page, which gives you a chance to narrow down your
  452. search, if your first search pulled out too many sites, or too many
  453. that weren't relevant.
  454.  
  455. Pat Marcello adds, "I also like the fact that Google achives web
  456. pages, so if a page is offline, I can still get to the information."
  457.  
  458. Mike Casswell writes: "The best feature of all, in Alta Vista, is the
  459. Advanced Query Page, which is a different page (linked from the Simple
  460. Query page).  This has a number of clever search tools.  I often use
  461. 'near' which is both simple and powerful.  There is also a help page
  462. for the Advanced Query syntax."
  463.  
  464. If you want to find a lot of search facilities in one place, Ellie
  465. Kuykendall says, "I very much like http://www.beaucoup.com.  There are
  466. over 600 search engines on one page...everything from government to
  467. email addresses.   Takes a bit of time to load, but I use it all the
  468. time."
  469.  
  470.  
  471. 4.2.2 META-AND MULTI-SEARCH ENGINES
  472.  
  473. Alvaro Ramirez recommends the Meta Crawler: "It may not be very
  474. accurate, but fast...  it sure is!"  <http://www.metacrawler.com/>
  475.  
  476. Such "meta" search engines use various techniques to search across a
  477. number of engines at once.  They can often be customised for different
  478. types of search allowing you to select which search engines you want
  479. to use, and many offer a number of specialist categories, including
  480. many databases that are not covered by normal search engines.  One
  481. excellent meta-search engine is Profusion <http://www.profusion.com/>.
  482. Profusion combines search results in a single list (avoiding
  483. duplication).  It's fast and easy to use, and can also check that the
  484. links are still live.  
  485.  
  486. Often confused with meta-search engines are "multi-" search engines.
  487. I bet you're confused already.  Essentially they do the same job,
  488. sending your search terms to a number of search engines at once, but
  489. they don't try to combine them.  Instead they display the results from
  490. each search engine in separate windows.  Two excellent multi-search
  491. engines are Search Spaniel <http://www.searchspaniel.com/> and
  492. theinfo.com <http://www.theinfo.com>.
  493.  
  494. When you enter your search terms, they open a new window for each of
  495. the search sites individually.  Beware, this can be a bit overwhelming
  496. if you've selected all possible sites!  
  497.  
  498. They also make no attempt to combine search results, so you have to be
  499. prepared for a fair bit of sifting, but that can be an advantage in
  500. some cases, as different search engines rate sites in very different
  501. ways.  So this approach is useful for those more difficult searches,
  502. where your search terms may be less easy to narrow down. 
  503.  
  504. For example, I tried to use theinfo.com to find a site relating to the
  505. feature film "Go".  Now being both a verb and a game the word "Go" is
  506. likely to appear on a million pages, even capitalised, so I wasn't
  507. surprised to find zilch on the first attempt.  I closed the myriad new
  508. search windows that theinfo.com had opened (and selected a few less
  509. sites!) and tried "Go AND cinema".  Some metasearch engines have
  510. difficulties with search terms that use expressions such as AND, OR,
  511. +, - etc.  In this case, some of the sites used by theinfo.com still
  512. came up with nothing useful, but others put the film "Go" at the very
  513. top.
  514.  
  515. Note: If I'd looked carefully enough I'd also have noticed they have a
  516. set of specialist search sites, including a category for "Movies".
  517. There are ten specialist categories - good, but not as wide-ranging as
  518. Search Spaniel which offers 23 as well as a "personalised" list (not
  519. that I've ever managed to get that feature to work!).
  520.  
  521. Theinfo.com doesn't pretend to be the only search engine you'll ever
  522. use.  Like any search source, you need to have the right kind of
  523. query.  There is even a page on the site that explains when it's
  524. useful to use theinfo.com as opposed to other sites, an excellent
  525. feature I wish more search engines would adopt:
  526. <http://www.theinfo.com/about/whyuse.html>
  527.  
  528. Most of us tend to be lazy and stick with just a couple of search
  529. engines that we are used to.  One bonus that comes with using a
  530. multi-search engine is that you get a chance to see new engines you
  531. may never have seen before, and to catch up on the latest advances of
  532. those you may not have touched for months (or even years!)  Thus it
  533. can be a quick way to test the strengths and weaknesses of different
  534. search engines against each other.
  535.  
  536. Thus both Multi- and Meta- search engines can be extremely useful, but
  537. be aware that they don't always provide all the facilities of the
  538. original search engines.  For example, searching recently on the title
  539. of my own new project - "Paradise Grove" - I found our own film
  540. website on Alta Vista but not on Profusion (which uses Alta Vista)
  541. because Profusion treated the capital letters differently!  However,
  542. these are minor drawbacks.  On the whole, the good meta/multi-search
  543. engines are well worth using.  Find a list of them at 9.3.4.
  544.  
  545. But the Internet offers far more resources than just search engines...
  546.  
  547.  
  548. 4.2.3   USENET NEWSGROUPS can be extremely useful for asking specific
  549. questions.
  550.  
  551. The World Wide Web is by no means all there is to the Internet. Indeed
  552. there are other areas which can be just as useful for finding
  553. information, and perhaps the most important of these is Usenet. There
  554. are currently 24,000+ newsgroups, covering just about every subject
  555. you can imagine, and a few you probably can't!
  556.  
  557. Beth Porter says: "Post messages in classy newsgroups and fora.  Can
  558. be dodgy, but it's paid off for me quite a few times."
  559.  
  560. And Yvonne Hewett: "I use the Net for research by the simplest method
  561. possible:  going into the list of Newsgroups and searching it for the
  562. topic I'm interested in, and then posting to the group.
  563.  
  564. "I've found that the Net is like most places where there are people
  565. with expertise:  if I approach them properly and ask intelligent
  566. questions, the answers are usually forthcoming.  If answers aren't, I
  567. often get pointers to people who are in the know.   And like any other
  568. research, it takes time and patience to work through the masses of
  569. non-indexed information."
  570.  
  571. You can subscribe to an appropriate newsgroup using specialised
  572. software, or you can search one or more newsgroups using either
  573. AltaVista (selecting "search Usenet") or Google: 
  574.  
  575. <http://www.altavista.com/> 
  576.  
  577. <http://www.google.com> 
  578.  
  579. If you don't know which newsgroup(s) will be best for your subject,
  580. then try putting an appropriate query into Google or AltaVista and
  581. noting what newsgroups come up.
  582.  
  583. Almost all newsgroups have a FAQ (Frequently Asked Questions list)
  584. which can be a mine of useful information, or at least tell you if
  585. you're in the right place.  FAQs can be searched for at Infinite Ink
  586. <http://www.ii.com/internet/faqs/> or downloaded from ftp sites
  587. ftp://ftp.uu.net/usenet/news.answers and ftp://rtfm.mit.edu/pub/faqs.
  588.  
  589.  
  590. Writers Sal Towse and Marty Fouts used DejaNews and Alta Vista in
  591. quite a sophisticated way to search a very specific question: what
  592. style of calligraphy was used to write the journal entries in Myst and
  593. Riven (they are computer games). [Note - since this was written
  594. DejaNews has been taken over by Google]
  595.  
  596. Sal went to Deja News' interest finder and entered "fonts".  Result:
  597. 99% chance in the Newsgroup comp.fonts (talks about "fonts").  Sal's
  598. comment: <duh!>  
  599.  
  600. She then conducted a Deja News quick search on "riven" restricting it
  601. to comp.fonts.  Result: one hit, a posting with the subject: "Riven
  602. Font" which read, "If you're looking for the unusual font used for the
  603. handwritten-looking text in many of the documents in Riven as well as
  604. in the in-store displays, you can find it online at
  605. <http://www.ragnarokpress.com/scriptorium>.  Look around for the
  606. Fiorenza font -- there's even a shareware version."
  607.  
  608. Sal: <Yowzaaa! Is Deja News cool or what?>
  609.  
  610. Marty added the following rider, though:
  611.  
  612. Deja News is cool, and finding that the _font_ name is Fiorenza is
  613. probably the answer to the intended question.
  614.  
  615. However, for those interested in calligraphy and typography, the
  616. question was about "style of calligraphy," which requires a slightly
  617. different answer.  "Fiorenza" is the name of a typeface designed to
  618. give a calligraphic appearance.  Most typefaces are named by or after
  619. their designer, so this one appears to be named by someone interested
  620. in Florence, hinting that the calligraphic style _might_ be
  621. Florentine.
  622.  
  623. As Sal has pointed out, quite a few sites have the Fiorenza font.  A
  624. quick check with Alta Vista for "+Fiorenza +calligraphy" turns up 
  625.  
  626.      http://www.cgrl.cs.mcgill.ca/~luc/fontlinks.html
  627.  
  628. where we are told that
  629.  
  630.     ...the Renaissance calligraphy shown in Fiorenza,...
  631.  
  632. which, along with firing up my copy of Riven and comparing the first
  633. book's calligraphy to a calligraphy sample book suggests to me that an
  634. answer to the original question _might_ be:
  635.  
  636.     Riven uses a computer font called "Fiorenza" that is available
  637.     from several sites, including one found by Sal Towse:
  638.  
  639.            http://www.ragnarokpress.com/scriptorium
  640.  
  641.     from the comment mentioned above and a visual inspection of the
  642.     font, I would _guess_ that Fiorenza is based on an Italian
  643.     monastic calligraphic style that is full serif with a 40 degree
  644.     nib angle(? - I didn't measure,) rounded uncils, and concave
  645.     downstrokes.
  646.  
  647.     If you want to know in more detail, you should check a good art
  648.     supply store, book store or your local library for books that will
  649.     contain samples of calligraphy from the time of the
  650.     Renaissance.  You might also look into typography books, one of
  651.     which may give you the history of "Fiorenza," if it is based on an
  652.     existing typeface, rather than being generated entirely for
  653.     computer use.
  654.  
  655.     Other possibilities: do a more detailed inspection of the results
  656.     of the Alta Vista search.  Post the question in comp.fonts. Check
  657.     to see if there is a calligraphy related newsgroup, and if so,
  658.     post there.  The site I found has quite a few links, including one
  659.     to "The Society for Italic Handwriting" which may be a good source
  660.     of info.
  661.  
  662. I've included this at length because it's an instructive illustration
  663. of the many ways there are many ways of skinning a cyber-cat, and of
  664. the importance of asking the right question in order to get the right
  665. answer, and also that sometimes answers found on the Net will send you
  666. to different parts of the Net or even resources outside the Net
  667. altogether.
  668.  
  669. IMPORTANT NOTE: some newsgroups don't take well to being "used" by
  670. strangers. If you're thinking of posting a question, lurk for a little
  671. while first, to check out the prevailing mood and make sure your
  672. question hasn't already been answered in the group's own FAQ. Avoid
  673. assuming that other users are only there to provide you with free
  674. answers to your questions. And do make sure that your subject line is
  675. a useful guide to what you're asking: "Information wanted" is not so
  676. effective as "Who won the Battle of Bosworth Field?"
  677.  
  678.  
  679. 4.2.4   MAILING LISTS can be helpful in similar ways.
  680.  
  681. For those who haven't met mailing lists yet, they are the equivalent
  682. to newsgroups, but you receive all the postings (or a digest of them)
  683. by email. There are even more mailing lists than Usenet groups, and
  684. some are very highly specialised indeed.
  685.  
  686. Excellent places to start searching for appropriate mailing lists are
  687. Topica <http://www.topica.com/> which also allows you to read the
  688. lists, messages and discussions on-line, Liszt <http://www.listz.com/>
  689. and Windweaver Web Resources
  690. <http://www.windweaver.com/searchpage2.htm#Discussion>.  For more
  691. resources check 9.2 below.
  692.  
  693. Alternatively, you can obtain a list of mailing lists by sending an
  694. email with the single word HELP in the body of the email, to
  695. mail-server@sri.com or mail-server@rtfm.mit.edu.
  696.  
  697.  
  698. 4.3   HOW CAN I FIND MORE GENERAL BACKGROUND INFORMATION?
  699.  
  700. ----------------------------------------------------------------------------------------------------
  701.  
  702. As the searches become wider and less specific, the Internet becomes
  703. more tricky to use.
  704.  
  705.  
  706. 4.3.1    NEWSGROUPS and MAILING LISTS remain useful nonetheless.
  707. Either for posting specific queries, obtaining FAQs, or just lurking
  708. and seeing what ideas crop up.
  709.  
  710. Jane Dorner: "Quite honestly the best thing is to join a newsgroup
  711. dedicated to the research subject in hand and trawl that until you
  712. find what you're looking for."
  713.  
  714.  
  715. 4.3.2   GOPHER, ETC.
  716.  
  717. Few writers mentioned Archie, Veronica, Gopher, WAIS or any other use
  718. of FTP or Gopher- space. However, before I go much further I should
  719. say that this could be for a good reason. As Steve Hunt writes, "For
  720. all practical purposes they are dead.
  721.  
  722. "I think all the Veronica and Archie servers are down, and the only
  723. gopher I know of that is still running is the one at University of
  724. Minnesota, probably because they created the gopher protocol:
  725. <gopher://gopher.tc.umn.edu/>"
  726.  
  727. I suspect that this too has now gone the way of all other gophers, but
  728. if do you find one that works, or are just interested in ancient
  729. history, this is how it used to work in the early days:
  730.  
  731. Marnie Froberg researched police corruption using Archie (for ftp file
  732. site searching) and Veronica (for searching worldwide gophers) and
  733. WAIS based search engines (einet.galaxy and harvest both of which run
  734. WAIS in the background).  
  735.  
  736. "AmyWriter" found great success with Gopher: "Through Gopher, I've
  737. downloaded some great files that go beyond what the encylopedia has,
  738. e.g.  for Haiti, I got info on all the political stuff that is
  739. happening NOW from news articles, white papers, etc.  This is info
  740. that would be dated in the encyclopedia.
  741.  
  742. "Basically, I go into Gopher and type in, "Jamaica," for example.
  743. This brings up a list of reports on many topics of interest which I
  744. scan and select and then print out.  For example, there might be a
  745. college professor's report on current Jamaican politics."
  746.  
  747. Gopherspace could give very quick and informative answers to queries,
  748. but gradually disappeared as more organisations have moved over to the
  749. Web.  However, gophers covered a large number of databases that were
  750. not on the Web and which contained a wealth of information and texts.
  751. You access gopher space using dedicated gopher software or from a Web
  752. browser by typing the gopher's address (it starts with gopher://
  753. instead of http://) usually followed by a port number (typically 70)
  754. as in <gopher://gopher.ic.ac.uk/70>.
  755.  
  756. Gopher search engines are called Veronica or Jughead.  Veronica was
  757. the more recent.  
  758.  
  759. A typical Veronica search (on the single word "uranium") brought 146
  760. items within seconds.  Some of these (again typically) were
  761. out-of-date or the connections didn't work.  The rest gave me
  762. everything I might have wanted to know about uranium, from its
  763. elemental properties to the latest uranium mining figures from various
  764. parts of the world.
  765.  
  766. Gophers were generally run by universities and government departments,
  767. so seemed to be best for academic and governmental type searches,
  768. although there was some quite non-academic stuff there as well.
  769.  
  770.  
  771. 4.3.3   WEB DIRECTORIES may be better for vaguer background research
  772. than search engines because they allow you to follow through a line of
  773. thought on a root and branch principle.  Try clicking on the
  774. appropriate "branch" of Yahoo (for example) and then narrowing down:
  775. <http://www.yahoo.com>.
  776.  
  777. However, Yahoo can look rather limited at times, with a relatively
  778. small database. To an extent this is a problem with all directories,
  779. which can't be compiled as automatically as search engines, and so
  780. tend to be smaller and less up-to-date.
  781.  
  782. Galaxy <http://galaxy.einet.net/galaxy.html> is much more clearly laid
  783. out than Yahoo - easier to see where the different sub-headings are,
  784. and seems generally a better choice at the moment.
  785.  
  786. It should be noted, though, that the distinction between search
  787. engines and directories is becoming increasingly blurred.  Many
  788. directories now have a "web search" option, while a number of search
  789. engines, offer directory-like services - check out Google
  790. <http://www.google.com> and Alta Vista <http://altavista.com/>)
  791.  
  792.  
  793. 4.3.4   VALUE-ADDED GUIDES are often more helpful than directories.
  794. They offer fewer links, but pre-select them to filter out the dross.
  795. In addition, their descriptions are generally more detailed than
  796. ordinary directories and search engines.  Clearinghouse, for example,
  797. <http://www.clearinghouse.net/> provides topical guides to the
  798. Internet.  They aren't as comprehensive but provide value-added
  799. descriptive and evaluative information ideal for researchers." 
  800.  
  801. Those Encyclopaedia Britannica people also run an excellent
  802. value-added combined search engine and directory
  803. <http://www.britannica.com/>.  It's actually quite good. It offers to
  804. give only good quality sites, but if it can't find any in its own
  805. database it can be set to search Alta Vista, so you should always find
  806. something. 
  807.  
  808.  
  809. 4.3.5   SEARCH ENGINES, however, appear to grow less useful as the
  810. query becomes vaguer.  Much of the problem lies in knowing how to
  811. phrase the key words.  On wider background searches these can become
  812. confusingly all-encompassing.
  813.  
  814.  
  815. 4.3.6 WEBRINGS
  816.  
  817. WebRings are an interesting new development which could be useful for
  818. general browsing.  
  819.  
  820. One of the most difficult things to duplicate on the Net is the
  821. ability to browse around a subject, slowly but thoroughly building up
  822. a solid base of knowledge.  Somehow it's a great deal easier in a
  823. physical library where you can find lengthy books on specific topics.
  824. Web pages have a tendency to be lighter in content than most books,
  825. and following links can be a remarkably hit and miss affair.
  826.  
  827. With WebRings, groups of sites on a topic are linked together so that
  828. you can move easily through the sites, forwards and backwards or even
  829. at random.  In theory, a WebRing should also provide a certain
  830. guarantee of quality. You can search for WebRings at
  831. <http://www.webring.org/>.  Worth checking out to see if there's
  832. something on your chosen subject.
  833.  
  834.  
  835. 4.3.7 WEBLOGS
  836.  
  837. A new development coming over the Internet horizon is the weblog, or
  838. Blog to its fans.  Blogs vary enormously, but essentially they are a
  839. blend of on-line newsletter and discussion group - sites where
  840. individuals and/or subscribers can post news stories, links,
  841. discussion points or the detailed minutiae of their life.  Some are
  842. riveting, some are less so, and the range of interests is
  843. idiosyncratic.  The form is still in its infancy as far as providing
  844. useful research material is concerned, but the infant shows promise.  
  845.  
  846. To poke around among the bloggers try looking at the Blogs listed at:
  847.  
  848. EATONWEB BLOG PORTAL <http://www.eatonweb.com/portal/>
  849. BLOGGER <http://www.blogger.com>
  850.  
  851. Look for the option to list by categories, or search on a particular
  852. search term.  In addition, should you feel the urge to set up your own
  853. Blog, the last two sites listed above will help you do it for free.
  854.  
  855.  
  856. 4.3.8 PROXIMITY SEARCHING
  857.  
  858. A more unusual tool for research comes from NameBase
  859. <http://www.namebase.org/>.  In addition to a database of useful
  860. articles in a number of fields, particularly social, political and
  861. commercial, you can perform a "proximity search".  Search on a name,
  862. and their database creates a "network diagram", linking a wide range
  863. of related names, grouped according to how close or frequent the link
  864. is found to be.
  865.  
  866. Easier to use than to describe, try it out.
  867.  
  868. 4.3.9 THE "DEEP" OR "INVISIBLE" WEB
  869.  
  870. When conducting a search on the Net, the main search engines can be
  871. very good - but be aware that there is a great deal of the Web that
  872. they are totally unable to search. This has been called the "invisible
  873. web" or the "deep web". It exists for a number of reasons. Most
  874. important is that many excellent databases cannot be searched by the
  875. search engines' automatic software ("web spiders"), either because the
  876. spiders cannot access the databases, because otherwise ordinary
  877. webpages are constructed in ways that interfere with the workings of
  878. the spiders or for other technical reasons. 
  879.  
  880. Frames and dynamic pages interfere with the way that the web spiders
  881. access information and return useful addresses for the search engines
  882. to use. And the text content of images or Adobe pdf files cannot be
  883. examined. In addition, some databases simply won't work with spiders
  884. or refuse access.
  885.  
  886. For example, you can't search on a phone number in Alta Vista and get
  887. an answer from Anywho.com. Financial databases, newspaper archives,
  888. government information, almost every kind of resource or database is
  889. affected by the "invisible web" problem. If you rely solely on search
  890. engines, you are limiting your resources to a tiny fraction of what is
  891. out there.
  892.  
  893. The best way to deal with this is to have a good supply of databases
  894. which are specific to your subject. These will lead you faster and
  895. more surely to the information you need than any search engine, which
  896. will on current estimates only cover 1/500th of the 500 billion pages
  897. now on the Web.
  898.  
  899. Many of the links in "URLS FOR A RAINY DAY" (FAQ part 2) will return
  900. information that search engines cannot find. 
  901.  
  902. Other useful strategies include searching Usenet and other discussion
  903. groups, posting queries on discussion groups, and using expert
  904. resources (see sections 4.2.3 and 10.2.) 
  905.  
  906. There are a slowly increasing number of sites for researching the
  907. invisible web. Two of the best include:
  908.  
  909. - INVISIBLEWEB.COM <http://www.invisibleweb.com> - developed by
  910. Intelliseek
  911. - COMPLETE PLANET <www.completeplanet.com> - 20,000 approx invisible
  912. web databases
  913.  
  914. Further information on the invisible web (and links) can also be found
  915. at these two sites:
  916.  
  917. <http://www.searchenginewatch.com/sereport/00/08-deepweb.html>
  918.  
  919. <http://websearch.about.com/internet/websearch/library/searchwiz/bl_invisibleweb_apra.htm>
  920.  
  921. Thanks to Steve Hunt for pointing out the invisible web issue.
  922.  
  923.  
  924.  
  925. **********************************************************************
  926.  
  927. 5    HOW CAN I FIND INFORMATION FASTER?
  928.  
  929. 5.1    First, there's the obvious: get a faster modem, or an
  930. extra-fast connection like an ISDN line, ADSL or cable-modem
  931. connection.  Or upgrade your processor, RAM and video RAM.  However,
  932. these cost money, and you're still at the mercy of a slow connection
  933. somewhere the other side of the world.
  934.  
  935.  
  936. 5.2   If you don't need pictures, then set your browser to load
  937. web-pages without them.  Unfortunately, there are still some sites
  938. which are virtually unusable when displaying text only.  Luckily, not
  939. many.
  940.  
  941.  
  942. 5.3   Less obvious is the question of efficiency.  The Net is so large
  943. that it takes time to get to know any one subject area - to suss out
  944. some databases you can trust, assess which sources are best for which
  945. kinds of information.  You can make on-line life easier for yourself
  946. if you focus on relatively small subject areas for relatively long
  947. periods of time.  It's more difficult if your work or inclinations
  948. lead you to research civil engineering one day, single parents the
  949. next...
  950.  
  951.  
  952. 5.4   BOOKS AND BOOKMARKS
  953.  
  954. Ultimately, you can't beat a good set of URLs in a well-maintained
  955. (and backed-up(!)) bookmark list.  Some of the best URLS come from
  956. experience.  Others can be culled from books, newspapers and
  957. magazines.
  958.  
  959. Beth Porter: "Get hold of Computer Life's Road Map to the http://www,
  960. which is sweetly laid out in category globules [Sports, Media &
  961. Entertainment, Politics]; there's also  the Internet White Pages,
  962. published by IDG Books [Godin & McBride] ...  more URL's than you've
  963. had hot dinners."
  964.  
  965.  
  966. 5.5  Some popular sites now have one or more "mirror sites" in other
  967. parts of the world, carrying the identical information.  If accessing
  968. one of these, choose the mirror site in a time zone which is likely to
  969. be least in demand, eg: between 11pm and 7am local time.
  970.  
  971.  
  972. 5.6  Consider going on-line at more expensive times of day (if you
  973. have to pay for phone calls) or using Internet providers with better
  974. bandwidth and modem/user ratios.  The extra cost may well be
  975. outweighed by the greater efficiency and faster access times.  Talking
  976. of money....
  977.  
  978. ********************************************************************************
  979.  
  980. 6.     SHOULD I PAY FOR INFORMATION?
  981.  
  982.  
  983. 6.1   OUTERNET.
  984.  
  985. Richard Broke:  "One of the problems of the Internet is that it is
  986. free!   So, basically, you get what you (don't) pay for - much of the
  987. time.  The Outernet is the name given to pure knowledge databases
  988. which are SUBSCRIPTION ONLY.  Probably the biggest is called Dialog
  989. (sometimes aka Knowledge Index).
  990.  
  991. "Because they are selling data, these outfits are reliable (by which I
  992. mean accurate) and up- to-date."
  993.  
  994. However this probably is mainly of use to those whose work can justify
  995. the expense.  Dialog begins with an annual sub of 30 UK pounds (or
  996. equivalent).  However, to that you must add on-line charges which
  997. depend on where you live and which database you access.  Some
  998. databases charge $12 per hour, while others go as high as $225.  Then
  999. there's charges for displaying documents (say 60c per document), extra
  1000. charges if you print stuff out, connection charges if you're outside
  1001. the US...
  1002.  
  1003. Web: <http://www.dialog.com/> or phone:
  1004.  
  1005. UK: 0171-930 5503
  1006. USA: 800-334-2564 or 415-254 7000
  1007.  
  1008. I have phone and fax numbers for other European countries if wanted.
  1009.  
  1010.  
  1011. 6.2  HIRING RESEARCHERS
  1012.  
  1013. There are other ways of paying too.  Alex: "As with traditional
  1014. research, you may find it pays to hire someone to find the information
  1015. for you."
  1016.  
  1017. Alex gave details of Mindsource....an organisation that finds
  1018. information for people.  Costs start as low as $50/Quarter, but you
  1019. get more the more you pay.  At the moment Mindsource is probably not
  1020. as useful as it could be - but that may change.  For details of
  1021. Mindsource: send blank email to mindsource@memo.net.
  1022.  
  1023.  
  1024. 6.3 INTERNET SUBSCRIPTION SERVICES
  1025.  
  1026. There are subscription on-line services on the Internet itself, eg:
  1027. Microsoft Encarta. Concise definitions are free, the full encyclopedia
  1028. payable <http://www.encarta.msn.com/>. 
  1029.  
  1030. For variety and topicality, check out the Electric Library
  1031. <http://www.elibrary.com>.  Electric Library allows you to use "plain
  1032. English" searches across a wide range of newspapers, magazines, TV and
  1033. radio transcripts, dictionaries, encyclopedias, maps, photographs, and
  1034. literary and artistic classic works.  When I've used it, it's been
  1035. fast and efficient at pulling out relevant information.  You can also
  1036. download special software (Windows and Mac) to search the library
  1037. without needing an Internet browser.
  1038.  
  1039. (Note: Electric Library goes offline each day from 04:30 to 6:30 EST
  1040. for uploading new material.  Depending on where you are in the world,
  1041. and what times you like to work, this down-time may or may not be an
  1042. inconvenience.  For example in Britain, this is 09:30-11:30).
  1043.  
  1044. Irritatingly the site doesn't display the current subscription rate
  1045. (it used to be $9.95 per month, unlimited use - $59.95 p.a.) but
  1046. there's a seven day free trial.
  1047.  
  1048. 6.4 DOWNLOADABLE DATABASES
  1049.  
  1050. Finally, you can download whole databases to keep on your hard drive,
  1051. for a fee.  One example is NameBase - an index of individuals,
  1052. corporations and groups compiled from 600 investigative books
  1053. published since 1962, and thousands of pages from periodicals since
  1054. 1973 - covering the international intelligence community, political
  1055. elites Right and Left, assassinations, scandals, Latin America, big
  1056. business, and organized crime. 
  1057.  
  1058. Download a 10-day free trial of NameBase's entire index from
  1059. <http://www.namebase.org>.  
  1060.  
  1061. **********************************************************
  1062.  
  1063. 7.   WHERE CAN I GET FURTHER HELP?
  1064.     --------------------------------------------------
  1065.  
  1066. 7.1 ALCS has a dedicated writers' server, put together by Jane Dorner
  1067. and Chris Barlas. <http://www.alcs.co.uk> 
  1068.  
  1069. Chris writes: "One of the features is a writers' information
  1070. directory, a series of hyperlinks that writers have found useful for
  1071. research purposes." 
  1072.  
  1073. Society of Authors have also developed a site
  1074. <http://www.writers.org.uk/society/> put together by Storm Dunlop.  As
  1075. has the Writers Guild of America <http://www.wga.org/>.  (Note: the
  1076. Society of Authors has temporary server problems, some users may find
  1077. problems for a few weeks).
  1078.  
  1079.  
  1080. 7.2   WRITERS' PERSONAL RESOURCE PAGES
  1081.  
  1082. There are a number of personal writers' pages on the Net, offering
  1083. useful links.  Some are listed below (9.8).
  1084.  
  1085.  
  1086. 7.3   SCRNWRIT MAILING LIST
  1087.  
  1088. Marty Norden tells of the screenwriters list called SCRNWRIT: "There
  1089. are plenty of folks there who might be able to direct you to the right
  1090. sources.  If you'd like to join, just send the one-line message
  1091. "Subscribe SCRNWRIT" to Listserv@tamvm1.tamu.edu.  Be aware, however,
  1092. that SCRNWRIT is an unmoderated and *very* active list.  You'll easily
  1093. receive 50- 100 messages *per day* from it, sometimes more."
  1094.  
  1095.  
  1096. 7.4  RESEARCH BY REAL PEOPLE
  1097.  
  1098. A growing number of free resources offer searching by soft,
  1099. warm-blooded sentient beings, rather than computers. 
  1100.  
  1101. ProfNet <http://www.profnet.com> is a collaborative of 3900 public
  1102. information officers (PIOs) linked by Internet to give journalists and
  1103. authors convenient access to expert sources.  There are a number of
  1104. ways of submitting queries, not restricted to the Net itself:
  1105.  
  1106.         Phone (from US): 1-800-PROFNET (1-800-776-3638)
  1107.         Phone (from outside US): 01-516-941-3736
  1108.         Fax (from US and Canada): 1-516-689-1425
  1109.         Fax (from beyond US and Canada): 1-516-689-1425
  1110.         Email: profnet@profnet.com 
  1111.         CompuServe: 73163,1362
  1112.  
  1113. Ask An Expert <http://www.askanexpert.com/> offers similar expert
  1114. facilities.
  1115.  
  1116. KnowPost <http://www.knowpost.com/> is run by people from all over the
  1117. world with the aim of helping "guide those who are lost on the
  1118. Information Superhighway". The service is free, but you have to answer
  1119. a question for each question you ask.
  1120.  
  1121. A clever new variation on human-based research resource, SourceNet is
  1122. a private research tool that lets journalists post anonymous queries
  1123. on any topic that will be distributed daily to nearly 10,000 corporate
  1124. and agency PR professionals.
  1125.  
  1126. Journalists worldwide use the service to round out stories, find
  1127. guests, test new story ideas, or find expert sources for stories in
  1128. progress. SourceNet say, "It's like having an army of research
  1129. assistants helping you, for just a minute or two of effort on your
  1130. part!  All queries are completely anonymous; personal contact
  1131. information is never available to PR people through SourceNet
  1132. queries."
  1133.  
  1134. Free to all working members of the media:
  1135. <http://www.mediamap.com/media>
  1136.  
  1137.  
  1138. 7.5 INTERNET BY EMAIL
  1139.  
  1140. If you can't get at all these resources in the normal way, you can get
  1141. just about anything you need by email.  Loyd Colston writes:
  1142.  
  1143. By sending email to mail-server@rtfm.mit.edu with text in the BODY of
  1144. send usenet/news.answers/internet-services/access-via-email one will
  1145. get a file on how to do archie, FTP, http://www, WAIS, etc.  by email
  1146. only.   In other words, you can FTP a file from an email only account.
  1147. This file is also useful in learning how to use internet in general.
  1148. The author also publishes the e-zine The Internet Tourbus which is a
  1149. free tourguide of the Internet.
  1150.  
  1151. Bob Appleton can also supply updated files which show in specific
  1152. detail how to get just about anything by email.  The files are free
  1153. and everything mentioned in them is also free.  To get these files
  1154. individually or together in zipped format as well as in text format,
  1155. send a message to:  agora@dna.affrc.go.jp and in the body of the
  1156. message put:
  1157.  
  1158. send ftp://ftp.crl.com/users/iv/iverham/XXX
  1159.  
  1160. Where XXX stands for one of the files listed below.  
  1161.  
  1162. email4u.txt   getit4u.txt   fun4u.txt  pix4u.txt
  1163. email4u.zip   getit4u.zip   fun4u.zip  pix4u.zip  4useries.zip
  1164.  
  1165. Repeat the line for each additional file requested. 
  1166.  
  1167. In addition the .txt (but not the .zip) files are available here:
  1168.  
  1169. send http://members.aol.com/bombagirl/freeware/XXX
  1170. send http://www.wireworm.com/4useries/XXX
  1171.  
  1172. Another way is to send a blank message to: 4useries@wireworm.com.  
  1173.  
  1174. When you get the email information, please give attention to Email by
  1175. news groups.   Vigilant and InReference both allow for keyword
  1176. searches of USENET being sent to your mail box.   This saves a LOT of
  1177. time having to read every article about items.   Both allow filtering
  1178. so you can specify exactly what you want.
  1179.  
  1180.  
  1181. 7.6 Information Research FAQ
  1182.  
  1183. For those who want to go into more academic detail about research -
  1184. online and otherwise - I can recommend the massive, if slightly
  1185. sprawling, Information Research FAQ <http://cn.net.au/> - not to be
  1186. confused with our own production. Articles on a wide range of topics
  1187. related to finding information fast.
  1188.  
  1189.  
  1190. 7.7 Windweaver Web Resources
  1191.  
  1192. An excellent site well worth checking out for help in research is
  1193. Windweaver Web Resources <http://www.windweaver.com/> with over 100
  1194. pages of useful Internet search guides and links. 
  1195.  
  1196. Created by an Internet trainer who specialises in research resources,
  1197. it offers useful comparisons of the strengths and weaknesses of the
  1198. different search engines, etc, along with guides, help pages, and
  1199. many, many links.  Highly recommended.
  1200.  
  1201. 7.8 Articles
  1202.  
  1203. Sal Towse, contributor to the FAQ, has a good article on web searching
  1204. in "Computer Bits". Well worth a read:
  1205. <http://www.computerbits.com/archive/1998/0700/web_searches.html> as
  1206. is the computerbits site in general.
  1207.  
  1208. 7.9 Language Problems?
  1209.  
  1210. If the material you find is not in your own language, don't despair.
  1211. There are even sites that will translate individual words, or better
  1212. whole chunks of text or web-pages between different languages.  Don't
  1213. expect perfection, or the most obscure dialects, though.  As a
  1214. starter, try Babelfish, from Alta Vista
  1215. <http://babelfish.altavista.digital.com/> which covers French, German,
  1216. Portuguese, Italian, Spanish or English. 
  1217.  
  1218. *********************************************************
  1219.  
  1220. 8. HOW CAN I VALIDATE WHAT I FIND?
  1221.  
  1222. 8.1 HOW RELIABLE IS THE NET?
  1223.  
  1224. Things are clearly changing all the time.  The Internet is growing
  1225. bigger - and as many have discovered a web page or Usenet posting can
  1226. look the same whether created by an world authority or a student.
  1227.  
  1228. The key issues are
  1229.  
  1230. * ACCURACY - Most traditional media have standards of fact-checking,
  1231. which need not be followed by the creator of a web page.  The same
  1232. applies to discussion groups.  In misc.writing, for example, a writer
  1233. accused 90% of the advice posted about copyright law of being wrong.
  1234.  
  1235. However, we shouldn't overstate the case.  Mistakes also occur in
  1236. venerable legal textbooks.  The problem is that we grow up learning to
  1237. judge the validity of traditional media.  Often this comes from the
  1238. context in which it appears - we value information in a medical
  1239. journal, for example, over a teen magazine.  On the Net, that context
  1240. is often missing or severely limited.
  1241.  
  1242. * AUTHENTICITY - How authentic is a website or posting? Many health
  1243. sites, for example, are created by drugs companies, but don't reveal
  1244. that fact on the site itself.  There are important-sounding history
  1245. sites which are run by right-wing extremists.  
  1246.  
  1247. Even the domain name is no proof of authenticity, as constant legal
  1248. wrangles continue to prove.  Although the Net is subject to laws of
  1249. libel, misrepresentation and advertising standards codes (despite
  1250. suggestions to the contrary) these laws are not always easy to
  1251. enforce, and take time.
  1252.  
  1253. * AGEING AND FLUIDITY - Books and magazines have the grace to look
  1254. their age.  There's no dust on a website that hasn't been updated for
  1255. over two years.  Many sites don't even show a date.
  1256.  
  1257. Or you may find the reverse problem.  The web is so fluid that the
  1258. solid site you relied on for information on a regular basis may simply
  1259. disappear overnight.  And every search engine is filled with
  1260. out-of-date links to sites that no longer exist.
  1261.  
  1262. * ACCESSIBILITY - The information you want may exist, but may be
  1263. buried under a load of dross.  Top of my personal hate-list are sites
  1264. that offer to rig search engines so that your personal URL appears
  1265. "near the top of any lists." Using techniques which fool search
  1266. engines into thinking a page is more relevant than it is, they turn
  1267. the usefulness of the web on its head.
  1268.  
  1269. 8.2 WHAT CAN I DO ABOUT IT?
  1270.  
  1271. 8.2.1 DOUBLE-CHECK
  1272.  
  1273. Journalists always double-check information unless it comes from a
  1274. totally secure source.  The same should apply for any information you
  1275. need to verify from the Net.  Either find another reliable Internet
  1276. source, or use traditional means - books, telephone, etc.  
  1277.  
  1278. 8.2.2 LOOK FOR "BRANDED" SITES
  1279.  
  1280. "Branded" sites from organisations you know and trust are likely to be
  1281. among the more reliable - although even they should still be treated
  1282. with care, and you should not take the domain name as proof on its
  1283. own.  Many authentic-sounding domain names have been bought up by
  1284. others.
  1285.  
  1286. Government sites generally provide reliable statistics, as reliable as
  1287. government statistics ever are! Electronic versions of publications
  1288. such as established broadcasters, newspapers and specialised journals
  1289. are likely to have been prepared as carefully as their traditional
  1290. counterparts.  Academic departments of universities can be good, too,
  1291. but check to see if you're reading the work of a professor or
  1292. student...
  1293.  
  1294. 8.2.3 USE "FILTERED" DIRECTORIES
  1295.  
  1296. Search engines use automatic web-crawling "spiders" to trawl for
  1297. pages, and generally make no attempt to judge the value of the sites
  1298. they find.  However, the better search engines have developed a range
  1299. of strategies for excluding sites that try unfairly to raise their
  1300. profile, with a variable degree of success.
  1301.  
  1302. By contrast, directories are selected by humans, giving a greater
  1303. reassurance that the sites will at least be relevant to your query.
  1304. Better still are value-added guides such as Britannica
  1305. <http://www.britannica.com/> and About <http://www.about.com/> and in
  1306. particular directories which give star ratings to valued sites such as
  1307. Clearinghouse <http://www.clearinghouse.net/>.  
  1308.  
  1309. Most promising of all is the growth of specialised high-quality
  1310. subject-based services, if there's one that covers your area.  ELib
  1311. <http://www.ukoln.ac.uk/services/elib/> is dedicated to developing
  1312. such subject-based review lists, including a medical resource at OMNI
  1313. <http://omni.ac.uk/>.  Another medical resource can be found at the
  1314. appropriately named Achoo <http://www.achoo.com/>.
  1315.  
  1316. 8.2.4 LOOK AT INTERNAL EVIDENCE
  1317.  
  1318. In all cases, you should check websites for internal evidence of
  1319. quality: writing style, language, range of content, level of detail,
  1320. clarity of design - all can give important clues as to the expertise
  1321. of the provider.
  1322.   
  1323. Writers with depth of knowledge and experience tend to be precise,
  1324. rather than vague in their use of language, and will normally include
  1325. detailed material and evidence to back up what they say.  And while
  1326. slickness is no guarantee of quality, a badly organised site suggests
  1327. that the content may be sloppy in other ways too.
  1328.  
  1329. In addition, look for references and citations, clear identification
  1330. of who "owns" the site, the date of the last update, contact
  1331. information and e-mail links.  Lack of any or all of these should make
  1332. you increasingly suspicious of the validity of what you find.
  1333.  
  1334. 8.2.5 ASK WHO'S PAYING
  1335.  
  1336. Good content takes time and effort, and while some people are happy to
  1337. provide this for nothing, there's no incentive quite like hard cash to
  1338. ensure the website is kept accurate and up-to-date.
  1339.  
  1340. In some cases, it may be that the site relies on advertising, and
  1341. therefore has a built-in incentive to keep visitors happy and supplied
  1342. with good content.  However, in others the paymaster may be a drugs
  1343. company, a political organisation or an individual with an axe to
  1344. grind.
  1345.  
  1346. In the long run, if you can afford it, you may feel it's safer to pay
  1347. yourself, and use one of the subscription-based services.  However,
  1348. even if you do pay, all the above considerations still apply.
  1349.  
  1350. 8.3 HOW SHOULD INTERNET SOURCES BE CITED?
  1351.  
  1352. Standards for citing the Internet resources are not yet established.
  1353. However, you can find some useful suggestions at A Brief Citation
  1354. Guide for Internet Sources
  1355. <http://www.h-net.msu.edu/~africa/citation.html>.
  1356.  
  1357. *********************************************************
  1358.  
  1359. 9.   WHAT ABOUT THE FUTURE?
  1360.  
  1361. 9.1 PLUS CA CHANGE...
  1362.  
  1363. Clearly, the Internet will change - commercially, technically,
  1364. philosophically.  There'll be a need for services to pay for
  1365. themselves, and that may mean more subscriptions, as discussed above.
  1366. On the other hand, there are other ways of skinning a cat.  
  1367.  
  1368. Many sites will pay for themselves by advertising, while sites set up
  1369. as corporate PR will find they need to offer more than pretty pictures
  1370. to attract the browsers. 
  1371.  
  1372. There are also publication spin-offs, which need not necessarily be
  1373. financially damaging to the provider, even if free.  Times Educational
  1374. Supplement found that their free Internet site actually led to
  1375. increased sales of the printed publication rather than the decreased
  1376. sales that might have been expected. 
  1377.  
  1378. When it comes to reliability of information, new techniques of
  1379. encoding "watermarks" and using encrypction programs and digital
  1380. signatures could be an important step towards ensuring that users
  1381. trust the information they find.
  1382.  
  1383. The energetic prosecution of legal safeguards will also be
  1384. increasingly necessary - whether over trademarks and domain names or
  1385. "passing off".  And search engines will need both legal and technical
  1386. ways to stop their search results from being rigged.
  1387.  
  1388. It's perhaps as difficult to predict commercial developments as
  1389. technical developments.  The Net has an anarchic way of confounding
  1390. predictions all the time.  It wasn't so long since everyone was hyping
  1391. "push" as the latest transformation.  So far, the push revolution has
  1392. been put on hold.  
  1393.  
  1394. 9.2 TECHNICAL DEVELOPMENTS ON THE NET?
  1395.  
  1396. 9.2.1 INTELLIGENT AGENTS
  1397.  
  1398. There's new software developing all the time. Intelligent Agents (IAs)
  1399. are held to be the coming thing, according to some (the developers of
  1400. Intelligent Agents, perhaps). 
  1401.  
  1402. IAs are not writers agents with nous, but computer programs that help
  1403. with searching.  There are a number of different types of IA, but
  1404. basically they aim to make internet searching easier by 
  1405.  
  1406. (a) learning your preferences in an "intelligent" way and/or
  1407. (b) going onto the net and searching while you are offline, thus
  1408. saving time and money and/or
  1409. (c) (theoretically) returning with a more targetted, useful list of
  1410. hits - by avoiding duplication, eliminating dead links, and generally
  1411. being more efficient than your average bog-standard search engine.
  1412.  
  1413. When I posted a query about IAs, at first I received a grand total of
  1414. one reply (from a reviewer) and zero replies from researchers and
  1415. writers, from which I concluded that either IA's are not much use, or
  1416. that no-one who uses them saw my message or (most probable) that
  1417. researchers and writers are too busy researching and writing to take
  1418. valuable time wrestling with unknown bits of software.
  1419.  
  1420. Since then I've heard from Vic Justice who recommends "a search device
  1421. called Web Ferret, which is a free download.  He says:
  1422.  
  1423. "It calls up 500 responses to the subject query and does it faster
  1424. than, say Yahoo or others.  To my computer illiterate mind, it
  1425. searches the search engines.
  1426.  
  1427. "A major advantage of Web Ferret is the contents index that pops up as
  1428. the mouse cursor touches the item title, so that you only need call up
  1429. items specific to your search. This saves time."
  1430.  
  1431. <http://www.ferretsoft.com/>
  1432.  
  1433. Bruce Krulwich who is professionally employed in bringing agents to
  1434. market has also written a number of articles on the subject
  1435. <http://www.geocities.com/ResearchTriangle/9430/>
  1436.  
  1437. Meanwhile, for Mac owners only, Mike Shields tells us about Sherlock,
  1438. 'another method of research, for those of us using a Mac with OS 8.5.
  1439. Sherlock, performs the same feats as Metacrawler. Allows fuzzy
  1440. searches as well. 
  1441.  
  1442. 'What makes this really powerful, is that you can create a Sherlock
  1443. plugin for your site, so that your site will be included in the
  1444. searches. 
  1445.  
  1446. 'You only search the plugins that you yourself load. So, for instance,
  1447. if Charles Deemer creates a plugin for his site, and you check it off,
  1448. then you search his site, if you've loaded his plugin before hand. You
  1449. can also choose which of the search engines to utilize. 
  1450.  
  1451. 'It's a very fuzzy search. I can ask a question like, "Who is Charlie
  1452. Harris?" And set it off and running, and it should come back with a
  1453. few interesting things.'
  1454.  
  1455. More information from <http://www.apple.com/sherlock/>
  1456.  
  1457. To find out more on all kinds of IAs, you can also try:
  1458.  
  1459. Software:
  1460.  
  1461. <http://www.autonomy.com/> Autonomy
  1462. <http://www.kryltech.com/> SSSpider
  1463. <http://www.agentsoft.com> AgentSoft
  1464. <http://www.alexa.com/index.html> Alexa Internet
  1465. <http://www.botspot.com> BotSpot - try "Best of the Bots"  
  1466.  
  1467. Reviews and Discusion:
  1468.  
  1469. <http://www.cs.umbc.edu/agents/>UMBC Agent Web
  1470. <http://www.research.ibm.com/iagents/> IBM Intelligent Agents Home
  1471. Page
  1472. <http://www.webtechniques.com/archives/1997/05/burner/> Crawling
  1473. towards Eternity (Web Techniques, May
  1474. 1997)
  1475. <http://cws.internet.com/reviews/agents-reviews.html> Stroud's
  1476. Internet Agent Reviews
  1477.  
  1478. (Most of these links courtesy of Jen - thanks.)
  1479.  
  1480. The jury is still most decidedly out.  Please tell me if you've tried
  1481. IAs and find them scintillatingly useful, totally useless, or
  1482. somewhere between the two.
  1483.  
  1484.  
  1485. 9.2.2 WATCHING THE NET
  1486.  
  1487. To get the best out of your Internet searching, it's worth spending a
  1488. little time keep track of developments.  Directories and search
  1489. engines are constantly looking for ways to improve their service.  
  1490.  
  1491. For example:
  1492.  
  1493. Alta Vista <http://www.altavista.com> has been offering a translation
  1494. service for some months, giving rough and ready translations into and
  1495. out of the more common languages and has now started suggesting key
  1496. words to help refine or clarify your search..
  1497.  
  1498. The Excite directory <http://nt.excite.com/> has added to its news
  1499. searching.  The NewsTracker option helps you search 300+ publications,
  1500. with the ability to save search terms for re-use. 
  1501.  
  1502. HotBot <http://www.hotbot.com/> now offers the Direct Hit ranking
  1503. system.áPerform a search, and Direct Hit will offer (if appropriate) a
  1504. list of the most popular pages relating to your subject. The
  1505. usefulness of course can depend on your chosen search topic. Read more
  1506. about it in Counting Clicks and Looking At Links
  1507. <http://www.searchenginewatch.com/sereport/9808-clicks.html> and at
  1508. <http://www.directhit.com/> 
  1509.  
  1510. One of the best ways of keeping track is the excellent "Webmaster's
  1511. Guide to Search Engines" <http://searchenginewatch.com/>.  This is
  1512. really aimed at website developers, but is no less useful for Internet
  1513. Researchers, as a way of learning about search engines and what makes
  1514. them tick.
  1515.  
  1516. In particular, it has a twice-monthly update news page "What's New".
  1517. If you subscribe (for free) you can join the mailing list and receive
  1518. regular news of updates by e-mail.
  1519.  
  1520.  
  1521. *********************************************************
  1522. (Continued in part 2 - URLS for a Rainy Day - loads of useful links
  1523. for research)
  1524.  
  1525. (c) Charlie Harris 1996-2003
  1526.  
  1527. (This FAQ may be copied in whole or in part for non-profit making
  1528. purposes only, provided adequate credit is given to those who helped
  1529. towards it, and the home address is given <http://www.search-faq.com>.
  1530. In addition, if anyone wishes to post any part anywhere on the Net,
  1531. please inform us <charlie@harris.u-net.com> and commit to keeping the
  1532. posting up-to-date on a monthly basis - there's too much out-of-date
  1533. stuff on the Net already) 
  1534. ---------------------------------------------
  1535. Charles Harris - Internet Search FAQ
  1536. www.search-faq.com - charlie@harris.u-net.com
  1537. ---------------------------------------------
  1538.