home *** CD-ROM | disk | FTP | other *** search
/ ftp.pasteur.org/FAQ/ / ftp-pasteur-org-FAQ.zip / FAQ / internet / web-research-faq < prev   
Encoding:
Internet Message Format  |  2004-04-18  |  70.1 KB

  1. Path: senator-bedfellow.mit.edu!dreaderd!not-for-mail
  2. Message-ID: <internet/web-research-faq_1082200966@rtfm.mit.edu>
  3. Supersedes: <internet/web-research-faq_1079601013@rtfm.mit.edu>
  4. Expires: 31 May 2004 11:22:46 GMT
  5. X-Last-Updated: 2000/03/04
  6. Organization: none
  7. From: david@cn.net.au (David Novak)
  8. Newsgroups: alt.internet.research,alt.answers,news.answers
  9. Subject: Web Research FAQ v.1.1
  10. Approved: news-answers-request@MIT.EDU
  11. Followup-To: poster
  12. Summary: Web Research: guidance, technique, tools.
  13. Originator: faqserv@penguin-lust.MIT.EDU
  14. Date: 17 Apr 2004 11:28:26 GMT
  15. Lines: 1446
  16. NNTP-Posting-Host: penguin-lust.mit.edu
  17. X-Trace: 1082201306 senator-bedfellow.mit.edu 576 18.181.0.29
  18. Xref: senator-bedfellow.mit.edu alt.answers:72518 news.answers:269984
  19.  
  20. Archive-name: internet/web-research-faq
  21. Posting-Frequency: monthly
  22. Last-modified: variable:date
  23. URL: http://spireproject.com
  24. Copyright: (c) 2000 David Novak
  25. Maintainer: David Novak <david@cn.net.au> 
  26.  
  27.            Web Research FAQ 
  28.  
  29.     Welcome. This FAQ introduces the concepts and tools of web research.
  30.     Attention is focussed on how web research fits into the larger field of
  31.     information research, but web research has many peculiarities all its
  32.     own, quite obscure to the new user.
  33.  
  34.     This FAQ resides at SpireProject.com/webfaq.txt 
  35.     SpireProject.co.uk/webfaq.txt  and  http://cn.net.au/webfaq.txt
  36.  
  37.     This FAQ is just a small part of a much larger effort to help you with
  38.     information research. The Spire Project is available as 3 website,
  39.     mirrors, zip-file, and 3 other faqs (See our larger Information Research
  40.     FAQ - http://spireproject.com/faq.txt) I have included here text
  41.     versions of relevant webpages and sections of our other faqs.
  42.     
  43.     Enjoy,
  44.     David Novak - david@cn.net.au
  45.     The Spire Project : SpireProject.com, SpireProject.co.uk, Cn.net.au
  46.  
  47.  
  48.                                 Contents 
  49.       Web research starts with a vision. 
  50.       Don't Try to Search Everything
  51.       Internet Information Theory 
  52.  
  53.     ----- Articles from The Spire Project
  54.       Finding A Webpage
  55.       Discussion Groups
  56.  
  57.     ----- Excerpt from the Information Research FAQ
  58.       What is Information Research?
  59.  
  60.     ----- Acknowledgements
  61.     ___________________________________________________
  62.  
  63.         Web research starts with a vision.
  64.  
  65.     The web is at the heart of a dramatic change to the information we
  66.     receive. Even if we never touch the web, it will still affect what we
  67.     read on account of how radically it permits new voices and new
  68.     competition to the established ways we receive information. Web
  69.     research, for those who wish to learn, is about finding more
  70.     information, better information, & better answers from what exists on
  71.     the web.
  72.  
  73.     There is a great deal of research about the relative strengths and
  74.     techniques to maximize the use of search-engines. I do not follow this
  75.     discourse closely. Concider reading the reviews offered by
  76.     SearchEngineWatch (www.searchenginewatch.com) for this. My interest and
  77.     excitement comes with developing and transplanting search techniques of
  78.     a stronger nature. This FAQ covers topics like:
  79.     -    Boolean & field searches,
  80.     -    Anticipate what exists,
  81.     -    Judge webpage quality quickly,
  82.     -    Move to relevant nexus points,
  83.     -    An awareness of larger structures in the web,
  84.     -    Ask for directions,
  85.     -    Discussion archives as a search tool,
  86.     -    Information Clumps, so seek the clumps,
  87.     -    Information Research & its similarities.
  88.  
  89.     Before the web, we all had our private library, supplemented by the
  90.     local public library, corporate library and perhaps local bookstore to
  91.     provide our information needs. Add our daily paper and perhaps a
  92.     magazine or two (and our 30 minutes of news broadcast on TV) and you
  93.     have the sum total of most of our research needs. There were other
  94.     sources available, but these were muted on account of the popularity and
  95.     strength of these resources.
  96.  
  97.     Today, with the web, we have a vast new tool at our disposal. We can
  98.     chose instead to follow the stockmarket live, read news direct from the
  99.     newswires, browse our local library AND the British Library
  100.     concurrently. We can read widely divergent views on an incident or
  101.     activity. Perhaps best, we now have a vast slew of people and
  102.     organizations to assist us in getting the information we seek. Each has
  103.     different aims and focus and experience and bias.
  104.  
  105.     Navigation of the Internet is not simple. Those who tell you so are
  106.     selling you something. Navigation (and research, a close cousin,)
  107.     depends on your experience & practical understanding of how information
  108.     is distributed on the Internet. Let's start with some theory.
  109.     ___________________________________________________
  110.  
  111.         Don't Try to Search Everything
  112.  
  113.     If a tree falls in a forest, and no one is around, does it make a sound?
  114.  
  115.     This is so relevant to the web. If a webpage exists, but no-one visits,
  116.     does it really exist?
  117.  
  118.     This is more the norm for information on the web. People enjoy the
  119.     publishing of information - but for most webpages, promotion is minimal
  120.     at best. I may inform a search-engine or two, or tell a relative, a
  121.     forum or another relevant website. Lets look at what this means for
  122.     research.
  123.  
  124.     I inform a search-engine, so someone skilled in searching search-engines
  125.     could find my webpage - provided they search for the right words.
  126.     Unfortunately, from the point of view of a publisher, this is not a
  127.     useful way to find readers. There are simply too many webpages and too
  128.     few skilled researchers. If your webpage is fortunate enough to appear
  129.     first on a popular search term, the search-engine may drive significant
  130.     readers your way. Otherwise, you can expect very few visitors. From the
  131.     researcher's point of view, the search-engine does not give you a clue
  132.     which of the many webpages will be useful to you. The usual practise is
  133.     to look for the top 30 and leave the rest. Thus, finding a particular
  134.     webpage, lets say the best webpage on travelling Western Australia,
  135.     depends a bit on luck (being in the top 30) and a bit on the skill of
  136.     the reader (in choosing words which accurately describe the better
  137.     webpages).
  138.  
  139.     When a writer informs a relative, they may tell a few other relatives,
  140.     and some of this may snowball to a few more relatives or workmates.
  141.     Again, it depends on the popularity of the webpage, but you should not
  142.     expect considerable traffic. From the researchers perspective, to find
  143.     this webpage you must either speak/write to one of the relatives, or
  144.     look for a link in a relative's webpage (provided one of them added a
  145.     link).
  146.  
  147.     Mentioning a webpage to a forum works similarly, but increases the
  148.     likelihood a fine webpage will be linked into a collection of relevant
  149.     webpages with existing traffic (perhaps some of the historically
  150.     important documents - which we will explain later) and this in turn may
  151.     snowball some. From the researcher's perspective, we could find my
  152.     webpage by asking the forum, searching past forum messages, or by
  153.     looking at those relevant webpages which link to fine webpages (nexus
  154.     points - again explained later).
  155.  
  156.     Obviously there are more ways to promote that this. If you have money,
  157.     you can purchase a top position in most of the search-engines. There is
  158.     banner advertising. Promote away from the Internet too. But just from
  159.     this rather lengthy example, can you see, no single tool will ensure you
  160.     find a webpage, no single technique is enough. Many webpages will just
  161.     never be found.
  162.  
  163.     Defeatist you say? No, its realism. Just as you can, theoretically find
  164.     out everyone's first name with a telephone, in practise, you can't. So,
  165.     to one of the first myths of internet research: You are not searching
  166.     the web when you search AltaVista, Yahoo or AllTheWeb. You are only
  167.     searching a database/directory - an incomplete tool that does a poor job
  168.     selecting the best from the rest.
  169.  
  170.     The purpose of this narrative is to set the picture. In web research, we
  171.     do not attempt to search everything. There is simply no good way to do
  172.     this - and if we attempt to, we lose all hope of isolating the best
  173.     information. No. We search the web in ways which provide good coverage
  174.     AND link to quality information. We are, after all, search the web FOR
  175.     something.
  176.  
  177.     Technically speaking, it is unwise to formulate your question as "search
  178.     the web for everything about..."
  179.  
  180.     Oh, we will remain flexible and use blunt techniques when valuable or
  181.     expedient, but our focus is on quality & depth. And this focus opens up
  182.     a vast range of search techniques taking advantage of internet
  183.     structures like nexus points and historically important documents. This
  184.     focus vastly improves results.
  185.  
  186.     Lets turn our attention now to understanding structure on the web.
  187.     ___________________________________________________
  188.  
  189.     Internet Information Theory
  190.  
  191.     Lets agree the Internet is great fun to surf, but less valuable when you
  192.     have a specific question in mind.
  193.  
  194.     To improve our search skills, we begin by understanding how information
  195.     is arranged on the Internet. Contrary to myth, information is not
  196.     disorganized but rather organized very carefully along clear patterns.
  197.     Many patterns are specific to the information format (text document,
  198.     webpage, email message, printed article). Further patterns match the way
  199.     we become aware of information, or are specific to the information
  200.     systems (mailing list, faq, peer-reviewed journal). Your understanding
  201.     of the strengths and weaknesses of each pattern, each format, each
  202.     system, guides your search for information. We shall start by shattering
  203.     the Internet, and commenting on the many pieces.
  204.  
  205.  __ 32.1 three definitions of the Internet
  206.  
  207.     Let us be careful when we use the word 'Internet'.
  208.  
  209.     1_ The Internet is a physical network; more than a million computers
  210.     continuously exchanging information. The Internet allows us to transfer
  211.     information around the world.
  212.  
  213.     2_ The Internet is a landscape of information available on almost every
  214.     topic imaginable. This information appears almost chaotically
  215.     distributed to the world, but holds clear patterns. For instance,
  216.     linking information together are various structures like government web
  217.     links, search engines and FAQ documents.
  218.  
  219.     3_ The Internet is a community of 100+ million individuals. These are
  220.     real people who chose to interact, discuss and share information online.
  221.  
  222.     What we learn here is not so important as the technique - break the
  223.     large seemingly chaotic system into smaller pieces: pieces that
  224.     hopefully make more sense. Eventually, when we've made sense of the
  225.     little bits, perhaps we can comment astutely on the big-picture.
  226.  
  227.     In this example, let me just draw your attention to the way most of our
  228.     research effort focuses on the second definition: a landscape of
  229.     information. Much of the best information originates in the third
  230.     definition: the Internet is a community. Sometimes it is far more
  231.     effective to ask real people than search the information cyberspace.
  232.  
  233.     Let us now illuminate more important facets of the Internet.
  234.  
  235.  __ 32.2 information, transaction, entertainment
  236.  
  237.     There is a triad of functions to all online activity:
  238.  
  239.     Function      -  Activity  -      Unit
  240.     ----------------------------------------
  241.     Information   -  Research  -  The Fact or Conclusion
  242.     Exchange      -  Business  -  The Transaction
  243.     Entertainment -  Play      -  The Experience
  244.  
  245.     Each Internet function grows at a different rate and moves in a
  246.     different direction. The development of forums is firmly in the smallest
  247.     segment dealing with information. This segment is quite poorly organized
  248.     and confusing. The entertainment function in contrast is well financed
  249.     and graphically innovative with clear, profitable opportunities.
  250.  
  251.     Much of the web is prepared with Exchange or Entertainment in mind.
  252.     "Brochureware" (purely promotional webpages) is rarely required for
  253.     research, but is critical to securing a transaction. Entertainment
  254.     related, or just entertaining, websites abound. Let us recognize just
  255.     how few webpages are information & research related.
  256.  
  257.     My own experience suggests we are just beginning to see the movements
  258.     towards profiting from providing information. Direct sales of
  259.     information is still chaotic and unrewarding.
  260.  
  261.  __ 32.3 information formats
  262.  
  263.     The way information is packaged has a great bearing on the content,
  264.     quality and use of the information. This theme is evident throughout the
  265.     work of The Spire Project, and is particularly applicable to Internet
  266.     information. Webpages, text files, software, email and database entries
  267.     each have particular qualities. Each shapes, constrains and restricts
  268.     the informative content. These particular qualities apply irrespective
  269.     of the information involved.
  270.  
  271.     Books are dense, factual, a little old. Articles are short, sharp, more
  272.     recent. News is puff, introductory, immediate. Each way the information
  273.     is packaged, each format, presents the information to set standards.
  274.  
  275.     Information formats on the Internet are the same. Webpages are
  276.     graphical, technical to produce, and not easily updated. FAQs are easier
  277.     to maintain, text only, and attract more peer review. Mailing lists are
  278.     simpler still, text, short, immediate, very peer-reviewed, characterized
  279.     by discussion and resource discovery. Newsgroups are characterized by
  280.     extremely low costs, vulnerable to trashing, poorly managed. Email is
  281.     simple use, one-to-one discussion.
  282.  
  283.     Lets look at books more closely. Books are created by authors who have
  284.     something to write. Books are printed and marketed by Publishers to the
  285.     bookstores that then provide it to the readers. Each facet of this
  286.     process defines the resource. Books have quality, editorial vetting but
  287.     minimal peer-review, marketable value and a potentially lengthy
  288.     preparation time.
  289.  
  290.     When it comes to research, why look for a book when investigating
  291.     digital money? Books would just have the wrong qualities - would present
  292.     the information poorly. We need a more current format (digital money is
  293.     a fast moving topic), and a more peer-reviewed format (books have
  294.     editorial vetting, but not intrinsic peer-review). Why not search for a
  295.     mailing list, an FAQ, or an association website. These formats have
  296.     qualities more appropriate to our question.
  297.  
  298.  __ 32.4 information preparation
  299.  
  300.     Information flows also impress patterns on Internet information. Most
  301.     information is transplanted to the web - first created elsewhere. The
  302.     source of information imparts as much pattern as the eventual format the
  303.     information takes.
  304.  
  305.     Information may appear as a webpage, and conform to our expectations for
  306.     all webpages, but the information may have been prepared from the
  307.     discussion on a mailing list - and thus enjoy a more topical, specific,
  308.     timely and peer-reviewed quality.
  309.  
  310.     Lets look at FAQs. The best resource in the world on copyright law is
  311.     the musings of a group of copyright lawyers who form the copyright
  312.     mailing list. The copyright FAQ supported by this group is a logical
  313.     document summarizing much of the discussion of this mailing list. FAQs
  314.     are vetted by the news.answers team, then automatically mirrored around
  315.     the world. From its origins in the mailing list, the FAQ is a
  316.     peer-reviewed document, often full of links to further resources,
  317.     topical, knowledgeable and factual. As an FAQ, the document is not
  318.     immediate, graphical or financially rewarding (some FAQs stagnate).
  319.  
  320.     Only some Internet information is created within the Internet
  321.     environment. The concept of  'brochureware' describes the common traits
  322.     to promotional webpages directly prepared from paper promotional
  323.     brochures.
  324.  
  325.     One of the more exciting trends is the movement of information from the
  326.     dusty shelves of government offices and association libraries to their
  327.     more accessible websites. The quality of information retained in your
  328.     average government agency, from quality research reports, to detailed
  329.     studies, to current industry monitoring is very high. These qualities
  330.     are then brought over to the web format. Such web-documents tend to be
  331.     isolated (not linked to other related resources) and perhaps a little
  332.     behind the time line, but of a generally high quality.
  333.  
  334.     An exciting holistic view of the Internet information landscape is based
  335.     on these descriptions. Imagine, for a moment, information flowing
  336.     through a collection of systems. At certain points, information groups
  337.     together, and generates new, perhaps higher quality information, which
  338.     then flows in a different system, a different direction, to different
  339.     people.
  340.  
  341.     The flow of information from one person to another, from one format to
  342.     another, imprints qualities to the information along the way. Each
  343.     organization, or subsequent re-organization, imparts specific styles and
  344.     conventions and quality to the result.
  345.  
  346.  __ 32.5 publishing motivation
  347.  
  348.     Let us proceed to a third set of patterns. Information appears on the
  349.     Internet for one very specific reason. Someone Publishes (DUH). The
  350.     motivation behind publishing colours the information. Patterns we will
  351.     use to better search for answers on the web.
  352.  
  353.     Ask yourself who is publishing, and why.
  354.  
  355.     One of the biggest publishing segment a year ago were individuals
  356.     publishing documents derived from their personal expertise. A typical
  357.     document would be one with minimal peer review, a list of aging links to
  358.     further resources, simple graphics, variable to short length, prone to
  359.     bias, but moderately reliable because the publisher knows their topic
  360.     well. These pages are often located on web pages with private
  361.     sub-directories (usually starting /~name/).
  362.  
  363.     Commercial sites publish mainly for the promotional value. Their
  364.     secondary purpose is to provide sales information to prospective
  365.     clients. Rarely do commercial sites go beyond this. Commercial webpages
  366.     often reside on their own domain name, as a .com, or in sub-directories
  367.     - without the tilde symbol. Commercial sites also tend to age badly.
  368.     They are very noticeable from their front page.
  369.  
  370.     Government agencies are emerging as valued publishers. Slowly their
  371.     dormant information becomes available through this new medium. Currently
  372.     almost all government documents on the Internet also appear in print,
  373.     meaning they are factual, exhaustively reviewed, tend to be a little old
  374.     (but age well), and come from highly paid knowledgeable people who
  375.     believe it is their duty to inform others. Such documents are lengthy
  376.     and appear on .gov domains.
  377.  
  378.     These patterns are simple to see.
  379.  
  380.     Grant-funded projects create brilliant research resources and hold much
  381.     promise in pushing the limits of this technology. I am eager to see the
  382.     results of the US Patents project, and appreciate the value of having
  383.     Supreme Court rulings on the Internet. Often such projects are short on
  384.     money but deeply focused on content. Most projects reside on educational
  385.     servers and are widely discussed within knowledgeable groups.
  386.  
  387.     Associations, publish association-kind-of-things. Most are initially
  388.     just like the commercial webpages, but with time become much more
  389.     factual and research-worthy. Most associations are dedicated to
  390.     developing awareness of their chosen topic, albeit coloured by their
  391.     chosen bias. Few associations are significant publishers yet, but this
  392.     segment will begin to liberate dormant information within associations.
  393.  
  394.     Let's summarize. The key is to always watch who is the publisher. We can
  395.     assume a great deal, quickly. We are unlikely to find the latest changes
  396.     to patent law from government or commercial publishers. Such
  397.     organizations are simply not motivated to present such information.
  398.  
  399.  __ 32.6 promoting information
  400.  
  401.     Publishing is one achievement, but you and I will never read any
  402.     information until we learn it exists. This simple fact creates even more
  403.     patterns to Internet information. Knowledge of information moves through
  404.     set routes on its way from writer to reader.
  405.  
  406.     Promotion is not simple. It is a process that takes time, effort and
  407.     perhaps money. Information without serious promotion tends not to be
  408.     promoted far from the source. Another way to phrase this; you must
  409.     search close to the source to find poorly promoted information.
  410.  
  411.     A search engine indexes pages relatively indiscriminately. This also
  412.     means a site of quality is not likely to reach your attention. The odds
  413.     are not good, and from a promotion point of view, search engines
  414.     generate minimal traffic to your webpage. Search engines drop you rather
  415.     randomly into a website. It is often necessary to move up a directory to
  416.     understand the purpose and motivation of a site you find interesting.
  417.  
  418.     Information published through advertising tends to have a financial
  419.     payoff for the promoter. This kind of information tends to be
  420.     promotional information. Brochureware.
  421.  
  422.     The alternatives are to promote a webpage or website through one of the
  423.     referral tools. Each such tool accepts links on some criterion. Each
  424.     tool you use to locate information also selects particular types of
  425.     information for your attention.
  426.  
  427.     If you arrive at a document by recommendation through a mailing list,
  428.     the document is likely to be recent, on-topic, and specific to the
  429.     purpose of the mailing list. Alternatively, (for poor mailing lists) it
  430.     will be wildly off topic and trash. You are unlikely to see referrals to
  431.     old documents or documents of historical importance. These are the
  432.     qualities most acceptable to the mailing list environment.
  433.  
  434.     Directory trees, FAQs, guidebooks and related promotion tools all work
  435.     as historically important documents. In the past, such resources list,
  436.     describe and alert people to relevant information for the field. Slowly,
  437.     over time, this function becomes acknowledged, reinforced and promoted.
  438.     Time is the essence of this fame.
  439.  
  440.     Webpages or websites found through historically important documents, by
  441.     their nature, tend to be long lasting websites with lasting importance
  442.     in the field. Such documents point to other similar documents or
  443.     websites that have achieved a long-lasting importance. You are unlikely
  444.     to find specific documents, but rather sites that focus or bring
  445.     together information. In short, there is little motivation to link to
  446.     specific webpages, when a link to important websites is considered just
  447.     as good.
  448.  
  449.     Similar generations can be made of each type of promotional tool, and
  450.     become important in rapidly seeking our information which matches our
  451.     intention, as well as summarizing the likely motivation - and bias - of
  452.     webpages we are interested in.
  453.  
  454.  __ 32.7 information clumps
  455.  
  456.     Information Clumps. Information is created, nurtured, develops, gets
  457.     transplanted, gets arranged and then becomes visible through a process
  458.     which brings similar information together.
  459.  
  460.     As we have discussed, there are factors deeply affecting all information
  461.     on the Internet. Motivation, Preparation, Format and Promotion defines
  462.     the quality and content of any given item of information. With so many
  463.     influences, we should not be surprised to learn information naturally
  464.     groups together. In reality, there is nothing natural involved - it is a
  465.     social phenomenon reinforced each time you and I visit or read one
  466.     resource but not another.
  467.  
  468.     History can explain some aspects of Internet development. As a small
  469.     collection of sites become dominant in particular fields, by collecting
  470.     and delivering better content to more people, new sites find it
  471.     progressively more difficult to capture attention. This dynamic works
  472.     for websites reaching out for visitors, and discussion groups reaching
  473.     out for subscribers. In each case, seniority counts.
  474.  
  475.     Seniority counts in several ways too. Promotion is directly related to
  476.     quality, interest, traffic and time. The longer a site is active, the
  477.     better the footpath develops, the more people visit. Secondly, quality
  478.     content is directly related to access to quality content, peer review,
  479.     and time/money. Important existing sites gain in every way.
  480.  
  481.     This results in a grand system where the first-in, best-dressed, can
  482.     capture the high ground and secure a grand lead in awareness and
  483.     footpath over competitors who follow. Yahoo is a prime example of a
  484.     directory tree, not even the best in most areas, which has achieved
  485.     unparalleled traffic & awareness.
  486.  
  487.     This competition is equally evident where no money is involved. Perhaps
  488.     your association wishes to create a new referral website, or an open
  489.     mailing list, or an informative guide. All sound concepts, effective
  490.     projects. However, if older, established resources exist, the work will
  491.     be long and arduous.
  492.  
  493.     Despite the marketing message, the Internet is not a world where the
  494.     best information floats to the top. The Internet will not let you to
  495.     reach millions. You must compete for the attention, participation,
  496.     devotion and assistance in a manner very similar to building a business.
  497.  
  498.     In concrete terms, information clumps on the Internet. The best resource
  499.     could appear on any Internet system (webpages, email mailing lists,
  500.     ftp-archives, faqs, online databases, newsgroups...) but we can be
  501.     fairly certain the best information will congregate in just one or two.
  502.  
  503.     Consider our article "Searching the Web" (http://cn.net.au/webpage.htm).
  504.     We progressively search different web tools, looking for the most
  505.     worthy. Searching the Internet is the same. You must touch each system
  506.     to see which system is dominant, where the information is congregating
  507.     for your topic.
  508.  
  509.  __ 32.8 bringing this together
  510.  
  511.     In summary, we have broken down and discussed various qualities of
  512.     published information and promoted information. We have made sweeping
  513.     generalizations and educated guesses about information on the Internet.
  514.     Now what?
  515.  
  516.     When a painter begins to paint, they have already visualized some of the
  517.     image. They already have a concept of the finished result. Internet
  518.     research is no different. We start by building a vision of the
  519.     information we seek. Who would publish it? Where would I find it? What
  520.     is its motivation? How would we find it? We now have a practical vision.
  521.  
  522.     The address is the key. The url for any item of information gives us a
  523.     surprising amount of information - particularly now we are making
  524.     generalizations about information patterns. We can guess if information
  525.     resides on a personal webpage, a funded university project, or a
  526.     commercial project. The information resides on a .gov website? - the
  527.     quality is likely to be higher and conform to our expectations of
  528.     government resources.
  529.  
  530.     We use this new-found experience in three ways. First, we restrict our
  531.     searches to the most likely sources. Second, we quickly jump through
  532.     lists of resources (such as those generated by search engines) to the
  533.     sources that match our expectations. Third, your understanding of the
  534.     relative qualities of information guides your judgement of information
  535.     value.
  536.  
  537.     Internet newcomers often expect to have instant access to the latest
  538.     information at the touch of the button in beautiful colour and peer
  539.     reviewed quality prose. Who is publishing this? Where is this
  540.     information coming from? Who would help us find this? Such a vision is
  541.     fantasy. If we were instead to look for an association website,
  542.     dedicated to a certain type of research, or an informed newsgroup,
  543.     maintained by people passionate about sharing this technology, then we
  544.     have made four steps forward. We are clear about where to look for the
  545.     answers we seek, and we will know quickly if the answers are online.
  546.     ___________________________________________________
  547.  
  548.         Two relevant webpages from The Spire Project, as text.
  549.  
  550.  
  551.  
  552.  
  553.  
  554.               Searching the Web
  555.               -----------------
  556.  
  557.  
  558.     Webpages are often of unknown age, of only guessed at quality and
  559.     potentially the easiest information to retrieve. There are many points
  560.     of entry to web resources, but search tools differ. Try to match your
  561.     search tool to your question. To start, you will need to learn something
  562.     of the different tools - this is described below - and four basic search
  563.     techniques: Boolean[1], Proximity[1], Field Searches[1] & Truncation[1].
  564.  
  565.      Internet   
  566.  
  567.  
  568.  
  569.  Global Search Engines
  570.  
  571.     [1] Altavista[1], among other tools, has a very large, fast search
  572.     engine. Allows for Basic Boolean[1] AND + NOT - OR | Proximity[1] " " ~
  573.     (near - within 10 words of each other.) Several Fields[1]: title:"Spire
  574.     Project" domain:gov url:edu link:cn.net.au and Truncation/Wildcard[1]
  575.     (*) Of import, Capitals matter with Altavista. Read more here[2] and
  576.     here[3].
  577.  
  578.     [4] All-the-Web[4] is important because it is large - really large -
  579.     with a flexible search facility. Allows Partial Boolean[1] + - Simple
  580.     Proximity[1] " " and Several Fields[1] a title field search
  581.     normal.title:spire url field url.all:.au link text and link url fields
  582.     normal.atext:spire link.all:cn.net.au All-the-Web is not case sensitive.
  583.     Read more here[5].
  584.  
  585.     When searching for a topic with precise descriptive terms, use a broad
  586.     search engines. Always place the Boolean +symbol before each search word
  587.     (like this: +word1 +word2) to insist all words appear in the results.
  588.     Quotes keep words together ("word1 word2"). These two simple steps
  589.     dramatically improve results. Keep adding words and search limits until
  590.     the number of hits is reasonable.
  591.  
  592.     [48] Inktomi[48] provides its substantial web directory through other
  593.     companies, in this case, Yahoo. You may need to select "Web Page
  594.     Matches". Accepts Partial Boolean[1] + - Simple Proximity[1] " " and Two
  595.     Fields[1] title: and an index-date field through this form[6].
  596.  
  597.     [53] Lycos[53] is a rapid search engine, again, one of the larger ones
  598.     on the web. Accepts Partial Boolean[1] + - Simple Proximity[1] " " and
  599.     Several Fields[1] through their advanced search form[7].
  600.  
  601.     For more global search engines, consider visiting the W3 Search
  602.     Engines[8] page at the University of Geneva. The Industry Research Desk
  603.     also has a good search engines page[9] as does this site[10] by Paul
  604.     Hopper and this page[11] from Search Engine Watch.
  605.  
  606.  
  607.  
  608.  Meta-Search Engines & Google
  609.  
  610.     If you know something of the destination already, like a title or
  611.     company name or full name, try using a search tool which excels in
  612.     finding named websites. There should be little difficulty in finding
  613.     such sites with either Google or a Meta-Search engine, but don't get
  614.     excited and use these on other occassions[1].
  615.  
  616.     [2] Debriefing[2] is our meta-search engine of choice. Use this to find
  617.     names & named websites. Accepts Partial Boolean[1] + - Simple
  618.     Proximity[1] " ". Capitals matter.
  619.  
  620.     [12] Google[13] is a new style of search engine which ranks sites with
  621.     more care and concern. This works well for sites you know a little about
  622.     in advance. Allows Partial Boolean[1] + - Simple Proximity[1] " ".
  623.     Unfortunately, No Truncation[1] not even for plurals! Read more
  624.     here[14].
  625.  
  626.  
  627.  
  628.  
  629.     Categorized Lists
  630.  
  631.     When searching for information which lends itself to a particular
  632.     category or topic, start with resources which group information in
  633.     categories. With few exceptions, these resources index websites, not
  634.     webpages. Also, keep your search words simple as these are small
  635.     databases.
  636.  
  637.     [94] Yahoo[94] is the largest of this type of directory tree; the
  638.     definitive site. Accepts Partial Boolean[1] + - Simple Proximity[1] " "
  639.     Truncation[1] * and Several Field[1] t: (for titles)  u: (for urls) and
  640.     a date field through a form[6]. Read more here[15].
  641.  
  642.     [16] The Open Directory Project[16] is a Netscape effort to, presumably,
  643.     mute the strength of Yahoo. It is very good, and very similar to Yahoo.
  644.  
  645.     [46] Infoseek[46] gets my vote for the next best directory tree.
  646.  
  647.     [17] For an alternative, try the World Wide Web Virtual Library: Subject
  648.     Catalogue[17], a distributed network of subject lists, not nearly as
  649.     dominant as Yahoo, but far more "scholarly" shall we say. This virtual
  650.     directory has been around many years, previously famous from www.w3.org.
  651.  
  652.  
  653.  
  654.  Reviewed Sites
  655.  
  656.     When seeking specific fields of study, when topics are clouded with many
  657.     similar, low quality sites, start with resources with a greater degree
  658.     of personal attention. Peer review and vetting produce resources with
  659.     more quality but limited coverage, better suited to this situation.
  660.     Also, keep your search words simple.
  661.  
  662.     [18] The Scout Report[74] is one of the oldest and most highly regarded
  663.     e-newsletters introducing new Internet resources. Residing at the
  664.     University of Wisconsin, the Scout Report describes research, education
  665.     & topical sites. The Scout Report Signpost[18] provides a quick
  666.     search[19] of previously featured sites:
  667.  
  668.     [20][21] BUBL[20] is a British site which reviews Internet resources
  669.     then indexes by dewey decimal number[22]. I prefer their dewey
  670.     presentation, but the collection is not large (though the largest of the
  671.     library projects I have seen). Here is their keyword search[21]:
  672.  
  673.     [5][6] The Argus Clearinghouse[6] is a vast collection of Internet
  674.     guidebooks. We can search the titles & descriptions, but then click on
  675.     the highlighted keywords to find related guides. I suspect Argus is not
  676.     successfully keeping pace with Internet development.
  677.  
  678.     [23] AlphaSearch[23] is similar to Argus. This one indexes important
  679.     nexus sites and should be browsed.
  680.  
  681.     [24] The Britannica.com[25] (as in Encyclopedia Britannica) has been
  682.     remolded as a free guide to books, periodicals, web and their
  683.     encyclopedia. This encyclopedia is perhaps the best. Search from their
  684.     search page[26].
  685.  
  686.     [8]  FAQs[8] can be searched from an FAQ database like this one at
  687.     Oxford University. See also our Discussion Groups[12] article.
  688.  
  689.     [27][28] WebRings[29] list sites by topic. Each webring is maintained by
  690.     a volunteer at an uninvolved site using standard software. The search
  691.     here is of Webring.com[27], which lists the most, though there are other
  692.     webring sites including bomis.com[28].
  693.  
  694.  
  695.  
  696.  
  697.  Specialty Tools
  698.  
  699.     For issues with a particular government, url or language origin,
  700.     consider using tools designed with this in mind.
  701.  
  702.     [1] Altavista[1] can be limited to specific domains (gov edu au) with
  703.     their "domain:domainname" field search[1]. "url:url-segment" is also
  704.     useful. Read the Altavista Fancy Features for Typical Searches[2].
  705.  
  706.     [30] GovBot[30], as developed by The Center for Intelligent Information
  707.     Retrieval (CIIR) is a search engine which indexes exclusively a great
  708.     number of government webpages, a unique resource. This is the CIIR
  709.     gateway (there have been others).
  710.     General Search:
  711.     Title field:
  712.     Url field:
  713.     Accepts Simple Proximity[1] "" but not Boolean. Field searches[1] are
  714.     optional, so just enter search terms in title box for a title search.
  715.     [1] Altavista[1] also allows for a field search[1] by language.
  716.     Searching for a Japanese site? Consider searching only webpages in
  717.     Japanese.
  718.  
  719.     An alternative approach may be to search purely regional resources.
  720.     Aussie.com.au[1], for example, is a search engine indexing only
  721.     Australian websites.
  722.  
  723.     Yahoo maintains a moderate regional list[31] of indexes and search
  724.     engines, but the list maintained by SearchEngineWatch - Regional Search
  725.     Engines[3] is better. [32] Two further (but graphically intensive)
  726.     lists: Search Engines WorldWide[4] and SearchEngineCollossus[5].
  727.  
  728.     On a separate page, I have collected various entry points for Australia
  729.     including search engines and government entry points.
  730.  
  731.  
  732.  
  733.      Commercial   
  734.  
  735.  
  736.  
  737.  Commercial Databases
  738.  
  739.     There are commercial resources applicable to the study of the Internet.
  740.     More are described separately in the topic brief: Software & IT
  741.     Research[24].
  742.  
  743.     NetFirst, is produced by OCLC, and delivers bibliographic data to
  744.     Internet resources. Further descriptions can be found from
  745.     FirstSearch[33].
  746.  
  747.  
  748.  
  749.  
  750.      Conclusion   
  751.  
  752.  
  753.   3 Second Summary:
  754.  Search the web with several tools in succession.   
  755.  No search will find everything.
  756.  Different tools suit different questions.
  757.  
  758.     For many of us, searching the web is simply typing words into a search
  759.     engine. This works until it doesn't, in which case we need something
  760.     more.
  761.  
  762.     Contrary to myth, global search engines are not the best place to start
  763.     most of the time - just some of the time. On other occasions, start with
  764.     a directory, a meta-search engine, a guide, an faq... We should start
  765.     thinking what tools excel at locating what kinds of webpages. (There is
  766.     no simple search of everything.) The links on this page are arranged to
  767.     follow this insight.
  768.  
  769.     There are more insights into effective Internet research. Information
  770.     clumps; Information is not established in isolation but instead develops
  771.     in context, is reinforced, and becomes a trend. The publishing
  772.     motivation & promotion purpose can help us rapidly judge the content of
  773.     a website. The webpage address can tell us a great deal about both the
  774.     website structure and the type of publisher. These topics are covered in
  775.     greater detail in Section 31[34] of the Information Research FAQ.
  776.  
  777.     Once skilled, you can segment and search the most promising areas of the
  778.     web quickly and efficiently. If you do not quickly find your answers
  779.     there may be other, more appropriate resources. Consider asking for help
  780.     in an appropriate discussion group, or reviewing printed literature
  781.     instead. The Web is only one resource among many.
  782.  
  783.     If your primary interest is Search Engines, consider reading A Higher
  784.     Signal - To - Noise Ratio[35]: Effective Use Of Web Search Engines by
  785.     Bob Bocher & Kay Ihlenfeldt, Sink or Swim[36]: Internet Search Tools &
  786.     Techniques by Ross Tyner (alternative site[37]) and the recent The
  787.     Search is Over[38] by Adam Page. For even more, read Searching the
  788.     Internet[39] a publication in the Scout Toolkit[40] and browse Search
  789.     Engine Watch[41].
  790.  
  791.      Strategy   
  792.  
  793.  
  794.     Searching the web is more a skill than most of us acknowledge. The web
  795.     is a manifestation of the demon professional researchers work with all
  796.     the time in the commercial information market. There is constantly the
  797.     fear you have missed that single important site with everything.
  798.     Consider the researchers motto:
  799.  
  800.     Someone, somewhere, probably knows the answer.
  801.  
  802.     But how long do we search for gems, and where do we look? To decide, we
  803.     must learn about Internet structure and organization. Why is information
  804.     published on the web? Why is it promoted? Lets review the reasoning
  805.     behind effective Internet research. There is so much more than putting
  806.     words into search engines.
  807.  
  808.     #1 Motivation
  809.     We can make some very astute generalizations about a webpage very
  810.     quickly if we can judge the reason it was published. Not only is this an
  811.     important step in analyzing any information, but this tells us a great
  812.     deal about the contents of the webpage.
  813.  
  814.     Yes, merely determining a site belongs to an association actually
  815.     specifies the quality, motivation and type of information we will find.
  816.  
  817.     Associations either publish what is termed 'brochureware' (promotional
  818.     material), or if well advanced, present research work previously
  819.     restricted to the association library: important research studies & the
  820.     like.    Commercial interests have much more difficulty delivering
  821.     useful resources. The importance of projecting a corporate image comes
  822.     first (lots of 'brochureware'), and service descriptions come second. On
  823.     occasion, commercial interests will support a worthwhile service tied
  824.     closely to their own service - thus banks present interest rates -
  825.     bookstores present their book database.
  826.  
  827.     The certainty with which we can make these judgments will astound you.
  828.     Corporate websites never publish "changes to patent law". They simply
  829.     don't have the motivation. Only an individual would publish this, most
  830.     likely not on the web but though a mailing list.
  831.  
  832.  
  833.     Information is not distributed randomly. Consider Format, Preparation,
  834.     Motivation and Promotion. Consider this, then Visualizethe information
  835.     you seek.
  836.  
  837.     #2 Promotion
  838.     We can make further snap judgments about web information from the way
  839.     you get there. Promotion is very difficult on the web, and it is hard to
  840.     find poorly promoted information. The tools you use to reach information
  841.     pre-determines the type and quality of information you will find.
  842.  
  843.     Search engines index webpages indiscriminately. Advertised websites must
  844.     have a pay-off. Directories focus on established websites (not
  845.     webpages). Link pages also link to established websites but put more
  846.     thought into the selection of resources. Both usually focus on general
  847.     sites. For specific or current resources, we need to move to mailing
  848.     lists or active nexus point.
  849.  
  850.     Yes, when we find a webpage through the Scout Report (a prominent
  851.     resource discovery newsletter), we can assume the webpage has a high
  852.     quality of information, is reasonably current and has a general appeal
  853.     (within the interest of the newsletter readers).
  854.  
  855.     Lets put this in reverse. If we are looking for a recent document by a
  856.     prominent library committee, we will not find it through AltaVista,
  857.     Yahoo, or normal link pages (except accidentally). We may find it
  858.     through specialist newsletters, active nexus points, or through mailing
  859.     lists.
  860.  
  861.     #3 Visualize
  862.     This discussion continues in Section 32[42]
  863.     of the Information Research FAQ.
  864.  
  865.     When an artist begins to paint, they visualize the image. They already
  866.     have a concept of the finished result. Internet research is no
  867.     different. We start by building a vision of the information we seek. Who
  868.     would publish it. What is their motivation. Who would promote it. Where
  869.     would I find it.
  870.  
  871.     Information Clumps. Information is created, nurtured, develops, gets
  872.     transplanted, gets arranged and becomes visible through a process which
  873.     brings similar information together. Your understanding of this process,
  874.     including motivation and promotion, must guide your search of the web.
  875.     Only then will we will know where to look, and quickly know if the
  876.     answers are on the web.
  877.  
  878.  
  879.      This article comes from The Spire Project.
  880.      Advice welcome : email david@cn.net.au
  881.     [1]  http://spireproject.com/webpage.html#
  882.     [2]  http://www.altavista.com/av/content/help.htm#fancy
  883.     [3]  http://www.altavista.com/av/content/help_advanced.htm
  884.     [4]  http://www.alltheweb.com
  885.     [5]  http://www.alltheweb.com/advsearch
  886.     [6]  http://search.yahoo.com/search/options
  887.     [7]  http://lycospro.lycos.com
  888.     [8]  http://cuiwww.unige.ch/meta-index.html#INF
  889.     [9]  http://www.rbbi.com/links/sengine.htm
  890.     [10]  http://members.xoom.com/PRHopper/Search.html
  891.     [11]  http://searchenginewatch.internet.com/facts/major.html
  892.     [12]  http://www.google.com
  893.     [13]  http://google.com
  894.     [14]  http://www.google.com/help.html
  895.     [15]  http://search.yahoo.com/search/syntax?
  896.     [16]  http://dmoz.org
  897.     [17]  http://vlib.org/Overview.html
  898.     [18]  http://www.signpost.org/signpost
  899.     [19]  http://www.signpost.org/signpost/quicksearch.html
  900.     [20]  http://link.bubl.ac.uk
  901.     [21]  http://link.bubl.ac.uk/isc1
  902.     [22]  http://link.bubl.ac.uk/isc2
  903.     [23]  http://www.calvin.edu/library/as
  904.     [24]  http://www.ebig.com
  905.     [25]  http://www.britannica.com
  906.     [26]  http://search.britannica.com/bcom/search
  907.     [27]  http://www.webring.org/#ringworld
  908.     [28]  http://bomis.com
  909.     [29]  http://www.webring.org
  910.     [30]  http://ciir2.cs.umass.edu/Govbot
  911.     [31] 
  912.     http://dir.yahoo.com/Computers_and_Internet/Internet/World_Wide_Web/Sear
  913.     ching_the_Web/By_Country_and_Region
  914.     [32]  http://spireproject.com/note05.htm
  915.     [33]  http://www.oclc.org/oclc/man/6928fsdb/netfirst.htm
  916.     [34]  http://spireproject.com/faq.htm#31
  917.     [35]  http://www.msstate.edu/Dept/hrdc/sum98/search2.html
  918.     [36]  http://www.lboro.ac.uk/info/training/finding/sink.htm
  919.     [37]  http://gatsby.tafe.tas.edu.au/sinkorswim/search.htm
  920.     [38]  http://www.zdnet.com/pccomp/features/fea1096/sub2.html
  921.     [39]  http://wwwscout.cs.wisc.edu/toolkit/searching/index.html
  922.     [40]  http://wwwscout.cs.wisc.edu/toolkit/index.html
  923.     [41]  http://www.searchenginewatch.com
  924.     [42]  http://spireproject.com/faq.htm#32
  925.  
  926.  
  927.               Discussion Groups
  928.               -----------------
  929.  
  930.  
  931.     Mailing Lists, Newsgroups, Associations - each are focal points of
  932.     discussion, exchange of information and professional development.
  933.     Collectively called Special Interest Groups (SIGs), these are the
  934.     original sources of many fine research resources. Brilliant research
  935.     sites in their own right, a mailing list, newsgroup or association can
  936.     also be a fine contact point for experts, or the site of focused,
  937.     specialized libraries.
  938.  
  939.     [1]
  940.  
  941.      Internet   
  942.  
  943.  
  944.     The copyright mailing list is a group of more than 100 lawyers who focus
  945.     on copyright. This list, and their Copyright FAQ, are the best resources
  946.     on copyright law in the world; current, factual, and peer-reviewed. This
  947.     is not unusual for a mailing list. As a source of experts, I once found
  948.     an accomplished but poorly published scientist from an old message in a
  949.     mailing list archive.
  950.  
  951.  
  952.  Locating Mailing Lists
  953.  
  954.     [1] Tile.Net/Lists (tile.net/lists[1]) has both a searchable and
  955.     directory style index to mailing lists. This has overtaken others to
  956.     become the best, most helpful place to start. Here is an abrieviated
  957.     gateway:
  958.  
  959.     [2][2] Liszt is the second place to look, perhaps the more definitive.
  960.     Again, there is a database and a subject directory.
  961.  
  962.     [3] The Directory of Scholarly and Professional E-Conferences, known
  963.     also as the Kovacs Lists[3], is a long standing service in the world.
  964.     Again, a fine subject-based[4] listing.
  965.  
  966.     [5][6] The Argus Clearinghouse indexes subject guides and webpages[6],
  967.     but almost all refer to relevant mailing lists.
  968.  
  969.     Search several list directories for more rewarding results. Also keep in
  970.     mind some lists have too little or too much traffic for your purpose.
  971.     Find a list with a manageable number of messages and a wide enough
  972.     membership. This takes a little effort in interrogating the list
  973.     management software for the number of forum members, a look at past
  974.     discussion, perhaps a look for supporting websites.
  975.  
  976.     Complete information on list commands can be found below in the
  977.     strategy[7] section.
  978.  
  979.  
  980.  
  981.     The FAQ may be a brilliant informative document in itself, or the
  982.     definitive pointer to further tools and resources. By virtue of its
  983.     public origin, FAQs are far more likely to attract the peer review often
  984.     very lacking from other resources. They are also open invitations to
  985.     communicate with the knowledgeable FAQ maintainers.
  986.  
  987.  
  988.  Searching FAQs by Name
  989.  
  990.     [8] Search for FAQs from an official FAQ archive like this FAQ
  991.     database[8] at Oxford University.
  992.  
  993.     [9] Alternatively, the Universiteit Utrecht (Netherlands) expressly
  994.     provides a search of FAQs and PIPs[9].
  995.  
  996.     [10] If you know the newsgroup, consider visiting an html faq archive
  997.     like this one[10] at www.faqs.org
  998.  
  999.  
  1000.  
  1001.     Newsgroups, (also known as Usenet Discussion or Network News), are large
  1002.     discussion grounds where resources and ideas are shared, and sometimes
  1003.     discussed. Messages are archived, available for searching or sifting. As
  1004.     a public notice board, non-commercial queries/briefs are often welcome.
  1005.  
  1006.  
  1007.  Internet Newsgroups (Usenet) (Network News)
  1008.  
  1009.     [11] You can get a good list of newsgroups from your own computer
  1010.     (search for news.rc - it should be in your newsreader directory).
  1011.     Perhaps wiser, undertake a word search of current newsgroup discussion
  1012.     with AltaVista or Deja.com (below), then focus on matching newsgroups.
  1013.  
  1014.     [12] Newsgroups are not carried everywhere; This webpage at Duke
  1015.     University will help you find additional newsgroups. Approach your
  1016.     Internet Service Provider to bring it in (a simple task). For low volume
  1017.     newsgroups there is an email alternative.
  1018.  
  1019.     [13] Liszt.com also maintains a searchable list of newsgroups.
  1020.  
  1021.     Searching Newsgroup Discussion can be very rewarding, but also can be a
  1022.     shortcut method to find newsgroup of interests you. Digital's Altavista
  1023.     allows searches of recent newsgroup messages. Deja.com has an even
  1024.     larger archive (to before March '95).
  1025.  
  1026.     [14] Deja.com[14] Search of Usenet Discussion
  1027.  
  1028.     Deja.com's Power Search[15] form is a must-see, and allows for author
  1029.     profiles and field searches and more.
  1030.     [1]  Altavista[1] Search of Usenet Discussion.
  1031.  
  1032.  
  1033.  
  1034.  
  1035.      Library   
  1036.  
  1037.  
  1038.     Associations are more involved than their Internet companion.
  1039.     Associations are also more into paper publishing, conferencing and
  1040.     colating specialist statistics. As an example, the Australian
  1041.     Booksellers Association publishes the best benchmark statistics on this
  1042.     topic. When approaching an association, consider asking for their
  1043.     publications list.
  1044.  
  1045.  
  1046.  Directory of Associations
  1047.  
  1048.     The definitive way to find an association is through certain large
  1049.     national directories. Internet alternatives are not nearly as valuable,
  1050.     but are more immediate.
  1051.  
  1052.     The [US] Encyclopedia of Associations, produced by Gale Research, is the
  1053.     definitive source for addressing and contact numbers to American
  1054.     Associations. All the primary libraries will certainly have a copy, as
  1055.     will many smaller libraries. Further description can be found for the
  1056.     database format thanks to SilverPlatter[16], Dialog[17].
  1057.  
  1058.     The Directory of Australian Associations is the definitive Australian
  1059.     source for addressing and contact numbers. All the primary libraries
  1060.     will certainly have a copy, as will many smaller libraries.
  1061.  
  1062.     National Association Directories exist for many countries:
  1063.     Directory of Associations in Canada (further description thanks to
  1064.     SilverPlatter[18].)
  1065.     Directory of Association of Asia 1997/1998 by Bing Chang.
  1066.  
  1067.  
  1068.  
  1069.  
  1070.  Finding Associations Online
  1071.  
  1072.     A Directory of the American Society of Association Executives is
  1073.     online[19]. Unfortunately, the database is small & americanocentric. A
  1074.     search for 'book' did get me the address of the American Booksellers
  1075.     Association, but not others.
  1076.  
  1077.     [2] Of course, if you have a name, use a large search engine to find an
  1078.     address. We recommend a meta-search engine called Debriefing
  1079.     (www.debriefing.com[2]), as it also suggests a home-site.
  1080.  
  1081.     The last online source is a bit of work, but involves searching for
  1082.     associations which have published, by searching the large national
  1083.     libraries. The Library of Congress experimental search system[20] allows
  1084.     us to search for "association" as an author, and book as a keyword.
  1085.     Incidentally, this process is similar to searching for theses - search
  1086.     normally but add 'theses' to the query.
  1087.  
  1088.  
  1089.     Another prominent source are the local service directories, such as
  1090.     InfoLink in Western Australia. Most communities have a public directory
  1091.     of local associations and government authorities. If in doubt, ask a
  1092.     local librarian for directions to such a directory.
  1093.  
  1094.      Conclusion   
  1095.  
  1096.  
  1097.   3 Second Summary:
  1098.  Easily search past discussion via archives & FAQs.
  1099.  For value, search for the private, moderated forums.
  1100.  Associations are listed in national print directories.
  1101.  
  1102.     There are three important research applications for mailing lists.1)
  1103.     Research through past discussion,
  1104.     2) Directly ask members for assistance,
  1105.     3) Become a participative member to pick up and exchange information. On
  1106.     a personal side, mailing lists are easy to use and a minimal investment
  1107.     in time (the information comes to you). However, mailing lists are
  1108.     difficult to develop and maintain. Few reach the potential brilliance of
  1109.     this form of communication, so many of the forums you come across will
  1110.     be non-existent or on their death-bed.
  1111.  
  1112.     Mailing lists depend on four vital ingredients - Content, Participation,
  1113.     IT-support, and Management. Often, one of these go wrong and the forum
  1114.     dies. As a member, there are important obligations starting with
  1115.     participation, and ending with forum etiquette.
  1116.  
  1117.     The better forums are private. Membership is not automatic, the list
  1118.     manager has more control, and often, more control and effort is expended
  1119.     developing interesting content and discussion. If you find a closed or
  1120.     private forum, persevere.
  1121.  
  1122.     Associations
  1123.     When a group of like-minded individuals come together to achieve an aim,
  1124.     they often create an association. What better place to research. Even
  1125.     better, associations often interpret their purpose as a place to pool
  1126.     and distribute information. Larger associations often maintain a small
  1127.     library of their own and many associations publish documents about their
  1128.     area of interest. Furthermore, if you are seeking an expert in a given
  1129.     field, associations are sure to have one, or two, or many. For the
  1130.     smaller associations, be polite but firm in describing your interest and
  1131.     be ready to buy whatever small book they do publish in your quest for
  1132.     further information.
  1133.  
  1134.     The FAQ
  1135.     An FAQ is created to enhance the discussion of a newsgroup. After a
  1136.     time, the initial members of a newsgroup would have discussed many of
  1137.     the standard topics to death, which newcomers will still find
  1138.     interesting. To prevent only discussing introductory topics (and
  1139.     annoying long-term members) an FAQ is created to record answers to
  1140.     standard questions.
  1141.  
  1142.     Because one of the primary functions of a special interest group is
  1143.     resource discovery - and because FAQs are collectively created, they are
  1144.     valuable and generally reliable. I consider the Official Copyright
  1145.     FAQ[21] the best document in the world on copyright law.
  1146.  
  1147.     As an aside, many FAQs are also available as web pages. Trouble is,
  1148.     without an system to vet true newsgroup FAQs, you are far more likely to
  1149.     encounter FAQs which have not been vetted by the news.answers team. The
  1150.     Official Copyright FAQ is 70+ pages of topical and factual detail with
  1151.     links to further information. There are several other copyright FAQs
  1152.     with less than 10 pages, (and not particularly concerned with providing
  1153.     information). Access an established FAQ archive for your FAQs. 
  1154.     www.faqs.org[10] has a small list[22] (but is elegant as a source of
  1155.     FAQs). Another longer list resides midway down this document[23].
  1156.  
  1157.      Strategy   
  1158.  
  1159.  
  1160.     Discussing the mailing list, I thought long and hard on how to simplify
  1161.     the task of communicating with list software. Not only are there five
  1162.     prominent list software packages, but each package allows us to
  1163.     accomplish different things. The email interface predates popular use of
  1164.     hypertext, and is a little clumsy at first - especially if you are
  1165.     interacting with different mailing lists as a researcher will.
  1166.  
  1167.     Our solution is threefold:
  1168.  
  1169.     [24]Firstly, James Milles of the Saint Louis University Law Library has
  1170.     graciously permitted us to include his grand table of Mailing List
  1171.     Commands[24] divided by list package. Very comprehensive and easy to use
  1172.     lookup file. Also found online[25].
  1173.  
  1174.     Secondly, hypertext allows us to add information into the subject of an
  1175.     email message. With this in mind, we have added shortcut email links to
  1176.     our articles for the more common tasks. You must move the subject
  1177.     information into the body of the message, then post.
  1178.  
  1179.     Here are two examples:
  1180.  
  1181.     BusLib-l (Business Librarians' Electronic Discussion List)
  1182.     subscribe[26] | post to Buslib-l[27] | index the archive[26] | retrieve
  1183.     from archive[26] | subscribers list[26] | digest[26] | cancel digest[26]
  1184.     | unsubscribe[26].
  1185.     * Access also available as the newsgroup bit.listserv.buslib-l[28](see
  1186.     Deja.com's usenet archive[29]).
  1187.  
  1188.     Libref-l (Government Documents List)
  1189.     subscribe[30] | post to Buslib-l[31] | index the archive[30] | retrieve
  1190.     from archive[30] | subscribers list[30] | digest[30] | cancel digest[30]
  1191.     | unsubscribe[30].
  1192.     These are usually willing to field polite focused questions about your
  1193.     research project.
  1194.  
  1195.     For your convenience, this form will create the html used above for
  1196.     mailing lists of your choice. Save the file this generates for
  1197.     convenient use later.
  1198.     Your Name:
  1199.     List name:
  1200.     List address:
  1201.     Thirdly, retrieve the technical help files for the list software.
  1202.     Listserv  - send help, info refcard, & info database to
  1203.     listserv@kentvm.kent.edu[32]
  1204.     Listproc - send help & help listproc to listproc@ucdavis.edu[33]
  1205.     Majordomo - send help to majordomo@greatcircle.com[34]
  1206.     Mailserv  - send help to mailserv@loyola.edu[35]
  1207.     Mailbase - send help to mailbase@mailbase.ac.uk[36]
  1208.  
  1209.  
  1210.  
  1211.      This article comes from The Spire Project.
  1212.      Advice welcome : email david@cn.net.au
  1213.     [1]  http://tile.net/lists
  1214.     [2]  http://www.liszt.com
  1215.     [3]  http://www.n2h2.com/KOVACS
  1216.     [4]  http://www.n2h2.com/KOVACS/Sindex.html
  1217.     [5]  http://www.clearinghouse.net/searchbrowse.html
  1218.     [6]  http://www.clearinghouse.net
  1219.     [7]  http://spireproject.com/discuss.html#5
  1220.     [8]  http://www.lib.ox.ac.uk/Excite/AT-LAS_WWW_Serverquery.html
  1221.     [9]  http://www.cs.ruu.nl/cgi-bin/faqwais
  1222.     [10]  http://www.faqs.org/faqs
  1223.     [11]  http://spireproject.com/discuss.html#snn
  1224.     [12]  http://www.duke.edu/~mg/usenet/newsgroups.html
  1225.     [13]  http://www.liszt.com/news
  1226.     [14]  http://www.deja.com
  1227.     [15]  http://www.deja.com/home_ps.shtml
  1228.     [16]  http://www.silverplatter.com/catalog/eass.htm
  1229.     [17]  http://library.dialog.com/bluesheets/html/bl0114.html#AB
  1230.     [18]  http://www.silverplatter.com/catalog/daca.htm
  1231.     [19]  http://www.asaenet.org/Gateway/OnlineAssocSlist.html
  1232.     [20]  http://lcweb2.loc.gov/resdev/ess/booksquery2a.html
  1233.     [21]  http://www.cs.ruu.nl/wais/html/na-dir/law/Copyright-FAQ/.html
  1234.     [22]  http://www.faqs.org/#FAQHTML
  1235.     [23]  http://www.faqs.org/faqs/news-answers/introduction
  1236.     [24]  http://spireproject.com/mailser.htm
  1237.     [25]  http://lawwww.cwru.edu/cwrulaw/faculty/milles/mailser.html
  1238.     [26]  mailto:listserv@listserv.idbsu.edu
  1239.     [27]  mailto:Buslib-l@listserv.idbsu.edu
  1240.     [28]  news:bit.listserv.buslib-l
  1241.     [29] [30]  mailto:LISTSERV@KENTVM.KENT.EDU
  1242.     [31]  mailto:LIBREF-L@KENTVM.KENT.EDU
  1243.     [32]  mailto:listserv@kentvm.kent.edu
  1244.     [33]  mailto:listproc@ucdavis.edu
  1245.     [34]  mailto:majordomo@iinet.net.au
  1246.     [35]  mailto:mailserv@loyola.edu
  1247.     [36]  mailto:mailbase@mailbase.ac.uk
  1248.  
  1249.  
  1250.     ___________________________________________________
  1251.  
  1252.         Excerpt from the Information Research FAQ
  1253.  
  1254.  
  1255.  1. What is Information Research?
  1256.  
  1257.     I prefer to think of Information Research as an effort to locate
  1258.     answers, efficiently. Information Research is not vague browsing of
  1259.     available information for something that interests you, browsing the
  1260.     library bookshelf, reading the newspaper, nor is it Internet Surfing.
  1261.     Information Research is research with a purpose ... and it is hard work.
  1262.  
  1263.     Information Research is also an art form. The skills, tools, and
  1264.     resources we work with are only the canvass and paints of an artist. It
  1265.     extends from commercial, legal, reporting, through the skills of
  1266.     interviewing, database searching, and research analysis using books,
  1267.     articles, experts, patents. Research is so large a field, involving so
  1268.     many skills, tools and resources, you will quickly find you do not wish
  1269.     to learn it all.
  1270.  
  1271.     At the heart of Information Research lies a simple motto: "Someone,
  1272.     somewhere, probably knows the answer."
  1273.  
  1274.     To quote The Information Broker's Handbook (Sue Rugge and Alfred
  1275.     Glossbrenner): "As information brokers, we shouldn't consider ourselves
  1276.     capable of providing solutions... What we 'can' provide, and what sets a
  1277.     really good information broker apart from the rest, are resources. We
  1278.     can provide the client with the kinds of information he or she needs ...
  1279.     that make it possible for individuals to solve their problems."
  1280.  
  1281.     In this FAQ, I will try to inform you about this exciting field most
  1282.     people do occasionally, and occasionally do well. We include articles
  1283.     excerpts from The Spire Project to add depth and distinguish this field
  1284.     from the more general task, research.
  1285.     ___________________________________________________
  1286.  
  1287.  3. A Quick Introduction to Information Research
  1288.  
  1289.     Let us start with the four tenets of information research:
  1290.     1) Researchers work hard to properly frame the question,
  1291.     2) Researchers know the technology and know where to look,
  1292.     3) Researchers drink coffee, and
  1293.     4) Researchers ask for help.
  1294.  
  1295.  __ 3.1 properly frame the question
  1296.  
  1297.     Your question is critical. There is a galaxy of difference between a
  1298.     young student asking, "I am interested in trees", and a specific,
  1299.     attainable question like "Where would I find a tree surgeon I could talk
  1300.     to?"
  1301.  
  1302.     The information sphere is very large, and rather confusing. Each item of
  1303.     information has aspects of authenticity, accuracy, reliability, and
  1304.     bias. Information comes in many formats: interviews, books, articles,
  1305.     statistics. We learn about information from many sources: literature,
  1306.     discussion, resource lists, experience. There are also personal issues:
  1307.     budget, time, depth and purpose.
  1308.  
  1309.     With all this to think about, we must be very careful about each
  1310.     question we ask. This issue is vital once we start an article search,
  1311.     and can easily mean the difference between 5 concise articles, and
  1312.     hundreds of general articles. The essence of research is the manner with
  1313.     which we approach the information sphere.
  1314.  
  1315.     Research is an art, much like painting or photography. The true mark of
  1316.     an artist, and the primary step wanna-be artists miss, is visualizing
  1317.     what you want, before you begin.
  1318.  
  1319.     It is the same with research. Sit down and visualize what a successful
  1320.     search would look like in this situation. How many pages? How many
  1321.     documents? What kind of authors and what kind of quality of document? Go
  1322.     through the whole gamut of different types of research tools and
  1323.     describe it. Would a simple three-line newspaper article be a success?
  1324.     Would a 20-year-old dissertation be acceptable? Would a short
  1325.     conversation with an expert suffice? Would all three together suffice?
  1326.     (This approach works exceptionally well with internet research too.)
  1327.  
  1328.     If you can phrase a question in a way that lends itself to your
  1329.     resource, you are far more likely to get the answers desired. Oddly,
  1330.     this often means you are asking for places where the information resides
  1331.     rather than asking directly for the information.
  1332.  
  1333.     "Where do I find a definitive list of associations?" (or a search for
  1334.     "+association +directory") works much better than, "What association
  1335.     works with exceptional children?" What about, "Who would know of
  1336.     associations for exception children?" and, "Are there pamphlets of
  1337.     advice to exceptional children?" and, "What umbrella
  1338.     organizations/specialist libraries exist for exceptional children?".
  1339.     Questions are not right or wrong, just better or worse at illuminating
  1340.     certain aspects of the answer. Make sure your questions illuminate
  1341.     something useful.
  1342.  
  1343.     There are ways to frame questions for commercial databases, for research
  1344.     assistance, for interviews, for getting the truth from to your children.
  1345.     Your skill in phrasing the question has a lot to do with the result.
  1346.     Poor questions tend to come back and haunt us later when we miss
  1347.     relevant information. Try to set aside time to refresh and reframe your
  1348.     questions.
  1349.  
  1350.  __ 3.2 know where to look
  1351.  
  1352.     Information Research rests on understanding the technology and an
  1353.     awareness of the resources. In the example above, a directory of
  1354.     associations does exist. Here in Australia it is the "Directory of
  1355.     Australian Associations", found in most important Australian libraries.
  1356.     The Australian "Department of Education" has a major interest in
  1357.     promoting exceptional students. In Western Australia, Infolink, a
  1358.     community information service, should have a record of major community
  1359.     groups for exceptional students. I have no direct knowledge of umbrella
  1360.     organizations or specialist libraries, though I expect both the
  1361.     education department and Infolink would. A quick search of some large
  1362.     libraries may help us find some of the pamphlets but certainly not all
  1363.     that exist.
  1364.  
  1365.     Knowing of specific resources is helpful. Knowing the tools to help you
  1366.     find resources, the meta-resources, is vital. So what if we do not know
  1367.     exceptional students come under the Department of Education. Do we know
  1368.     who to ask to find the government department involved? If you do not
  1369.     know of the directory of associations, who or where would you look for
  1370.     one? Being unfamiliar with meta-resources is a serious handicap - you
  1371.     will find yourself searching hours for something a professional would do
  1372.     on the phone while drinking coffee.
  1373.  
  1374.     Keep in mind this website is dedicated to providing you some of this
  1375.     experience. Our research articles should suggest directions to look.
  1376.     This FAQ should help, but there are limits to what we can accomplish. At
  1377.     some point you simply must sit down with the Kompass Directory, or the
  1378.     Gale Directory of Databases, or browse the Australian Bureau of
  1379.     Statistics library, and become familiar with getting to all the relevant
  1380.     information.
  1381.  
  1382.     A researcher also needs much experience with searching electronic
  1383.     databases with complex research queries - a difficult task only made
  1384.     better with practice. As a general rule, if you don't use boolean search
  1385.     terms, you are doing it wrong.
  1386.  
  1387.  __ 3.3 drink coffee
  1388.  
  1389.     Researchers Drink Coffee. Internet connections work better at odd times
  1390.     of the day. As some information comes from international resources, and
  1391.     the internet is cheaper than direct dialing, researchers drink coffee.
  1392.     We also work too much on computers and have bad eyesight.
  1393.  
  1394.  __ 3.4 ask for help
  1395.  
  1396.     There is very little mystery about professional research. Lots of people
  1397.     are experienced in different aspects of this field. My personal weak
  1398.     point is in direct interviewing where as I am a pioneer in secondary
  1399.     resource research - and this is OK. In fact I use this liberally to
  1400.     determine the skill of professional researchers - do they know their own
  1401.     limits? The field is much too large to be an expert in all its aspects.
  1402.  
  1403.     The positive site to this is many many people welcome requests for help.
  1404.     I enjoy asking librarians questions. I also ask my customers, my
  1405.     suppliers and other professional researchers. Never get caught in the
  1406.     trap of feeling you know what to do. The joy in this profession is that
  1407.     most people do not expect you to be an expert in their field, just an
  1408.     expert in your particular field: particularly the meta-resources. Even
  1409.     if it requires a polite reminder, customers will appreciate you asking
  1410.     them for likely keywords in difficult searches. I always make a habit of
  1411.     asking librarians if I am missing something. A librarian is always
  1412.     fluent in their collections and I frequently locate real gems this way.
  1413.     (As an example, my state library arranges computer books in two sets,
  1414.     one dewey and another in an alternative structure. Without asking a
  1415.     librarian I would miss so much.)
  1416.  
  1417.     Even if you are just a student, always keep your ears open. You will
  1418.     frequently find yourself in the presence of someone expert in some facet
  1419.     of research telling you something you already know. Consider carefully
  1420.     before you interject... your expert may be about to explain something
  1421.     new to you.
  1422.  
  1423.     In summary, information research is a dedication to learning. At its
  1424.     heart is a collection of specific research skills, an awareness of
  1425.     research tools, and a gifted mind. - Oh, and a large amount of coffee.
  1426.     Without knowledge of and access to relevant research-worthy resources,
  1427.     your research will be severely limited and doubtful. This is why much of
  1428.     your work becoming an effective researcher involves learning about the
  1429.     resources and meta-resources for your field. Much of our work in The
  1430.     Spire Project is drawing your attention to relevant resources. A large
  1431.     list of resources comes next.
  1432.     ___________________________________________________
  1433.     ___________________________________________________
  1434.  
  1435.  ----- Acknowledgements
  1436.     I would like to thank my wife Fiona, whom I love and cherish.
  1437.     The spire project is the culmination of several years bridging
  1438.     information research and internet development. We trust this guide to
  1439.     web research enriches your efforts on the web. The spire project
  1440.     (http://cn.net.au), including this faq, forms the most advanced
  1441.     information guide today. Thanks to the many readers who assist in
  1442.     building and refining this information.
  1443.     ___________________________________________________
  1444.  
  1445.     Legalities: Information and data put forward here are supplied in good
  1446.     faith and entirely without expressed or implied warranty or fitness for
  1447.     use. The content of this FAQ is simply a collection of information
  1448.     intended but not promised to be correct and useful, gathered from many
  1449.     sources with limited editorial checking. Further, included articles are
  1450.     the thoughts of the authors alone and may not represent the beliefs of
  1451.     Community Networking or any sponsoring organization. If you find a
  1452.     mistake or claim copyright infringement, contact David.
  1453.  
  1454.     Copyright (c) 1998 by David Novak, all rights reserved.
  1455.     This FAQ may be posted to any USENET newsgroup, on-line service,
  1456.     website, or BBS as long as it is posted unaltered in its entirety
  1457.     including this copyright statement. This FAQ may not be included in
  1458.     commercial collections or compilations without express permission from
  1459.     the author. Please post permission requests to david@cn.net.au
  1460.     -----------------------------------
  1461.     David Novak - david@cn.net.au
  1462.  
  1463.  
  1464.  
  1465.