home *** CD-ROM | disk | FTP | other *** search
/ ftp.pasteur.org/FAQ/ / ftp-pasteur-org-FAQ.zip / FAQ / biology / info-theory
Encoding:
Internet Message Format  |  1999-01-01  |  51.1 KB

  1. Path: senator-bedfellow.mit.edu!bloom-beacon.mit.edu!news.kodak.com!news-nysernet-16.sprintlink.net!news-east1.sprintlink.net!news-peer1.sprintlink.net!news.sprintlink.net!news-peer.gip.net!news.gsl.net!gip.net!newsfeed.cwix.com!4.1.16.34!cpk-news-hub1.bbnplanet.com!cpk-news-feed4.bbnplanet.com!cpk-news-feed1.bbnplanet.com!news.gtei.net!fcs280s.ncifcrf.gov!not-for-mail
  2. From: toms@ncifcrf.gov (Tom Schneider)
  3. Newsgroups: bionet.info-theory,news.answers
  4. Subject: Biological Information Theory and Chowder Society FAQ
  5. Followup-To: bionet.info-theory
  6. Date: 31 Dec 1998 23:31:37 GMT
  7. Organization: NCI-FCRDC Frederick Biomedical Supercomputing Center
  8. Lines: 1298
  9. Approved: news-answers-request@MIT.Edu
  10. Message-ID: <76h1gp$p851@ncisun1-nf0.ncifcrf.gov>
  11. NNTP-Posting-Host: 129.43.6.29
  12. Keywords: FAQ, Biological Information Theory and Chowder Society
  13. Archive-name: biology/info-theory
  14. X-Newsreader: TIN [UNIX 1.3 950824BETA PL0]
  15. Xref: senator-bedfellow.mit.edu bionet.info-theory:5970 news.answers:147924
  16.  
  17.      Frequently Asked Questions (FAQ) for
  18.               bionet.info-theory
  19.               Biological Information Theory and Chowder Society
  20.  
  21.         version = 2.20 of bionet.info-theory.faq.html 1998 October 8
  22.  
  23.        http://www-lecb.ncifcrf.gov/~toms/bionet.info-theory.faq.html
  24.  
  25.   ------------------------------------------------------------------------
  26.  
  27. Summary:
  28.  
  29. This is the Frequently Asked Questions monthly posting for BITCS. The news
  30. group bionet.info-theory is a forum for discussing information theory in
  31. biology and for tossing food for thought around. Other interesting
  32. mathematical problems in biology are also welcome, as we will try our best
  33. to take the log of them, so as to convert them into information theory
  34. problems.
  35.  
  36. *** NEWCOMERS PLEASE NOTE:
  37.  
  38. Although the name of this group, bionet.info-theory has the word "info" in
  39. it, this newsgroup is NOT an appropriate forum for persons seeking
  40. information about general questions related to biology or medicine! This
  41. newsgroup is devoted to DISCUSSIONS ABOUT BIOLOGICAL APPLICATIONS OF
  42. INFORMATION THEORY, principally referring to Shannon's theory of
  43. information, although we also discuss the mathematical and physical meaning
  44. of entropy, alternative definitions of information, and related fundamental
  45. issues in information theory and biology.
  46.  
  47.   ------------------------------------------------------------------------
  48.  
  49.    * Questions about The BITCS, the newsgroup, and this FAQ
  50.  
  51.         o What is The Biological Information Theory and Chowder Society?
  52.         o How Do I obtain bionet.info-theory BY EMAIL?
  53.         o Where Did I Get This FAQ File Originally?
  54.         o What is the IP number of the FAQ archive?
  55.         o Where Are the Bionet Archives?
  56.         o Are There Other Archives?
  57.         o I Posted But Nothing Happened?!?
  58.         o What is an Appropriate Posting?
  59.         o What Can I Do About Inappropriate Postings?
  60.         o Should I send private email to someone to respond to a posting or
  61.           to ask a question?
  62.         o What is the official word on copyright of this FAQ?
  63.         o Who Takes Care of This Group?
  64.         o What Kind of Questions Are Appropriate For Discussion?
  65.         o When and Where are Meetings?
  66.         o Acknowledgments
  67.  
  68.    * Questions about Information Theory
  69.  
  70.         o What is Information Theory?
  71.         o Is There a Quick Introduction to Information Theory Somewhere?
  72.         o I'm Confused: How Could Information Equal Entropy?
  73.         o How Can I Learn More About Information Theory and Biology?
  74.           References
  75.              + REFERENCES - General
  76.              + REFERENCES - Information Theory
  77.              + REFERENCES - Jaynes
  78.              + REFERENCES - Schneider
  79.              + REFERENCES - Yockey
  80.              + REFERENCES - Adleman and papers related to molecular
  81.                computation
  82.              + REFERENCES - Gad Yagil and papers related to Algorithmic
  83.                Information Theory (AIT) or Algorithmic Complexity [new]
  84.              + REFERENCES - Chris Hillman and papers related to entropy
  85.                measures [new]
  86.         o Will Authors Send Me Papers?
  87.         o Where Can I Get BIG Coins?
  88.         o Are there other organizations for information theory?
  89.         o What are Sequence Logos?
  90.              + How Do I find Sequence Logos on the Web?
  91.              + Is There a Shell Script for Making Sequence Logos?
  92.              + Is There a World Wide Web Page for Making Sequence Logos?
  93.  
  94.   ------------------------------------------------------------------------
  95.        What is The Biological Information Theory and Chowder Society?
  96.  
  97. The Biological Information Theory and Chowder Society (BITCS) is a group of
  98. scientists interested in the biological applications of information theory
  99. (thus the "BIT") who meet informally for dinner (thus the "CS") from time to
  100. time in the Washington, DC, area. At our dinners we have only one rule ---
  101. food fights are discouraged.
  102.  
  103. The guys who started this thing did it because we weren't certain we
  104. understood the biological implications of information theory. Some of us are
  105. more comfortable with the mathematical machinery and assemble biological
  106. systems into grand canonical ensembles whether they want to be there or not;
  107. and some of us think they understand what the biological systems are doing
  108. but can't take a log to base 2. What we try to do is pry from one another
  109. the bits of knowledge that will help us understand what's going on.
  110.  
  111. Some of the topics up for discussion in our group are:
  112.  
  113.    * biological applications of information theory
  114.    * biochemical molecular machines and computers
  115.    * computer methods for recognition of molecular structure and function
  116.    * database organization for biomolecular information
  117.    * nanotechnology
  118.    * the limits of computation
  119.    * "dissipation-less"(?) computation
  120.    * Maxwell's demon
  121.    * anecdotes and humor about all these topics
  122.    * methods and theories of molecular computation
  123.    * macroscopic versus microscopic thermodynamics
  124.  
  125. A few relevant papers are given in the references.
  126.  
  127. The group started when Tom Schneider was introduced to John Spouge in 1988.
  128. Tom bounced his ideas about molecular machines off John, and John kept
  129. finding flaws. Tom would go away rather unhappily for a month and then find
  130. a solution. But John was always one step ahead... (and still is, on last
  131. account.) Tom gave a talk about molecular machines at the Lambda Lunch
  132. meeting on the Bethesda NIH campus, and John introduced John (Steve)
  133. Garavelli. We all got together with Peter Basser for dinner once in a while
  134. to talk about information theory. Steve brought in one of the first people
  135. to apply information theory to biology, Hubert Yockey. Steve Garavelli
  136. dubbed the group the "Biological Information Theory and Chowder Society",
  137. which it is still called. We are known sometimes as 'chowderheads', and talk
  138. about food fights, but so far have only had electronic food fights! We hold
  139. dinners in Bethesda, Maryland on random occasions.
  140.  
  141. When our informal mailing list became difficult to handle, we petitioned to
  142. start a bionet news group. We have held roaring discussions and look forward
  143. to more, and everyone is welcome to join. You can look at some of the
  144. ancient discussions in the bionet archives. If you are uncertain about
  145. something, quit lurking and ask on the net. It may well be that what
  146. bothered you is the key to a new piece of information theory in biology.
  147. (The major advances so far have been by things that REALLY bugged people.)
  148.  
  149. We will also announce when and where our (irregular) eatings are and you are
  150. welcome to join if the travel is not too far. John Spouge usually makes the
  151. arrangements. If you would like to give a talk to the group, contact us to
  152. make arrangements. (Our addresses are below.)
  153.  
  154.   ------------------------------------------------------------------------
  155.  
  156.                 How Do I obtain bionet.info-theory BY EMAIL?
  157.  
  158. If you have access to USENET news YOU DO NOT NEED AN E-MAIL SUBSCRIPTION!!
  159. We strongly encourage all interested users to explore getting USENET news at
  160. your site. It's MUCH easier on you than an e-mail subscription! Please
  161. consult your systems manager or contact biosci-help@net.bio.net for
  162. assistance if needed.
  163.  
  164. The BIOSCI (email) name for the forum is BIO-INFO.
  165.  
  166. Depending on where you are, you have to do different things to subscribe or
  167. be removed from the email subscription list:
  168.  
  169. SUBSCRIBING / UNSUBSCRIBING
  170.  
  171. North or South America or Pacific Rim:
  172.  
  173. Using the computer account in which you want to receive mail messages,
  174. please send an email message to the e-mail server at
  175. biosci-server@net.bio.net
  176. Leave the Subject: line blank. In the body of the message include the line
  177.  
  178.      subscribe bio-info
  179.  
  180. to add yourself to the mailing list or
  181.  
  182.      unsubscribe bio-info
  183.  
  184. to cancel an existing subscription. If you need personal subscription
  185. assistance, please contact biosci-help@net.bio.net
  186.  
  187. Europe, Africa, and Central Asia:
  188.  
  189. Send a email message to the person at biosci@daresbury.ac.uk requesting a
  190. subscription or removal from the BIO-INFO forum.
  191.  
  192. SENDING OUT POSTINGS
  193.  
  194. Thereafter, address email messages for this forum to one of:
  195.  
  196. North or South America or Pacific Rim:
  197. bio-info@net.bio.net
  198.  
  199. Europe, Africa, and Central Asia:
  200. bio-info@daresbury.ac.uk
  201.  
  202. You can post to either of the above address if you want. We only request
  203. that you sign up at your local node in order to optimize the use of the
  204. network resources for message distribution.
  205.  
  206. Do not send subscription requests to any of these addresses, or you will
  207. have sent it to everybody on the planet (to your great embarrassment, and we
  208. will drub you with food cake)! Let me say that again: please do not post
  209. requests for subscription or being removed from the list to the list itself,
  210. that takes up bandwidth all over the world!
  211.  
  212. If you have problems, contact the subscription site manager who you signed
  213. up with. If your problem is not resolved, please contact
  214. biosci-help@net.bio.net
  215.  
  216. DO NOT CONTACT TOM SCHNEIDER FOR SUBSCRIPTIONS OR UNSUBSCRIBING!
  217.  
  218. This is so complicated! It would be a lot easier for you to use a news
  219. reader!
  220.  
  221.   ------------------------------------------------------------------------
  222.  
  223.                  Where Did I Get This FAQ File Originally?
  224.  
  225. The latest flatfile version of this FAQ is stored in the anonymous ftp
  226. archive ftp.ncifcrf.gov in pub/delila under the name
  227. "bionet.info-theory.faq". The URL is:
  228. ftp://ftp.ncifcrf.gov/pub/delila/bionet.info-theory.faq
  229.  
  230. The hypertext version is also available from
  231. http://www-lecb.ncifcrf.gov/~toms/bionet.info-theory.faq.html
  232.  
  233. This file is posted monthly on news.answers and bionet.info-theory.
  234.  
  235. Please send questions and comments to: Tom Schneider (toms@ncifcrf.gov).
  236.  
  237.   ------------------------------------------------------------------------
  238.  
  239.                  What is the IP number of the FAQ archive?
  240.  
  241. For ftp.ncifcrf.gov you can use 129.43.1.11
  242.  
  243.   ------------------------------------------------------------------------
  244.  
  245.                        Where Are the Bionet Archives?
  246.  
  247. The hypertext archives for this newsgroup are at:
  248. http://www.bio.net/hypermail/BIOLOGICAL-INFORMATION-THEORY/
  249.  
  250. The entire collection of BIOSCI/bionet messages from inception are available
  251. via the biosci.src WAIS source at net.bio.net. Contact
  252. biosci-help@net.bio.net for further help with accessing this WAIS source.
  253.  
  254.   ------------------------------------------------------------------------
  255.                          Are There Other Archives?
  256.  
  257.    * BIOSCI Archive of Monthly Postings.
  258.      ftp://net.bio.net/pub/BIOSCI/BIOLOGICAL-INFORMATION-THEORY. This
  259.      archive contains postings from each month as a single document. Files
  260.      are in mailbox format, with names of the form YYMM (YY=last 2 digits of
  261.      the year, MM=cardinal number of the month, zero padded). The current
  262.      months postings are in the file 'current'. Contact
  263.      biosci-help@net.bio.net for further help with or comments on the
  264.      archives. For the record, the IP number for net.bio.net is
  265.      [134.172.2.69].
  266.  
  267.    * These are the BIOSCI raw postings, just numbered:
  268.      ftp://net.bio.net/pub/BIOSCI/bionet/info-theory
  269.  
  270.    * Archive of Postings at IUBO:
  271.      ftp://ftp.bio.indiana.edu/usenet/bionet/info-theory/. This archive
  272.      contains individual postings. Older postings are collected by the month
  273.      as a single document. There is an index for each month.
  274.  
  275.    * Archive of Life Related Newsgroups
  276.      http://www.krl.caltech.edu/~brown/alife/news/. This is an incredibly
  277.      nicely organized HTML archive of links maintained by Titus Brown at
  278.      Caltech (brown@krl.caltech.edu). This archive contains individual
  279.      postings. Check it out!!
  280.  
  281.    * current newsgroup articles on your own computer: bionet.info-theory
  282.  
  283.    * The BIOSCI home page carries all bionet news groups:
  284.      http://www.bio.net/
  285.  
  286.   ------------------------------------------------------------------------
  287.                       I Posted But Nothing Happened?!?
  288.  
  289. Michael Harman (rmharman@jhu.edu)
  290.  
  291. | I attempted to post a question ... about a
  292. | month and a half ago, but never saw any response.
  293.  
  294. Go to the bionet archives
  295.  
  296. http://www.bio.net/hypermail/BIOLOGICAL-INFORMATION-THEORY/
  297.  
  298. and search for your posting. If your posting does not appear there within a
  299. day it may mean that your posting never made it out of your system. Try
  300. again to see if it was a transient failure. If that fails, talk to your
  301. systems admin. If your systems administrator is stumped, contact Dave
  302. Kristofferson at biosci-help@net.bio.net for further help. You could also
  303. check by posting on misc.test (it's fun, I promise! :-).
  304.  
  305.   ------------------------------------------------------------------------
  306.  
  307.                       What is an Appropriate Posting?
  308.  
  309. Name calling and libelous statements are not acceptable on this news group.
  310. It's best to learn about net etiquette (netiquette) before you post
  311. anything.
  312.  
  313. On the other hand, polite, carefully worded, even aggressive scientific
  314. criticism that specifically addresses issues is encouraged. If you critique
  315. someone's work, be willing to defend your statements, and be willing to
  316. admit publically when you are wrong. When ad hominem postings appear, we
  317. will quickly conclude that you are a net-abusing hacker and will take
  318. appropriate, but legal, actions against you.
  319.  
  320. To maintain a high professional level of discussion, we encourage all
  321. participants to identify themselves. You do not need any degrees or
  322. professional affiliation to join the conversation, and you should not
  323. hesitate to post if you feel you have something worthwhile to contribute.
  324.  
  325. However, if you want to avoid looking naive, some knowledge about basic
  326. molecular biology and information theory also helps (see the references),
  327. but we don't expect you to be an expert on everything. Also, to make a good
  328. impression on others, trim any text you copy from previous postings, run
  329. your text through a spell checker, and use proper English.
  330.  
  331.   ------------------------------------------------------------------------
  332.                 What Can I Do About Inappropriate Postings?
  333.  
  334. The short form of this news group's name, bio-info, can be confusing to some
  335. people inexperienced in network communications or with little knowledge of
  336. the discipline (if there is any :-) of biological information theory. It can
  337. and has been mistaken as a news group for general biological information.
  338. Our readers should be aware that when such postings come to our attention,
  339. the discussion leaders do attempt to inform, privately, the people who make
  340. these inappropriate postings of the error of their ways and suggest
  341. alternative or more appropriate venues.
  342.  
  343. Subjecting the writers of inappropriate posting to public excoriation is not
  344. a good policy because it may be an inadvertent mistake and follow-up
  345. postings will only add to the irritation of our regular readers. When others
  346. publicly reply to such posts in this news group, although they may think
  347. they are being polite to the original poster, they are still annoying our
  348. regular readers. We suggest that a better policy for readers who do wish to
  349. reply to inappropriate posts is to do so privately or to an appropriate news
  350. group.
  351.  
  352. If you have nothing better to do with your time and feel you must reply to
  353. an inappropriate posting, either because you think it might be a sincere
  354. though misguided request for information, or because you want to express
  355. your opinions on the poster's ancestry, cool your jets one minute and
  356. carefully consider the poster's address. Look in the mail header for the
  357. "From:" line, the "Reply-to:" line, the "Message-id:" line, and the
  358. "Posting-Host:" line. If the "From:" or "Reply-to:" lines contain obviously
  359. forged information, like
  360.  
  361. From: Anonymous@net.bio.net (Unknown)
  362. Reply-to: No.one.@net.bio.net
  363.  
  364. or if the address looks legitimate but contains inconsistent node addresses
  365. like
  366.  
  367. From: ReadMe@ReadMe.net
  368. Message-id: <4upgib$af8@dfw-ixnews5.ix.netcom.com>
  369.  
  370. (the part after the "@" in these two lines is not consistent), do not waste
  371. your time. The poster will never read your reply. The posting is either a
  372. "spam" or an attempt to sabotage the system whose address has been forged.
  373.  
  374. More importantly, do not waste other scientists' time and money (yes, some
  375. people do pay for the e-mail they receive) by replying to an inappropriate
  376. posting through the bulletin board. No one else will be interested in seeing
  377. your inappropriate reply to an inappropriate posting. They may, however,
  378. note for future reference your lack of courtesy and good judgement.
  379.  
  380. For information about how to deal with intransigent cases, see:
  381. http://math-www.uni-paderborn.de/~axel/blacklist.html
  382.  
  383. For dealing with Make Money Fast schemes, see:
  384. http://www-lecb.ncifcrf.gov/~toms/mmf.html
  385.  
  386. Another anti-spam resource is at
  387. http://www.canismajor.demon.co.uk/antispam/antispam.htm
  388.  
  389.   ------------------------------------------------------------------------
  390.  
  391.  Should I send private email to someone to respond to a posting or to ask a
  392.                                  question?
  393.  
  394. It's fine to email someone a question or comment about one of their
  395. postings, but remember that you will then be holding a private conversation
  396. with only that person and the rest of us will miss out on your thoughts and
  397. won't be able to help you. Of course, private email is appropriate if you
  398. are thinking of forming a collaboration with someone and don't want the
  399. ideas to be public, or if you have a technical question about the news
  400. group. Also, please don't post and send email to someone unless you have a
  401. good reason to think they will miss the posting.
  402.  
  403. In other words, please don't email to Tom Schneider general comments that
  404. could be public.
  405.  
  406.   ------------------------------------------------------------------------
  407.  
  408.             What is the official word on copyright of this FAQ?
  409.  
  410. This FAQ fits the description in the U. S. Copyright Act of a "United States
  411. Government work". It was written as a part of my official duties as
  412. Government employee. This means it cannot be copyrighted. The article is
  413. freely available without a copyright notice, and there are no restrictions
  414. on its use, now or subsequently. I retain no rights in the FAQ.
  415.  
  416. Thomas D. Schneider
  417.  
  418.   ------------------------------------------------------------------------
  419.  
  420.                        Who Takes Care of This Group?
  421.  
  422. John S. Garavelli
  423. Protein Information Resource
  424. National Biomedical Research Foundation
  425. Washington, DC 20007
  426. garavelli@NBRF.Georgetown.Edu
  427. http://www-nbrf.georgetown.edu/
  428.  
  429. Tom Schneider
  430. National Cancer Institute
  431. Laboratory of Experimental and Computational Biology
  432. Frederick, Maryland 21702-1201
  433. toms@ncifcrf.gov
  434. http://www-lecb.ncifcrf.gov/~toms/
  435.  
  436. John L. Spouge
  437. National Center for Biotechnology Information
  438. National Library of Medicine
  439. Bethesda, MD 20894
  440. spouge@ncbi.nlm.nih.gov
  441.  
  442. Please email comments and suggestions on this faq sheet to Tom.
  443.  
  444. John Garavelli (who also answers to "Steve" if you want to avoid confusion)
  445. often organizes dinner speakers.
  446.  
  447. John Spouge often arranges dinner locations.
  448.  
  449.   ------------------------------------------------------------------------
  450.  
  451.            What Kind of Questions Are Appropriate For Discussion?
  452.  
  453. This faq sheet answers simple questions about this group. The BIG questions
  454. should be discussed on the net, where we can all haggle over them. Here are
  455. a few for starters:
  456.  
  457.    * What is the role of theory in biology today?
  458.    * What should be the role of biological theory?
  459.    * What is information? How should it be defined?
  460.    * What bothers you when you read the two papers on the theory of
  461.      molecular machines? (It is only from the things that bother us that we
  462.      can make progress in understanding.) (See references below.)
  463.    * What are flaws in the theory of molecular machines?
  464.    * How is ATP used to drive molecular machines?
  465.    * All communication systems are associated with living things, so is it
  466.      true that information theory is really a theory about living things?
  467.      Was Shannon really a great biologist?
  468.    * What does Maxwell's Demon have to do with all of this?
  469.    * What are the limits of computers?
  470.    * What are the limits of nanotechnology?
  471.    * Can we build molecular machines and molecular computers and how would
  472.      they work?
  473.  
  474.   ------------------------------------------------------------------------
  475.  
  476.                         When and Where are Meetings?
  477.  
  478. Meetings are announced in the bionet.info-theory news group. As of 1997
  479. September 15, meetings and talks are announced at the Biological Information
  480. Theory and Chowder Society web page. If you know of are going to give a
  481. relevant talk, please submit information to Tom Schneider.
  482.  
  483.   ------------------------------------------------------------------------
  484.  
  485.                         What is Information Theory?
  486.  
  487. Information theory is a branch of mathematics concerned with the process of
  488. making choices. Although it has a rich history going back centuries, it was
  489. the work of Claude Shannon, published in 1948 and later, that started the
  490. field. The theory is powerful and has resulted in great achievements. The
  491. beautiful sound we enjoy from compact disks (CD's) became possible only
  492. because of Shannon's work. The bionet.info-theory news group was formed to
  493. discuss the many applications of information theory to biology. (It is not a
  494. general information news group as some might be mislead to think.) It is
  495. worth at least some of your time to see why we are so excited about this
  496. application, as it could turn your research around by sharpening your
  497. experimental approaches.
  498.  
  499.   ------------------------------------------------------------------------
  500.  
  501.        Is There a Quick Introduction to Information Theory Somewhere?
  502.  
  503. See the primer on information theory:
  504.  
  505. ftp://ftp.ncifcrf.gov/pub/delila/primer.ps
  506. or
  507. http://www-lecb.ncifcrf.gov/~toms/paper/primer
  508.  
  509.   ------------------------------------------------------------------------
  510.  
  511.              I'm Confused: How Could Information Equal Entropy?
  512.  
  513. If someone says that information = uncertainty = entropy, then they are
  514. confused, or something was not stated that should have been. Those
  515. equalities lead to a contradiction, since entropy of a system increases as
  516. the system becomes more disordered. So information corresponds to disorder
  517. according to this confusion.
  518.  
  519. If you always take information to be a decrease in uncertainty at the
  520. receiver and you will get straightened out:
  521.  
  522. R = Hbefore - Hafter.
  523.  
  524. where H is the Shannon uncertainty:
  525.  
  526. H = - sum (from i = 1 to number of symbols) Pi log2 Pi (bits per symbol)
  527.  
  528. and Pi is the probability of the ith symbol. If you don't understand this,
  529. please refer to "Is There a Quick Introduction to Information Theory
  530. Somewhere?".
  531.  
  532. Imagine that we are in communication and that we have agreed on an alphabet.
  533. Before I send you a bunch of characters, you are uncertain (Hbefore) as to
  534. what I'm about to send. After you receive a character, your uncertainty goes
  535. down (to Hafter). Hafter is never zero because of noise in the communication
  536. system. Your decrease in uncertainty is the information (R) that you gain.
  537.  
  538. Since Hbefore and Hafter are state functions, this makes R a function of
  539. state. It allows you to lose information (it's called forgetting). You can
  540. put information into a computer and then remove it in a cycle.
  541.  
  542. Many of the statements in the early literature assumed a noiseless channel,
  543. so the uncertainty after receipt is zero (Hafter=0). This leads to the
  544. SPECIAL CASE where R = Hbefore. But Hbefore is NOT "the uncertainty", it is
  545. the uncertainty of the receiver BEFORE RECEIVING THE MESSAGE.
  546.  
  547. A way to see this is to work out the information in a bunch of DNA binding
  548. sites.
  549.  
  550. Definition of "binding": many proteins stick to certain special spots on DNA
  551. to control genes by turning them on or off. The only thing that
  552. distinguishes one spot from another spot is the pattern of letters
  553. (nucleotide bases) there. How much information is required to define this
  554. pattern?
  555.  
  556. Here is an aligned listing of the binding sites for the cI and cro proteins
  557. of the bacteriophage (i.e., virus) named lambda:
  558.  
  559. alist 5.66 aligned listing of:
  560. * 96/10/08 19:47:44, 96/10/08 19:31:56, lambda cI/cro sites
  561. piece names from:
  562. * 96/10/08 19:47:44, 96/10/08 19:31:56, lambda cI/cro sites
  563. The alignment is by delila instructions
  564. The book is from:   -101 to 100
  565. This alist list is from: -15 to 15
  566.  
  567.                        ------                   ++++++
  568.                        111111--------- +++++++++111111
  569.                        5432109876543210123456789012345
  570.                        ...............................
  571. OL1 J02459  35599 +  1 tgctcagtatcaccgccagtggtatttatgt
  572.     J02459  35599 -  2 acataaataccactggcggtgatactgagca
  573. OL2 J02459  35623 +  3 tttatgtcaacaccgccagagataatttatc
  574.     J02459  35623 -  4 gataaattatctctggcggtgttgacataaa
  575. OL3 J02459  35643 +  5 gataatttatcaccgcagatggttatctgta
  576.     J02459  35643 -  6 tacagataaccatctgcggtgataaattatc
  577. OR3 J02459  37959 +  7 ttaaatctatcaccgcaagggataaatatct
  578.     J02459  37959 -  8 agatatttatcccttgcggtgatagatttaa
  579. OR2 J02459  37982 +  9 aaatatctaacaccgtgcgtgttgactattt
  580.     J02459  37982 - 10 aaatagtcaacacgcacggtgttagatattt
  581. OR1 J02459  38006 + 11 actattttacctctggcggtgataatggttg
  582.     J02459  38006 - 12 caaccattatcaccgccagaggtaaaatagt
  583.                                              ^
  584.  
  585. Each horizontal line represents a DNA sequence, starting with the 5' end on
  586. the left, and proceeding to the 3' end on the right. The first sequence
  587. begins with: 5' tgctcag ... and ends with ... tttatgt 3'. Each of these
  588. twelve sequences is recognized by the lambda repressor protein (called cI)
  589. and also by the lambda cro protein.
  590.  
  591. What makes these sequences special so that these proteins like to stick to
  592. them? Clearly there must be a pattern of some kind.
  593.  
  594. Read the numbers on the top vertically. This is called a "numbar". Notice
  595. that position +7 always has a T (marked with the ^). That is, according to
  596. this rather limited data set, one or both of the proteins that bind here
  597. always require a T at that spot. Since the frequency of T is 1 and the
  598. frequencies of other bases there are 0, H(+7) = 0 bits. But that makes no
  599. sense whatsoever! This is a position where the protein requires information
  600. to be there.
  601.  
  602. That is, what is really happening is that the protein has two states. In the
  603. BEFORE state, it is somewhere on the DNA, and is able to probe all 4
  604. possible bases. Thus the uncertainty before binding is Hbefore = log2(4) = 2
  605. bits. In the AFTER state, the protein has bound and the uncertainty is
  606. lower: Hafter(+7) = 0 bits. The information content, or sequence
  607. conservation, of the position is Rsequence(+7) = Hbefore - Hafter = 2 bits.
  608. That is a sensible answer. Notice that this gives Rsequence close to zero
  609. outside the sites.
  610.  
  611. If you have uncertainty and information and entropy confused, I don't think
  612. you would be able to work through this problem. For one thing, one would get
  613. high information OUTSIDE the sites. Some people have published graphs like
  614. this.
  615.  
  616. A nice way to display binding site data so you can see them and grasp their
  617. meaning rapidly is by the sequence logo method. The sequence logo for the
  618. example above is at
  619. http://www-lecb.ncifcrf.gov/~toms/gallery/hawaii.fig1.gif. More information
  620. on sequence logos is in the section What are Sequence Logos?
  621.  
  622. More information about the theory of BEFORE and AFTER states is given in the
  623. papers http://www-lecb.ncifcrf.gov/~toms/paper/nano2 ,
  624. http://www-lecb.ncifcrf.gov/~toms/paper/ccmm and
  625. http://www-lecb.ncifcrf.gov/~toms/paper/edmm.
  626.  
  627.   ------------------------------------------------------------------------
  628.  
  629.    How Can I Learn More About Information Theory and Biology? References
  630.  
  631.                             REFERENCES - General
  632.  
  633. There are a huge number of papers related to this topic, just about
  634. everything in molecular biology, lots of chemistry, physics, electronics,
  635. evolutionary theory, thermodynamics, statistical mechanics and the kitchen
  636. sink ... References are given in BiBTeX format, the bibliography program
  637. associated with LaTeX, the powerful and portable typesetting program.
  638.  
  639. By arrangement, books that have prices listed can be ordered over Internet
  640. from:
  641.  
  642. Reiter's Scientific & Professional Books
  643. 2021 K Street, NW
  644. Washington, DC 20006
  645. 1-800-537-4314
  646. 1-202-223-3327
  647. 1-202-296-9103 FAX
  648. EMAIL:
  649. books@reiters.com
  650. WWW:
  651. http://reiters.com/
  652.  
  653. Shipping and handling charges are: in the DC metropolitan area $4.00 for one
  654. item, $0.50 for each additional item, outside the area $4.50 for one item,
  655. $0.50 for each additional item.
  656.  
  657. The prices are current as of October 1994; because publishers are constantly
  658. changing their prices, they should be considered estimates rather than
  659. guaranteed prices. To open an account you must first either phone or FAX
  660. them and provide a credit card number. Book orders can be then placed at any
  661. time over the Internet. **DO NOT SEND CREDIT CARD NUMBERS OVER THE
  662. INTERNET!**
  663.  
  664. Reiter's carries all of the books on this list except "Information Theory:
  665. Saving Bits", and that one can be special ordered. If enough interest in
  666. this book is generated by the FAQ, it will be added as regular stock. (It
  667. can also be ordered directly from the company using the information given.)
  668.  
  669. Gonick's Wonderful books (Don't be shy! They are worth the money!!):
  670.  
  671. @book{Gonick.computers,
  672. author = "L. Gonick",
  673. title = "The Cartoon Guide to Computers",
  674. edition = "second",
  675. publisher = "HarperCollins",
  676. address = "New York, NY",
  677. isbn = "0-06-273097-5",
  678. price = "price as of 1994 October 31: \$11.00",
  679. year = "1991"}
  680.  
  681. @book{Gonick.genetics,
  682. author = "L. Gonick",
  683. title = "The Cartoon Guide to Genetics",
  684. edition = "updated",
  685. publisher = "Barnes \& Nobel",
  686. address = "New York, NY",
  687. isbn = "0-06-273099-1",
  688. price = "price as of 1994 October 31: \$12.00",
  689. year = "1991"}
  690.  
  691. @book{Gonick.physics,
  692. author = "L. Gonick
  693. and A. Huffman",
  694. title = "The Cartoon Guide to Physics",
  695. publisher = "HarperPerennial",
  696. address = "New York, NY",
  697. isbn = "0-06-273100-9",
  698. price = "price as of 1994 October 31: \$12.00",
  699. year = "1990"}
  700.  
  701. A good starting point if you don't know much molecular biology: (Two
  702. volumes)
  703.  
  704. @book{Watson1987,
  705. author = "J. D. Watson
  706. and N. H. Hopkins
  707. and J. W. Roberts
  708. and J. A. Steitz
  709. and A. M. Weiner",
  710. title = "Molecular Biology of the Gene",
  711. edition = "fourth",
  712. publisher = "The Benjamin/Cummings Publishing Co., Inc.",
  713. address = "Menlo Park, California",
  714. isbn = "0-8053-9614-4",
  715. price = "price as of 1994 October 31: \$59.95",
  716. year = "1987"}
  717.  
  718. This book describes LaTex and BiBTeX:
  719.  
  720. @book{Lamport1994,
  721. author = "L. Lamport",
  722. title = "\LaTeX: A Document Preparation System,
  723. User's Guide \& Reference Manual",
  724. edition = "second",
  725. publisher = "Addison-Wesley Publishing Company",
  726. address = "Reading, Massachusetts",
  727. isbn = "0-201-52983-1",
  728. price = "price as of 1994 October 31: \$32.95",
  729. year = "1994"}
  730.  
  731.   ------------------------------------------------------------------------
  732.  
  733.                       REFERENCES - Information Theory
  734.  
  735.    * Basic References
  736.         o John Pierce was at Bell Labs while Shannon dreamed up information
  737.           theory. He saw the development from the inside, and wrote it up in
  738.           "An Introduction to Information Theory: Symbols, Signals and
  739.           Noise". Although it is not highly mathematical, this book is still
  740.           the best one to start with because it gives one a feeling for the
  741.           scope and implications of the theory, without dumping on the math,
  742.           yet without leaving out important topics that later generations of
  743.           popular writers skipped.
  744.  
  745.           @book{Pierce1980,
  746.           author = "J. R. Pierce",
  747.           title = "An Introduction to Information Theory:
  748.           Symbols, Signals and Noise",
  749.           edition = "second",
  750.           publisher = "Dover Publications, Inc.",
  751.           address = "New York",
  752.           isbn = "0-486-24061-4",
  753.           comment = "
  754.           original copyright 1961
  755.           Ordering information: Pierce1980 is currently available by mail
  756.           from:
  757.           Dover Publications, Inc.
  758.           31 East 2nd street
  759.           Mineola, New York 11501
  760.           order:
  761.           Pierce, An Introduction to Information Theory: Symbols, Signals
  762.           and Noise
  763.           code number: 24061-4
  764.           $7.95 + charges. Payment in full, no telephone or credit card
  765.           orders.
  766.           Postage and Handling charges are:
  767.           Bookrate: $3 (US only)
  768.           UPS: $4.50 (US only, not Alaska or Hawaii or PO boxes)
  769.           Foreign orders: add 20% of total (minimum $2.50)
  770.           Sales Tax (Ny residents only)
  771.           Foreign Orders Note: Remittances must be sent by international
  772.           money order or in U.S. funds via Federal Wire System to Chemical
  773.           Bank, N. Y. ABA #021000128. Mark all remittances `For the account
  774.           of Dover Publications, Inc. #001 053 272'. This information is
  775.           from the Dover Math and Science Catalogue 9/92", price = "price as
  776.           of 1994 October 31: \$8.95", year = "1980"}
  777.  
  778.         o Christopher Hillman (hillman@math.washington.edu) suggests that
  779.           Cover and Thomas' book is a better starting point, but that's
  780.           because he is a mathematician People who have seen both could post
  781.           their opinions.
  782.  
  783.           @book{Cover.Thomas1991,
  784.           author = "Thomas M. Cover
  785.           and Joy A. Thomas",
  786.           title = "Elements of Information Theory",
  787.           publisher = "John Wiley \& Sons, Inc.",
  788.           address = "N. Y.",
  789.           isbn = "0-471-06259-6",
  790.           year = "1991"}
  791.  
  792.         o A good introduction to the mathematics, written for high school
  793.           students:
  794.  
  795.           @book{Sacco1988,
  796.           author = "W. Sacco
  797.           and W. Copes
  798.           and C. Sloyer
  799.           and R. Stark",
  800.           title = "Information Theory: Saving Bits",
  801.           publisher = "Janson Publications, Inc.",
  802.           comment = "original address was Providence, Rhode Island",
  803.           address = "Dedham, MA",
  804.           isbn = "0-939765-25-X",
  805.           phone = "(800) 322-6284",
  806.           price = "price as of 1994 October 31: \$11.95",
  807.           year = "1988"}
  808.  
  809.    * Important originals:
  810.  
  811.         o @article{Shannon1948,
  812.           author = "C. E. Shannon",
  813.           title = "A Mathematical Theory of Communication",
  814.           year = "1948",
  815.           journal = "Bell System Tech. J.",
  816.           volume = "27",
  817.           pages = "379-423, 623-656"}
  818.  
  819.         o @book{ShannonWeaver1949,
  820.           author = "C. E. Shannon
  821.           and W. Weaver",
  822.           title = "The Mathematical Theory of Communication",
  823.           publisher = "University of Illinois Press",
  824.           address = "Urbana",
  825.           isbn = "0-252-72548-4",
  826.           price = "price as of 1994 October 31: \$9.95",
  827.           year = "1949"}
  828.  
  829.         o @article{Shannon1949,
  830.           author = "C. E. Shannon",
  831.           title = "Communication in the Presence of Noise",
  832.           year = "1949",
  833.           journal = "Proc. IRE",
  834.           volume = "37",
  835.           pages = "10-21"}
  836.  
  837.         o For the committed: The Complete Works!
  838.  
  839.           @book{Sloane.Wyner1993,
  840.           author = "N. J. A. Sloane and A. D. Wyner",
  841.           title = "Claude Elwood Shannon: Collected Papers",
  842.           publisher = "IEEE Press",
  843.           address = "Piscataway, NJ",
  844.           isbn = "0-7803-0434-9",
  845.           comment = "IEEE Order Number: PC0331-9
  846.           ll To order directly by charge card (eg Visa works) you can call
  847.           (908)-981-0060
  848.           $69.95 + $5 handling charge
  849.           delivery in about 2 weeks",
  850.           price = "price as of 1994 October 31: \$69.95",
  851.           comment = "this was previously called Shannon1993",
  852.           year = "1993"}
  853.  
  854.    * Other basic references
  855.  
  856.         o How locks work and other cool stuff:
  857.  
  858.           @book{Macaulay1988,
  859.           author = "D. Macaulay",
  860.           title = "The Way Things Work",
  861.           publisher = "Houghton Mifflin Company",
  862.           address = "Boston",
  863.           isbn = "0-395-42857-2",
  864.           price = "price as of 1994 October 31: \$29.95",
  865.           comment = "This book is also available on Windows-Compatible
  866.           CD-ROM
  867.           cdrom isbn = 1-56458-901-3 Price as of 1994 October 31: \$99.95",
  868.           year = "1988"}
  869.  
  870.         o Leff1990 gives a review of the Maxwell's Demon problem.
  871.           See also Schneider.edmm, listed below.
  872.  
  873.           @book{Leff1990,
  874.           author = "H. S. Leff and A. F. Rex",
  875.           title = "Maxwell's Demon: Entropy, Information, Computing",
  876.           publisher = "Princeton University Press",
  877.           address = "Princeton, N. J.",
  878.           phone = "1(800) 777-4726",
  879.           isbn.hard = "0-691-08726-1 (hard cover)",
  880.           price.hard = "price as of 1994 October 31: \$80.00",
  881.           isbn.paper = "0-691-08727-X (paperback)",
  882.           price.paper = "price as of 1994 October 31: \$26.95",
  883.           year = "1990"}
  884.  
  885.   ------------------------------------------------------------------------
  886.  
  887.                             REFERENCES - Jaynes
  888.  
  889. @article{JaynesI,
  890. author = "Edwin T. Jaynes",
  891. title = "Information Theory and Statistical Mechanics",
  892. year = 1957,
  893. journal = "Physical Review",
  894. volume = "106",
  895. pages = "620-630"}
  896.  
  897. @article{JaynesII,
  898. author = "Edwin T. Jaynes",
  899. title = "Information Theory and Statistical Mechanics. {II}",
  900. year = 1957,
  901. journal = "Physical Review",
  902. volume = "108",
  903. pages = "171-190"}
  904.  
  905. A version of Jaynes' new book "PROBABILITY THEORY -- THE LOGIC OF SCIENCE"
  906. is available on the net. See:
  907.  
  908. ftp://bayes.wustl.edu/Jaynes.book/
  909. Larry Bretthorst (larry@bayes.wustl.edu)
  910.  
  911. http://omega.albany.edu:8008/JaynesBook.html
  912. Carlos Rodriguez (carlos@math.albany.edu)
  913.  
  914. Tom Schneider's pointers to these places:
  915. http://www-lecb.ncifcrf.gov/~toms/jaynes.html
  916.  
  917. Note: The book is being written now and new versions come out every once in
  918. a while. One of these locations may be more up to date than the other.
  919.  
  920.   ------------------------------------------------------------------------
  921.  
  922.                            REFERENCES - Schneider
  923.  
  924. To see online papers, go to http://www-lecb.ncifcrf.gov/~toms/paper.
  925.  
  926. @article{Schneider1986,
  927. author = "T. D. Schneider
  928. and G. D. Stormo
  929. and L. Gold
  930. and A. Ehrenfeucht",
  931. title = "Information content of binding sites on nucleotide sequences",
  932. journal = "J. Mol. Biol.",
  933. volume = "188",
  934. pages = "415-431",
  935. year = "1986"}
  936.  
  937. @inproceedings{Schneider1988,
  938. author = "T. D. Schneider",
  939. editor = "G. J. Erickson and C. R. Smith",
  940. title = "Information and entropy of patterns in genetic switches",
  941. booktitle = "Maximum-Entropy and Bayesian Methods in Science and
  942. Engineering",
  943. volume = "2",
  944. pages = "147-154",
  945. publisher = "Kluwer Academic Publishers",
  946. address = "Dordrecht, The Netherlands",
  947. year = "1988"}
  948.  
  949. @article{Schneider1989,
  950. author = "T. D. Schneider
  951. and G. D. Stormo",
  952. title = "Excess Information at Bacteriophage {T7} Genomic Promoters
  953. Detected by a Random Cloning Technique",
  954. year = "1989",
  955. journal = "Nucl. Acids Res.",
  956. volume = "17",
  957. pages = "659-674"}
  958.  
  959. @article{Schneider.Stephens.Logo,
  960. author = "T. D. Schneider
  961. and R. M. Stephens",
  962. title = "Sequence Logos: A New Way to Display Consensus Sequences",
  963. journal = "Nucl. Acids Res.",
  964. volume = "18",
  965. pages = "6097-6100",
  966. year = "1990"}
  967.  
  968. @article{Schneider.ccmm,
  969. author = "T. D. Schneider",
  970. title = "Theory of Molecular Machines.
  971. {I. Channel} Capacity of Molecular Machines",
  972. journal = "J. Theor. Biol.",
  973. volume = "148",
  974. number = "1",
  975. pages = "83-123",
  976. note = "{(Note: The figures were printed out of order!
  977. Fig. 1 is on p. 97.)}",
  978. year = 1991}
  979.  
  980. @article{Schneider.edmm,
  981. author = "T. D. Schneider",
  982. title = "Theory of Molecular Machines.
  983. {II. Energy} Dissipation from Molecular Machines",
  984. journal = "J. Theor. Biol.",
  985. volume = "148",
  986. number = "1",
  987. pages = "125-137",
  988. year = 1991}
  989.  
  990. @article{Herman.Schneider1992,
  991. author = "N. D. Herman
  992. and T. D. Schneider",
  993. title = "High Information Conservation Implies that at Least Three Proteins
  994. Bind Independently to {F} Plasmid {{\em incD\/}} Repeats",
  995. journal = "J. Bact.",
  996. volume = "174",
  997. pages = "3558-3560",
  998. year = "1992"}
  999.  
  1000. @article{Stephens.Schneider.Splice,
  1001. author = "R. M. Stephens
  1002. and T. D. Schneider",
  1003. title = "Features of spliceosome evolution and function
  1004. inferred from an analysis of the information at human splice sites",
  1005. journal = "J. Mol. Biol.",
  1006. volume = "228",
  1007. pages = "1124-1136",
  1008. year = "1992"}
  1009.  
  1010. @article{Papp.helixrepa,
  1011. author = "P. P. Papp
  1012. and D. K. Chattoraj
  1013. and T. D. Schneider",
  1014. title = "Information Analysis of Sequences that Bind the Replication
  1015. Initiator {RepA}",
  1016. journal = "J. Mol. Biol.",
  1017. comment = "Cover of 233, number 2!",
  1018. volume = "233",
  1019. pages = "219-230",
  1020. year = "1993"}
  1021.  
  1022. @article{Schneider.nano2,
  1023. author = "T. D. Schneider",
  1024. title = "Sequence Logos, Machine/Channel Capacity,
  1025. {Maxwell}'s Demon, and Molecular Computers: a Review of the Theory of
  1026. Molecular Machines",
  1027. journal = "Nanotechnology",
  1028. volume = "5",
  1029. number = "1",
  1030. pages = "1-18",
  1031. year = "1994"}
  1032. ftp://ftp.ncifcrf.gov/pub/delila/nano2.ps
  1033.  
  1034.   ------------------------------------------------------------------------
  1035.  
  1036.                             REFERENCES - Yockey
  1037.  
  1038. @book{Yockey1958a,
  1039. editor = "Hubert P. Yockey and Robert P. Platzman and Henry Quastler",
  1040. title = "Symposium on Information Theory in Biology",
  1041. booktitle = "Symposium on Information Theory in Biology",
  1042. publisher = "Pergamon Press",
  1043. address = "New York, London",
  1044. comment = "out of print",
  1045. year = "1958"}
  1046.  
  1047. @article{Yockey1981,
  1048. author = "Hubert P. Yockey",
  1049. year = 1981,
  1050. title = "Self-organization Origin of Life Scenarios and Information Theory",
  1051. journal = "J. Theor. Biol.",
  1052. volume = "91",
  1053. pages = "13-31"}
  1054.  
  1055. @book{Yockey1992,
  1056. author = "H. P. Yockey",
  1057. title = "Information Theory in Molecular Biology",
  1058. publisher = "Cambridge University Press",
  1059. address = "Cambridge",
  1060. isbn = "0-521-35005-0",
  1061. comment = "40 West 20th Street,
  1062. New York, N. Y. 10011-4211,
  1063. order number 350050",
  1064. phone = "1-800-827-7423",
  1065. price = "price as of 1994 October 31: \$74.95",
  1066. year = "1992"}
  1067.  
  1068. Following is Hubert Yockey's reference list:
  1069.  
  1070.    * Yockey, Hubert P. Information Theory and Molecular Biology, Cambridge
  1071.      UK: Cambridge University Press (1992)
  1072.  
  1073.    * When is random random? Nature 344 (1990) p823, Hubert P. Yockey
  1074.  
  1075.    * Yockey, Hubert P. (1981). Self-organization origin of life scenarios
  1076.      and information theory. Journal of Theoretical Biology, 91, 13-31.
  1077.  
  1078.    * Yockey, Hubert P. (1979). Do overlapping genes violate molecular
  1079.      biology and the theory of evolution? Journal of Theoretical Biology,
  1080.      80, 21-26.
  1081.  
  1082.    * Yockey, Hubert P. (1978). Can the Central Dogma be derived from
  1083.      information theory? Journal of Theoretical Biology, 74, 149-152.
  1084.  
  1085.    * Yockey, Hubert P. (1977a). A prescription which predicts functionally
  1086.      equivalent residues at given sites in protein sequences. 67, 337-343.
  1087.  
  1088.    * Yockey, Hubert P. (1977b). On the information content of cytochrome c.
  1089.      Journal of Theoretical Biology, 67, 345-376.
  1090.  
  1091.    * Yockey, Hubert P. (1977c). A calculation of the probability of
  1092.      spontaneous biogenesis by information theory. Journal of Theoretical
  1093.      Biology, 67, 377-398.
  1094.  
  1095.    * Yockey, Hubert P (1974). An application of information theory to the
  1096.      Central Dogma and the sequence hypothesis. Journal of Theoretical
  1097.      Biology,.46, 369-406.
  1098.  
  1099.    * Yockey, Hubert P. (1960) The Use of Information Theory in Aging and
  1100.      Radiation Damage In The Biology of Aging American Institute of
  1101.      Biological Sciences Symposium No. 6 (160) pp338-347.
  1102.  
  1103.    * Yockey, Hubert P., Platzman, Robert P. & Quastler, Henry, eds. (1958a).
  1104.      Symposium on Information Theory in Biology, New York, London: Pergamon
  1105.      Press.
  1106.  
  1107.    * Yockey, Hubert P. (1958b). A study of aging, thermal killing and
  1108.      radiation damage by information theory. In Symposium on Information
  1109.      Theory in Biology. eds. Hubert P. Yockey, Robert Platzman & Henry
  1110.      Quastler, pp297-316. New York,London: Pergamon Press.
  1111.  
  1112.    * Yockey, Hubert P. (1956). An application of information theory to the
  1113.      physics of tissue damage. Radiation.Research, 5, 146-155.
  1114.  
  1115.    * Information in bits and bytes; Reply to Lifson's Review of "Information
  1116.      Theory and Molecular" Biology BioEssays v17 p85-88 (1995)
  1117.  
  1118.    * Comments on "Let there be life; Thermodynamic Reflections on Biogenesis
  1119.      and Evolution by Avshalom C. Elitzur Journal of Theoretical Biology in
  1120.      press (1995).
  1121.  
  1122.   ------------------------------------------------------------------------
  1123.  
  1124.       REFERENCES - Adleman and papers related to molecular computation
  1125.  
  1126. Tom Schneider has a list of molecular computation resources.
  1127.  
  1128. A longer and more complete list of references is maintained by J.H.M.Dassen
  1129. (jdassen@wi.leidenuniv.nl) in A biblography on Molecular Computation and
  1130. Splicing Systems (http://www.wi.LeidenUniv.nl/~jdassen/dna.bib). There are
  1131. also hyperlinks to most of the (90+) papers
  1132. (http://www.wi.LeidenUniv.nl/~jdassen/dna.html).
  1133.  
  1134. @article{Adleman1994,
  1135. author = "Leonard M. Adleman",
  1136. title = "Molecular computation of solutions to combinatorial problems",
  1137. journal = "Science",
  1138. volume = "266",
  1139. pages = "1021-1024",
  1140. date = "November 11",
  1141. year = 1994}
  1142.  
  1143. @article{Baum1995,
  1144. author = "Eric B. Baum",
  1145. title = "Building an associative memory vastly larger that the brain",
  1146. journal = "Science",
  1147. volume = "268",
  1148. pages = "583-585",
  1149. date = "April 28",
  1150. year = 1995}
  1151.  
  1152. @article{Lipton1995,
  1153. author = "Richard J. Lipton",
  1154. title = "DNA solution of hard computational problems",
  1155. journal = "Science",
  1156. volume = "268",
  1157. pages = "542-545",
  1158. date = "April 28",
  1159. year = 1995}
  1160.  
  1161. @manuscript{Adleman1995,
  1162. author = "Leonard M. Adleman",
  1163. title = "On constructing a molecular computer",
  1164. note = "Available by anonymous ftp:
  1165. /pub/csinfo/papers/adleman/molecular_computer.ps on usc.edu",
  1166. year = 1995}
  1167.  
  1168. Other available manuscripts:
  1169.  
  1170. 1. Dick Lipton of Princeton
  1171. Speeding up computations via molecular biology. Draft. Dec. 9, 1994.
  1172. ftp://ftp.cs.princeton.edu/pub/people/rjl/bio.ps
  1173.  
  1174. 2. Dan Boneh of Princeton has several manuscripts available at:
  1175. Breaking DES Using a Molecular Computer.
  1176. Authors: D. Boneh, C. Dunworth, R. Lipton
  1177. This paper contains the talk from the workshop.
  1178. http://www.cs.princeton.edu/~dabo/biocomp.html
  1179.  
  1180. On the Computational Power of DNA.
  1181. Authors: D. Boneh, C. Dunworth, R. Lipton, J. Sgall
  1182. This is a new paper which contains several results:
  1183. a. Shows how to solve the circuit satisfaction problem.
  1184. b. Shows how to solve optimization problems such as MAX-Clique without going
  1185. through decision problems.
  1186. c. Shows how to evaluate predicates in the polynomial hirarchy.
  1187.  
  1188. Making DNA Computers Error Resistant.
  1189. Authors: D. Boneh, R. Lipton
  1190. This paper shows how to transform volume reducing DNA algorithms into
  1191. algorithm that are resistant to errors.
  1192.  
  1193.   ------------------------------------------------------------------------
  1194.  
  1195.  REFERENCES - Gad Yagil and papers related to Algorithmic Information Theory
  1196.                       (AIT) or Algorithmic Complexity
  1197.  
  1198. An alternative way to analyze biosystems is by the Algorithmic Information
  1199. Theory (AIT) or Algorithmic Complexity (AC) approach, first formulated by
  1200. Kolmogoroff, Solomonoff and Chaitin in the 1960's. According to this
  1201. approach, the information in a string of symbols is equal to the length of
  1202. the shortest program caparisons of reproducing the string. This concept has
  1203. been reformulated to tackle real molecular and biosystems ("Structural
  1204. Complexity") and applied to a range of biosystems by G. Yagil. The more
  1205. recent publications, which include references to the work of Kolmogoroff and
  1206. of Chaitin, can be found at:
  1207.  
  1208. http://www.weizmann.ac.il/~lcyagil
  1209. also at http://interjournal.org, Manuscript Number 135. (Do a search for the
  1210. manuscript number.)
  1211.  
  1212. The book of Cover and Thomas covers AC extensively. In particular, it shows
  1213. that under certain conditions, AC can become equal to the Shannon
  1214. information (or uncertainty) measure. In a series of papers, C.H. Bennett
  1215. has proposed a concept of "logical depth", related to the time required by a
  1216. universal machine to compute a sequence, as another measure of the
  1217. information content of a string or sequence:
  1218.  
  1219. see: C.H. Bennett, "Logical Depth and Physical Complexity". In: "The
  1220. Universal Turing Machine -A half century", Rolf Herken, Editor, Oxford
  1221. University press, 1988.
  1222.  
  1223. Gad Yagil, Ph. D.
  1224. Dept. of Molecular Cell Biology
  1225. The Weizmann Institute of Science
  1226. Rehovot, Israel, 76100
  1227. Tel. 089-460-918 (home)
  1228. Fax 089-344-125
  1229. e-mail lcyagil@wiccmail.weizmann.ac.il.
  1230.  
  1231.   ------------------------------------------------------------------------
  1232.  
  1233.           REFERENCES - Chris Hillman and papers related to entropy
  1234.  
  1235.    * Chris Hillman's Home Page:
  1236.      http://www.math.washington.edu/~hillman/personal.html
  1237.    * Entropy on the World Wide Web:
  1238.      http://www.math.washington.edu/~hillman/entropy.html
  1239.  
  1240.   ------------------------------------------------------------------------
  1241.  
  1242.                         Will Authors Send Me Papers?
  1243.  
  1244. Tom Schneider will mail you copies of some of his papers. You can request
  1245. them through the World Wide Web from
  1246. http://www-lecb.ncifcrf.gov/~toms/papers.html or by sending your physical
  1247. address to him at toms@ncifcrf.gov.
  1248.  
  1249. If you are willing to send out papers or have papers you would like listed
  1250. here, please contact Tom Schneider.
  1251.  
  1252.   ------------------------------------------------------------------------
  1253.  
  1254.                          Where Can I Get BIG Coins?
  1255.  
  1256. BIG coins are nice for explaining that a bit represents the choice between
  1257. two equally likely possibilities.
  1258.  
  1259. News Emporium, Inc. (703) 661-3550 sells large coins at Dulles International
  1260. Airport.
  1261.  
  1262. Parks and History has big coins for sale. They will have a web site Bookshop
  1263. soon. In the meantime, you could call (202) 755-0461 or (800) 990-7275. They
  1264. accept VISA, MasterCard or American Express. Contact: Linda Depew their Mail
  1265. Order & Wholesale Manager.
  1266.  
  1267. If you find other sources, please tell Tom Schneider.
  1268.  
  1269.   ------------------------------------------------------------------------
  1270.  
  1271.                           What are Sequence Logos?
  1272.  
  1273.                                          A sequence logo is a graphical
  1274.                                          method for showing patterns created
  1275. by using information theory.
  1276.  
  1277.   ------------------------------------------------------------------------
  1278.  
  1279.                   How Do I find Sequence Logos on the Web?
  1280.  
  1281. http://www-lecb.ncifcrf.gov/~toms/sequencelogo.html
  1282.  
  1283.   ------------------------------------------------------------------------
  1284.  
  1285.              Is There a Shell Script for Making Sequence Logos?
  1286.  
  1287. Yes, you will find the one Shmuel Pietrokovski wrote in the ftp archive
  1288. ftp.ncifcrf.gov in pub/delila/logoaid. (Also available in
  1289. bioinformatics.weizmann.ac.il/pub/software/logoaid.)
  1290.  
  1291.   ------------------------------------------------------------------------
  1292.  
  1293.          Is There a World Wide Web Page for Making Sequence Logos?
  1294.  
  1295. Yes, Steve Brenner has done it!
  1296.  
  1297. http://www.bio.cam.ac.uk/seqlogo/
  1298.  
  1299.   ------------------------------------------------------------------------
  1300.  
  1301.            Are There Other Organizations for Information Theory?
  1302.  
  1303. IEEE Information Theory Society
  1304.  
  1305.   ------------------------------------------------------------------------
  1306.  
  1307.                               Acknowledgments
  1308.  
  1309. This FAQ is written and maintained by Tom Schneider. It was HTMLized by
  1310. Susan Hogarth (sjhogart@unity.ncsu.edu) in February, 1997 but is NOT
  1311. maintained by her. Please look at Who Takes Care of This Group if you have
  1312. questions about this FAQ.
  1313.  
  1314.   ------------------------------------------------------------------------
  1315.