home *** CD-ROM | disk | FTP | other *** search
/ OS/2 Shareware BBS: Java / Java.zip / jload18.zip / loader.java < prev    next >
Text File  |  2000-04-24  |  21KB  |  831 lines
  1. import java.util.*;
  2. import java.io.*;
  3. import java.net.*;
  4.  
  5. public final class loader implements Runnable
  6. {
  7.  private final static float MAX_QPRIO=9999.99f;
  8.  public static final int IO_BUFFER=4096;
  9.  
  10.  public static final String VERSION="0.18";
  11.  public static final String NAME="Smart Cache Loader";
  12.  public static final String COPYRIGHT="Copyright (c) Radim Kolar 1998-2000. Open source software; There is NO warranty.\n"+
  13.  "See the GNU General Public Licence version 2 or later for copying conditions.";
  14.  
  15.  public static final int  THREADS=4; // like in Netscape
  16.  
  17.  public static final char EXPANDCHAR='@';   // include this file as argz
  18.  public static final char STARTURLCHAR='^'; // start URL for known location
  19.  public static final char CONFIGCHAR='#'; // also comment in include file
  20.  public static final char OPTIONCHAR='-'; // command line option
  21.  public static final char VISITEDCHAR=':'; // already visited
  22.  public static final char DEFAULTURLCHAR='%'; // configure this url as default
  23.  
  24.  public static final String DEFAULTCFG="loader.cnf";
  25.  
  26.  public static byte maxretry=3;
  27.  public static float retryprio=-1f;
  28.  
  29.  public static location loc[];
  30.  public static location def;
  31.  
  32.  public static InetAddress proxyserver;
  33.  public static int proxyport;
  34.  
  35.  public static boolean readonly;
  36.  public static localstore store;
  37.  
  38.  public static priorityqueue pq;
  39.  private static Hashtable visited;
  40.  
  41.  // thread control
  42.  public static short maxThreads;
  43.  public static volatile int now;
  44.  
  45.  
  46.  // worker non-static data
  47.  public request r; 
  48.  Socket s;
  49.   
  50.  public static void main(String argv[]) throws IOException
  51.  {
  52.   configloader cfg;
  53.   System.err.println(NAME+" "+VERSION+"\n"+COPYRIGHT+"\n");
  54.   
  55.   if(argv.length>0)
  56.    if(argv[0].charAt(0)!=CONFIGCHAR) configloader(DEFAULTCFG);  
  57.    else ;
  58.   else
  59.    configloader(DEFAULTCFG);  
  60.    
  61.   init(argv);
  62.   try
  63.   {
  64.     pq.peek();
  65.     start();
  66.     store.close();
  67.     System.err.println(NAME+" "+VERSION+" - end of job.");
  68.   }
  69.   catch (NoSuchElementException nse)
  70.   {
  71.     System.err.println("\n[LOADER] No active servers - nothing done.");
  72.   }
  73.  }
  74.  
  75.  public loader(request r)
  76.  {
  77.   this.r=r;
  78.  }
  79.  
  80.  public static final void init(String argv[])
  81.  {
  82.   // program init
  83.   pq=new priorityqueue(5,10);
  84.   visited=new Hashtable();
  85.   maxThreads=THREADS;
  86.   now=0;
  87.  
  88.   // expand arguments
  89.   Vector argz;
  90.   argz=new Vector(argv.length,5);
  91.  
  92.   exparg:
  93.     for(int i=0;i<argv.length;i++)
  94.     {
  95.       String s;
  96.       s=argv[i];
  97.       if(s.length()==0) continue;
  98.       if(s.charAt(0)==EXPANDCHAR)
  99.         insertFile(s.substring(1),argz,false);
  100.         else
  101.          if(s.charAt(0)==VISITEDCHAR) {
  102.            if(s.length()<2) continue; 
  103.          else if(s.charAt(1)==EXPANDCHAR)
  104.                     insertFile(s.substring(2),argz,true);
  105.          }  else // normal argument
  106.              argz.addElement(s);
  107.     }
  108.     argv=null;
  109.   
  110.   argscan:for(int i=0;i<argz.size();i++)
  111.   {
  112.    String s;
  113.    s=(String)argz.elementAt(i);
  114.    if(s==null || s.length()==0) continue; // NULL size option ??
  115.    /* special chars stuff */
  116.    if(s.charAt(0)==OPTIONCHAR) 
  117.     {
  118.      System.err.println("[PARAMETER_ERROR] Options are not YET supported.");
  119.      continue; // TODO options are not YET supported
  120.     }
  121.    if(s.charAt(0)==CONFIGCHAR) {
  122.                            if(i!=0) System.err.println("[PARAMETER_ERROR] Config file must be the first parameter. All previous parameters are overwritten by it.");
  123.                            configloader(s.substring(1));
  124.                            continue;
  125.                          }
  126.    if(s.charAt(0)==VISITEDCHAR)
  127.     {
  128.      String z;
  129.      z=s.substring(1);
  130.      try
  131.       {
  132.        new URL(z);
  133.        visited.put(z,z);
  134.       }
  135.      catch (MalformedURLException ignore)
  136.      {}
  137.      finally
  138.       {continue;}
  139.     }
  140.    /* URL on commandline ? */
  141.    if(s.indexOf("://")>0) 
  142.     {
  143.      if(s.charAt(0)==STARTURLCHAR)
  144.      {
  145.  
  146.  
  147.      }
  148.      // inject new site
  149.      location site;
  150.      if(s.endsWith("/")) { site=createNewLocation(s);
  151.                          }
  152.        else
  153.      {
  154.       try
  155.       {
  156.        /* strip filename from location */
  157.        URL u=new URL(s);
  158.        site=createNewLocation(u.getProtocol()+"://"+u.getHost()+util.getDirname(u.getFile()));
  159.       }
  160.       catch (MalformedURLException grrr)
  161.        { continue;}
  162.      
  163.      }
  164.       
  165.      site.passive=false;
  166.      site.masks=site.content=site.action=location.INCLUDING_DEFAULTS;
  167.      
  168.      // add pending DNS aliases
  169.      site.transferAliases(def);
  170.      
  171.      // startURL fun
  172.      site.addStartURL(s);
  173.      site.transferStartURL(def);
  174.      
  175.      loc=util.addLocationToArray(site,loc);
  176.      continue; // new site injected
  177.      
  178.      }
  179.      /* option on commandline ? */
  180.      if(s.indexOf("=",0)>-1)
  181.       {
  182.        StringTokenizer st=new StringTokenizer(s);
  183.        String opt=st.nextToken("=");
  184.        opt=opt.toLowerCase().trim();
  185.        if(opt.equals("scandepth")|| opt.equals("depth"))
  186.         {
  187.           short c=(short)Integer.valueOf(st.nextToken()).intValue();
  188.           def.setDepth(c);
  189.           continue;
  190.         }
  191.        else if(opt.equals("threads"))
  192.         {
  193.           maxThreads=(short)Integer.valueOf(st.nextToken()).intValue();
  194.       if(maxThreads<=0) maxThreads=THREADS;
  195.           continue;
  196.         }
  197.        else if(opt.equals("retry"))
  198.         {
  199.           maxretry=(byte)Integer.valueOf(st.nextToken()).intValue();
  200.           continue;
  201.         }
  202.        else if(opt.equals("retrypriority"))
  203.         {
  204.           retryprio=Float.valueOf(st.nextToken()).floatValue();
  205.           continue;
  206.         }
  207.        else if(opt.equals("options"))
  208.          {
  209.            options o=new options(s);
  210.            def.serveroptions(o);
  211.            continue;
  212.          }
  213.         
  214.        else if(opt.equals("priority"))
  215.          {
  216.            float c=Float.valueOf(st.nextToken()).floatValue();
  217.            def.setPriority(c);
  218.            continue;
  219.          }
  220.        else if(opt.equals("locationalias") || opt.equals("alias"))
  221.         {
  222.          do
  223.          {
  224.            String z;
  225.            z=st.nextToken(" ,&\t\r\n");
  226.            def.addAlias(z);
  227.          }
  228.          while(st.hasMoreTokens());
  229.          continue;
  230.         }
  231.  
  232.        else if(opt.equals("starturl"))
  233.         {
  234.          def.addStartURL(st.nextToken());
  235.          continue; 
  236.         }
  237.        else if(opt.equals("log"))
  238.         {
  239.          options o=new options(s);
  240.          def.addActions(o,true);
  241.          continue; 
  242.         }
  243.        else if(opt.equals("upd"))
  244.         {
  245.          options o=new options(s);
  246.          def.addActions(o,true);
  247.          continue; 
  248.         }
  249.        else
  250.         System.err.println("[PARAMETER_ERROR] Unknown option "+opt);
  251.        continue;
  252.       }
  253.    // scan for alias
  254.    boolean neg;
  255.    if(s.charAt(0)=='!') { neg=true; s=s.substring(1);} else neg=false;
  256.    for(int j=loc.length-1;j>=0;j--)
  257.     {
  258.      if(s.equalsIgnoreCase(loc[j].name)) { loc[j].passive=neg;continue argscan;}
  259.     }
  260.    System.err.println("[PARAMETER_ERROR] Location named '"+s+"' was not found.");   
  261.   } /* argscan loop */
  262.   readonly=store.isReadOnly();
  263.   
  264.   // add ACTIVE sites to QUEUE
  265.   for(int j=loc.length-1;j>=0;j--)
  266.     if(loc[j].passive==false)
  267.       if(loc[j].starturl==null)
  268.         addToQueue(new request(loc[j].locbase,loc[j]),MAX_QPRIO);
  269.        else
  270.         for(int z=loc[j].starturl.length-1;z>=0;z--)
  271.          addToQueue(new request(loc[j].starturl[z],loc[j]),MAX_QPRIO);
  272.      
  273. }
  274.  
  275. private final static void insertFile(String filename,Vector v,boolean vis)
  276. {
  277.  try
  278.    {
  279.       // insert argz from file;
  280.       BufferedReader br=new BufferedReader(new FileReader(filename));
  281.       while(true)
  282.       {
  283.         String l;
  284.         boolean vv;
  285.         vv=vis;
  286.         l=br.readLine();
  287.         if(l==null) break;
  288.         if(l.length()==0) continue;
  289.         l=l.trim();
  290.         if(l.charAt(0)=='#') continue; // komentar
  291.         if(l.charAt(0)==VISITEDCHAR) 
  292.            if(l.length()>1) { vv=true;l=l.substring(1).trim();}
  293.               else
  294.             continue; // missing URL
  295.         if(l.charAt(0)==EXPANDCHAR)
  296.          {
  297.            String fn=l.substring(1);
  298.            if(!visited.contains(fn))
  299.              {
  300.           visited.put(fn,fn);
  301.           insertFile(fn,v,vv);
  302.          }
  303.            continue;
  304.          }
  305.           
  306.             if(vv==true)  v.addElement(":"+l);
  307.                  else v.addElement(l);
  308.       }
  309.       br.close();
  310.    }      
  311.    catch (IOException z)
  312.     {}
  313. }      
  314. /*     m a i n    l o o p      */ 
  315.  
  316.  public final void run()
  317.  {
  318.   try
  319.   {
  320.     DataInputStream dis;
  321.     DataOutputStream dos=null;
  322.     URL target=new URL(r.url);
  323.     String line;
  324.     localurl local;
  325.     if(r.log==mask.LOG_SERVERDEFAULT)
  326.       r.log=(r.loc.defaultmask.log==mask.LOG_SERVERDEFAULT?
  327.          mask.LOG_DEFAULT:r.loc.defaultmask.log);
  328.  
  329.     log("Processing",mask.LOG_QUEUE);
  330.     
  331.     local=store.getURL(r.url);
  332.  
  333. // test zda nahravat ze serveru nebo z local filesystemu    
  334. if( 
  335.  /* test na norefresh/noreparse */
  336.  ((r.update==mask.UPD_NOREFRESH || r.update==mask.UPD_NOREPARSE) && local.exists())  ||
  337. /* test na update/forceupdate */ 
  338.  ((r.update==mask.UPD_UPDATE || r.update==mask.UPD_FORCEUPDATE) &&
  339.    (local.exists() && local.getDate()+r.updatelimit<System.currentTimeMillis())
  340.     )
  341. )
  342. {
  343.  try
  344.  {
  345.   /* Loading from local filesystem */
  346.   log("Stored",mask.LOG_STORED);
  347.   if(local.getLocation()!=null)
  348.   {
  349.        request nr=(request)r.clone();
  350.        nr.url=new URL(target,local.getLocation()).toString();
  351.        addToQueue(nr,r.loc.priority);
  352.   }
  353.   if(r.update==mask.UPD_NOREPARSE || !local.isParseable()) 
  354.            { done();return;} // no need to load it
  355.  
  356.   dis=
  357.      new DataInputStream ( 
  358.     new BufferedInputStream(local.getInputStream(),IO_BUFFER)
  359.     );
  360.  }
  361.  catch (IOException iof)
  362.   {
  363.    System.err.println("Reading from localfile failed, turning update off.");
  364.    r.update=mask.UPD_LOAD;
  365.    throw iof;
  366.   }
  367. }
  368. else
  369. { 
  370.     log("Loading",mask.LOG_LOAD);
  371.     // connect to TCP/IP data source 
  372.     if(proxyserver==null||r.act==mask.ACT_NOPROXY)
  373.       {
  374.         // Direct connection to remote server
  375.         String proto=target.getProtocol();
  376.       
  377.        if(!proto.equalsIgnoreCase("http")) 
  378.         {
  379.           log("Unsupported protocol",mask.LOG_FATALERR);
  380.       done();
  381.       return;
  382.         };
  383.        int p=target.getPort();
  384.        sendHTTPrequest(InetAddress.getByName(target.getHost()),p==-1? 80: p,target.getFile());
  385.       }
  386.      else
  387.        // Send request to proxy
  388.        sendHTTPrequest(proxyserver,proxyport,r.url);
  389.     
  390.     if(r.act==mask.ACT_FASTCLOSE) {s.close();done();return;} 
  391.     
  392.     // otevrit data input stream z http serveru
  393.     dis=new DataInputStream(new BufferedInputStream(s.getInputStream(),IO_BUFFER));
  394.     /* HTTP-HEADER PARSING START */
  395.     int ctsize=-1;
  396.     int httprc;
  397.     // String ctype="application/octet-stream";
  398.     line=dis.readLine(); /* HTTP/1.0 XX OK */
  399.     /* precteme si tedy httprc kod */
  400.     StringTokenizer st;
  401.     st=new StringTokenizer(line);
  402.     
  403.     /* WARN: tady to spadne pri remote HTTP 0.9 serveru */
  404.     try
  405.     {
  406.       st.nextToken(); /* http/1.0 - nezajimave */
  407.       httprc=Integer.valueOf(st.nextToken()).intValue();
  408.     } 
  409.      catch (Exception http09)
  410.     {
  411.       log("HTTP 0.9 response",mask.LOG_FATALERR);
  412.       s.close();done();return;
  413.     }
  414.  
  415.  /* cteme hlavicky */
  416.   while(true)
  417.     { 
  418.       int j;
  419.       String s1,s2;
  420.       line=dis.readLine();
  421.       if(line==null) break;
  422.       if(line.length()==0) break;
  423.       
  424.     j=line.indexOf(':',0);
  425.     if(j==-1) continue;
  426.     s1=line.substring(0,j).toLowerCase();
  427.     s2=line.substring(j+1).trim();
  428.     if(s1.equals("content-length")) 
  429.              try
  430.               {
  431.                  ctsize=Integer.valueOf(s2).intValue(); 
  432.               }
  433.               catch (Exception ignore)
  434.               {}
  435.               finally
  436.               { continue;}    
  437.               
  438.     if(s1.equals("content-type") && !s2.toLowerCase().startsWith("text/html"))
  439.      {
  440.       if(r.act==mask.ACT_CLOSE) {s.close();done();return;}
  441.        else
  442.       r.act=mask.ACT_NOPARSE;
  443.      }
  444.     if(s1.equals("location")) 
  445.      { 
  446.        /* Location: handler */
  447.        request nr=(request)r.clone();
  448.        nr.url=new URL(target,s2).toString();
  449.        addToQueue(nr,r.loc.priority);
  450.        continue;
  451.       }        
  452.                                 
  453.  } /* hlavicky */
  454.  if(httprc!=200) {s.close();
  455.                   done();
  456.                   log("Error "+httprc,mask.LOG_ERR);
  457.                   return;
  458.                  }
  459.  
  460.  /* ***** SAVE as ******** */
  461.  if( r.act!=mask.ACT_NOSAVE && readonly==false)
  462.  {
  463.    try
  464.    {
  465.      dos=new DataOutputStream(new BufferedOutputStream(local.getOutputStream(),IO_BUFFER));
  466.      log("Saving",mask.LOG_SAVE);
  467.     }
  468.    catch (IOException iof)
  469.    {
  470.       log("Save error",mask.LOG_ERR);
  471.       dos=null;
  472.    }
  473.  } /* open file 4 save stuff */
  474. } /* end if load from hadr */
  475.  
  476.  // muzeme tedy zacit zpracovavat data
  477.  if(r.act==mask.ACT_NOPARSE || r.depth==-1)
  478.   {
  479.    // jen ulozit a ahoj :)
  480.    saver(dis,dos);
  481.    done();
  482.    return;
  483.   }
  484.   
  485.   /* **** P A R S E     E N G I N E **** */
  486.   /* (hacked from watchit)               */
  487.   
  488.   htmlscanner hscan;
  489.   hscan=new htmlscanner(dis,dos);
  490.   log("Parsing",mask.LOG_PARSE);
  491.   
  492.   Vector urls=new Vector();
  493.   Vector srcs=new Vector();
  494.   boolean anyframe=false;
  495.   while(true)
  496.     { 
  497.       Hashtable x;
  498.       String s;
  499.       try{
  500.         x=hscan.getElement();
  501.       if(x==null) break; // EOF?
  502.       line=(String)x.get("");
  503.       if(line==null) continue; // null tag?
  504.       
  505.       // System.out.println("tag="+line);
  506.       
  507.       if(line.equals("FRAME")) anyframe=true;
  508.       
  509.       /* META - REFRESH HANDLER */
  510.       if(line.equals("META"))
  511.        {
  512.         s=(String)x.get("HTTP-EQUIV");
  513.         if(s==null) continue;
  514.         s=s.trim();
  515.         if(!s.equalsIgnoreCase("Refresh")) continue;
  516.         s=(String)x.get("CONTENT");
  517.         if(s==null) continue;
  518.         s=s.trim();
  519.         int j;
  520.         j=s.indexOf(';');
  521.         if(j==-1) continue;
  522.         try
  523.         {
  524.          j=Integer.valueOf(s.substring(0,j)).intValue();
  525.         }
  526.         catch (NumberFormatException z)
  527.          {
  528.           continue;
  529.          }
  530.         /* vice nez XX sekund - ignorujeme to */ 
  531.         if(j>45) continue;
  532.         j=s.indexOf('=');
  533.         if(j==-1) continue;
  534.         
  535.         s=s.substring(j+1).trim();
  536.         URL url2;
  537.         try{
  538.             url2=new URL(target,s);
  539.            }
  540.         catch (MalformedURLException e)
  541.          { continue;}
  542.  
  543.         urls.addElement(url2);
  544.         srcs.addElement("REFRESH");
  545.         anyframe=true;
  546.                 
  547.         // System.out.println("Redirecting (via REFRESH) : "+this.URL+" to "+s);
  548.         
  549.         continue;
  550.        
  551.        } /* META html redirect */
  552.        else if(line.equals("BODY"))
  553.        {
  554.          s=(String)x.get("BACKGROUND");
  555.          if(s==null) continue;
  556.      line="IMG"; /* CHECK: cheat it as IMG ?! */ 
  557.          // System.out.println("BODY...BG="+s);
  558.        } else
  559.        {
  560.         /* SRC a HREF generic handler */      
  561.         s=(String)x.get("SRC");
  562.         if(s==null) {
  563.                       s=(String)x.get("HREF");
  564.                       if(s==null) continue;
  565.                     }
  566.        }
  567.         URL url2;
  568.         url2=null;
  569.         try{
  570.             url2=new URL(target,s);
  571.            }
  572.         catch (MalformedURLException e)
  573.          { continue;}
  574.         
  575.         urls.addElement(url2);
  576.         srcs.addElement(line);
  577.         // System.out.println("added URL:"+url2);
  578.        
  579.       }
  580.       catch (EOFException e) {break;}
  581.     }
  582.     hscan.close();
  583.     /* HTML parse hotovo */
  584.     
  585.    if(anyframe==true) r.depth++;
  586.      
  587.    /* prebrat nazbirana URL */
  588.    /*    odstranit mailto:* 
  589.          odstranit  #neco
  590.          resolvnout MOJE (location) DNS aliasy
  591.          
  592.          predelat Vector na Stringy .... 
  593.    */
  594.    
  595.    vectscan:for(int i=urls.size()-1;i>=0;i--)
  596.     {
  597.      line=urls.elementAt(i).toString();
  598.      if(line.startsWith("mailto")) 
  599.        { urls.removeElementAt(i);srcs.removeElementAt(i);continue;}
  600.      if(r.loc.aliases!=null)
  601.       {
  602.        //unaliasing
  603.        findalias:for(int x=r.loc.aliases.length-1;x>=0;x--)
  604.         if(line.startsWith(r.loc.aliases[x]))
  605.          { 
  606.        
  607.            // System.out.println("URL: "+line);
  608.        line=r.loc.locbase+line.substring(r.loc.aliases[x].length());
  609.            // System.out.println("\tdealiased as "+line);
  610.           // urls.setElementAt(line,i);
  611.            break findalias;
  612.          }
  613.       
  614.       } /* dealiasing */
  615.       byte v[];
  616.       int ln=line.length();
  617.       v=new byte[ln];
  618.       line.getBytes(0,ln,v,0);
  619.       
  620.      scanhash:for(int z=0;z<ln;z++)
  621.       switch(v[z])
  622.       {
  623.        case 0x23:
  624.        case 0x0d:
  625.        case 0x0a:
  626.        case 0x20:
  627.         line=line.substring(0,z);break scanhash;
  628.       }
  629.      
  630.      urls.setElementAt(line,i);
  631.     }
  632.     
  633.     // zpracovat URLs
  634.     for(int i=urls.size()-1;i>=0;i--)
  635.     {
  636.      String mybase=target.getProtocol()+"://"+target.getHost();
  637.      String mydir=util.getDirname(target.getFile());
  638.      line=(String)urls.elementAt(i);
  639.      if(visited.get(line)!=null) continue; // already visited
  640.      visited.put(line,line);
  641.      r.loc.processURL(mybase,mydir,r.depth,r.depthset,line,(String)srcs.elementAt(i));
  642.     }
  643.     
  644.     // dump print URLs
  645. /*
  646.     for(int i=urls.size()-1;i>=0;i--)
  647.      {
  648.       System.out.println(srcs.elementAt(i)+" = "+urls.elementAt(i));
  649.      }
  650. */
  651.   }
  652.   catch (Exception ignore)
  653.   {
  654.    System.err.print("Loader got "+ignore+" when loading "+r.url);
  655.    if(!(ignore instanceof java.io.IOException)) ignore.printStackTrace();
  656.    if(r.retry++<maxretry) 
  657.     {
  658.       System.err.println(", re-inserting to queue for retry");
  659.       pq.push(r,retryprio);
  660.     }
  661.    else
  662.     System.err.println("");
  663.   }
  664.   
  665.   // release lock  
  666.   synchronized(pq)
  667.   {
  668.    now--;
  669.    pq.notify();
  670.   }
  671.  }
  672.  
  673. private final void sendHTTPrequest(InetAddress adr,int port,String request) throws IOException
  674. {
  675.    s=new Socket(adr,port);
  676.    DataOutputStream dos;  
  677.    // otevrit data output stream
  678.    dos=new DataOutputStream(new BufferedOutputStream(s.getOutputStream(),1024));
  679.  
  680.    // send request
  681.    StringBuffer sb;
  682.    sb=new StringBuffer(1024);
  683.    sb.append("GET ");
  684.    sb.append(request);
  685.    sb.append(" HTTP/1.0\r\nAccept: */*\r\nUser-Agent: Mozilla/3.01 (Java Virtual Machine; "+NAME+" "+VERSION+")\r\n");
  686.    if(r.update==mask.UPD_RELOAD|| r.update==mask.UPD_FORCEUPDATE)
  687.     sb.append("Pragma: no-cache\r\n");
  688.    sb.append("\r\n");
  689.    dos.writeBytes(sb.toString());
  690.    dos.flush();
  691.    // System.gc();
  692. } 
  693.  
  694. private final static void done()
  695. {
  696.    // release lock  
  697.   synchronized(pq)
  698.   {
  699.    now--;
  700.    pq.notify();
  701.   }
  702. }
  703.  
  704.  private final static void addToQueue(request r,float prio)
  705.  {
  706.   if(-1==pq.search(r) && visited.get(r.url)==null) 
  707.        { 
  708.           //System.err.println("puting to queue");
  709.            visited.put(r.url,r.url);pq.push(r,prio);}
  710.  }
  711.  
  712.  public final static void start()
  713.  {
  714.   //System.out.println("Starting main loop.");
  715.   Thread.currentThread().setPriority(Thread.MAX_PRIORITY-2);
  716.   synchronized(pq)
  717.   {
  718.  
  719.   runloop:while(true)
  720.   {
  721.        if(maxThreads==now)
  722.            try {
  723.                  pq.wait();
  724.                }
  725.            catch (InterruptedException leaveUsAlonePlease) {}
  726.          else
  727.         
  728.         {
  729.           // musime spustit dalsi
  730.           request r;
  731.           try
  732.           {
  733.             r=(request)pq.pop();
  734.           }
  735.             catch (NoSuchElementException nse)
  736.             {
  737.               if(now>0) // fronta prazdna a nejake jeste bezi...
  738.                 try {
  739.                      pq.wait();
  740.                     }
  741.                    catch (InterruptedException leaveUsAlonePlease) {}
  742.                 else break; /* no runners anymore */
  743.               continue; // skip run new
  744.             }
  745.         
  746.         if(r.act==mask.ACT_REJECT) continue; // ignore it
  747.         // RUN NEW REQUEST
  748.         // System.out.println("Starting fetch of "+r.url);
  749.         Thread t;
  750.         t=new Thread(new loader(r));
  751.         t.setPriority(Thread.NORM_PRIORITY);
  752.         t.start();
  753.         now++;
  754.         }
  755.    }
  756.   }/* runloop */
  757.  
  758.  }
  759.  
  760.  private final static void saver(DataInputStream sin,DataOutputStream out) throws IOException
  761.  {
  762.  /* otocime to, cteme data ze serveru a posilame je klientu */
  763.  while(true)
  764.  {
  765.   byte b[]=new byte[IO_BUFFER];
  766.   int rb;
  767.   rb=sin.read(b); 
  768.   if(rb==-1) break; /* konec dat! */
  769.   if(out!=null) out.write(b,0,rb);
  770.  }
  771.  if(out!=null) out.close();
  772.  sin.close();
  773.  }
  774.  
  775.  private final void log(String what,short msk)
  776.  {
  777.    if( (this.r.log&msk)>0 )
  778.      {
  779.        if( (this.r.log&mask.LOG_URLONLY)>0 )
  780.            System.out.println(r.url);
  781.      else
  782.      {
  783.          System.out.println(what+": "+r.url);
  784.      }
  785.      }
  786.  }
  787.  
  788.  private final static void configloader(String cfgfile)
  789.  {
  790.   configloader cfg;
  791.   try
  792.   {
  793.     cfg=new configloader(cfgfile);
  794.   }
  795.   catch (IOException grrrr)
  796.    { System.out.println("[CONFIG_ERROR] Error reading config file "+cfgfile);
  797.      loc=new location[0];
  798.      return;
  799.    }
  800.   
  801.   /* loader init */
  802.   loc=cfg.getLocations();
  803.   def=cfg.getDefaultLocation();
  804.   maxThreads=cfg.getThreads();
  805.   maxretry=cfg.getMaxretry();
  806.   retryprio=cfg.getRetryPriority();  
  807.   
  808.   /* proxy */
  809.   proxyserver=cfg.getProxyServer();
  810.   proxyport=cfg.getProxyPort();
  811.   
  812.   store=cfg.getLocalStore();
  813.  }
  814.  
  815.  private final static location createNewLocation(String baseurl)
  816.  {
  817.    // search 
  818.    location nl;
  819.    for(int i=0;i<loc.length;i++)
  820.     if(baseurl.indexOf(loc[i].locbase)==0) 
  821.       { 
  822.         System.out.println("Location "+baseurl+" configured as "+loc[i].locbase);
  823.         nl=new location(baseurl,loc[i]);
  824.         nl.aliases=loc[i].aliases;
  825.         return nl;
  826.       }
  827.   return new location(baseurl,def);
  828.  }
  829.  
  830. }
  831.