Webcrawler

    Hey,



    ich habe mir mit Java mal schnell einen "Webcrawler" gebastelt der mir alle Links einer Webseite anzeigt und deren unter Links...:


    http://img1.picload.org/image/olcgapa/webcrawler.png



    hier das Bild zeigt die Ausgabe, jetzt stellt sich mir die Frage was ihr davon haltet, denn meiner hält sich nicht an die sog. "robots.txt"? :D


    Smalltalk halt ;D


    (( GGF verschieben, kann sein das, dass den Bereich bisschen verfehlt hat )) ;)

    Zitat

    jetzt stellt sich mir die Frage was ihr davon haltet, denn meiner hält sich nicht an die sog. "robots.txt"? :D

    Nix halte ich davon. Robots.txt Datein sind nicht umsonst ein Standard. Abgesehen davon gibts Webcrawler wie Sand am Meer, und sind auch recht schnell selber geschrieben. Von daher irgendwie Sinnlos


    Ich verschiebs aber trotzdem mal in den Richtigen Bereich.

    Zitat von Kalcor

    The fact is, I am right. And if you think I'm wrong, you are wrong.

    Zitat von maddin

    Nix halte ich davon. Robots.txt Datein sind nicht umsonst ein Standard. Abgesehen davon gibts Webcrawler wie Sand am Meer, und sind auch recht schnell selber geschrieben. Von daher irgendwie Sinnlos


    Ich verschiebs aber trotzdem mal in den Richtigen Bereich.

    Danke :*,


    ich hab das Programm geschrieben, weil ich einer Seits meine Kenntnisse weiter bringen wollte und weil ich gerne sowas mal aus Fun mache.


    Ein Java Crawler (der Fehlerfrei mit Sortierung und Datum usw läuft) existiert in der Form noch nicht, werde aber auch noch ne GUI hinzufügen^^.


    Zum Crawler ich finde auch das eine sog. Robots.txt totaler Schwachsinn ist und selbst der Google Crawler hält sich nicht an die^^.