Vyzkousejte si crawlovani :]

1. Návštěvník 25CEC4B8 18. 3. 2005 20:40

   Na tomto principu funguje treba Google, je docela sranda to pozorovat. Napisete URL, program stahne html zdrojak (zadny obrazky, tj je to hned a nezere to bandwidth), vybere to z nej odkazy, da je do seznamu, vybere to z nej emaily, da je do seznamu a odkazy ze seznamu zase postupne projizdi... ty hotovy dava do dalsiho spesl seznam. Proste sranda pozorovat :]] http://fclip.com/my/ypcrawler.exe Mozna budete taky potrebovat http://fclip.com/my/MSINET.OCX Have fun :]

2. Návštěvník 3C0DF5DE 18. 3. 2005 20:45

   Kurna uz sem to skoro stahnul az sem si uvedomil ze jedu na linuxu :-)

3. Návštěvník 1A7DAB0F 18. 3. 2005 20:53

   xixao: Ja si to uvedomil už když mi myška kroužila nad odkazem :)

4. Návštěvník 8B931410 18. 3. 2005 20:59

   pod linux existuje určitě něco s GPL :)) zapátrám na packages.deian.org... hle... http://packages.debian.org/stable/web/webbase wow něco tu máme :) a dokonce to mluví s mysql :)) http://www-diglib.stanford.edu/~testbed/doc2/WebBase/ lets go :))

5. Návštěvník 3C0DF5DE 18. 3. 2005 20:59

   Mno to ja bych si taky uvedomil ale tady v tom foru nejsou prime odkazy tak sem si to uvedomil az kdyz sem na konci cesty videl tu skaredou priponu .EXE grr Nevite nekdo o naky alternative na linux? Ale ne wget..

6. Návštěvník 25CEC4B8 18. 3. 2005 21:01

   mno jde hlavne o to ze to realtime pozorujes, jak to krasne skace... :]]

7. Návštěvník 3C0DF5DE 18. 3. 2005 21:01

   Tomu rikam rychlost..odpoved driv nez otazka..

8. Návštěvník 1A7DAB0F 18. 3. 2005 21:03

   xixao: to víš, majkls :) wget + grep nebo vim a je to :)

9. Návštěvník 25CEC4B8 18. 3. 2005 21:05

   neni to ono deti :>

10. Návštěvník 8B931410 18. 3. 2005 21:18

    ale v praxi se to používá víc, než pouhý civění do monitoru :))))

11. Návštěvník 2D4810F1 18. 3. 2005 21:23

    bylo by to efektivnější, kdyby to zpracovávalo i relativní adresy :}

12. Návštěvník 3C0DF5DE 18. 3. 2005 21:24

    Mno a nezpracovava? Kolik je na webu absolutnich?

13. Návštěvník 2D4810F1 18. 3. 2005 21:28

    by ses divil

14. Návštěvník 25CEC4B8 18. 3. 2005 21:35

    nezpracovava, ale delal sem to ze srandy... :]

15. Návštěvník 2D4810F1 18. 3. 2005 21:54

    to je mi jasny :}

16. Návštěvník 4768E230 19. 3. 2005 00:55

    wget ma optiony na mirrorovani, jinak treba pavuk. nebo spousta dalsich...

17. Návštěvník 25CEC4B8 19. 3. 2005 07:12

    tohle na disk nic neuklada, jde jen o ten princip :>

18. Návštěvník 80B76808 20. 3. 2005 16:30

    hele, nechces udelat, aby ty adresy sly nejak exportovat (treba do txt)? necham to potom bezet pres noc, a muzem zalozit treba WZogle.com :D

19. Návštěvník 25CEC4B8 20. 3. 2005 16:40

    Hehehe... Mno klidne bych mohl exportovani udelat, pridat podporu pro relativni odkazy, exportovat emaily, pridat pouzitelny GUI... zadnej problem. V tom txt, co radek to URL? nemam pred to este treba davat title a za to keywordy nebo tak neco? :]

20. Návštěvník E90EFE6F 20. 3. 2005 16:43

    ;) nedal by si k dizpozicii zdrojak? rad sa pozriem BTW: v com to je napisane?

21. Návštěvník 25CEC4B8 20. 3. 2005 16:52

    http://fclip.com/my/ypcrawlsrc.zip VB5. Ale jak rikam, je to na rychlo takze zdrojak neni zas tak luxusni, ale celkem prehledny to je :) Jestli nekdo chcete, muzete to zacit vylepsovat.

22. Návštěvník E90EFE6F 20. 3. 2005 16:56

    no, VB neovladam ale pozrem sa, dik ;)

23. Návštěvník 80B76808 20. 3. 2005 18:43

    ten export by mohl byt takhle: url; title; description a dalsi zaznam novej radek btw nechces to prepsat do php ;)

24. Návštěvník 25CEC4B8 20. 3. 2005 19:07

    Nemam vubec cas... a tohle bys musel valit z localhosta, by byl nahul na server.

25. Návštěvník 8B931410 20. 3. 2005 19:11

    hlavně nevim, kde chceš skladovat data.... viz webbase (1,5TB je docela dost), i když je pravda, že když to bude jen třeba pro jednu doménu, tak bude stačit míň. Webovej prostor je stejně z 80% zapláclej multimédiama+obrázkama.

← Zpět na všechna témata