Θέλω να scraparo μια σελίδα

[xenios]

Γεια, και καλές γιορτές σε όλους σας, έχω την ανάγκη να κάνω scraping σε μια ιστοσελίδα της οποίας το rss δεν λειτουργεί.  Θα είναι κακό για το site μου; Μήπως είναι καλύτερο να μην ασχοληθώ;

[datahell]

Τι σημαίνει scraping;

[ArXoS]

text-image capturing 

[xmanhattan]

http://en.wikipedia.org/wiki/Web_scraping  αλλα μπορει να θεωρηθει παρανομο!

[datahell]

ΟΚ. Η ερώτησή σου πάντως είναι πολύ γενική, οπότε, τουλάχιστον εγώ, δεν μπορώ να σου δώσω συγκεκριμένη απάντηση.
Το μόνο που μπορώ να πω που ίσως βοηθήσει είναι ότι θυμάμαι ένα προγραμματάκι από τις παλιές ηρωϊκές εποχές του internet που λεγόταν teleport pro. Αυτό σου κατέβαζε ολόκληρο site στον υπολογιστή σου ακολουθώντας τους συνδέσμους που έβρισκε. Δεν ξέρω αν υπάρχει ακόμα και αν κάνει για αυτό που θες.

[CREATIVE Options]

http://www.httrack.com/

[ArXoS]

αυτά αν θυμάμαι καλά είναι για ofline browsing. Παλιές καλές εποχές που με τα modem-άκια στα 1200 μετρούσαμε τα data και τη χρονοχρέωση των pstn (1990!!)
Δε νομίζω όμως οτι ο xenias λέει για κάτι τέτοιο

[jimmyz]

Χριστός Ανέστη.

Θα συμφωνήσω με τον προλαλήσαντα, χρησιμοποίησε WebHTTrack ή HTTrack σκέτο. Με τις κατάλληλες ρυθμίσεις κάνει ότι θέλεις.


@ArXoS: Πόσο παλιός είσαι ρε φίλε; Μόλις μετά βίας θυμάμαι τότε που όλη η Θάσος είχε 8 γραμμές ιντερνέτ (ο τόνος στο νέτ). 

[datahell]

jimmyz δεν έχεις προλάβει τα dial up modem; Εγώ θυμάμαι την εποχή που δεν είχαν βγει ακόμα 56k modems (για isdn δεν το συζητάμε). Μπαίναμε με 24 και 32k. Όταν δε έγινε το ΕΠΑΚ (πανελλαδική πρόσβαση με χρέωση μίας αστικής μονάδας όση ώρα και να ήσουν μέσα) η χαρά μας ήταν απερίγραπτη γιατί δεν είχαμε το βραχνά της χρονοχρέωσης! Ηρωϊκές εποχές στο IRC με nukes, λαμεριές και site στο geocities Η php μόλις άρχιζε να γίνεται γνωστή (php3), τα script τα γράφαμε σε perl/cgi.

[@ndreas]

jimmyz δεν έχεις προλάβει τα dial up modem; Εγώ θυμάμαι την εποχή που δεν είχαν βγει ακόμα 56k modems (για isdn δεν το συζητάμε). Μπαίναμε με 24 και 32k. Όταν δε έγινε το ΕΠΑΚ (πανελλαδική πρόσβαση με χρέωση μίας αστικής μονάδας όση ώρα και να ήσουν μέσα) η χαρά μας ήταν απερίγραπτη γιατί δεν είχαμε το βραχνά της χρονοχρέωσης! Ηρωϊκές εποχές στο IRC με nukes, λαμεριές και site στο geocities Η php μόλις άρχιζε να γίνεται γνωστή (php3), τα script τα γράφαμε σε perl/cgi.

παλιές καλές εποχές , compulink τότε έπαιζε παιχνίδι

[jimmyz]

Ας μας συγχωρέσει ο φίλος a_xenias, το κάναμε το νήμα μουστάκι...

Το πρώτο μου μηχανάκι ήταν ένα commodore 486 (ακόμα χρησιμοποιώ το πληκτρολόγιο). Το δε μόντεμ, στα 28800 ήταν το πιό γρήγορο απ' όλα... Rockwell νομίζω. Εκείνη την εποχή, σε όλο το νησί μπορούσανε να συνδεθούν ταυτοχρόνως μέχρι και 8 χρήστες. Τότε γίνανε και οι χρεώσεις από τον οτε·  αστική χρέωση.
Εγώ ρε (τόνος φωνής καμαρωτός), ήμουν από πρώτα μέλη του Napster. 

[datahell]

Α, και με συνδέσεις σπασμένες! melshack, από το φίλο Μελέτη. Εύρισκες username/password dialup συνδέσεων και έμπαινες αέρα πατέρα. Απαραίτητη προϋπόθεση να μην ήταν και ο άλλος ταυτόχρονα μέσα. Οπότε είχες μία λίστα μερικών δεκάδων συνδυασμών και δοκίμαζες. Δεν ξέρω για εσάς αλλά εγώ δεν ήμουν καλό παιδί τότε. Βέβαια οι λαμεριές ήταν αγνές, καμία σχέση με κλοπές και παρανομίες, άλλωστε λίγα πράγματα ήταν online τότε. Ήταν η εποχή ηρωϊκή είπαμε

@jimmyz: Napster, το πρώτο του είδους, από εκεί ξεκίνησαν όλα... Σημαντικός παράγοντας στην ταχεία εξάπλωση του internet.

[rentasite]

jimmyz δεν έχεις προλάβει τα dial up modem; Εγώ θυμάμαι την εποχή που δεν είχαν βγει ακόμα 56k modems (για isdn δεν το συζητάμε). Μπαίναμε με 24 και 32k. Όταν δε έγινε το ΕΠΑΚ (πανελλαδική πρόσβαση με χρέωση μίας αστικής μονάδας όση ώρα και να ήσουν μέσα) η χαρά μας ήταν απερίγραπτη γιατί δεν είχαμε το βραχνά της χρονοχρέωσης! Ηρωϊκές εποχές στο IRC με nukes, λαμεριές και site στο geocities

Σειρούλαααα!  Τι μου θύμισες! GRnet κ έτσι... 12ωρα συνεχόμενα και βάλε! Είχε βγει τότε και εκείνη η εταιρία (δεν θυμάμαι όνομα), που σου δεινε δωρεάν σύνδεση, αλλά έπρεπε να εμφανιζόταν εκείνη η διαφημιστική μπάρα στο κάτω μέρος της οθόνης! Πλάκα πλάκα... η πρώτη μου επαφή με HTML και τα πρώτα πειράματα γίναν στο Tripod & το Geocities. Πρώτο site... για λογαριασμόυ ενός IRC Channel που είχαμε xaxxxaaxaxax

Εύρισκες username/password dialup συνδέσεων και έμπαινες αέρα πατέρα. Απαραίτητη προϋπόθεση να μην ήταν και ο άλλος ταυτόχρονα μέσα. Οπότε είχες μία λίστα μερικών δεκάδων συνδυασμών και δοκίμαζες

Oh yesss! 

Δεν ξέρω για εσάς αλλά εγώ δεν ήμουν καλό παιδί τότε. Βέβαια οι λαμεριές ήταν αγνές

Συμμετείχες και σε ΕλληνοΤουρκικές IRC "μάχες"; 


_{το γαργαλίσαμε το τόπικ}

[ArXoS]

a xaxa ωραίο θέμα, sorry για  τη συνέχεια του oftopic αλλά ούτε κι εγώ μπορώ να κρατηθώ 

Ούτε κι εγώ ήμουν καλό παιδί, είχα κατακλέψει όλο τον κόσμο  Όχι επειδή ήμουν κολοπαίδι, απλά επειδή προηγούμουν σε γνώσεις από όλους τους φίλους μου και ήταν πολύ καλό πεδίο .. πειραματισμών 
Είμαι με πληκτρολόγιο στα χέρα από τον πρώτο μου QL το 1984. Τις κασέτες του τις έχω ακόμα για όποιον τις θυμάται, κασέτες μικροσκοπικές χωρίς αυτάκια, μόνο και μόνο που τις έβλεπες ψάρωνες και νόμιζες οτι ζεις την εποχή του StarTreck
Μπήκα στα PC το 1986 με τον τότε ΑΤ στα 4.77hz. Εποχές που έκανες overclocking με ctrl-alt-+ στα 10hz, msdos3, απίστευτο διάβασμα gwbasic και στα κρυφά assembly μην το μάθει κανείς και μας αποβάλει (πεθαμένες γλώσσες, τσάμπα γνώσεις  ). Τσάμπα τόσες δημοσιεύσεις στο PcMaster (το θυμάται κανείς?)
Το πρώτο μου παραθυρικό περιβάλλον πρέπει να το είχα το 1988 (GEM) που τότε έσκασε μύτη και το ποντίκι στην αγορά !!
Σε εποχή windows 3.11 ήρθε και το πρώτο modem στα 1200, με κόμβο πειραματικό του Αριστοτελείου Πανεπιστημίου το 1989. Τότε τα protocol terminal τα παίζαμε στα δάκτυλα. Μέχρι που είδαμε Internet το 1990 και χάσαμε την μπάλα
Undernet, GRNet, βάρδιες σαν oper, δε θυμάμαι αλλά τότε δε σερβάραμε σχεδόν καθόλου, ασχολούμασταν με άλλα πράγματα. Τι άλλα ? Θυμάται κανείς τον jack the ripper ? 
Πρέπει να ήμουν από τους πρώτους που φόρεσαν τον ΘΕΟ το 1990, sportster στα 33.6 (USRoboticts). Είχα το καλύτερο modem της πόλης, είχα και αντιγραφικό cd!!, είχα και αναλογική γραμμή, γιαυτό και το σπίτι μου ήταν κέντρο διερχομένων και κάπως έτσι κόλλησα με .. φιντάνια !! Ε ναι λοιπόν, οι κακές παρέες με χάλασαν τότε, όχι το Internet 
10 χρόνια περίπου μαμακίες ηντερνετικές, και επιτέλους έγινα καλό παιδί στα γεράματα. Όχι επειδή ηρέμησα, αλλά επειδή από το 2000 και μετά που γύρισα από τον στρατό με 16 μήνες αποχής, είχε αλλάξει τόσο πολύ η γεωγραφία αλλά και η γλώσσα του internet που δεν μπορούσα να παρακολουθήσω τις εξελίξεις 

nukes, trojans, exploits, keyloggers αλλά και autoexec.bat, config.sys, παλιές καλές εποχές κατά τη γνώμη μου που τότε τα nick μας ήταν κάτι διαφορετικό  :'(


edit:
Για πείτε ρε παιδιά κανένα nick από τα #hellas .. υπάρχει κανένας παλιός oper στην παρέα ? (έστω prive)

[datahell]

John the ripper, το έχω ακόμα στο pc μου.
Επίσης διαθέτω και μία μικρή (πλέον) συλλογή ιών! Δυστυχώς έχασα τους περισσότερους στις διαδοχικές αλλαγές pc.