Elxis CMS Forum

Ελληνικό Forum => Γενικά Θέματα για το Elxis CMS => Topic started by: xenios on April 11, 2012, 14:51:13

Title: Θέλω να scraparo μια σελίδα
Post by: xenios on April 11, 2012, 14:51:13
Γεια, και καλές γιορτές σε όλους σας, έχω την ανάγκη να κάνω scraping σε μια ιστοσελίδα της οποίας το rss δεν λειτουργεί.  Θα είναι κακό για το site μου; Μήπως είναι καλύτερο να μην ασχοληθώ;
Title: Re: Θέλω να scraparo μια σελίδα
Post by: datahell on April 20, 2012, 10:29:33
Τι σημαίνει scraping;
Title: Re: Θέλω να scraparo μια σελίδα
Post by: ArXoS on April 21, 2012, 13:02:05
text-image capturing  ;D
Title: Re: Θέλω να scraparo μια σελίδα
Post by: xmanhattan on April 21, 2012, 15:23:38

http://en.wikipedia.org/wiki/Web_scraping (http://en.wikipedia.org/wiki/Web_scraping)  αλλα μπορει να θεωρηθει παρανομο!
Title: Re: Θέλω να scraparo μια σελίδα
Post by: datahell on April 22, 2012, 12:50:40
ΟΚ. Η ερώτησή σου πάντως είναι πολύ γενική, οπότε, τουλάχιστον εγώ, δεν μπορώ να σου δώσω συγκεκριμένη απάντηση.
Το μόνο που μπορώ να πω που ίσως βοηθήσει είναι ότι θυμάμαι ένα προγραμματάκι από τις παλιές ηρωϊκές εποχές του internet που λεγόταν teleport pro. Αυτό σου κατέβαζε ολόκληρο site στον υπολογιστή σου ακολουθώντας τους συνδέσμους που έβρισκε. Δεν ξέρω αν υπάρχει ακόμα και αν κάνει για αυτό που θες.
Title: Re: Θέλω να scraparo μια σελίδα
Post by: CREATIVE Options on April 22, 2012, 13:32:11
http://www.httrack.com/
Title: Re: Θέλω να scraparo μια σελίδα
Post by: ArXoS on April 23, 2012, 02:22:18
αυτά αν θυμάμαι καλά είναι για ofline browsing. Παλιές καλές εποχές που με τα modem-άκια στα 1200 μετρούσαμε τα data και τη χρονοχρέωση των pstn (1990!!) >:(
Δε νομίζω όμως οτι ο xenias λέει για κάτι τέτοιο
Title: Re: Θέλω να scraparo μια σελίδα
Post by: jimmyz on April 27, 2012, 18:18:39
Χριστός Ανέστη.

Θα συμφωνήσω με τον προλαλήσαντα, χρησιμοποίησε WebHTTrack ή HTTrack (http://www.httrack.com/) σκέτο. Με τις κατάλληλες ρυθμίσεις κάνει ότι θέλεις.


@ArXoS: Πόσο παλιός είσαι ρε φίλε; Μόλις μετά βίας θυμάμαι τότε που όλη η Θάσος είχε 8 γραμμές ιντερνέτ (ο τόνος στο νέτ).  ;D
Title: Re: Θέλω να scraparo μια σελίδα
Post by: datahell on April 27, 2012, 18:22:46
jimmyz δεν έχεις προλάβει τα dial up modem; Εγώ θυμάμαι την εποχή που δεν είχαν βγει ακόμα 56k modems (για isdn δεν το συζητάμε). Μπαίναμε με 24 και 32k. Όταν δε έγινε το ΕΠΑΚ (πανελλαδική πρόσβαση με χρέωση μίας αστικής μονάδας όση ώρα και να ήσουν μέσα) η χαρά μας ήταν απερίγραπτη γιατί δεν είχαμε το βραχνά της χρονοχρέωσης! Ηρωϊκές εποχές στο IRC με nukes, λαμεριές και site στο geocities ;D Η php μόλις άρχιζε να γίνεται γνωστή (php3), τα script τα γράφαμε σε perl/cgi.
Title: Re: Θέλω να scraparo μια σελίδα
Post by: @ndreas on April 27, 2012, 19:31:02
jimmyz δεν έχεις προλάβει τα dial up modem; Εγώ θυμάμαι την εποχή που δεν είχαν βγει ακόμα 56k modems (για isdn δεν το συζητάμε). Μπαίναμε με 24 και 32k. Όταν δε έγινε το ΕΠΑΚ (πανελλαδική πρόσβαση με χρέωση μίας αστικής μονάδας όση ώρα και να ήσουν μέσα) η χαρά μας ήταν απερίγραπτη γιατί δεν είχαμε το βραχνά της χρονοχρέωσης! Ηρωϊκές εποχές στο IRC με nukes, λαμεριές και site στο geocities ;D Η php μόλις άρχιζε να γίνεται γνωστή (php3), τα script τα γράφαμε σε perl/cgi.
παλιές καλές εποχές , compulink τότε έπαιζε παιχνίδι
Title: Re: Θέλω να scraparo μια σελίδα
Post by: jimmyz on April 27, 2012, 20:40:43
Ας μας συγχωρέσει ο φίλος a_xenias, το κάναμε το νήμα μουστάκι...

Το πρώτο μου μηχανάκι ήταν ένα commodore 486 (ακόμα χρησιμοποιώ το πληκτρολόγιο). Το δε μόντεμ, στα 28800 ήταν το πιό γρήγορο απ' όλα... Rockwell νομίζω. Εκείνη την εποχή, σε όλο το νησί μπορούσανε να συνδεθούν ταυτοχρόνως μέχρι και 8 χρήστες. Τότε γίνανε και οι χρεώσεις από τον οτε·  αστική χρέωση.
Εγώ ρε (τόνος φωνής καμαρωτός), ήμουν από πρώτα μέλη του Napster.  ;)
Title: Re: Θέλω να scraparo μια σελίδα
Post by: datahell on April 27, 2012, 21:12:57
Α, και με συνδέσεις σπασμένες! melshack, από το φίλο Μελέτη. Εύρισκες username/password dialup συνδέσεων και έμπαινες αέρα πατέρα. Απαραίτητη προϋπόθεση να μην ήταν και ο άλλος ταυτόχρονα μέσα. Οπότε είχες μία λίστα μερικών δεκάδων συνδυασμών και δοκίμαζες. Δεν ξέρω για εσάς αλλά εγώ δεν ήμουν καλό παιδί τότε. Βέβαια οι λαμεριές ήταν αγνές, καμία σχέση με κλοπές και παρανομίες, άλλωστε λίγα πράγματα ήταν online τότε. Ήταν η εποχή ηρωϊκή είπαμε ;)

@jimmyz: Napster, το πρώτο του είδους, από εκεί ξεκίνησαν όλα... Σημαντικός παράγοντας στην ταχεία εξάπλωση του internet.
Title: Re: Θέλω να scraparo μια σελίδα
Post by: rentasite on April 27, 2012, 22:39:20
jimmyz δεν έχεις προλάβει τα dial up modem; Εγώ θυμάμαι την εποχή που δεν είχαν βγει ακόμα 56k modems (για isdn δεν το συζητάμε). Μπαίναμε με 24 και 32k. Όταν δε έγινε το ΕΠΑΚ (πανελλαδική πρόσβαση με χρέωση μίας αστικής μονάδας όση ώρα και να ήσουν μέσα) η χαρά μας ήταν απερίγραπτη γιατί δεν είχαμε το βραχνά της χρονοχρέωσης! Ηρωϊκές εποχές στο IRC με nukes, λαμεριές και site στο geocities ;D

Σειρούλαααα!  ;D Τι μου θύμισες! GRnet κ έτσι... 12ωρα συνεχόμενα και βάλε! Είχε βγει τότε και εκείνη η εταιρία (δεν θυμάμαι όνομα), που σου δεινε δωρεάν σύνδεση, αλλά έπρεπε να εμφανιζόταν εκείνη η διαφημιστική μπάρα στο κάτω μέρος της οθόνης! Πλάκα πλάκα... η πρώτη μου επαφή με HTML και τα πρώτα πειράματα γίναν στο Tripod & το Geocities. Πρώτο site... για λογαριασμόυ ενός IRC Channel που είχαμε xaxxxaaxaxax

Εύρισκες username/password dialup συνδέσεων και έμπαινες αέρα πατέρα. Απαραίτητη προϋπόθεση να μην ήταν και ο άλλος ταυτόχρονα μέσα. Οπότε είχες μία λίστα μερικών δεκάδων συνδυασμών και δοκίμαζες

Oh yesss!  :D


Δεν ξέρω για εσάς αλλά εγώ δεν ήμουν καλό παιδί τότε. Βέβαια οι λαμεριές ήταν αγνές

Συμμετείχες και σε ΕλληνοΤουρκικές IRC "μάχες";  ;D


το γαργαλίσαμε το τόπικ
Title: Re: Θέλω να scraparo μια σελίδα
Post by: ArXoS on April 27, 2012, 23:57:32
a xaxa ωραίο θέμα, sorry για  τη συνέχεια του oftopic αλλά ούτε κι εγώ μπορώ να κρατηθώ  :D :D

Ούτε κι εγώ ήμουν καλό παιδί, είχα κατακλέψει όλο τον κόσμο  :P :P Όχι επειδή ήμουν κολοπαίδι, απλά επειδή προηγούμουν σε γνώσεις από όλους τους φίλους μου και ήταν πολύ καλό πεδίο .. πειραματισμών  :D :D
Είμαι με πληκτρολόγιο στα χέρα από τον πρώτο μου QL το 1984. Τις κασέτες του τις έχω ακόμα για όποιον τις θυμάται, κασέτες μικροσκοπικές χωρίς αυτάκια, μόνο και μόνο που τις έβλεπες ψάρωνες και νόμιζες οτι ζεις την εποχή του StarTreck
Μπήκα στα PC το 1986 με τον τότε ΑΤ στα 4.77hz. Εποχές που έκανες overclocking με ctrl-alt-+ στα 10hz, msdos3, απίστευτο διάβασμα gwbasic και στα κρυφά assembly μην το μάθει κανείς και μας αποβάλει (πεθαμένες γλώσσες, τσάμπα γνώσεις  :( :( :(). Τσάμπα τόσες δημοσιεύσεις στο PcMaster (το θυμάται κανείς?)
Το πρώτο μου παραθυρικό περιβάλλον πρέπει να το είχα το 1988 (GEM) που τότε έσκασε μύτη και το ποντίκι στην αγορά !!
Σε εποχή windows 3.11 ήρθε και το πρώτο modem στα 1200, με κόμβο πειραματικό του Αριστοτελείου Πανεπιστημίου το 1989. Τότε τα protocol terminal τα παίζαμε στα δάκτυλα. Μέχρι που είδαμε Internet το 1990 και χάσαμε την μπάλα
Undernet, GRNet, βάρδιες σαν oper, δε θυμάμαι αλλά τότε δε σερβάραμε σχεδόν καθόλου, ασχολούμασταν με άλλα πράγματα. Τι άλλα ? Θυμάται κανείς τον jack the ripper ?  ;) ;)
Πρέπει να ήμουν από τους πρώτους που φόρεσαν τον ΘΕΟ το 1990, sportster στα 33.6 (USRoboticts). Είχα το καλύτερο modem της πόλης, είχα και αντιγραφικό cd!!, είχα και αναλογική γραμμή, γιαυτό και το σπίτι μου ήταν κέντρο διερχομένων και κάπως έτσι κόλλησα με .. φιντάνια !! Ε ναι λοιπόν, οι κακές παρέες με χάλασαν τότε, όχι το Internet  :o ;D ;D ;D ;D
10 χρόνια περίπου μαμακίες ηντερνετικές, και επιτέλους έγινα καλό παιδί στα γεράματα. Όχι επειδή ηρέμησα, αλλά επειδή από το 2000 και μετά που γύρισα από τον στρατό με 16 μήνες αποχής, είχε αλλάξει τόσο πολύ η γεωγραφία αλλά και η γλώσσα του internet που δεν μπορούσα να παρακολουθήσω τις εξελίξεις  :-X

nukes, trojans, exploits, keyloggers αλλά και autoexec.bat, config.sys, παλιές καλές εποχές κατά τη γνώμη μου που τότε τα nick μας ήταν κάτι διαφορετικό  :'(


edit:
Για πείτε ρε παιδιά κανένα nick από τα #hellas .. υπάρχει κανένας παλιός oper στην παρέα ? (έστω prive)
Title: Re: Θέλω να scraparo μια σελίδα
Post by: datahell on April 28, 2012, 00:11:54
John the ripper, το έχω ακόμα στο pc μου.
Επίσης διαθέτω και μία μικρή (πλέον) συλλογή ιών! Δυστυχώς έχασα τους περισσότερους στις διαδοχικές αλλαγές pc.
Title: Re: Θέλω να scraparo μια σελίδα
Post by: ArXoS on April 28, 2012, 00:29:20
χαχα Γιάννη  :D Πρέπει να είχα τα καλύτερα λεξικά, 50ΜΒ το καθένα
Βλέπω επίσης οτι είχαμε τα ίδια γούστα, μάζευα κι εγώ ιούς  :P :P

Με eggdrops έπαιζε κανείς ?
Title: Re: Θέλω να scraparo μια σελίδα
Post by: nikos on April 28, 2012, 01:31:18
Μιλάτε για εποχές δοξασμένες - ξεχασμένες από τότε δηλ. που η Ακρόπολη ήταν ακόμη οικόπεδο  ;D

Arxos το US Robotics στα 33.6 ακόμη το έχω από το 1996 και το χρησιμοποιώ σπανίως και μόνο αν θέλω να στείλω fax από το pc. Έχει γράψει πολλά - πολλά χιλιόμετρα και είναι σκυλί. Έχω κρατήσει σαν ενθύμια και ένα Multitech στα 28.8 και ένα Yamaha Rewritable 2x4x6 που είχα δώσει το 1997 ένα σκασμό λεφτά για να το πάρω και θυμάμαι ότι δεν δούλευε με τίποτα στα Windows 95 και φόρτωνα από διπλό boot Windows NT 3.51 όπου μόνο αυτά το έβλεπαν και έγραφα CD και αυτά όταν δούλευαν δεν υποστηριζόταν η κάρτα ήχου. Εποχές που δύσκολα έβρισκες drivers online και τα sites ήταν σπαρτιάτικα.

 
Title: Re: Θέλω να scraparo μια σελίδα
Post by: ArXoS on April 28, 2012, 02:21:20
xaxa Νίκο, το 1996 πρέπει να είχες το όρθιο μαύρο με κόκκινα γράμματα. Άλλο σκυλί και αυτό. Αν θυμάμαι καλά, αυτό ήταν το πρώτο modem που έπαιρνε patch και γίνονταν 44,1 ή 56Κ. Αυτό που λες ήταν ακόμα πιο σκυλί από αυτό που λέω εγώ  :D
Title: Re: Θέλω να scraparo μια σελίδα
Post by: nikos on April 28, 2012, 03:00:23
Ναι ακριβώς αυτό έχω, αλλά για την ιστορία παρότι διαφημίσθηκε ως αναβαθμίσιμο στα 56 Κ με flash, αυτό όσες φορές και αν το επιχείρησα δεν έγινε, οπότε έμεινε στα 33.6. Και εν πάσει περιπτώσει δεν με ενδιέφερε και τόσο τελικά, διότι η ταχύτητά του ήταν πολύ καλή στα 33.6 full που ακόμη και Netmeeting που έκανα συχνά σήκωνε θυμάμαι κανονικά την επικοινωνία σε φωνή, και την εικόνα από κάμερα, καρέ - καρέ. Ο ήχος πάντως πήγαινε και έφθανε κανονικά χωρίς καθυστέρηση. Το Netmeeting ήταν πέραν των άλλων κάτι σαν το σημερινό skype, όπως και το ICQ σαν το σημερινό Facebook.

Και μετά από 10 χρόνια όλα τα σημερινά super duper θα είναι παρελθόν, βάσει της φυσικής εξέλιξης των πραγμάτων. Η αρχή όμως όλων είναι αυτή που μένει πιο βαθιά χαραγμένη και συναρπάζει.
Title: Re: Θέλω να scraparo μια σελίδα
Post by: ArXoS on April 28, 2012, 03:41:18
ICQ τι μου θύμησες τώρα
Είχα 6ψήφιο ICQ για 10 χρόνια, μέχρι που μπήκα από ένα pc μιας άσχετης γκόμενας που ήταν γεμάτη trojans και μου τον έκλεψαν
Βρήκα μετά από χρόνια στο άσχετο μια λίστα που το πουλούσαν το νούμερο για 200$  :D :D :D :D
Title: Re: Θέλω να scraparo μια σελίδα
Post by: apkoutsou on April 28, 2012, 10:16:27
Βρήκα μετά από χρόνια στο άσχετο μια λίστα που το πουλούσαν το νούμερο για 200$  :D :D :D :D

LoL!!

Τι ωραίες εποχές μου θύμασατε! Ειλικρινά δεν ξέρω τι να πρωτοαναφέρω... Δυστυχώς, πέρα από τις αναμνήσεις δεν έχω κρατήσει πολλά πράγματα από εκείνη την εποχή. Έχω όμως ακόμη ένα από τα πρώτα Lifebook, εκείνα τα laptop που ζυγίζαν μισό τόνο και είχαν αποσπώμενα μέρη (δεν ξέρω εάν τα θυμάται κανείς που το CD και το Disk drive είχαν κοινή θέση και εάν ήθελες να χρησιμοποιήεις cd έβγαζες όλο το disk drive και έβαζες όλο το cd drive!!!)

Έκείνο πάντως που προσωπικά μου έχει μείνει χαραγμένο στην μνήμη από εκείνες τις εποχές, είναι οι ατελειώτες ώρες C&C: RedAlert με p2p τηλεφωνική σύνδεση - όταν προεσευχόσουν να μην πέσει ο @#$@ΟΤΕ την ώρα που εξαπέλυες την τελική επίθεση...
Title: Re: Θέλω να scraparo μια σελίδα
Post by: datahell on April 28, 2012, 11:40:32
Τι ωραίες εποχές μου θύμασατε! Ειλικρινά δεν ξέρω τι να πρωτοαναφέρω... Δυστυχώς, πέρα από τις αναμνήσεις δεν έχω κρατήσει πολλά πράγματα από εκείνη την εποχή. Έχω όμως ακόμη ένα από τα πρώτα Lifebook, εκείνα τα laptop που ζυγίζαν μισό τόνο και είχαν αποσπώμενα μέρη (δεν ξέρω εάν τα θυμάται κανείς που το CD και το Disk drive είχαν κοινή θέση και εάν ήθελες να χρησιμοποιήεις cd έβγαζες όλο το disk drive και έβαζες όλο το cd drive!!!)

Εγώ έχω ακόμα ένα τέτοιο με windows 95 και το χρησιμοποιώ συνέχεια στη δουλειά! Το πάχος του είναι όσο ένα τούβλο! Ο λόγος είναι ότι η επικοινωνία της σειριακής του είναι πολύ πιο γρήγορη σε σχέση με τα νέα pc όταν τρέχουμε κάποια παλιά προγράμματα που χρησιμοποιούμε εκεί.
Title: Re: Θέλω να scraparo μια σελίδα
Post by: webgift on April 28, 2012, 11:46:46
Και όλα αυτά jimmy από την λέξη scraparo άρχισαν!
Εγώ δεν έχω πολλά να θυμηθώ μιας και ο πρώτος υπολογιστής που είχα ήταν το 1996 (δεν θυμάμαι τι ήταν είχε όμως windows 95) το έκανα βίδες στην κυριολεξία όταν μπήκα στην σχολή το 2001. Τον είχαμε πάρει 550.000 δρχ θυμάμαι και κατέληξε κομματάκια με πυκνωτές, καλώδια IDE κτλ.

Μικρή Ιστορία : Αυτό που δεν θα ξεχάσω ήταν αυτός ο υπολογιστής πριν τον κάνω βίδες του έβαζα μια χαρτοπετσέτα στην βάση της μητρικής και δούλευε. Αν δεν είχε χαρτοπετσέτα τότε έκανε έναν επαναλαμβανόμενο ήχο μπιπππ!!  ;D ;D ;D Χαρακτηριστηκές οι φωνές της μάνας μου που έλεγε "κλείσε τον... δεν μπορώ να κοιμηθώ" (ΟΤΑΝ ΔΟΥΛΕΥΕ)!

- Internet πρόλαβα σε modem και γνώρισα και το Napster άλλα ακουστά είχα το IRC Channel! Αυτός ο ήχος σύνδεσης (που έκανε το μόντεμ) θα μου μείνει αξέχαστος πάντως!

Δεν έχω κρατήσει τίποτα από τότε μόνο το PC που πήρα το 2001 όταν μπήκα στην σχολή και το έχω στο γραφείο για ανταλλακτικά (καταλάβατε βίδες)!

Οπότε είχες μία λίστα μερικών δεκάδων συνδυασμών και δοκίμαζες. Δεν ξέρω για εσάς αλλά εγώ δεν ήμουν καλό παιδί τότε. Βέβαια οι λαμεριές ήταν αγνές, καμία σχέση με κλοπές και παρανομίες, άλλωστε λίγα πράγματα ήταν online τότε. Ήταν η εποχή ηρωϊκή είπαμε ;)
Εγώ γιατί το θεωρώ κλεψιά κανονική αυτό;  ;D
Title: Re: Θέλω να scraparo μια σελίδα
Post by: rentasite on April 28, 2012, 14:23:15
Με eggdrops έπαιζε κανείς ?

Ένα φεγγάρι εγώ  ;D ...έπρεπε με κάποιο τρόπο να "κρατάμε" το IRC Channel μας! 
Title: Re: Θέλω να scraparo μια σελίδα
Post by: datahell on April 28, 2012, 23:12:12
Με eggdrops έπαιζε κανείς ?

Και εγώ αλλά όχι φανατικά. Ήμουν operator σε αρκετά κανάλια, είχαμε ανοίξει κάποτε και δικό μας server. Βασικά έμπαινα στο GRNet (όχι στο #hellas όμως, εκτός αν ήθελα να κάνω χαβαλέ), και σπανίως σε κάτι του πολυτεχνείου και στο jeronymo.
Title: Re: Θέλω να scraparo μια σελίδα
Post by: giannismit on May 13, 2012, 20:16:16
Πολύ προχωρημένα   και μεταγενέστερα είναι όλα αυτά!!!

moden 1,2k
internet ? τι είναι αυτό? Μόνο κάποιες BBS υπήρχαν σε text mode με μέλη (κάτι σαν τα σημερινά φόρουμ)

Φανταστείτε ότι η ταχύτητα που έβλεπες στην οθόνη ήταν σαν να πληκτρολογούσε κάποιος (γράμμα-γράμμα κατέβαιναν).

Ωραίες εποχές, αν δεν έχεις ζήση καλύτερες.
Title: Re: Θέλω να scraparo μια σελίδα
Post by: ArXoS on May 14, 2012, 00:07:20
BBS
 με το terminal δε μπαίναμε ? θυμάμαι καλά ? 1990 ?

atx3dt ....  ;D ;D ;D z0 και τα ρέστα  :P
Title: Απ: Θέλω να scraparo μια σελίδα
Post by: giannismit on May 15, 2012, 22:10:49
BBS
 με το terminal δε μπαίναμε ? θυμάμαι καλά ? 1990 ?

atx3dt ....  ;D ;D ;D z0 και τα ρέστα  :P

Καλά θυμάσαι  ;D ;D