[ΔΟΚΙΜΗ] Ελληνικό 7ήμερο Nova EPG για nabilo 0.12


Φίλε μου, όπως έχω γράψει το grab της πληροφορίας από το web site της nova δε το έχω κάνει εγώ. Χρησιμοποιώ ένα perl script του Τάσου Μπασούκου. Οπότε είναι λίγο (ως πολύ!) δύσκολο να ενσωματώσω και τα παραπάνω κανάλια. Επιπλέον απ' ότι βλέπω οι τίτλοι των events είναι διαθέσιμοι μόνο στα αγγλικά, ενώ εγώ φτιάχνω το ελληνικό EPG.
 
Έγιναν αλλαγές στο script που παράγει το epg.dat ώστε να περιλαμβάνονται και τα κανάλια Foxlife και Chasse & Peche που άλλαξαν αναμεταδότη και SID.
 
Έγιναν αλλαγές στο script, πλέον δείχνει το έτος δημιουργίας της ταινίας αλλά και την διάρκειά της. Επίσης πλέον εμφανίζεται σε περισσότερα προγράμματα το sub-title.

Δεν έχω καταφέρει ακόμα να προσθέσω τους συντελεστές. Ενημερώστε με για τυχόν προβλήματα.
 
Τελικά με έπιασε προγραμματιστικός ίστρος σήμερα.

Πλέον φαίνονται και οι ηθοποιοί!!!

Αναμένω αναφορές για τυχόν προβλήματα ή προτάσεις για βελτίωση του output.
 
Τελικά με έπιασε προγραμματιστικός ίστρος σήμερα.

Πλέον φαίνονται και οι ηθοποιοί!!!

Αναμένω αναφορές για τυχόν προβλήματα ή προτάσεις για βελτίωση του output.

με το ειδος του προγραμματος μπορεις να κανεις κατι?πχ ντοκιμαντερ κλπ
 
με το ειδος του προγραμματος μπορεις να κανεις κατι?πχ ντοκιμαντερ κλπ

Μπορώ, αλλά υπάρχει ένα μικρό πρόβλημα. Αν δεις τον οδηγό προγράμματος στο www.nova.gr (απ' όπου και γίνεται grab η πληροφορία), έχει πολλά είδη προγράμματος σε κάποια γεγονότα. Πχ, για την ταινία "ΤΑ ΧΡΟΝΙΚΑ ΤΟΥ ΣΠΑΙΝΤΕΡΓΟΥΙΚ" έχει τις επιλογές "ΤΑΙΝΙΑ Οικογενειακή, Περιπέτεια, Φαντασίας". Πως να το εμφανίζω; Επίσης, αν έχει και υπότιτλο και κατηγορία, να δείχνω και τα δύο;
 
Τελικά θα υπάρξει τρόπος να έχουμε την πληροφορία σε Windows 7 Media Center?

Μήπως υπάρχει direct link σε XMLTV αρχείο;

Παλαιότερα είχα φτιάξει το ini αρχείο για grabbing XMLTV του N#VA μέσω του TVxb.com (http://www.tvxb.com/country/el-ini.html) αλλά με έτοιμο το XMLTV αρχείο, τα πράγματα είναι απλούστατα και δεν υπάρχει και λόγος να φορτώνουμε τους servers
 
Τελικά θα υπάρξει τρόπος να έχουμε την πληροφορία σε Windows 7 Media Center?

Μήπως υπάρχει direct link σε XMLTV αρχείο;

Παλαιότερα είχα φτιάξει το ini αρχείο για grabbing XMLTV του N#VA μέσω του TVxb.com (http://www.tvxb.com/country/el-ini.html) αλλά με έτοιμο το XMLTV αρχείο, τα πράγματα είναι απλούστατα και δεν υπάρχει και λόγος να φορτώνουμε τους servers

Το xmltv αρχείο το παράγει το perl script tv_grab_el του Τάσου Μπασσούκου (δες στο τρέχον thread στην πρώτη σελίδα). Το παράγω σχεδόν καθημερινά και η δημιουργία του παίρνει σχεδόν 2,5 ώρες. Δεν έχω πρόβλημα να δώσω direct link στο παραγόμενο xml αλλά ο server που βάζω τα αρχεία δεν έχει απεριόριστο bandwidth γι' αυτό θα προτιμούσα να το βάζαμε κάπου αλλού.
 
Διορθώθηκε το πρόβλημα με τα events του Foxlife να μην έχουν τη σωστή περιγραφή αλλά μία τελεία μόνο. Οφείλεται σε μικρή αλλαγή των σελίδων της nova για το συγκεκριμένο κανάλι. Διορθώθηκε το xml script του Τάσου Μπασούκου.

Το diff είναι παρακάτω (για όποιον θέλει να χρησιμοποιεί μόνος του το xmltv-import-plugin του Milo και το xlmtv tv_grab_el perl script του Τάσου.

Code:
$ diff tv_grab_el.original tv_grab_el
116,118c116,119
< sub process_extras($) {
<       my ($url) = @_;
<       $url = base_url() . "tvguide.asp?movieid=$url";
---
> sub process_extras($$) {
>       my ($url) = $_[0];
>       my ($rid) = $_[1];
>       $url = base_url() . "tvguide.asp?movieid=$url&r=$rid";
178d178
<
242a243,244
>                       my ($rid) = $title->parent()->attr('href');
>                       $rid = ( $rid =~ m/r=(\d+)/ ? $1 : undef );
244c246
<                         process_extras($pgid)
---
>                         process_extras($pgid,$rid)
 
Το perl script του Τάσου Μπασούκου που δημιουργεί το xmltv έχει το εξής πρόβλημα. Αν ένα http request αποτύχει, απλώς το προσπερνάει. Τελευταία ο web server της nova αποτυγχάνει σε πολλά requests, με αποτέλεσμα το παραγόμενο αρχείο να είναι ελειπές.

Ποια νομίζετε πως θα ήταν η καλύτερη αντιμετώπιση του προβλήματος; Να δοκιμάζει 2-3 φορές αν αποτύχει; Έτσι και πάλι θα υπάρχει η πιθανότητα να αποτύχει. Να προσπαθεί ξανά και ξανά μέχρι να πετύχουν όλα τα requests; Αυτό μπορεί τελικά να κάνει το script να μη τελειώνει ποτέ. Άλλες προτάσεις;
 
Να κάνει request μέχρι να το πετύχει και μετά να προχωράει παρακάτω.
Ο μονος λόγος να μην τελειώσει το script θα ήταν αν το site είναι κάτω για όλο το εικοσιτετράωρο που σε αυτή την περίπτωση δεν θα ολοκλήρωνε έτσι και αλλιώς
Πράγματι κατά καιρούς ορισμένα link δεν ανοίγουν εύκολα αλλα αυτό δεν κρατάει για πολλές ώρες οποτε πιστεύω αυτή είναι η καλλίτερη λύση

ps/ Με ποιο τρόπο παίρνει τα request?
 
Ίσως ένα test στο site της Nova να βοηθούσε πριν προχωρήσει το script
Σε bash shell.. δεν έχω ιδέα από pearl

Code:
ping -c 20 www.nova.gr > /tmp/ping_timing.txt

PINGTEST=`grep avg /tmp/ping_timing.txt | awk -F '[//]' '{print $4}'`

if [ "$PINGTEST" -lt 250 ]
	then
	RUN SCRIPT
else
	echo Ping time was more than 250 milliseconds... aborting... >> /var/log/pingtest.log

fi

Αν το site σέρνεται θα κάνει abort
 
Προς το παρόν έκανα το παρακάτω fix (δοκιμάζει μέχρι 5 φορές το ίδιο url)

Code:
$ diff tv_grab_el.mp tv_grab_el
500c500
<
---
>       my $page;
503,504c503,514
<       my $page = get($url)
<         or return undef;
---
>       my $tries = 0;
>       while ($tries < 5 && !defined($page))
>       {
>               $page = get($url);
>               $tries++;
>       }
>
>       if (!defined($page))
>       {
>               return undef;
>       }
>

Αυτό από μόνο του αύξησε το χρόνο εκτέλεσης του script από τις 3 ώρες στις 10! αλλά και πάλι υπήρχαν κάποιες "τρύπες" στο πρόγραμμα. Είναι πολύ unreliable ο web server της nova, και με απλό browser να βλέπεις τις σελίδες του προγράμματος κάθε λίγο κολλάει.
 
Από χτες οι σελίδες του program guide της Nova άλλαξαν τελείως και φυσικά το perl script του Τάσου Μπασούκου δε δουλεύει.

:-(
 
Δυστυχώς χάσαμε κάτι καλό....όχι τίποτα άλλο αλλά είχαμε καλομάθει...:slapface:
 
Μπορεί κάποιος να φτιάξει grabber gia τό νέο format της ιστοσελίδας προγράμματος της ΝΟΒΑ; Εγώ χρησιμοποιούσα το TVxb μέχρι τώρα...
 
Μπορεί κάποιος να φτιάξει grabber gia τό νέο format της ιστοσελίδας προγράμματος της ΝΟΒΑ; Εγώ χρησιμοποιούσα το TVxb μέχρι τώρα...

Θα το παλέψω όταν βρω λίγο ελεύθερο χρόνο, αλλά δεν υπόσχομαι τίποτα. Οι νέες σελίδες πάντως είναι πιο advanced, έχουν ajax και δουλεύουν πολύ με HTTP POST.
 
Σας ανεβάζω εδώ ενα tvxb.ini για το TVxb για 3ημερο program guide μέσω www.ishow.gr που εφτιαξα μόνος μου, χωρις descriptions όμως. Εγώ το χρησιμοποιώ για Win7 MCE. Οποιος θέλει ας το μετατρέψει σε κατάλληλο format για Dreambox.

Υ.Γ. κάντε επικόλληση όλο το text στο notepad και σώστε σαν tvxb.ini
 

Attachments

Last edited:
Με μία πρώτη μελέτη των σελίδων, θα είναι συνολικά ποιο εύκολο να πάρουμε το πρόγραμμα. Με ένα http request παίρνεις το πρόγραμμα για όλα τα κανάλια μίας μέρας μίας κατηγορίας. Οι κατηγορίες είναι οκτώ, οπότε με 7*8 = 56 http requests μπορείς να έχεις το βασικό πρόγραμμα όλων των καναλιών (χωρίς τα details). Επίσης το βασικό πρόγραμμα έχει και description αλλά και τύπο εκπομπής. Δεν έχει όμως συντελεστές, χρονολογία κτλ.