Κανονισμός Επιτροπών
Ποιοτικός Ελεγχος Συλλογής Στοιχείων (Π.Ε.Σ.Σ.)
ΤΜΗΜΑ 1 : ΕΙΣΑΓΩΓΗ ΣΤΟΝ ΠΕΣΣ ΚΑΙ ΒΑΣΙΚΕΣ ΑΡΧΕΣ
1.1. ΒΑΣΙΚΕΣ ΑΡΧΕΣ
Σκοπός του Κανονισμού Ποιοτικού Ελέγχου Συλλογής Στοιχείων (ΠΕΣΣ) είναι να διασφαλίσει ότι όλες οι Εταιρείες Μέλη λειτουργούν έχοντας τα ίδια ελάχιστα όρια ποιότητας ως προς την εξεύρεση, εκπαίδευση και επιτήρηση των ερευνητών και τον έλεγχο των συλλεγομένων στοιχείων, με τελικό αποτέλεσμα την κατοχύρωση των πελατών ότι όλα τα στοιχεία συλλέγονται με βάση συγκεκριμένες και κοινώς αποδεκτές διαδικασίες. Για την επίτευξη του αντικειμενικού αυτού σκοπού, θεσπίζονται κανόνες οι οποίοι καταγράφουν τις ελάχιστες προϋποθέσεις ποιότητας που οφείλουν όλες οι Εταιρείες Μέλη να τηρούν.
Τα ελάχιστα αυτά όρια ισχύουν τόσο για τις Εταιρείες Μέλη που έχουν δικό τους Field ή παρέχουν υπηρεσίες Field, όσο και για τις Εταιρείες Μέλη που δεν έχουν δικό τους τμήμα συλλογής στοιχείων. Και στις δύο περιπτώσεις, οι εταιρείες αναφέρονται στο παρόν εγχειρίδιο ως Εταιρείες Μέλη.
Οι Εταιρείες που ζητούν να γίνουν μέλη καθώς και όλα τα μέλη του ΣΕΔΕΑ, υποχρεούνται να συμμορφώνονται προς τα ελάχιστα αυτά όρια, ανεξάρτητα από το είδος της εργασίας που αναλαμβάνουν και το μέγεθός της. Η μη εφαρμογή των κανονισμών αυτών σε οποιονδήποτε τύπο εργασίας καθιστά αδύνατη την αποδοχή της Εταιρείας ως μέλος.
Οι κανόνες του ΠΕΣΣ έχουν εφαρμογή σε Εταιρείες που διαφέρουν σε μέγεθος αλλά και στις μεθόδους λειτουργίας. Για το λόγο αυτό είναι δυνατόν ο Επιθεωρητής του ΠΕΣΣ να δώσει διευκρινίσεις κατά περίπτωση σχετικά με τον τρόπο εφαρμογής ορισμένου κανόνα. Τονίζεται ότι είναι ευθύνη της Εταιρείας μέλους να ζητήσει διευκρινίσεις σε περίπτωση αμφιβολίας.
Ο ΠΕΣΣ αφορά Εταιρείες και όχι άτομα. Οι Εταιρείες Μέλη είναι συνεπώς υποχρεωμένες να μεριμνούν για την εφαρμογή του Κανονισμού, ανεξάρτητα από τυχούσες αλλαγές στο προσωπικό τους.
Είναι απαραίτητο οι εταιρείες να τηρούν τα απαιτούμενα στοιχεία τα οποία θα θέτουν στη διάθεση του Επιθεωρητή του ΠΕΣΣ έτσι ώστε να διαπιστώνεται η συμμόρφωση προς τους κανόνες που έχουν θεσπιστεί.
Οι Εταιρείες είναι υποχρεωμένες να δηλώνουν πού βρίσκονται τα αρχεία τους. Εάν τα αρχεία βρίσκονται διεσπαρμένα ανά την Ελλάδα, το κόστος του ελέγχου βαρύνει την εταιρεία (η οποία οφείλει είτε να τα φέρει στην Αθήνα, είτε να καλύψει τα έξοδα μετάβασης του Επιθεωρητή στον τόπο όπου τηρούνται). Το κόστος του ελέγχου βαρύνει και τις εταιρείες των οποίων τα Κεντρικά Γραφεία (έδρα) είναι εκτός Αθηνών.
1.2. ΕΙΔΗ ΕΡΓΑΣΙΩΝ ΠΟΥ ΚΑΛΥΠΤΟΝΤΑΙ ΑΠΟ ΤΟΝ ΚΑΝΟΝΙΣΜΟ ΤΟΥ ΠΕΣΣ
Οι κανόνες του παρόντος εγχειριδίου καλύπτουν ένα φάσμα εργασιών και περιλαμβάνουν τα παρακάτω είδη:
- Προσωπικές συνεντεύξεις στα σπίτια, στο δρόμο, σε ερευνητικά κέντρα ή στον τόπο
εργασίας.
- Στρατολόγηση ατόμων για ομαδικές συζητήσεις ή συνεντεύξεις σε βάθος.
- Τηλεφωνικές συνεντεύξεις από το γραφείο ή από κέντρο τηλεφωνικών συνεντεύξεων.
- Τηλεφωνικές συνεντεύξεις από τα σπίτια των ερευνητών.
- Συλλογή στοιχείων από καταστήματα λιανικής πωλήσεως ή άλλους εργασιακούς
χώρους.
- Μυστικές επισκέψεις.
1.3. ΣΥΜΜΕΤΟΧΗ ΕΤΑΙΡΕΙΩΝ ΔΗΜΟΣΚΟΠΗΣΗΣ ΚΑΙ ΕΡΕΥΝΑΣ ΑΓΟΡΑΣ ΚΑΙ ΕΡΓΑΣΙΩΝ FIELD
Η συμμετοχή στον ΠΕΣΣ είναι υποχρεωτική για όλες τις Εταιρείες-μέλη του ΣΕΔΕΑ. Εάν το επιθυμούν, μπορούν επίσης να συμμετέχουν και άλλες εταιρείες ερευνών οι οποίες δεν είναι μέλη του ΣΕΔΕΑ, καθώς και εταιρείες που ειδικεύονται μόνο σε παροχή υπηρεσιών Field, μετά από έγκριση του Δ. Συμβουλίου του ΣΕΔΕΑ.
1.4. ΧΡΗΣΙΜΟΠΟΙΗΣΗ ΥΠΕΡΓΟΛΑΒΩΝ ΓΙΑ ΤΗΝ ΕΡΓΑΣΙΑ FIELD
Κάθε Εταιρεία Μέλος που αναθέτει υπεργολαβικά εργασίες Field σε εταιρείες που προσφέρουν υπηρεσίες Field, καθώς και σε εταιρείες παροχής τηλεπικοινωνιακών υπηρεσιών (για συνεντεύξεις με σύστημα CATI) πρέπει να χρησιμοποιεί μόνο εταιρείες που είναι μέλη του ΠΕΣΣ. Το ίδιο ισχύει και στην περίπτωση ανεξάρτητων τοπικών εποπτών, οι οποίοι προσφέρουν υπηρεσίες Field για δύο ή περισσότερες εταιρείες.
1.5. ΕΥΘΥΝΗ ΛΕΙΤΟΥΡΓΙΑΣ ΤΟΥ ΠΕΣΣ
Την τελική ευθύνη για την λειτουργία του ΠΕΣΣ έχει το Δ.Συμβούλιο του ΣΕΔΕΑ. Ο ΠΕΣΣ λειτουργεί κάτω από την επίβλεψη της ειδικής Επιτροπής η οποία συστάθηκε το 1999, και η οποία είναι υπεύθυνη για:
· την ομαλή λειτουργία του συστήματος
· τον έγκαιρο εντοπισμό πιθανών προσαρμογών που μπορεί να απαιτούνται για να επιτευχθούν με τον καλύτερο δυνατό τρόπο οι στόχοι του συστήματος, όπως περιγράφονται πιο πάνω
· την επιβολή κυρώσεων σε περίπτωση παραβάσεων του Κανονισμού ΠΕΣΣ, ως πρωτοβάθμιο πειθαρχικό όργανο, και σύμφωνα με όσα ορίζονται στο άρθρο 1.7 του παρόντος.
1.6. ΔΙΑΔΙΚΑΣΙΑ ΕΛΕΓΧΟΥ ΤΗΣ ΕΦΑΡΜΟΓΗΣ ΤΟΥ ΠΕΣΣ
Ολες οι Εταιρείες-Μέλη επιθεωρούνται μία φορά τον χρόνο από τον Επιθεωρητή του ΠΕΣΣ.
Οι έλεγχοι μπορούν να πραγματοποιηθούν οποιαδήποτε στιγμή κατά τη διάρκεια του έτους. Η λεπτομερής διαδικασία ελέγχου περιγράφεται στο Παράρτημα ΙΙ.
Ο Επιθεωρητής του ΠΕΣΣ υποβάλλει τα αποτελέσματα του ελέγχου στην Επιτροπή του ΠΕΣΣ προς έγκριση. Για λόγους εμπιστευτικότητας στην έκθεση αξιολόγησης δεν αναφέρεται το όνομα της εταιρείας, αλλά μόνον ένας κωδικός αριθμός.
1.7 ΣΥΣΤΑΣΕΙΣ / ΚΥΡΩΣΕΙΣ
Σε περίπτωση που ο ελεγκτής του ΠΕΣΣ διαπιστώνει παράβαση του Κανονισμού οφείλει να υποβάλει έγγραφη αναφορά στην Επιτροπή ΠΕΣΣ.
Η Επιτροπή αποφασίζει για τη βαρύτητα της πράξεως και είτε απευθύνει σύσταση ή επιβάλλει τις προβλεπόμενες κυρώσεις.
1.7.1 Συστάσεις
Σε περίπτωση που διαπιστώνονται ελαφρές παραβάσεις, όπως είναι οι περισσότερες εξ αυτών που έχουν επισημανθεί έως σήμερα, η Επιτροπή ΠΕΣΣ απευθύνει προς το μέλος ΣΥΣΤΑΣΗ. Το μέλος στο οποίο αυτή απευθύνθηκε υποχρεούται να μην υποπέσει στην αυτή παράβαση. Σε περίπτωση που κατά τον επόμενο έλεγχο διαπιστωθεί ότι ευρίσκεται σε υποτροπή θεωρείται ότι έχει υποπέσει σε σοβαρή παράβαση.
Η σύσταση δεν θεωρείται κύρωση.
1.7.2 Κυρώσεις
Α. Είδη Κυρώσεων
Η σοβαρή παράβαση των διατάξεων του Κανονισμού επισύρει μία από τις ακόλουθες κυρώσεις:
α. Προειδοποίηση
β. Αποβολή από τον ΠΕΣΣ μέχρι ενός έτους
γ. Οριστική αποβολή από τον ΠΕΣΣ
Β. Πειθαρχικά όργανα
Οι κυρώσεις επιβάλλονται σε πρώτο βαθμό από την Επιτροπή ΠΕΣΣ, πλην της περιπτώσεως γ, για την οποία αρμόδιο όργανο να αποφασίσει σε πρώτο βαθμό είναι το Διοικητικό Συμβούλιο του ΣΕΔΕΑ. Στην περίπτωση αυτή απαιτείται ομόφωνη απόφαση των μελώ του.
Γ. Διαδικασία
Μετά την υποβολή της έκθεσης του Ελεγκτή ΠΕΣΣ και εφόσον η Επιτροπή κρίνει ότι πρόκειται για σοβαρή παραβίαση καλείται το μέλος στο οποίο αυτή αφορά να υποβάλει εγγράφως τις απόψεις του επί της παραβιάσεως που του καταλογίζεται.
Η Επιτροπή εφόσον με αιτιολογημένη απόφασή της κρίνει ότι το μέλος έχει υποπέσει σε παραβιάσεις επιβάλλει τις προβλεπόμενες κυρώσεις.
Οι σοβαρές παραβάσεις, ήτοι οι καθ'υποτροπή ελαφρές, οι βασικές ελλείψεις στην εκπαίδευση ή στον έλεγχο των ερευνητών, θα επισύρουν την κύρωση της ΠΡΟΕΙΔΟΠΟΙΗΣΗΣ. Η εταιρεία στην οποία επιβάλλεται η κύρωση αυτή οφείλει να συμμορφωθεί άμεσα προς τις προβλεπόμενες στους κώδικες υποχρεώσεις της. Η εταιρεία ελέγχεται μετά την πάροδο 3-6 μηνών από την επιβολή της κύρωσης (ανάλογα με το είδος της παράβασης). Εφόσον δεν έχει συμμορφωθεί, εντός του χρονικού διαστήματος αυτού, αποβάλλεται υποχρεωτικά από τον ΠΕΣΣ για χρονικό διάστημα ενός έτους. Μετά την πάροδο του έτους η εταιρεία θα έχει το δικαίωμα να υποβάλει και πάλι αίτηση συμμετοχής οπότε και θα επανελεγχθεί. Εφόσον έχει εν τω μεταξύ συμμορφωθεί γίνεται εκ νέου δεκτή στο σύστημα ΠΕΣΣ. Σε κάθε άλλη περίπτωση η Επιτροπή παραπέμπει το ζήτημα στο Δ.Σ. του ΣΕΔΕΑ, προκειμένου να αποφανθεί αυτό επί της υποθέσεως με το ερώτημα της οριστικής αποβολής από το σύστημα ΠΕΣΣ.
Η εταιρεία στην οποία επιβλήθηκαν κυρώσεις δικαιούται να ασκήσει προσφυγή εντός προθεσμίας 15 ημερών από την κοινοποίηση της αποφάσεως. Η προσφυγή ασκείται ενώπιον του Δ.Σ., εάν η κύρωση επεβλήθη από την Επιτροπή ΠΕΣΣ και ενώπιον της Γενικής Συνέλευσης, εάν η κύρωση επεβλήθη σε πρώτο βαθμό από το Δ.Σ. του ΣΕΔΕΑ.
Το δευτεροβάθμιο όργανο οφείλει να εισάγει την υπόθεση προς συζήτηση εντός προθεσμίας 30 εργασίμων ημερών από την υποβολή της.
1.8. ΠΑΡΟΧΗ ΠΛΗΡΟΦΟΡΙΩΝ
Στην περίπτωση που κάποια Εταιρεία Μέλος ζητήσει πληροφορίες για την εφαρμογή του Κανονισμού από τον Επιθεωρητή του ΠΕΣΣ αυτός πρέπει να ανταποκρίνεται άμεσα.
ΣΗΜΕΙΩΣΕΙΣ:
Ι. Εξυπακούεται ότι στοιχεία χρονολογούμενα σε εποχές πριν την συμμετοχή της εταιρείας στον ΠΕΣΣ δεν θα ελέγχονται.
ΙΙ. Τα στοιχεία δεν είναι απαραίτητο να είναι στο ίδιο αρχείο και ακόμη μπορεί να βρίσκονται σε διαφορετικά συστήματα.
ΙΙΙ. Τα στοιχεία για ερευνητές, στρατολόγους, ελεγκτές, επιθεωρητές και απογραφείς που δεν χρησιμοποιούνται πλέον, θα πρέπει να είναι διαθέσιμα για 12 τουλάχιστον μήνες, διότι μπορεί να ζητηθούν κατά τη διάρκεια του Ελέγχου.
IV. Η αναγγελία του Ελέγχου του ΠΕΣΣ θα γίνεται προ 2 εργάσιμων ημερών.
1.9. ΕΠΕΞΗΓΗΣΗ ΟΡΩΝ
Για την εφαρμογή του παρόντος δίδονται οι ακόλουθοι ορισμοί:
Εταιρείες - Μέλη
Οι εταιρείες που διεξάγουν/προσφέρουν ή/και αγοράζουν Field.
Ελεγχος του ΠΕΣΣ
Ο έλεγχος από τον Επιθεωρητή του ΠΕΣΣ για τις εργασίες: προσωπικές συνεντεύξεις, τηλεφωνικές, CATI/CAPI, έρευνες σε ερευνητικά κέντρα, στρατολόγηση, έλεγχο καταστημάτων κλπ..
Ερευνητής
Το άτομο που παίρνει για λογαριασμό της Εταιρείας Μέλους συνεντεύξεις.
Επιθεωρητής Εργασίας (Field Supervisor)
Το άτομο που εποπτεύει την συλλογή στοιχείων με προσωπικές και με τηλεφωνικές συνεντεύξεις ή εποπτεύει σε ερευνητικό κέντρο (για τον προσδιορισμό του προσωπικού που θεωρείται "επιθεωρητής εργασίας", βλέπε Τμήμα 2.3.).
Στρατολόγος (Recruiter)
Το άτομο που για λογαριασμό της Εταιρείας Μέλους στρατολογεί άτομα κατάλληλα για ομαδικές συζητήσεις ή για συνεντεύξεις σε βάθος.
Απογραφέας (Auditor)
Το άτομο που συλλέγει πληροφορίες σχετικές με τιμές στα καταστήματα, καταγράφει στοκ καθώς και/ή παρουσία εμπορευμάτων στα ράφια.
Μυστικός Επισκέπτης (Mystery Shopper)
Το άτομο που πηγαίνει σε κατάστηματα/υπηρεσίες σαν πελάτης και αναφέρει τις εντυπώσεις του σχετικά με το επίπεδο εξυπηρέτησης ή/και άλλα στοιχεία σχετικά με το κατάστημα.
Κεντρικά Γραφεία (έδρα)
Τα γραφεία που στεγάζεται η διοίκηση της Εταιρείας Μέλους.
Υποκαταστήματα
Τα λοιπά γραφεία (εκτός των κεντρικών) της Εταιρείας Μέλους.
Τηλεφωνικό Κέντρο
Γραφείο με τηλεφωνικές γραμμές που χρησιμοποιούνται για συνεντεύξεις/στρατολόγηση από τηλεφώνου.
Ερευνητικό Κέντρο (Τest Centre / Hall)
Αίθουσα/κατάστημα/γραφείο που διεξάγεται έρευνα (π.χ. δοκιμή προϊόντος, έρευνα διαφήμισης κλπ.).
Ελεγκτής (Quality Controller / Validator)
Ενα άτομο που για λογαριασμό της Εταιρείας Μέλους ελέγχει ότι οι συνεντεύξεις πραγματοποιήθηκαν βάσει των οδηγιών της.
ΤΜΗΜΑ 2 : ΟΡΓΑΝΩΣΗ - ΤΡΟΠΟΣ ΛΕΙΤΟΥΡΓΙΑΣ ΤΟΥ ΤΜΗΜΑΤΟΣ FIELD
Α. ΑΡΧΕΙΑ ΑΤΟΜΩΝ
2.1. ΑΡΧΕΙΑ ΕΡΕΥΝΗΤΩΝ, ΣΤΡΑΤΟΛΟΓΩΝ, ΕΛΕΓΚΤΩΝ, ΜΥΣΤΙΚΩΝ ΕΠΙΣΚΕΠΤΩΝ
Πριν την έναρξη της συνεργασίας με τα πιο πάνω άτομα, πρέπει να προηγείται προσωπική συνέντευξη, με τον υπεύθυνο Field, επιθεωρητή ή άλλο στέλεχος της εταιρείας.
Για κάθε ερευνητή στρατολόγο, ελεγκτή, μυστικό επισκέπτη, θα πρέπει να υπάρχουν τα παρακάτω στοιχεία:
- Βιογραφικό σημείωμα (με ημερομηνία και υπογραφή).
- Ημερομηνία συνέντευξης που έγινε πριν την αρχή της συνεργασίας η οποία θα αναγράφεται στο βιογραφικό ή σε άλλο έντυπο, καθώς και το όνομα/υπογραφή του ατόμου που διεξήγαγε τη συνέντευξη.
- Έκθεση εκπαίδευσης που να αναγράφει τα είδη, τις ημερομηνίες και τη διάρκεια της εκπαίδευσης και την υπογραφή του ατόμου που εκπαιδεύθηκε.
- Τυχόν συστάσεις που ζητήθηκαν και ελήφθησαν.
- Εκθεση συνοδείας / αξιολόγηση της πρώτης εργασίας.
- Εργασίες που εργάσθηκε.
- Εκθέσεις αξιολόγησης συμπεριλαμβανομένων των εκθέσεων συνοδείας.
- Έλεγχοι.
- Λεπτομέρειες για ατέλειες που διαπιστώθηκαν στον έλεγχο και μέτρα που έχουν ληφθεί.
- Ημερομηνία έκδοσης και λήξης δελτίου ταυτότητας.
ΣΗΜΕΙΩΣΗ:
Για ερευνητές που εργάζονται μόνο σε τηλεφωνικές έρευνες δεν είναι αναγκαία η έκδοση ταυτότητας.
2.2. ΠΡΟΣΛΗΨΗ - ΑΡΧΕΙΟ ΕΠΙΘΕΩΡΗΤΩΝ
Πριν την έναρξη της συνεργασίας με νέο επιθεωρητή, πρέπει να προηγείται προσωπική συνέντευξη, με τον υπεύθυνο Field ή άλλο στέλεχος της Εταιρείας.
Για κάθε επιθεωρητή πρέπει να υπάρχουν τα παρακάτω στοιχεία :
- Βιογραφικό Σημείωμα.
- Ημερομηνία συνέντευξης και έναρξης συνεργασίας.
- Εκθεση εκπαίδευσης που να αναγράφει τα είδη, τις ημερομηνίες και την διάρκεια της εκπαίδευσης και την υπογραφή του ατόμου που εκπαιδεύτηκε.
- Τυχόν συστάσεις που ζητήθηκαν και ελήφθησαν.
- Εκθέσεις αξιολόγησης.
- Ημερομηνία έκδοσης δελτίου ταυτότητας και αριθμός ταυτότητας.
- Είδη ερευνών/εργασιών που έχει χρησιμοποιηθεί.
2.3. ΕΡΓΑΣΙΕΣ ΕΠΙΘΕΩΡΗΤΩΝ
Ένας επιθεωρητής θα πρέπει να αναλαμβάνει τουλάχιστον μία από τις παρακάτω εργασίες:
- Να επιλέγει κατόπιν συνέντευξης καινούργιους ερευνητές, στρατολόγους, ελεγκτές, μυστικούς επισκέπτες,.
- Να εκπαιδεύει τα πιο πάνω καινούργια άτομα.
- Να κάνει συνοδείες.
- Να αξιολογεί την εργασία των ερευνητών.
- Κατανομή εργασίας στους ερευνητές, παρακολούθηση προόδου, έλεγχο της εργασίας και της επιλογής δείγματος (quota control).
ΣΗΜΕΙΩΣΗ:
Ατομα που κάνουν μόνο έλεγχο θεωρούνται ελεγκτές, όχι επιθεωρητές.
Οι παραπάνω εργασίες μπορεί να ανατίθενται σε βοηθούς επιθεωρητές και ακόμη σε παλαιούς ερευνητές που έχουν εκπαιδευτεί στις συγκεκριμένες εργασίες επιθεωρητή. Οι Εταιρείες Μέλη οφείλουν να είναι σε θέση να αποδείξουν ότι οι προαναφερθέντες έχουν εκπαιδευτεί κατάλληλα και έχουν την εμπειρία για να φέρουν σε πέρας εργασίες αυτής της μορφής. Γραπτές ενδείξεις για την εκπαίδευση/εμπειρία πρέπει να είναι διαθέσιμες.
Β. ΑΡΧΕΙΑ ΕΡΕΥΝΩΝ
2.4. ΑΡΧΕΙΟ ΠΟΣΟΤΙΚΩΝ ΕΡΕΥΝΩΝ
Ο φάκελος κάθε εργασίας πρέπει να περιέχει τις εξής πληροφορίες:
- Αριθμό έρευνας.
- Οδηγίες (quotas, μέθοδος συλλογής στοιχείων κλπ.) από τον υπεύθυνο της έρευνας προς τον υπεύθυνο του τμήματος συλλογής στοιχείων (Field).
- Ημερομηνίες διεξαγωγής συνεντεύξεων.
- Τον αριθμό και τα ονόματα των ερευνητών, στρατολόγων, ελεγκτών, μυστικών επισκεπτών και επιθεωρητών που δούλεψαν στη συγκεκριμένη εργασία.
- Το συνολικό αριθμό των συνεντεύξεων που πραγματοποιήθηκαν.
- Στοιχεία (έντυπα, κασέτα κλπ.) που αποδεικνύουν την ενημέρωση (briefing) των ερευνητών.
- Βεβαίωση ενημέρωσης (briefing) υπογεγραμμένη από τους ερευνητές, ελεγκτές, μυστικούς επισκέπτες και επιθεωρητές.
- Το ερωτηματολόγιο ή άλλο βοήθημα για την συνέντευξη ή την στρατολόγηση ατόμων.
- Mέθοδο/μεθόδους ελέγχων που χρησιμοποιήθηκαν, αριθμό και ημερομηνίες πραγματοποιηθέντων ελέγχων καθώς και τα ονόματα των ατόμων που ελέγχθησαν, μαζί με συνοπτικά αποτελέσματα ελέγχου (τα αναλυτικά αποτελέσματα ελέγχου βρίσκονται στο αρχείο του κάθε συγκεκριμένου ατόμου).
- Τον τρόπο που επιλέχθηκαν τα συγκεκριμένα άτομα/ερωτηματολόγια/σημεία για έλεγχο.
- Συνοπτικά στοιχεία από τα Δελτία Πορείας/επισκέψεων (δηλαδή σύνολο επαφών, αριθμό αρνήσεων, κλπ.)
* * * * *
- Για ερευνητικά κέντρα, έκθεση εργασίας επιθεωρητών (βλ. Κεφ. 2.5)
- Για τηλεφωνικά κέντρα, έκθεση εργασίας επιθεωρητών (βλ. Κεφ. 2.6)
2.5. ΕΠΙΠΛΕΟΝ AΠΑΙΤΗΣΕΙΣ ΓΙΑ ΕΡΕΥΝΗΤΙΚΑ ΚΕΝΤΡΑ
Ελεγχος καταλληλότητας χώρων
Κάθε καινούργιος χώρος θα πρέπει να ελέγχεται προτού αρχίσει να χρησιμοποιείται για να διαπιστωθεί η καταλληλότητά του. Ο έλεγχος καταλληλότητας θα πρέπει να γίνεται από άτομο στο οποίο έχουν δοθεί όλες οι σχετικές οδηγίες.
Ευθύνες επιθεωρητών
Ένας επιθεωρητής θα πρέπει να παρευρίσκεται σε κάθε κέντρο που χρησιμοποιείται, και να παρακολουθεί τουλάχιστον 30% των συνεντεύξεων της κάθε μέρας.
Επιπλέον θα συμπληρώνει την έκθεση συνοδείας για κάθε ερευνητή που παρακολουθεί τη δουλειά του.
Έκθεση εργασίας
Ο επιθεωρητής θα πρέπει να συμπληρώνει και να στέλνει μία έκθεση, μετά το πέρας της εργασίας που να περιλαμβάνει για το κάθε κέντρο τα πιο κάτω στοιχεία:
- Αριθμό συμπληρωμένων ερωτηματολογίων.
- Αριθμό και ονόματα χρησιμοποιηθέντων ερευνητών.
- Ονόματα ερευνητών που παρακολούθησε στη δουλειά τους και την υπογραφή του.
- Εάν γίνεται επιπλέον έλεγχος (εκτός από την παρακολούθηση) στο κέντρο, τα αποτελέσματα ελέγχου για τον κάθε ερευνητή.
- Άλλα σχετικά σχόλια (πχ. σε σχέση με το ερωτηματολόγιο, αίθουσα, κριτήρια επιλογής, δυσμενείς συνθήκες - καιρός, περιοχή κλπ.).
Η έκθεση του επιθεωρητή πρέπει να περιλαμβάνεται στο αρχείο της έρευνας, μαζί με όλα τα στοιχεία που αναφέρονται στο κεφ. 2.4.
2.6. ΕΠΙΠΛΕΟΝ ΑΠΑΙΤΗΣΕΙΣ ΓΙΑ ΤΗΛΕΦΩΝΙΚΑ ΚΕΝΤΡΑ / ΤΗΛΕΦΩΝΙΚΕΣ ΕΡΕΥΝΕΣ ΑΠΟ ΤΟ ΓΡΑΦΕΙΟ
Ευθύνες Επιθεωρητών
Καθ'όλη τη διάρκεια της λήψεως των συνεντεύξεων, ο επιθεωρητής πρέπει να είναι παρών.
Έκθεση εργασίας
Ο επιθεωρητής θα πρέπει να συμπληρώνει για κάθε εργασία μία έκθεση που να περιλαμβάνει:
- Ημερομηνίες, ώρες ή βάρδιες που δούλεψε κάθε ερευνητής.
- Στις περιπτώσεις που υπάρχει σύστημα συνακρόασης (Remote Listening-In), συνοπτικά αποτελέσματα από συνακρόαση συνεντεύξεων.
Η έκθεση του επιθεωρητή πρέπει να περιλαμβάνεται στο αρχείο της έρευνας, μαζί με όλα τα στοιχεία που αναφέρονται στο κεφ. 2.4.
2.7. ΑΡΧΕΙΟ ΠΟΙΟΤΙΚΩΝ ΕΡΕΥΝΩΝ
Ο φάκελος κάθε εργασίας πρέπει να περιέχει τις εξής πληροφορίες :
- Αριθμό έρευνας.
- Είδος έρευνας : ομαδικές συζητήσεις ή/και συνεντεύξεις σε βάθος.
- Ημερομηνίες που διεξήχθησαν οι ομαδικές συζητήσεις/συνεντεύξεις σε βάθος.
- Τον αριθμό και τα ονόματα την στρατολόγων, ελεγκτών και επιθεωρητών που δούλεψαν στη συγκεκριμένη εργασία.
- Τον αριθμό των ατόμων που έλαβαν τελικά μέρος στις ομαδικές συζητήσεις/ συνεντεύξεις σε βάθος. Σε περίπτωση ομαδικών συζητήσεων και τον αριθμό ομάδων.
- Στοιχεία (έντυπα, κασέτα κλπ.) με τα οποία αποδεικνύεται η ενημέρωση των στρατολόγων.
- Βεβαίωση ενημέρωσης (briefing) υπογεγραμμένη από τους στρατολόγους, ελεγκτές και επιθεωρητές.
- Το ερωτηματολόγιο για την στρατολόγηση ατόμων.
- Μέθοδους ελέγχου στρατολόγησης που χρησιμοποιήθηκαν, αριθμό πραγματοποιηθέντων ελέγχων καθώς και αποτελέσματα για κάθε στρατολόγο.
- Έκθεση του διεξάγοντος (moderator) την ποιοτική έρευνα.
Εκθεση του διεξάγοντος την ποιοτική έρευνα
Οι διεξάγοντες την ποιοτική έρευνα θα πρέπει μετά το τέλος κάθε ομαδικής συζήτησης ή άλλης σχετικής εργασίας να παρέχουν πληροφορίες και σχόλια σχετικά με :
- Τα άτομα που έλαβαν μέρος (αν επιλέχθηκαν σωστά και πόσο κατάλληλοι ήταν).
- Την καταλληλότητα του χώρου.
- Τα άτομα που υποδέχτηκαν τους ερωτώμενους.
Οι πληροφορίες αυτές θα πρέπει να αναγράφονται σε ειδικό έντυπο, το οποίο θα συμπληρώνεται από το άτομο που διεξήγαγε την έρευνα.
Ο/οι υπεύθυνος/οι στρατολόγος/οι θα πρέπει να ενημερώνεται για κάθε τι που δεν πήγε καλά, και οι σχετικές πληροφορίες θα πρέπει να αρχειοθετούνται, έτσι ώστε να μπορούν να χρησιμοποιούνται στην επόμενη αξιολόγησή του.
ΣΗΜΕΙΩΣΗ:
Για ομαδικές συζητήσεις απαιτείται ξεχωριστή έκθεση Moderator για την κάθε ομάδα, ενώ για τις συνεντεύξεις σε βάθος αρκεί μία συνολική έκθεση στο τέλος της έρευνας, εκτός από τις περιπτώσεις που η διεξαγωγή των συνεντεύξεων πραγματοποιήθηκε από 2-3 Moderators.
2.8. ΑΠΑΙΤΗΣΕΙΣ ΤΩΝ ΠΟΙΟΤΙΚΩΝ ΕΡΕΥΝΩΝ
Ερωτηματολόγιο στρατολόγησης ατόμων
Για την εξεύρεση και την επιλογή ατόμων για ομαδικές συζητήσεις ή συνεντεύξεις σε βάθος πρέπει να χρησιμοποιείται ερωτηματολόγιο.
Ενημέρωση (briefing) στρατολόγων
Θα πρέπει να δίδονται στους στρατολόγους σαφείς γραπτές οδηγίες για την κάθε εργασία. Οι οδηγίες αυτές θα πρέπει να είναι συγκεκριμένες και ανάλογα με την εργασία, να περιλαμβάνουν:
- Τους υφιστάμενους περιορισμούς (quotas) με ακρίβεια.
- Αριθμό ατόμων ανά ομαδική συζήτηση και, αν κρίνεται σκόπιμο, τον απαιτούμενο ελάχιστο αριθμό ατόμων για να γίνει η ομαδική συζήτηση.
- Την κατάλληλη ή αποδεκτή μέθοδο για την εξεύρεση ατόμων (πόρτα-πόρτα, στο δρόμο, με το τηλέφωνο, και αν χρησιμοποιούνται ήδη υπάρχοντα αρχεία ή αν το snowballing είναι αποδεκτό).
- Συγκεκριμένους περιορισμούς και εξαιρέσεις ατόμων που έχουν λάβει μέρος σε προηγούμενες έρευνες. Οι περιορισμοί αυτοί μπορεί να αναφέρονται τόσο στην εξεύρεση ατόμων που δεν έχουν ποτέ στο παρελθόν λάβει μέρος σε ποιοτική έρευνα, όσο και στον προσδιορισμό χρονικού διαστήματος, μετά την παρέλευση του οποίου θα μπορεί ένα άτομο να χρησιμοποιηθεί εκ νέου.
ΣΗΜΕΙΩΣΗ:
Όπου τούτο είναι δυνατόν, τα παραπάνω θα πρέπει να συμπεριλαμβάνονται στο ερωτηματολόγιο επιλογής. Ερωτώμενοι που έχουν προηγουμένως λάβει μέρος σε ομαδική συζήτηση ή συνέντευξη σε βάθος, δεν θα πρέπει να ξαναστρατολογούνται, πριν να περάσει περίοδος 6 μηνών, εκτός εάν υπάρχει γραπτή συμφωνία με τον πελάτη ότι μπορούν να χρησιμοποιηθούν τέτοιοι ερωτώμενοι.
Ελεγχος καταλληλότητας αιθουσών για την ποιοτική έρευνα
Θα πρέπει να υπάρχουν σαφείς οδηγίες για τις προδιαγραφές της αίθουσας ή των αιθουσών που θα χρησιμοποιηθούν για την ποιοτική έρευνα. Κάθε καινούργιος χώρος θα πρέπει πριν χρησιμοποιηθεί να ελεγχθεί για να διαπιστωθεί η καταλληλότητά του. Ο έλεγχος καταλληλότητας πρέπει να γίνεται από άτομο στο οποίο έχουν δοθεί όλες οι σχετικές οδηγίες.
ΣΗΜΕΙΩΣΗ:
Αν κριθεί ότι δεν είναι αναγκαίο, ορισμένοι χώροι, όπως π.χ. ξενοδοχεία, μπορούν να εξαιρεθούν από τον παραπάνω κανόνα.
ΤΜΗΜΑ 3 : ΕΚΠΑΙΔΕΥΣΗ
3.1. ΕΓΧΕΙΡΙΔΙΑ ΜΕ ΟΔΗΓΙΕΣ ΓΙΑ ΕΡΕΥΝΗΤΕΣ, ΣΤΡΑΤΟΛΟΓΟΥΣ, ΕΛΕΓΚΤΕΣ
Η Εταιρεία Μέλος είναι υπεύθυνη για να παρέχει σε όλους τους ερευνητές, στρατολόγους και ελεγκτές, εγχειρίδιο το οποίο να περιέχει γενικές οδηγίες σχετικά με τα καθήκοντα που καλούνται να αναλάβουν και τις υποχρεώσεις που αυτοί έχουν έναντι της εταιρείας και των ερωτώμενων.
Το εγχειρίδιο αυτό δεν είναι απαραίτητο να είναι το ίδιο με το εγχειρίδιο της βασικής εκπαίδευσης.
Οταν τα εγχειρίδια αυτά αναθεωρούνται/αλλάζουν, το νέο αναθεωρημένο εγχειρίδιο πρέπει να αναγράφει την τελευταία ημερομηνία έκδοσης.
3.2. ΕΚΠΑΙΔΕΥΣΗ - ΓΕΝΙΚΕΣ ΑΡΧΕΣ
Η Εταιρεία Μέλος είναι υπεύθυνη για την επαρκή και κατάλληλη εκπαίδευση/εμπειρία που θα πρέπει να έχουν οι ερευνητές, στρατολόγοι, ελεγκτές και μυστικοί επισκέπτες για να μπορούν να φέρνουν σε πέρας τις εργασίες που τους ανατίθενται.
Στα αρχεία της Εταιρείας θα πρέπει να υπάρχουν πληροφορίες για την εκπαίδευση και την προηγούμενη εμπειρία των ατόμων αυτών. Τα αρχεία αυτά θα πρέπει να είναι διαθέσιμα κατά τον έλεγχο του ΠΕΣΣ.
Οι ημερομηνίες και η διάρκεια της αρχικής εκπαίδευσης πρέπει να καταγράφονται.
Η έκθεση αποτελεσμάτων από την πρώτη συνοδεία/αξιολόγηση του ατόμου πρέπει επίσης να αρχειοθετείται.
Το βασικό εκπαιδευτικό υλικό πρέπει να είναι διαθέσιμο για τον έλεγχο του ΠΕΣΣ.
Η εκπαίδευση πρέπει να γίνεται από επιθεωρητή ή στέλεχος της Εταιρείας Μέλος που έχει την εμπειρία και την κατάλληλη εκπαίδευση για να κάνει τη δουλειά αυτή.
Στη περίπτωση που η εκπαίδευση γίνεται για λογαριασμό περισσοτέρων της μιας Εταιρειών, θα πρέπει οι Εταιρείες:
- Να είναι μέλη του ΠΕΣΣ.
- Να υπάρχει γραπτή συμφωνία για την κοινή εκπαίδευση.
- Στο έντυπο της Έκθεσης θα πρέπει να υπάρχει δήλωση από την οποία να φαίνεται ότι ο ερευνητής, στρατολόγος ή ελεγκτής έχει εκπαιδευτεί για να εργαστεί και στις άλλες Εταιρείες.
3.3. ΕΚΠΑΙΔΕΥΣΗ ΕΡΕΥΝΗΤΩΝ ΠΟΥ ΔΕΝ ΕΧΟΥΝ ΗΔΗ ΕΚΠΑΙΔΕΥΤΕΙ ΒΑΣΕΙ ΤΟΥ ΚΑΝΟΝΙΣΜΟΥ ΤΟΥ ΠΕΣΣ
Διάρκεια βασικής εκπαίδευσης ερευνητών
Οι υποψήφιοι ερευνητές (τα καινούργια άτομα) που δεν έχουν στο παρελθόν εκπαιδευτεί σύμφωνα με τις προδιαγραφές του ΠΕΣΣ, πρέπει να τύχουν βασικής εκπαίδευσης τουλάχιστον δύο ημερών (12 ωρών) που πρέπει να περιλαμβάνει και τη συμπλήρωση εκπαιδευτικών ερωτηματολογίων.
Στον ατομικό φάκελο του ερευνητή θα υπάρχει σχετική αναφορά/έκθεση βασικής εκπαίδευσης.
Συνοδεία στην πρώτη εργασία
Επιπλέον, το καινούργιο άτομο θα πρέπει να συνοδεύεται στην πρώτη δουλειά. Αυτό πρέπει να γίνει όσο το δυνατόν από την αρχή της πρώτης εργασίας του και να διαρκέσει έως ότου διαπιστωθεί ότι το άτομο αυτό είναι επαρκώς εκπαιδευμένο και είναι ικανό να συνεχίσει μόνο του.
Εκθεση συνοδείας/αξιολόγηση α' εργασίας θα υπάρχει στον ατομικό φάκελο του ερευνητή.
Τα ερωτηματολόγια που συμπληρώθηκαν από άτομο που δεν έχει συνοδευτεί δεν πρέπει να χρησιμοποιηθούν έως ότου συνοδευτεί και η εργασία του θεωρηθεί αποδεκτή.
ΕΞΑΙΡΕΣΗ ΕΡΕΥΝΩΝ ΣΕ ΕΠΙΧΕΙΡΗΣΕΙΣ:
Στην περίπτωση τέτοιων ερευνών όπου δεν είναι δυνατή η συνοδεία, πρέπει να γίνουν εκπαιδευτικά ερωτηματολόγια για να διαπιστωθεί αν ο ερευνητής είναι επαρκώς εκπαιδευμένος και ικανός να δουλέψει μόνος του. Σ'αυτήν την περίπτωση, μία ή περισσότερες συνεντεύξεις από την πρώτη ανάθεση εργασίας του πρέπει να μαγνητοφωνηθούν και να τις ακούσει κατάλληλα εκπαιδευμένο/υπεύθυνο άτομο, πριν η εργασία αυτή χρησιμοποιηθεί.
Διάρκεια βασικής εκπαίδευσης στρατολόγων
Πρόκειται για καινούργια άτομα που επιλέχθηκαν αποκλειστικά για στρατολόγηση και που δεν είχαν στο παρελθόν εκπαιδευτεί σύμφωνα με τις προδιαγραφές του ΠΕΣΣ.
Τα άτομα αυτά πρέπει να εκπαιδευτούν για τουλάχιστον 6 ώρες. Κατόπιν πρέπει να συνοδεύονται όσο το δυνατόν από την αρχή της πρώτης δουλειάς έως ότου διαπιστωθεί ότι το άτομο είναι επαρκώς εκπαιδευμένο και ικανό να συνεχίσει μόνο του.
Στον ατομικό φάκελο του στρατολόγου θα υπάρχει σχετική αναφορά (έκθεση εκπαίδευσης, έκθεση συνοδείας α' εργασίας).
Διάρκεια βασικής εκπαίδευσης για τηλεφωνικά κέντρα
Οι υποψήφιοι ερευνητές (τα καινούργια άτομα) χωρίς προηγούμενη εκπαίδευση βάσει των προδιαγραφών του ΠΕΣΣ, πρέπει να εκπαιδεύονται για 6 ώρες. Μετά τη βασική εκπαίδευση, ο ερευνητής πρέπει κατά τη διάρκεια της πρώτης του βάρδιας να δουλεύει με επίβλεψη ή να παρακολουθείται με συνακρόαση, μέχρι να διαπιστωθεί ότι το άτομο είναι επαρκώς εκπαιδευμένο και ικανό.
Η έκθεση βασικής εκπαίδευσης και επίβλεψης/συνακρόασης της α' εργασίας θα αρχειοθετούνται στον ατομικό φάκελο του ερευνητή.
ΣΗΜΕΙΩΣΗ:
Ατομα που ήδη δουλεύουν ή έχουν εκπαιδευτεί πριν από την συμμετοχή της εταιρείας στον ΠΕΣΣ δεν είναι αναγκαίο να εκπαιδευτούν εκ νέου, αλλά πρέπει να ενημερωθούν για την ύπαρξη του ΠΕΣΣ και για τους κανονισμούς του. Επιπλέον πρέπει να υπογράφουν μία δήλωση ότι έχουν παρακολουθήσει το ισχύον πρόγραμμα εκπαίδευσης της εταιρείας.
Περιεχόμενα εγχειριδίου βασικής εκπαίδευσης
Όλοι οι ερευνητές με ευθύνη της Εταιρείας Μέλους θα πρέπει να είναι επαρκώς και καλώς εκπαιδευμένοι για την εργασία που θα τους ανατεθεί. Στην κατάσταση που ακολουθεί περιγράφονται όλα τα θέματα που πρέπει απαραίτητα να καλύπτονται κατά τη διάρκεια της βασικής εκπαίδευσης και να περιλαμβάνονται στο εγχειρίδιο.
Διοικητικά θέματα |
| - Εισαγωγή στην Εταιρεία και όροι συνεργασίας |
- Σκοπός και σημασία της Έρευνας Αγοράς |
| - Η σημασία της σωστής και έντιμης συνέντευξης |
- Επεξήγηση των διαφόρων τύπων ερευνών |
| - Ο Κώδικας Δεοντολογίας της ESOMAR |
- Πώς παίρνουμε συνεντεύξεις από παιδιά (έως 14 ετών) |
- Χρήση ταυτότητας
- Ορολογία έρευνας αγοράς
- Διαθεσιμότητα των Εγχειριδίων της |
- Εξασφάλιση του απορρήτου και της ανωνυμίας των ερωτωμένων (σύμφωνα με το ν. 2472/97) |
| - Εταιρείας |
- Ευχαριστήριες επιστολές/φυλλάδια |
| - Παρακολούθηση για την πρόοδο της εργασίας |
- Ο ρόλος του Επιθεωρητή |
- Αξιολόγηση της απόδοσης του ερευνητή
- Κανονισμός ΠΕΣΣ (έλεγχος εκπαίδευσης και αξιολόγησης εργασίας ερευνητών) |
- Τί πρέπει να γίνεται όταν παρουσιαστούν προβλήματα
- Διαδικασίες ποιοτικού ελέγχου (επανέλεγχος) |
Τεχνικά θέματα |
| - Μέθοδοι δειγματοληψίας |
- Μέθοδοι ανεύρεσης και επιλογής ατόμων/νοικοκυριών (Πορεία/Δρομολόγιο ερευνητή) |
| - Έλεγχος περιορισμών (quotas) |
- Συμπλήρωση Δελτίου Πορείας/ επισκέψεων |
| - Τεχνική της λήψης συνεντεύξεων |
- Ευγένεια και συμπεριφορά ερευνητών |
| - Συμπλήρωση ερωτηματολογίου και διαχείριση |
- Τύποι ερωτήσεων. Ενθάρρυνση και Διερεύνηση (prompting and probing) |
| - Δημογραφικά / κριτήρια κατάταξης σε κοινωνικές τάξεις |
- Χρήση οπτικών βοηθημάτων / concepts / κάρτες / φωτογραφίες / προϊόντα |
| |
- Πρακτική εξάσκηση |
Ειδικά θέματα ποιοτικών ερευνών |
| - Γενικοί κανόνες της Εταιρείας για στρατολόγηση |
- Πώς διεξάγεται μια ομαδική συζήτηση |
| - Σημασία της τήρησης των οδηγιών στρατολόγησης |
- Πώς να πείσετε κάποιον να λάβει μέρος σε ποιοτική έρευνα |
| - H δυναμική των ομάδων |
- Ο ρόλος του ατόμου που διευθύνει τη συζήτηση (moderator) |
| - Χρήση οπτικοακουστικών μέσων και βιντεοσκόπηση των ομαδικών συζητήσεων |
- Επιβεβαίωση για την συμμετοχή στις ομαδικές συζητήσεις |
| - Τακτοποίηση χώρου για ομαδικές συζητήσεις |
- Υποδοχή και περιποίηση συμμετεχόντων |
3.4. ΕΚΠΑΙΔΕΥΣΗ ΕΡΕΥΝΗΤΩΝ ΠΟΥ ΕΧΟΥΝ ΗΔΗ ΕΚΠΑΙΔΕΥΤΕΙ ΒΑΣΕΙ ΤΟΥ ΚΑΝΟΝΙΣΜΟΥ ΤΟΥ ΠΕΣΣ
Γενικός Κανόνας
Εάν ένα άτομο έχει ήδη εκπαιδευτεί/εργασθεί στο παρελθόν σύμφωνα με τις προδιαγραφές του ΠΕΣΣ, η Εταιρεία Μέλος μπορεί να αποφασίσει ότι η βασική εκπαίδευση, όπως περιγράφεται στο κεφ. 3.3., δεν είναι αναγκαία και το άτομο αυτό να έχει μία συντομότερη αρχική εκπαίδευση. Σε αυτή την περίπτωση, η Εταιρεία πρέπει, εάν είναι δυνατόν, να λάβει μία βεβαίωση από την κατάλληλη Εταιρεία Μέλος του ΠΕΣΣ ότι το άτομο αυτό έχει εκπαιδευτεί/εργασθεί σύμφωνα με τις προδιαγραφές του
ΠΕΣΣ.
Διάρκεια αρχικής εκπαίδευσης
Η αρχική εκπαίδευση πρέπει να έχει διάρκεια τουλάχιστον 3 ωρών και να υπάρχει
σχετική αναφορά στον ατομικό φάκελο του ερευνητή.
Περιεχόμενο της αρχικής εκπαίδευσης
Η αρχική εκπαίδευση για άτομα που έχουν ήδη εκπαιδευτεί από Εταιρεία Μέλος του
ΠΕΣΣ πρέπει το λιγότερο να περιλαμβάνει:
- Διαπίστωση κατά πόσον το άτομο έχει την εμπειρία και τις γνώσεις που χρειάζεται
για κάθε είδος εργασίας στο οποίο θα χρησιμοποιηθεί.
- Οδηγίες που έχουν σχέση με τις υφιστάμενες διαδικασίες και τη διοικητική
λειτουργία της Εταιρείας Μέλους.
- Την εκμάθηση του Εγχειριδίου ερευνητών της Εταιρείας Μέλους.
Συνοδεία στην πρώτη εργασία
Μετά την αρχική εκπαίδευση, το καινούργιο άτομο πρέπει να συνοδεύεται στην πρώτη του δουλειά. Αυτό πρέπει να γίνει όσο το δυνατόν από την αρχή της εργασίας του και να διαρκέσει έως ότου διαπιστωθεί ότι το άτομο αυτό είναι επαρκώς εκπαιδευμένο και είναι ικανό να συνεχίσει μόνο του.
Εκθεση συνοδείας/αξιολόγηση α' εργασίας θα υπάρχει στον ατομικό φάκελο του ερευνητή.
Τα ερωτηματολόγια που συμπληρώθηκαν από άτομο που δεν έχει συνοδευτεί δεν πρέπει να χρησιμοποιηθούν έως ότου συνοδευτεί και η εργασία του θεωρηθεί αποδεκτή.
ΣΗΜΕΙΩΣΗ:
Για τους ερευνητές που εργάζονται σε τηλεφωνικό κέντρο, πρέπει να
υπάρχει κατάλληλη επίβλεψη ή συνακρόαση.
ΕΞΑΙΡΕΣΗ ΕΡΕΥΝΩΝ ΣΕ ΕΠΙΧΕΙΡΗΣΕΙΣ:
Στην περίπτωση έρευνας σε επιχειρήσεις, όπου το είδος της εργασίας δεν προσφέρεται ίσως για προσωπική συνοδεία ή επίβλεψη, είναι θέμα του επιθεωρητή/εκπαιδευτή να κρίνει αν ο ερευνητής είναι αρκετά καλά εκπαιδευμένος και ικανός να δουλέψει μόνος του. Σε αυτήν την περίπτωση, μία ή περισσότερες συνεντεύξεις από την πρώτη ανάθεση εργασίας του πρέπει να μαγνητοφωνηθούν και να τις ακούσει κατάλληλα εκπαιδευμένο/υπεύθυνο άτομο, πριν η εργασία αυτή χρησιμοποιηθεί.
Εκπαίδευση πάνω σε νέα είδη εργασίων
Αν το άτομο πρόκειται να χρησιμοποιηθεί σε ένα είδος εργασίας, για το οποίο δεν είχε εκπαιδευτεί από Εταιρεία Μέλος του ΠΕΣΣ, πρέπει προτού αναλάβει μια τέτοια εργασία να του γίνει ειδική εκπαίδευση στον τομέα αυτό από την Εταιρεία Μέλος.
3.5. ΕΚΠΑΙΔΕΥΣΗ EΛΕΓΚΤΩΝ
Ολα τα άτομα που εργάζονται ως ελεγκτές πρέπει να έχουν λάβει την βασική εκπαίδευση ερευνητή (βλ. τμήμα 3.3.). Επιπλέον πρέπει να εκπαιδεύονται σε εκείνα τα τμήματα του Κανονισμού ΠΕΣΣ που αφορούν τον Ελεγχο Στοιχείων (τμήμα 5), τα οποία είναι και σχετικά με το είδος της εργασίας που θα ελέγχουν.
Στον ατομικό φάκελο του ελεγκτή θα υπάρχει σχετική αναφορά/έκθεση εκπαίδευσης.
Ολοι οι ελεγκτές πρέπει να εφοδιάζονται με εγχειρίδιο οδηγιών για τα καθήκοντα που καλούνται να αναλάβουν. Το εγχειρίδιο αυτό μπορεί να είναι το σχετικό τμήμα του εγχειριδίου για τους επιθεωρητές.
3.6. ΕΚΠΑΙΔΕΥΣΗ ΕΠΙΘΕΩΡΗΤΩΝ
Η Εταιρεία Μέλος υποχρεούται να φροντίζει ώστε όλοι οι επιθεωρητές να έχουν την εκπαίδευση και την εμπειρία που απαιτείται για να φέρουν σε πέρας τις εργασίες που θα τους ανατεθούν.
Πριν από την αρχή της συνεργασίας με έναν καινούργιο επιθεωρητή πρέπει να διαπιστωθεί και να καταγραφεί το είδος της εκπαίδευσης που έχει ανάγκη. Στην συνέχεια, το είδος της εκπαίδευσης που του δόθηκε και οι σχετικές ημερομηνίες πρέπει να καταγραφούν και να τοποθετηθεί η πληροφορία στον προσωπικό του φάκελο.
Με ευθύνη της Εταιρείας Μέλους, όλοι οι επιθεωρητές εφοδιάζονται με εγχειρίδιο οδηγιών σχετικά με τα καθήκοντα που καλούνται να αναλάβουν από την Εταιρεία Μέλος.
3.7. ΕΚΠΑΙΔΕΥΣΗ / ΕΝΗΜΕΡΩΣΗ ΜΥΣΤΙΚΩΝ ΕΠΙΣΚΕΠΤΩΝ
Οι μυστικοί επισκέπτες πρέπει να υποβάλλονται στην κατάλληλη εκπαίδευση για κάθε εργασία που αναλαμβάνουν, έτσι ώστε να εξασφαλίζεται η εκτέλεση της εργασίας κατά τον ίδιο πάντα τρόπο.
Εχει παρατηρηθεί ότι για μερικούς τύπους εργασίας, η επιπλέον εκπαίδευση μπορεί να οδηγήσει τον μυστικό επισκέπτη σε σημείο ώστε να συμπεριφέρεται περισσότερο σαν "επαγγελματίας εκτιμητής" παρά σαν κανονικός πελάτης. Συνεπώς, είναι αποδεκτό να διαφέρει η εκπαίδευση ανάλογα με τη φύση της συγκεκριμένης εργασίας.
Σε κάθε μυστικό επισκέπτη θα πρέπει να γίνεται ενημέρωση (προφορική και γραπτή)
σχετικά με την εργασία που θα αναλάβει, στην οποία να περιγράφεται με λεπτομέρεια :
- Τί αναμένεται από αυτούς να κάνουν.
- Πώς να παίξουν το σενάριο (ποιοί είναι και τί πρέπει να κάνουν).
- Πώς να συμπληρώσουν την έκθεση ή το ερωτηματολόγιο.
Η ενημέρωση πρέπει να περιέχει πάντα πλήρεις και επαρκείς οδηγίες. Αυτές μπορεί να έχουν την μορφή γραπτών οδηγιών, κασέτας ενημέρωσης, ή και εκπαιδευτικής βιντεοταινίας. Ανάλογα με την περίπτωση, η προσωπική ή τηλεφωνική ενημέρωση μπορεί ίσως να βοηθήσει, αλλά δεν μπορεί να υποκαταστήσει το υλικό της ενημέρωσης.
Το υλικό της ενημέρωσης φυλάσσεται και τίθεται στη διάθεση του Επιθεωρητή του ΠΕΣΣ, εφόσον ζητηθεί.
3.8. ΕΝΗΜΕΡΩΣΗ / BRIEFING
Οι ερευνητές, στρατολόγοι, ελεγκτές και επιθεωρητές πρέπει να έχουν επαρκή ενημέρωση (εκπαίδευση) για κάθε νέα εργασία.
Αυτό μπορεί να γίνεται με προσωπική ενημέρωση όπου στην περίπτωση αυτή είναι απαραίτητη η μαγνητοφώνηση, ή ταχυδρομικώς ή τηλεφωνικώς ή με μαγνητοταινία ή με βιντεοταινία.
Η ενημέρωση πρέπει να περιλαμβάνει τουλάχιστον τα ακόλουθα:
- Ημερομηνίες διεξαγωγής των συνεντεύξεων.
- Ωρες που πρέπει να γίνουν οι συνεντεύξεις.
- Μέθοδος δειγματοληψίας.
- Προδιαγραφές του δείγματος (quotas, κλπ.).
- Εξαιρέσεις (πχ. επαγγέλματα που εξαιρούνται).
- Χρήση καρτών και άλλων βοηθητικών υλικών (εάν υπάρχουν).
- Ειδικές απαιτήσεις της συγκεκριμένης έρευνας (εάν υπάρχουν).
Ολοι οι ερευνητές πρέπει να υπογράφουν βεβαίωση ότι έχουν ενημερωθεί για τη συγκεκριμένη εργασία και να αναφέρεται η μέθοδος ενημέρωσης (π.χ. γραπτώς, προσωπική ενημέρωση, τηλεφωνικώς, από κασέτα, κλπ).
ΣΗΜΕΙΩΣΗ:
Σε επαναλαμβανόμενες έρευνες τύπου Tracking, δεν είναι αναγκαίο να γίνεται εκ νέου ενημέρωση σε όλους τους ερευνητές στην αρχή της κάθε φάσης της έρευνας. Εν τούτοις, πρέπει να αποδεικνύεται ότι όλοι οι καινούργιοι ερευνητές που συμμετέχουν στην έρευνα έχουν ενημερωθεί.
Το υλικό της ενημέρωσης θα πρέπει να αποδεικνύεται γραπτώς ή με άλλη μορφή, και να είναι διαθέσιμο, εφόσον ζητηθεί κατά τον Ελεγχο του ΠΕΣΣ.
3.9. ΧΡΗΣΗ ΕΞΩΤΕΡΙΚΩΝ ΤΗΛΕΦΩΝΙΚΩΝ ΚΕΝΤΡΩΝ ΜΕ ΣΥΣΤΗΜΑ CATI
Οι Εταιρείες Μέλη που χρησιμοποιούν τον τεχνολογικό εξοπλισμό των εταιρειών παροχής τηλεπικοινωνιακών υπηρεσιών (π.χ. εταιρείες τηλεμάρκετινγκ, call centres, τηλεπωλήσεις, κλπ.) επιβάλεται να ακολουθήσουν την παρακάτω διαδικασία.
Α) Η βασική εκπαίδευση των ερευνητών να γίνεται από την Εταιρεία Μέλος, και
Β) η ενημέρωση των ερευνητών (briefing) για κάθε έρευνα να γίνεται από την Εταιρεία
Μέλος, και
Γ) ο έλεγχος και η επιθεώρηση των ερευνητών να γίνεται από άτομα που έχουν
εκπαιδευτεί και επιβλέπονται από την Εταιρεία Μέλος
Σε άλλη περίπτωση η εταιρεία παροχής τηλεπικοινωνιακών υπηρεσιών πρέπει η ίδια να είναι μέλος του ΠΕΣΣ.
3.10. ΚΩΔΙΚΑΣ ΔΕΟΝΤΟΛΟΓΙΑΣ ΕSOMAR
Ένα πρόσφατο αντίτυπο του Κώδικα Δεοντολογίας της ESOMAR/ΣΕΔΕΑ θα πρέπει να δίνεται σε κάθε ερευνητή, στρατολόγο ή ελεγκτή, πριν από την ανάληψη κάποιας
εργασίας. Το αντίτυπο θα πρέπει να περιλαμβάνει τουλάχιστον τα παρακάτω:
- Υποχρεώσεις προς τους ερωτώμενους.
- Υποχρεώσεις προς το ευρύ κοινό και την Αγορά.
Οι ερευνητές θα πρέπει να ενημερώνονται, με την ευθύνη της Εταιρείας Μέλους, για κάθε τυχόν αλλαγή που θα γίνεται στη συνέχεια στον Κώδικα.
Υπεύθυνη Δήλωση συνεργατών
Η φράση "Δηλώνω υπεύθυνα ότι η συνέντευξη πραγματοποιήθηκε σύμφωνα με τις οδηγίες της ..... (όνομα της εταιρείας) και τον Κώδικα Δεοντολογίας ESOMAR/ΣΕΔΕΑ, και το ν. 2472/97" θα πρέπει να αναφέρεται σε όλα τα ερωτηματολόγια και να υπογράφεται από τον ερευνητή/στρατολόγο στο τέλος της συνέντευξης.
Όπου τούτο δεν είναι δυνατόν (π.χ. CAPI/CATI ή σε ερωτηματολόγιο που δόθηκε από τον πελάτη), παρόμοια δήλωση θα πρέπει να συμπληρώνεται με ένα από τους παρακάτω τρόπους:
- Να είναι σε χωριστό φύλλο χαρτιού όπου θα αναφέρεται η συγκεκριμένη χρονική περίοδος (πχ. ημέρα, βάρδια). Πρέπει να αναφέρει όνομα και αριθμό εργασίας, τα στοιχεία των ερωτώμενων (ονοματεπώνυμο και τηλέφωνο), να υπογράφεται από τον ερευνητή και να φυλάσσεται στο φάκελο της συγκεκριμένης εργασίας. ή
- Να εμφανίζεται στην οθόνη στην αρχή ή στο τέλος κάθε συνέντευξης/βάρδιας και ο ερευνητής/στρατολόγος να επιβεβαιώνει τη συμμόρφωσή του στον Κώδικα Δεοντολογίας.
3.11. ΕΥΧΑΡΙΣΤΗΡΙΕΣ ΚΑΡΤΕΣ ΣΤΟΥΣ ΕΡΩΤΩΜΕΝΟΥΣ
Μετά από κάθε προσωπική συνέντευξη, θα πρέπει να δίδεται από τον ερευνητή ή να αποστέλλεται στον ερωτώμενο μια ευχαριστήρια κάρτα ή επιστολή που να περιέχει το όνομα του ερευνητή (ή τον κωδικό του), το όνομα, τη διεύθυνση και το τηλέφωνο της Εταιρείας.
Στην περίπτωση ερευνητικών κέντρων είναι αρκετό να υπάρχει ένα πόστερ με κείμενο που να καθησυχάζει και να διασφαλίζει τους ερωτώμενους.
3.12. ΤΑΥΤΟΤΗΤΑ
Οι Εταιρείες Μέλη πρέπει να παρέχουν στους ερευνητές, στρατολόγους και ελεγκτές, την ταυτότητα με την επωνυμία τους. Σε οποιαδήποτε περίπτωση ισχύουν οι εξής κανόνες:
I. Οι ταυτότητες πρέπει να εκδίδονται αμέσως, με την έναρξη της συνεργασίας και να αναφέρονται οι ημερομηνίες για τις οποίες ισχύει η ταυτότητα.
Η εταιρεία πρέπει να τηρεί στοιχεία για την διάρκεια της ταυτότητας του κάθε ερευνητή.
ΕΞΑΙΡΕΣΗ:
Σε άτομα που δεν ξεκινούν αμέσως την συλλογή στοιχείων μετά την εκπαίδευσή τους, η ταυτότητα μπορεί να εκδοθεί όταν αναλάβουν την πρώτη τους δουλειά.
ΙΙ. Η Εταιρεία Μέλος θα πρέπει να επικολλά υποχρεωτικά την φωτογραφία του ερευνητή στην ταυτότητα. Η φωτογραφία αυτή πρέπει να είναι πρόσφατη, έως και 5 ετών.
ΙΙΙ. Η Εταιρεία Μέλος θα πρέπει να βεβαιώνεται ότι οι ερευνητές της χρησιμοποιούν την ταυτότητα που τους δόθηκε από την Εταιρεία πριν από τη λήψη των συνεντεύξεων.
IV. Η Εταιρεία Μέλος θα πρέπει να ζητά από τους ερευνητές που παύουν να συνεργάζονται την ταυτότητα που τους έχει δοθεί.
V. Η ταυτότητα που εκδίδει η Εταιρεία θα πρέπει να περιέχει το όνομα, την διεύθυνση και το τηλέφωνο της Εταιρείας.
VI. ΟΛΕΣ ΟΙ ΕΤΑΙΡΕΙΕΣ ΜΕΛΗ ΤΟΥ ΣΕΔΕΑ ΠΡΕΠΕΙ ΝΑ ΧΡΗΣΙΜΟΠΟΙΟΥΝ ΤΗΝ ΚΟΙΝΗ ΤΑΥΤΟΤΗΤΑ
ΣΗΜΕΙΩΣΗ:
Αντί ταυτότητας, ερευνητές που ασχολούνται αποκλειστικά με συνεντεύξεις στελεχών επιχειρήσεων, ιατρών ή άλλων επαγγελματιών, μπορούν να χρησιμοποιούν επισκεπτήρια της Εταιρείας όπου έχει τυπωθεί το όνομά τους, τα οποία μπορούν και να αφήνουν στον ερωτώμενο.
ΤΜΗΜΑ 4 : ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΣΩΠΙΚΟΥ - ΣΥΝΕΡΓΑΤΩΝ
4.1. ΓΕΝΙΚΕΣ ΑΡΧΕΣ
Η αξιολόγηση είναι η διαδικασία με την οποία εκτιμάται η εργασία των επιθεωρητών, ερευνητών, στρατολόγων και ελεγκτών, έτσι ώστε η απόδοσή τους να είναι η καλύτερη δυνατή και να ανταποκρίνεται στις απαιτήσεις της Εταιρείας Μέλους. Επίσης αποτελεί την ευκαιρία για επικοινωνία εν σχέση με τις απαιτήσεις της δουλειάς και την παροχή κατάλληλων οδηγιών και συμβουλών στα άτομα αυτά. Οι αξιολογήσεις πρέπει να γίνονται από στέλεχος/επιθεωρητή, ο οποίος πρέπει να έχει τις κατάλληλες γνώσεις και την ανάλογη εμπειρία.
4.2. ΑΞΙΟΛΟΓΗΣΗ ΕΠΙΘΕΩΡΗΤΩΝ
Πρέπει να γίνεται αξιολόγηση κάθε επιθεωρητή τουλάχιστον μία φορά κάθε ημερολογιακό έτος.
Οπου είναι δυνατόν, η αξιολόγηση πρέπει να γίνεται προσωπικά.
Η αξιολόγηση περιλαμβάνει πληροφορίες για την απόδοση του Επιθεωρητή, διαπίστωση τυχόν εκπαιδευτικών αναγκών, καθώς και την παροχή οδηγιών και συμβουλών όπου κρίνεται αναγκαίο. Τα σχετικά στοιχεία πρέπει να υπάρχουν στους αντίστοιχους φακέλους για τον Ελέγχο του ΠΕΣΣ. Ο επιθεωρητής πρέπει να υπογράψει για να επιβεβαιώσει ότι η αξιολόγηση έχει γίνει.
4.3. ΑΞΙΟΛΟΓΗΣΗ ΕΡΕΥΝΗΤΩΝ, ΣΤΡΑΤΟΛΟΓΩΝ, ΕΛΕΓΚΤΩΝ
Οι ερευνητές/στρατολόγοι/ελεγκτές που εργάζονται σε 5 ή περισσότερες έρευνες το χρόνο πρέπει να αξιολογούνται τουλάχιστον δύο φορές το χρόνο, μία φορά κάθε έξι μήνες, δηλ. μία φορά από τον Ιανουάριο έως τον Ιούνιο, και μία φορά από τον Ιούλιο έως το Δεκέμβριο.
Μία από τις αξιολογήσεις που γίνονται κατά τη διάρκεια του έτους πρέπει να περιλαμβάνει συνοδεία του ατόμου κατά τη λήψη συνεντεύξεων/στρατολόγησης/ελέγχου.
Οι ερευνητές/στρατολόγοι/ελεγκτές που εργάζονται σε τρεις ή τέσσερες έρευνες το χρόνο, πρέπει να αξιολογούνται τουλάχιστον μία φορά το χρόνο, από τον Ιανουάριο έως το Δεκέμβριο και να περιλαμβάνει συνοδεία του ατόμου.
Οι ερευνητές/στρατολόγοι/ελεγκτές που εργάζονται λιγότερο συχνά πρέπει να αξιολογούνται τουλάχιστον μία φορά κάθε δεύτερο έτος, ή στην πρώτη εργασία που θα αναλάβουν μετά από το συγκεκριμένο χρονικό διάστημα και να περιλαμβάνει συνοδεία.
Η πρώτη αξιολόγηση πρέπει να γίνεται μέσα σε έξι μήνες από την ημερομηνία που το άτομο εργαστεί στην πρώτη του έρευνα.
Ολα τα άτομα πρέπει να υπογράψουν για να επιβεβαιώσουν ότι η αξιολόγηση έχει γίνει.
ΜΕΘΟΔΟΣ ΑΞΙΟΛΟΓΗΣΗΣ
Αξιολόγηση με Συνοδεία
Τουλάχιστον μία από τις αξιολογήσεις που γίνονται κατά τη διάρκεια ενός ημερολογιακού έτους, πρέπει είναι προσωπική και να περιλαμβάνει συνοδεία του ατόμου κατά τη λήψη συνεντεύξεων/στρατολόγησης/ελέγχου. Η διάρκεια αυτής της συνοδείας θα πρέπει να είναι τουλάχιστον μία ώρα, και μετά να διατεθεί όσος χρόνος θεωρηθεί αναγκαίος για να δοθούν συστάσεις (feedback) και, αν είναι απαραίτητο, συμβουλές και περαιτέρω οδηγίες/εκπαίδευση. Οι συστάσεις μπορούν να γίνουν σε ξεχωριστή/ μεταγενέστερη χρονική στιγμή από την συνοδεία. Ομως, θα πρέπει να γίνονται σε προσωπική βάση.
Για κάθε άτομο που συνοδεύτηκε θα πρέπει να υπάρχει έκθεση συνοδείας που να υπογράφεται από αυτόν που έκανε την συνοδεία, καθώς και από τον ερευνητή/ στρατολόγο/ελεγκτή.
Η έκθεση συνοδείας πρέπει να περιλαμβάνει ημερομηνία, διάρκεια συνοδείας, αριθμό έρευνας, αριθμό πραγματοπιοηθέντων συνεντεύξεων/ατόμων που στρατολογήθηκαν/ελέγθηκαν, καθώς και πληροφορίες για την απόδοση του ατόμου.
Το έντυπο της έκθεσης συνοδείας μπορεί να είναι το ίδιο με το έντυπο της έκθεσης αξιολόγησης.
Όταν η παρακολούθηση γίνεται σε ερευνητικό κέντρο, θα πρέπει να γίνεται από έναν δεύτερο επιθεωρητή, όχι από αυτόν που επιβλέπει το κέντρο.
Η παρακολούθηση ερευνητών που εργάζονται κυρίως ή μόνο σε ιατρικές ή επιχειρησιακές έρευνες μπορεί να γίνεται από μαγνητοταινίες των συνεντεύξεων. Κατόπιν με προσωπική επικοινωνία θα πρέπει να γίνονται οι κατάλληλες συστάσεις, οδηγίες ή συμβουλές.
Άλλες αξιολογήσεις κατά τη διάρκεια του έτους
Κατά τη διάρκεια του ίδιου ημερολογιακού έτους μπορεί να γίνονται και άλλες αξιολογήσεις, είτε τηλεφωνικά είτε προσωπικά. Οι αξιολογήσεις αυτές θα πρέπει να
περιλαμβάνουν πληροφορίες για ένα τουλάχιστον από τα παρακάτω:
- Συνοδεία κατά τη λήψη συνεντεύξεων/στρατολόγησης.
- Πληροφορίες από τηλεφωνικούς ελέγχους ή επαληθεύσεις με επανεπίσκεψη.
- Εκθέσεις από υπεύθυνους για την κωδικοποίηση/διάτρηση/editing.
- Σχόλια από στελέχη/επιθεωρητές.
- Σχόλια από άτομα που διεξάγουν ομαδικές συζητήσεις (moderators).
4.4. ΕΚΘΕΣΗ ΑΞΙΟΛΟΓΗΣΗΣ
Για κάθε αξιολόγηση πρέπει να υπάρχει γραπτή έκθεση που να υπογράφεται από αυτόν
που έκανε την αξιολόγηση.
Η έκθεση αξιολόγησης πρέπει να περιλαμβάνει τουλάχιστον:
- Την/τις πηγές των πληροφοριών που χρησιμοποιήθηκαν (συνοδεία, έλεγχοι, σχόλια από επιθεωρητές, κλπ.).
- Την ημερομηνία που έγινε η αξιολόγηση.
- Αν η αξιολόγηση έγινε προσωπικά ή τηλεφωνικά.
- Πληροφορίες για την απόδοση του ατόμου
- Τί οδηγίες ή συμβουλές δόθηκαν.
- Αν διαπιστώθηκε ανάγκη για περαιτέρω εκπαίδευση.
4.5. ΕΠΙΒΕΒΑΙΩΣΗ ΤΗΣ ΑΞΙΟΛΟΓΗΣΗΣ
Είτε η αξιολόγηση έγινε προσωπικά είτε τηλεφωνικά, ο ερευνητής/στρατολόγος/ ελεγκτής πρέπει να βεβαιώνει ότι του έγινε αξιολόγηση υπογράφοντας την έκθεση αξιολόγησης ή μία ξεχωριστή βεβαίωση. Η υπογραμμένη επιβεβαίωση φυλάσσεται στον ατομικό φάκελο του ερευνητή.
4.6. ΑΞΙΟΛΟΓΗΣΗ ΕΡΕΥΝΗΤΩΝ ΤΗΛΕΦΩΝΙΚΩΝ ΚΕΝΤΡΩΝ ΜΕ ΣΥΣΤΗΜΑ ΣΥΝΑΚΡΟΑΣΗΣ
Κάθε ερευνητής/στρατολόγος θα πρέπει να αξιολογείται τουλάχιστον μία φορά κάθε έξι μήνες και να του δίνονται οι κατάλληλες οδηγίες και συμβουλές. Στον ατομικό φάκελο του ερευνητή θα πρέπει να υπάρχει η σχετική έκθεση αξιολόγησης με την ημερομηνία που έγινε και να φέρει την υπογραφή του ερευνητή, για τις ανάγκες του Ελέγχου του ΠΕΣΣ.
4.7. ΑΞΙΟΛΟΓΗΣΗ ΕΡΕΥΝΗΤΩΝ ΤΗΛΕΦΩΝΙΚΩΝ ΚΕΝΤΡΩΝ ΧΩΡΙΣ ΣΥΣΤΗΜΑ ΣΥΝΑΚΡΟΑΣΗΣ
Τουλάχιστον μία φορά κάθε έξι μήνες θα πρέπει να γίνεται αξιολόγηση του κάθε ερευνητή/στρατολόγου. Η σχετική έκθεση πρέπει να περιλαμβάνει τουλάχιστον:
- Την πηγή των πληροφοριών που χρησιμοποιήθηκαν.
- Την ημερομηνία που έγινε η αξιολόγηση.
- Πληροφορίες για την απόδοση του ατόμου
- Τί οδηγίες ή συμβουλές δόθηκαν.
- Αν διαπιστώθηκε ανάγκη για περαιτέρω εκπαίδευση.
Η έκθεση αξιολόγησης θα πρέπει να συζητείται με τον ερευνητή, ο οποίος θα πρέπει να υπογράφει την έκθεση αυτή. Η έκθεση φέρει ημερομηνία και φυλάσσεται στον ατομικό φάκελο του ερευνητή.
4.8. ΑΞΙΟΛΟΓΗΣΗ ΜΥΣΤΙΚΩΝ ΕΠΙΣΚΕΠΤΩΝ
Για να μη εξελιχθούν με τον καιρό οι μυστικοί επισκέπτες σε "επαγγελματίες εκτιμητές", η Εταιρεία Μέλος μπορεί να αποφασίσει αν οι αξιολογήσεις είναι κατάλληλες ή όχι γι'αυτό το είδος δουλειάς. Αν τελικά γίνεται αξιολόγηση, θα πρέπει να γίνεται γραπτή έκθεση, αντίτυπο της οποίας υπογράφεται από τον μυστικό επισκέπτη.
ΤΜΗΜΑ 5 : ΕΛΕΓΧΟΣ ΣΤΟΙΧΕΙΩΝ
5.1. ΓΕΝΙΚΕΣ ΑΡΧΕΣ
Οι ερευνητές, στρατολόγοι και ελεγκτές εργάζονται ως επί το πλείστον μόνοι. Ο έλεγχος της ακρίβειας των πληροφοριών που συνελέγησαν, αλλά και ο έλεγχος του κατά πόσον τα άτομα που έδωσαν πληροφορίες ήταν τα κατάλληλα με βάση τους περιορισμούς (quotas) που υπήρχαν, είναι αυτά που εξασφαλίζουν τόσο στην Εταιρεία Μέλος όσο και στον πελάτη, ότι οι πληροφορίες που συνελέγησαν είναι ακριβείς και αληθινές.
Σε εξαιρετικές περιπτώσεις, όπου ο έλεγχος δεν είναι δυνατός ή θεωρείται ακατάλληλος, ενοχλητικός ή είναι σε βάρος της έρευνας αγοράς, η Εταιρεία Μέλος μπορεί να πάρει την απόφαση να μην ελέγξει την συγκεκριμένη εργασία. Σε αυτές τις περιπτώσεις θα πρέπει να γίνεται γραπτή αναφορά των λόγων που επέβαλαν την λήψη μιας τέτοιας απόφασης και να υπάρχει στον φάκελο για τον Ελέγχο του ΠΕΣΣ.
Όταν γίνεται χρήση του συστήματος CAPI πρέπει να εκτυπώνεται μία λίστα από τον Η/Υ με τα ονόματα και τις διευθύνσεις και τα τηλέφωνα των ερωτωμένων, για τον έλεγχο.
Ο έλεγχος θα μπορεί να αρχίζει αμέσως με την έναρξη της συλλογής στοιχείων και πρέπει να ολοκληρώνεται πριν από το τέλος της ανάλυσης των στοιχείων.
Τα άτομα που αναλαμβάνουν τον έλεγχο, πρέπει να είναι επαρκώς και κατάλληλα εκπαιδευμένα για τον σκοπό αυτό (βλ. τμήμα 3.5.).
Πρέπει να χρησιμοποιείται μία συστηματική και αντιπροσωπευτική μέθοδος (rotation) για την επιλογή των ερευνητών των οποίων η εργασία θα ελέγχεται κάθε φορά. Και πρέπει να καταβάλλεται προσπάθεια ώστε να ελέγχεται ένα υψηλό ποσοστό της εργασίας του κάθε ερευνητή που επιλέχθηκε.
Για κάθε ερευνητή/στρατολόγο που ελέγχεται θα πρέπει να γίνεται χωριστή έκθεση ελέγχου, που να περιέχει και τις λεπτομέρειες για τα λάθη που διαπιστώθηκαν (όταν υπάρχουν) και για τα μέτρα που ελήφθησαν. Η έκθεση φέρει ημερομηνία και φυλάσσεται στον φάκελο του ερευνητή. Στον φάκελο της συγκεκριμένης εργασίας μπαίνει μία περίληψη της έκθεσης του ελέγχου με τις ημερομηνίες κατά τις οποίες αυτός πραγματοποιήθηκε.
Ανάλογα με την εργασία που ελέγχεται, μπορούν να χρησιμοποιηθούν διάφοροι μέθοδοι ελέγχου.
5.2. ΕΛΕΓΧΟΣ ΕΡΕΥΝΗΤΩΝ
Ελεγχος - ερωτηματολόγια
Κατ' ελάχιστο όριο το 15% των ερωτηματολογίων κάθε εργασίας πρέπει να ελέγχεται. Στο 15% υπολογίζεται μόνο ο ολοκληρωμένος έλεγχος που έγινε με επαφή με τον ίδιο τον ερωτώμενο.
Ο έλεγχος πρέπει να γίνεται το συντομότερο δυνατό μετά την συνέντευξη και μπορεί να γίνεται με προσωπική επίσκεψη, τηλεφωνικά, με συνοδεία, όπου ο έλεγχος θεωρείται ότι έγινε επιτόπου, ή ταχυδρομικά. Ιδιαίτερη προσοχή πρέπει να δίνεται σε περιπτώσεις που οι ερωτώμενοι δεν έχουν ή δεν έδωσαν τηλέφωνο. Εάν ένα μέρος του ελέγχου γίνει ταχυδρομικά, η Εταιρεία Μέλος πρέπει να εξασφαλίσει ότι τουλάχιστον το 75% όλων των ολοκληρωμένων συνεντεύξεων ελέγχονται τηλεφωνικά ή προσωπικά, και ότι έχει επιτευχθεί έλεγχος τουλάχιστον στο 15% του συνόλου. Οι ερωτήσεις κατά τη διάρκεια του ελέγχου θα πρέπει να επαληθεύουν τα παρακάτω σημεία (όπου είναι σχετικά) :
- Ημερομηνία και αντικείμενο συνέντευξης.
- Διάρκεια και μέρος στο οποίο έγινε η συνέντευξη.
- Βασικές ερωτήσεις δημογραφικών, φίλτρα και ερωτήσεις επιλογής.
- Χρήση καρτών και οπτικών βοηθημάτων.
- Χρήση ταυτότητας και ευχαριστήριας κάρτας ή επιστολής.
Ελεγχος - Δελτία Πορείας
Επιπλέον για κάθε έρευνα που είναι απαραίτητη η συμπλήρωση Δελτίου Πορείας/ επισκέψεων από τους ερευνητές πρέπει να ελέγχεται τουλάχιστον το 15% των Δελτίων Πορείας κάθε έρευνας. Δηλαδή εάν σε μία έρευνα χρησιμοποιηθούν 40 σημεία εκκίνησης (starting points/δρόμοι) τουλάχιστον στα 6 σημεία εκκίνησης/δρόμους θα πρέπει να γίνει έλεγχος των Δελτίων πορείας/επισκέψεων του κατά πόσον οι ερευνητές τήρησαν τις οδηγίες που είχαν πάρει ως προς τον τρόπο επιλογής ατόμων/νοικοκυριών (πορεία/δρομολόγιο)
Στην περίπτωση ελέγχου με προσωπικές επισκέψεις ο έλεγχος της πορείας γίνεται επιτόπου. Σε άλλες περιπτώσεις ο έλεγχος θα γίνεται συγκρίνοντας τα στοιχεία της πορείας με τον χάρτη της περιοχής.
Τα αποτελέσματα του ελέγχου των Δελτίων Πορείας/επισκέψεων θα καταγράφονται σε έντυπο/έκθεση ελέγχου Δελτίων Πορείας που θα φυλάσσεται στον ατομικό φάκελο κάθε ερευνητή. Στον φάκελο της συγκεκριμένης έρευνας θα μπαίνει μία συνοπτική έκθεση ελέγχου των Δελτίων Πορείας/επισκέψεων
Ελεγχος - επιχειρησιακές / ιατρικές έρευνες
Στην περίπτωση συνεντεύξεων με στελέχη επιχειρήσεων, γιατρούς και άλλες ξεχωριστές κατηγορίες, αντί να γίνεται έλεγχος μετά τη συνέντευξη, μπορεί να μαγνητοφωνείται η συνέντευξη και να γίνεται έλεγχος με ακρόαση της ταινίας. Θα πρέπει να κρατούνται στοιχεία για την διαδικασία αυτή και να επιτυγχάνεται έλεγχος τουλάχιστον στο 15%.
Οι Εταιρείες μπορούν να επιλέξουν να γίνει ο έλεγχος εξ ολοκλήρου ταχυδρομικά, εξασφαλίζοντας ωστόσο ότι επιτυγχάνεται έλεγχος τουλάχιστον στο 15%.
Έλεγχος σε ερευνητικά κέντρα
Σε έρευνες που πραγματοποιούνται σε ερευνητικά κέντρα απαιτείται παρουσία επιθεωρητή, ο οποίος πρέπει να παρακολουθεί τουλάχιστον το 30% των συνεντεύξεων της κάθε μέρας.
5.3. ΕΛΕΓΧΟΣ ΚΑΤΑΛΛΗΛΟΤΗΤΑΣ ΑΤΟΜΩΝ ΕΠΙΛΕΓΕΝΤΩΝ ΓΙΑ ΣΥΝΕΝΤΕΥΞΗ ΣΕ ΒΑΘΟΣ
Κατ' ελάχιστο όριο το 15% του επιλεγέντος δείγματος πρέπει να ελέγχεται. Σε περιπτώσεις που οι ατομικές συνεντεύξεις είναι μέχρι 10, θα πρέπει ο έλεγχος να γίνει τουλάχιστον σε δύο από αυτές.
Ο έλεγχος μπορεί να διενεργηθεί με έναν από τους παρακάτω τρόπους:
- Να γίνει έλεγχος καταλληλότητας του ατόμου που επιλέχθηκε πριν ληφθεί η συνέντευξη (είτε τηλεφωνικά είτε με προσωπική επαφή).
- Να γίνει διαπίστωση της καταλληλότητας του ατόμου όταν αυτό προσέλθει για να δώσει συνέντευξη.
- Να γίνει έλεγχος μετά τη συνέντευξη είτε με προσωπική επαφή είτε τηλεφωνικά, πριν από το τέλος της ανάλυσης των στοιχείων.
Ο έλεγχος πρέπει να στοχεύει στην διαπίστωση τουλάχιστον των εξής:
- Την καταλληλότητα σε σχέση με τα δημογραφικά και τη χρήση (όπου αυτή ζητείται).
- Μέθοδο και τόπο επιλογής.
5.4. ΕΛΕΓΧΟΣ ΑΤΟΜΩΝ ΕΠΙΛΕΓΕΝΤΩΝ ΓΙΑ ΟΜΑΔΙΚΕΣ ΣΥΖΗΤΗΣΕΙΣ
Η Εταιρεία Μέλος πρέπει να επιλέγει ένα από τις παρακάτω δύο μεθόδους για τον έλεγχο:
- Δύο κατ' ελάχιστο όριο άτομα από κάθε ομαδική συζήτηση να ελέγχονται, είτε πριν είτε μετά την ομαδική συζήτηση. ή
- Να γίνεται προσπάθεια να ελέγχονται όλα τα άτομα κάθε 5η ομαδική συζήτηση.
ΣΗΜΕΙΩΣΗ:
Αυτό απαιτεί να υπάρχει μια συστηματική μέθοδος για την επιλογή της ομαδικής συζήτησης που θα ελεγχθεί.
Ο έλεγχος μπορεί να διενεργηθεί με έναν από τους παρακάτω τρόπους :
- Να γίνεται έλεγχος της καταλληλότητας του ατόμου που επιλέχθηκε πριν την ομαδική συζήτηση (είτε τηλεφωνικά, είτε προσωπικά, είτε κατά την άφιξη των ομάδων).
- Τα άτομα που επιλέχθηκαν να συμπληρώνουν ένα ερωτηματολόγιο στην αρχή ή στο τέλος της ομαδικής συζήτησης. Μετά οι ερωτήσεις καταλληλότητας πρέπει να διασταυρώνονται και να ελέγχονται με τις απαντήσεις από το ερωτηματολόγιο στρατολόγησης.
- Να γίνεται έλεγχος μετά την ομαδική συζήτηση, είτε τηλεφωνικά είτε προσωπικά.
Τα στοιχεία των ατόμων που επιλέχθηκαν για ομαδικές συζητήσεις πρέπει να διασταυρώνονται με τις καταστάσεις που περιλαμβάνουν τα στοιχεία των ατόμων που έλαβαν μέρος σε τέτοιες συζητήσεις τους τελευταίους 6 μήνες, έτσι ώστε να αποφεύγεται η συχνή συμμετοχή των ίδιων ατόμων σε ομαδικές συζητήσεις, εφόσον αυτό είναι αντίθετο με τις οδηγίες της συγκεκριμένης εργασίας.
Ερωτήσεις ελέγχου πρέπει να συμπεριλαμβάνουν, όπου τούτο είναι σχετικό:
- Καταλληλότητα του ατόμου σε σχέση με δημογραφικά και χρήση.
- Μέθοδο και τόπο στρατολόγησης.
- Πότε ήρθε για τελευταία φορά σε ομαδική συζήτηση (και έλεγχος της απάντησης με τις οδηγίες που είχε ο στρατολόγος).
Αν γίνει έλεγχος μετά την ομαδική συζήτηση, θα πρέπει να περατωθεί πριν το τέλος της ανάλυσης των στοιχείων.
5.5. ΕΛΕΓΧΟΣ ΣΤΟΙΧΕΙΩΝ ΠΟΥ ΣΥΝΕΛΕΓΗΣΑΝ ΑΠΟ ΤΗΛΕΦΩΝΙΚΑ ΚΕΝΤΡΑ
Γενικές Αρχές
Πρέπει να χρησιμοποιείται μια συστηματική και αντιπροσωπευτική μέθοδος για την επιλογή και την εναλλαγή (rotation) των ερευνητών που θα ελεγχθεί η εργασία.
Η παρακολούθηση με σύστημα συνακρόασης και ο έλεγχος θα πρέπει να διενεργείται από επιθεωρητή με κατάλληλη εκπαίδευση και επαρκή εμπειρία.
Στην περίπτωση συνεντεύξεων με ερωτηματολόγιο σε χαρτί, η πρώτη συνέντευξη κάθε ερευνητή σε κάθε εργασία θα πρέπει να ελέγχεται (να γίνεται Editing) την ίδια στιγμή, για να πιστοποιηθεί ότι έγιναν οι ερωτήσεις και ότι οι απαντήσεις που δόθηκαν καταγράφηκαν σωστά.
Στην περίπτωση χρήσης συστήματος CATI (όπου δεν μπορεί να γίνει Editing) θα πρέπει να γίνεται συνακρόαση όσο το δυνατόν περισσότερων ερευνητών και να είναι παρών ένας επιθεωρητής καθ' όλη τη διάρκεια της εργασίας με το σύστημα αυτό.
Υπάρχουν 3 μέθοδοι για τον έλεγχο στοιχείων που συνελέγησαν σε τηλεφωνικά κέντρα:
Παρακολούθηση με σύστημα συνακρόασης
Με τον τρόπο αυτό μπορεί κάποιος επιθεωρητής να ακούει τη συνέντευξη ή μέρος αυτής χωρίς να το αντιλαμβάνεται ο ερευνητής. Στον φάκελο της εργασίας κρατούνται, για την περίπτωση Επιθεώρησης ΠΕΣΣ, τα ονόματα των ερευνητών και ο αριθμός των συνεντεύξεων που ελέγχθηκαν με το σύστημα αυτό.
Έλεγχος από μαγνητοταινίες
Οι συνεντεύξεις μαγνητοφωνούνται και αργότερα κάποιος επιθεωρητής/στέλεχος ακούει τη ταινία. Οι σχετικές λεπτομέρειες καταχωρούνται στο φάκελο της εργασίας για τον Ελεγχο του ΠΕΣΣ.
Έλεγχος με δεύτερη επικοινωνία με τον ερωτώμενο
Πραγματοποιείται δεύτερη επαφή με τον ερωτώμενο (προσωπική, τηλεφωνικά ή ταχυδρομικά) και οι σχετικές λεπτομέρειες καταχωρούνται στο φάκελο της εργασίας για τον Ελεγχο του ΠΕΣΣ.
Η δεύτερη επαφή δεν είναι απαραίτητη όταν η εταιρεία διαθέτει ένα επιθεωρητή που παρακολουθεί την λήψη των συνεντεύξεων με σύστημα συνακρόασης.
Σε εξαιρετικές περιπτώσεις όταν ο έλεγχος δεν είναι δυνατός ή φαίνεται περιττός, ενοχλητικός ή είναι σε βάρος της έρευνας αγοράς, η Εταιρεία Μέλος μπορεί να πάρει την απόφαση να μην ελέγξει μία συγκεκριμένη εργασία. Σε αυτές τις περιπτώσεις θα πρέπει να γίνεται γραπτή αναφορά των λόγων που επέβαλαν την λήψη μιας τέτοιας απόφασης και να υπάρχει στο φάκελο της εργασίας για τον Ελεγχο του ΠΕΣΣ.
5.6. ΕΛΕΓΧΟΣ ΤΗΛΕΦΩΝΙΚΩΝ ΚΕΝΤΡΩΝ ΠΟΥ ΕΧΟΥΝ ΣΥΣΤΗΜΑ ΣΥΝΑΚΡΟΑΣΗΣ
Τουλάχιστον το 15% του συνολικού δείγματος της κάθε έρευνας πρέπει να ελέγχεται με το σύστημα συνακρόασης.
Η παρακολούθηση πρέπει να καλύπτει τουλάχιστον το 75% της διάρκειας της κάθε συνέντευξης που παρακολουθείται. Όταν αυτό δεν είναι δυνατόν, πρέπει να υπάρχει γραπτή εξήγηση της αιτίας.
Η παρακολούθηση πρέπει να καλύπτει όλες τις φάσεις της συνέντευξης (π.χ. επιλογή, φίλτρα, ανοικτές ερωτήσεις, αυθόρμητες και βοηθούμενες απαντήσεις, δημογραφικά/ επαγγελματική κατηγορία).
5.7. ΕΛΕΓΧΟΣ ΤΗΛΕΦΩΝΙΚΩΝ ΚΕΝΤΡΩΝ ΧΩΡΙΣ ΣΥΣΤΗΜΑ ΣΥΝΑΚΡΟΑΣΗΣ
Τουλάχιστον το 15% του συνολικού δείγματος που έχει επιτευχθεί πρέπει να ελέγχεται.
Ο έλεγχος μπορεί να διενεργηθεί με προσωπική επαφή ή τηλεφωνικώς ή ταχυδρομικώς
ή με συνδυασμό των παραπάνω.
ΣΗΜΕΙΩΣΗ:
Μόνο το 25% του κατώτατου ορίου (15%) μπορεί να καλύπτεται από ταχυδρομικό έλεγχο. Ο έλεγχος θα πρέπει να γίνεται πριν το τέλος της ανάλυσης των στοιχείων.
Οι βασικές ερωτήσεις ελέγχου που θα τεθούν στους ερωτώμενους θα πρέπει να έχουν
σαν αποτέλεσμα τη διαπίστωση των παρακάτω σημείων:
- Ημερομηνία και αντικείμενο της συνέντευξης.
- Δημογραφικά/κύρια φίλτρα και ερωτήσεις καταλληλότητας.
5.8. ΕΛΕΓΧΟΣ ΣΤΟΙΧΕΙΩΝ ΜΥΣΤΙΚΩΝ ΕΠΙΣΚΕΨΕΩΝ
Αναγνωρίζεται ότι είναι δύσκολο να ελεγχθεί η ημερομηνία και ο χρόνος κατά τον οποίο έγινε η μυστική επίσκεψη. Όμως, η αξιοπιστία των στοιχείων που συνελέγησαν πρέπει να διαπιστώνεται με κάποιο τρόπο ελέγχου σε κάθε εργασία.
Κατ' ελάχιστο όριο ένα 15% των μυστικών επισκέψεων θα πρέπει να ελέγχεται με μία ή
με συνδυασμό των παρακάτω μεθόδων:
- Έλεγχοι επαλήθευσης με Η/Υ για να εντοπισθούν στοιχεία που δεν είναι φυσιολογικά.
- Οπτικοί έλεγχοι για να εντοπισθούν στοιχεία που δεν είναι φυσιολογικά.
- Οπτικοί έλεγχοι λογικής σε αποδεικτικά στοιχεία που συνελέγησαν κατά τη διάρκεια της επίσκεψης (πχ. αποδείξεις όπου αναγράφεται η ημερομηνία, η ώρα και η
διεύθυνση).
- Μυστικές επισκέψεις με συνοδεία, όπου θεωρείται ότι ο έλεγχος έγινε επί τόπου.
Στο φάκελο κάθε εργασίας θα πρέπει να υπάρχει μία έκθεση που να αναφέρει μέθοδο/ μεθόδους ελέγχου, αριθμό και ημερομηνίες πραγματοποιηθέντων ελέγχων καθώς και τα ονόματα των ατόμων που ελέγχθηκαν.
Σε περίπτωση που διαπιστωθούν σημαντικές αντιφάσεις στα στοιχεία του μυστικού επισκέπτη θα πρέπει να υπάρχει γραπτή αναφορά στο αρχείο της εργασίας και στο αρχείο του μυστικού επισκέπτη μαζί με τα μέτρα που έχουν ληφθεί.
5.9. ΠΑΡΑΚΟΛΟΥΘΗΣΗ / ΕΛΕΓΧΟΣ ΞΕΝΟΓΛΩΣΣΩΝ ΣΥΝΕΝΤΕΥΞΕΩΝ
Όπου τούτο είναι δυνατόν, η παρακολούθηση και ο έλεγχος συνεντεύξεων που γίνονται σε ξένη γλώσσα, θα πρέπει να γίνεται από κάποιον επιθεωρητή ή άλλο άτομο που ξέρει καλά τη γλώσσα και μπορεί να διαπιστώσει αν η συνέντευξη γίνεται σωστά.
5.10. ΤΙ ΓΙΝΕΤΑΙ ΣΕ ΠΕΡΙΠΤΩΣΗ ΠΟΥ Ο ΕΛΕΓΧΟΣ ΔΙΑΠΙΣΤΩΝΕΙ ΛΑΘΗ
Όταν διαπιστώνονται σοβαρά λάθη στη δουλειά ενός ερευνητή, τότε καταβάλλεται προσπάθεια να ελεγχθεί όσον το δυνατόν μεγαλύτερο μέρος της δουλειάς του, εκτός κι αν η Εταιρεία Μέλος αποφασίσει να απορρίψει όλη την εργασία που έκανε το άτομο αυτό για τη συγκεκριμένη έρευνα. Ελεγχος πρέπει να γίνει και σε τυχόν άλλες εργασίες στις οποίες χρησιμοποιήθηκε το ίδιο άτομο κατά τη συγκεκριμένη περίοδο. Ο ερευνητής αυτός δεν πρέπει να χρησιμοποιηθεί μέχρι να κριθεί ότι είναι ικανός. Πρέπει να γίνει γραπτή αναφορά στον ατομικό του φάκελο, που να περιλαμβάνει τα μέτρα που λήφθηκαν και τυχόν ανάγκες για περαιτέρω εκπαίδευση.
Ο ερευνητής αλλά και ο προϊστάμενός του θα πρέπει να ειδοποιούνται αμέσως σε περίπτωση που διαπιστώνονται σοβαρά λάθη ή παραλείψεις.
|