Ο Άγιος Ιάκωβος, δύο χρονών τότε παιδάκι, με τη γιαγιά του, τη μητέρα του, τα δύο του αδέλφια, τον Γιώργο τεσσάρων χρονών και την Αναστασία, σαράντα μόλις ημερών, ξεριζώθηκαν κι αυτοί απ’ την πατρίδα τους, το Λιβίσι, μαζί με τα υπόλοιπα γυναικόπαιδα και τους γέροντες, καταληστευμένοι και ταλαιπωρημένοι πολύ απ’ τους Τούρκους, που είχαν γίνει πιά για τους Έλληνες μόνο μαχαιροβγάλτες, άρπαγες και βιαστές.
«Θρήνος και κλαυθμός και οδυρμός πολύς….». Τα καράβια της προσφυγιάς που μετέφεραν τους Έλληνες πρόσφυγες, βασανισμένους από πείνα, δίψα και ψείρα, «πιάσανε» στον Πειραιά. «Όταν κατεβήκαμε στο λιμάνι του Πειραιά», αφηγείτο ο ίδιος ο Άγιος, «παρόλη τη νηπιακή μου ηλικία, θυμάμαι ότι ακούσαμε για πρώτη φορά στην ζωή μας κάποιους Έλληνες να βλαστημάνε τα Θεία. Τότε η γιαγιά μου είπε: “Πού ήρθαμε εδώ; Καλύτερα να γυρίσουμε πίσω να μας σκοτώσουν οι Τούρκοι, παρά να ακούμε τέτοια λόγια. Στη Μικρά Ασία δεν ξέραμε τέτοια αμαρτία”». Τα λόγια αυτά της γιαγιάς του Αγίου Ιακώβου φανερώνουν το πώς οι Μικρασιάτες ζούσαν τον Θεό.
Από τον Πειραιά το καράβι που μετέφερε και την οικογένειά του Αγίου έφυγε για την Ιτέα, όπου εκεί τους κατέβασαν μαζί με τους υπόλοιπους πρόσφυγες και στη συνέχεια τους οδήγησαν ποδαρόδρομο σ’ ένα χωριό της Άμφισσας, τον Άγιο Γεώργιο, όπου έμειναν μαζί με άλλες οικογένειες κάτω από δύσκολες συνθήκες, σε μία μακρόστενη αποθήκη για δύο χρόνια.
Η πρόνοια του Θεού έφερε μετά από δύο χρόνια στην περιοχή όπου ζούσαν τον πατέρα του Αγίου για αναζήτηση εργασίας, ο οποίος είχε δραπετεύσει απ’ τους Τούρκους, παρόλο που τον φύλαγαν σαν τα μάτια τους, γιατί τον είχαν ανάγκη για αρχιμάστορα, κι έτσι ξανάσμιξε με την οικογένειά του με θαυμαστό τρόπο.
Η κλίση του προς το Θεό
Ο Άγιος Ιάκωβος, πέντε χρονών παιδάκι τότε, για παιχνίδι του είχε ένα κεραμιδάκι στο οποίο έβαζε καρβουνάκι απ’ την πυροστιά που μαγείρευαν και ψάλλοντας «αλούγια – αλούγια» (αλληλούϊα), λιβάνιζε την οικογένειά του κι όλες τις προσφυγικές οικογένειες που έμεναν στην αποθήκη, έχοντας για χωρίσματα κουβέρτες που κρέμονταν ανάμεσά τους. Μένανε πάντα στην αποθήκη, γιατί τους έδιναν υποσχέσεις ότι σε λίγο θα τους μεταφέρουν αλλού, θα τους δώσουνε χωράφια και θα τους φτιάξουνε σπίτια.
Ο μικρός Ιάκωβος δεν έβγαινε να παίξει καθόλου στον δρόμο, δεν μπορούσε να ακούει τα παιδάκια του χωριού και μαζί μ’ αυτά και προσφυγόπουλα να λένε τις κακές λέξεις, έστω κι αν δεν τις καταλάβαινε. Προτιμούσε να πηγαίνει κάθε απόγευμα με τη γιαγιά και τη μητέρα του ν’ ανάβουνε τα καντηλάκια και να βάζει τη γιαγιά του να του λέει για τους βίους των αγίων και για τους Ιερομόναχους της οικογένειάς τους.