Μεταφορά PostgreSQL στο Amazon RDS χωρίς downtime

· 11 λεπτά ανάγνωσης · postgres · migration

Η μεταφορά μιας ζωντανής βάσης Postgres στο RDS είναι ένα πρόβλημα replication και μετά ένα cutover πέντε λεπτών. Αυτή είναι η μέθοδος που χρησιμοποιούμε, οι περιορισμοί που πονάνε και τα queries που τρέχουμε πριν αφήσουμε την κίνηση να περάσει.

Για να μεταφέρετε PostgreSQL στο Amazon RDS σχεδόν χωρίς downtime, χρησιμοποιήστε το native logical replication: αντιγράφετε το schema, φτιάχνετε ένα publication στην πηγή και ένα subscription στο RDS, το αφήνετε να προλάβει, και μετά παγώνετε τις εγγραφές για λίγα λεπτά, συγχρονίζετε τα sequences και γυρνάτε την εφαρμογή στο RDS. Αν αντέχετε ένα maintenance window μερικών ωρών, τα pg_dump και pg_restore είναι πιο απλά και πιο ασφαλή. Το AWS DMS βρίσκεται κάπου ενδιάμεσα και έχει περιορισμούς που πρέπει να διαβάσετε πριν του εμπιστευτείτε δεδομένα production.

Στην πράξη, «zero downtime» σημαίνει ένα πάγωμα εγγραφών που μετριέται σε λεπτά, ενώ οι αναγνώσεις συνεχίζουν. Το πραγματικό μηδέν θέλει dual writes μέσα στην εφαρμογή, κάτι που σπάνια αξίζει για μια μεταφορά που γίνεται μία φορά.

Διαλέξτε μέθοδο: pg_dump, logical replication ή DMS

Η επιλογή κρίνεται από το πόση ώρα μπορείτε να σταματήσετε τις εγγραφές. Αν το dump και το restore χωράνε σε ένα παράθυρο που δέχονται οι πελάτες σας, πάτε με pg_dump. Αν όχι, με logical replication. Το DMS έχει νόημα όταν δεν μπορείτε να αλλάξετε μόνοι σας τις ρυθμίσεις της πηγής ή θέλετε το AWS να τρέχει το replication για εσάς, και μόνο αφού ελέγξετε τους περιορισμούς του απέναντι στο δικό σας schema.

pg_dump / pg_restoreNative logical replicationAWS DMS (full load + CDC)
Διακοπή εγγραφώνΌσο κρατάνε dump και restoreΛεπτά στο cutoverΛεπτά στο cutover
Μεταφέρει schemaΝαι, τα πάνταΌχι· το αντιγράφετε μία φορά με pg_dump --schema-onlyΜόνο tables και primary keys
SequencesΝαιΌχι· τα συγχρονίζετε στο cutoverΌχι
Large objectsΝαιΌχιΌχι (OID LOBs)
Απαιτήσεις στην πηγήΔικαίωμα ανάγνωσηςwal_level = logical, ρόλος με replication, δικτυακή διαδρομή από το RDS προς την πηγήLogical decoding στην πηγή, primary key σε κάθε table
Κύριος κίνδυνοςΤο παράθυρο να ξεφύγειΑλλαγές schema κατά τον συγχρονισμό· γέμισμα του δίσκου της πηγής με WALΣιωπηλές διαφορές στα δεδομένα (δείτε παρακάτω)

Έρχεστε από Heroku; Η classic Heroku Postgres δεν σας αφήνει να κάνετε replication προς τα έξω με τα standard εργαλεία, οπότε εκεί οι επιλογές είναι διαφορετικές· τις καλύπτει ο οδηγός μας για μεταφορά από Heroku σε AWS.

Επιλογή 1: pg_dump και pg_restore

Η βαρετή και αξιόπιστη μέθοδος: σταματάτε τις εγγραφές, κάνετε dump, restore και αλλάζετε σύνδεση. Το downtime είναι όσο κρατάει όλο αυτό, οπότε κάντε πρόβα σε αντίγραφο του production και χρονομετρήστε τη πριν υποσχεθείτε σε οποιονδήποτε παράθυρο.

# Τρέξτε από ένα EC2 στο ίδιο region με το RDS
pg_dumpall -h source.internal -U postgres --roles-only > roles.sql
# Στο roles.sql αφαιρέστε SUPERUSER, REPLICATION και ό,τι άλλο απορρίπτει το RDS

pg_dump -h source.internal -U postgres -d appdb \
  -Fd -j 8 -f /data/appdb.dump --no-owner --no-privileges

psql -h appdb.xxxx.eu-central-1.rds.amazonaws.com -U admin -d postgres -f roles.sql
pg_restore -h appdb.xxxx.eu-central-1.rds.amazonaws.com -U admin -d appdb \
  -j 8 --no-owner --no-privileges /data/appdb.dump

psql -h appdb.xxxx.eu-central-1.rds.amazonaws.com -U admin -d appdb -c 'ANALYZE;'

Το directory format (-Fd) είναι αυτό που επιτρέπει σε pg_dump και pg_restore να τρέχουν παράλληλα με -j. Εφαρμόστε ξανά τα grants μετά, με ένα script που κρατάτε σε version control, αφού στο RDS δεν υπάρχει πραγματικός superuser. Τρέξτε ANALYZE πριν ανοίξετε την κίνηση, αλλιώς τα πρώτα queries θα έχουν κακά plans.

Επιλογή 2: native logical replication, βήμα βήμα

Το logical replication αντιγράφει τις υπάρχουσες γραμμές κάθε table και μετά στέλνει κάθε insert, update και delete από την πηγή στο RDS μέχρι το cutover. Το RDS for PostgreSQL υποστηρίζει την standard σύνταξη PUBLICATION και SUBSCRIPTION (τεκμηρίωση AWS), και ο στόχος μπορεί να τρέχει νεότερη major έκδοση από την πηγή, οπότε είναι καλή ευκαιρία και για αναβάθμιση.

1. Προετοιμάστε την πηγή

# postgresql.conf στην πηγή (το wal_level θέλει restart)
wal_level = logical
max_replication_slots = 10      # ένα ανά subscription συν τους table-sync workers
max_wal_senders = 10
max_slot_wal_keep_size = 100GB  # PostgreSQL 13+: όριο στο WAL που κρατάει ένα κολλημένο slot

# pg_hba.conf: το logical replication ταιριάζει με το όνομα της βάσης,
# ΟΧΙ με τη λέξη "replication" (αυτή αφορά μόνο το physical replication)
hostssl  appdb  migrator  10.20.0.0/16  scram-sha-256

Η τεκμηρίωση του pg_hba.conf λέει ρητά ότι η λέξη replication δεν ταιριάζει με συνδέσεις logical replication· σε αυτή τη γραμμή σκοντάφτουν πολλές πρώτες απόπειρες. Προσέξτε και την κατεύθυνση: ο subscriber στο RDS συνδέεται στην πηγή, άρα το RDS χρειάζεται δικτυακή διαδρομή προς αυτήν (VPN, Direct Connect ή δημόσιο endpoint κλειδωμένο στο egress του RDS, με TLS).

CREATE ROLE migrator WITH LOGIN REPLICATION PASSWORD '...';
GRANT SELECT ON ALL TABLES IN SCHEMA public TO migrator;

-- Tables που θα σπάσουν: χωρίς primary key και με default replica identity.
-- Τα UPDATE και DELETE σε αυτά αποτυγχάνουν στην πηγή μόλις γίνουν publish.
SELECT c.oid::regclass AS table_without_pk
FROM pg_class c
JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind = 'r'
  AND n.nspname NOT IN ('pg_catalog', 'information_schema')
  AND n.nspname NOT LIKE 'pg_toast%'
  AND c.relreplident = 'd'
  AND NOT EXISTS (SELECT 1 FROM pg_index i
                  WHERE i.indrelid = c.oid AND i.indisprimary);

Αυτό το τελευταίο query μετράει. Η τεκμηρίωση της PostgreSQL λέει ότι ένα published table χωρίς primary key και με default replica identity δεν υποστηρίζει UPDATE ή DELETE: η εντολή βγάζει error στην πηγή, δηλαδή η εφαρμογή σας στο production αρχίζει να αποτυγχάνει τη στιγμή που φτιάχνετε το publication. Προσθέστε primary key, ή ορίστε REPLICA IDENTITY USING INDEX σε ένα unique index, ή σαν τελευταία λύση REPLICA IDENTITY FULL (αργό στον subscriber για μεγάλα tables).

2. Αντιγράψτε το schema και ξεκινήστε το subscription

pg_dump -h source.internal -U postgres -d appdb \
  --schema-only --no-owner --no-privileges > schema.sql
psql -h appdb.xxxx.eu-central-1.rds.amazonaws.com -U admin -d appdb -f schema.sql
-- Στην πηγή (το FOR ALL TABLES θέλει superuser)
CREATE PUBLICATION migrate_to_rds FOR ALL TABLES;

-- Στο RDS
CREATE SUBSCRIPTION migrate_to_rds
  CONNECTION 'host=10.20.1.15 port=5432 dbname=appdb user=migrator password=... sslmode=require'
  PUBLICATION migrate_to_rds;

-- Στο RDS: κάθε table πρέπει να φτάσει σε κατάσταση 'r' (ready)
SELECT srrelid::regclass, srsubstate FROM pg_subscription_rel ORDER BY 2;

-- Στην πηγή: πόσο πίσω είναι ο subscriber;
SELECT slot_name, active,
       pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)) AS lag
FROM pg_replication_slots WHERE slot_type = 'logical';

Προσέχετε το slot. Ένα replication slot κρατάει WAL στην πηγή μέχρι να το επιβεβαιώσει ο subscriber, οπότε ένα κολλημένο subscription γεμίζει τον δίσκο της πηγής. Βάλτε alert σε αυτό το lag και στον ελεύθερο χώρο σε όλη τη διάρκεια της μεταφοράς.

3. Τι δεν αντιγράφει το logical replication

Από τη σελίδα περιορισμών της PostgreSQL:

Επιλογή 3: AWS DMS, και οι περιορισμοί που διαβάζετε πρώτα

Το AWS DMS τρέχει για εσάς το full load και το change data capture, με logical decoding στην πηγή. Είναι χρήσιμο όταν δεν μπορείτε να φτιάξετε subscription που να φτάνει στην πηγή, αλλά για PostgreSQL προς PostgreSQL οι τεκμηριωμένοι περιορισμοί του είναι πολλοί. Οι πιο σημαντικοί:

Το AWS προσφέρει επίσης τα DMS homogeneous data migrations, μια serverless επιλογή που χρησιμοποιεί τα native εργαλεία της PostgreSQL και μεταφέρει και secondary objects. Διαβάστε και εκεί τα όρια: τα views φτάνουν ως tables, δεν υπάρχει ενσωματωμένο data validation, και για PostgreSQL τα νέα tables που φτιάχνονται στην πηγή κατά το ongoing replication δεν μεταφέρονται. Από την εμπειρία μας, αν μπορείτε να κάνετε την πηγή προσβάσιμη από το RDS, το native logical replication είναι πιο εύκολο να το καταλάβετε και να το κάνετε debug.

Το runbook του cutover

Το cutover είναι μια δοκιμασμένη, χρονομετρημένη σειρά βημάτων: σταματάτε τις εγγραφές, περιμένετε μηδενικό lag, συγχρονίζετε τα sequences, ελέγχετε, αλλάζετε το connection string, ξανανοίγετε. Κάντε πρόβα από την αρχή ως το τέλος τουλάχιστον μία φορά σε αντίγραφο staging, και κρατήστε το runbook δίπλα στο runbook για incidents ώστε οι ρόλοι να είναι ξεκάθαροι.

  1. Την προηγούμενη μέρα: χαμηλώστε το TTL σε όποιο DNS όνομα χρησιμοποιεί η εφαρμογή για τη βάση· βεβαιωθείτε ότι όλα τα tables είναι σε κατάσταση r· τρέξτε μία φορά τα validation queries παρακάτω για baseline· ενεργοποιήστε από τώρα το rds.logical_replication στο RDS αν θέλετε δρόμο για rollback (είναι static parameter και θέλει reboot).
  2. Παγώστε τις εγγραφές. Κατεβάστε workers και cron jobs στο μηδέν, βάλτε την εφαρμογή σε maintenance ή read-only, και μετά κάντε τον ρόλο της εφαρμογής read-only στην πηγή και κλείστε τις συνεδρίες του:
    ALTER ROLE app_user SET default_transaction_read_only = on;
    SELECT pg_terminate_backend(pid) FROM pg_stat_activity
    WHERE usename = 'app_user';
  3. Περιμένετε μηδενικό lag. Σημειώστε το pg_current_wal_lsn() στην πηγή και περιμένετε μέχρι το confirmed_flush_lsn του slot να το ξεπεράσει.
  4. Συγχρονίστε τα sequences. Παράγετε εντολές setval στην πηγή και τρέξτε τες στο RDS:
    psql -h source.internal -d appdb -At -c "
      SELECT format('SELECT setval(%L, %s, true);',
                    format('%I.%I', schemaname, sequencename), last_value)
      FROM pg_sequences WHERE last_value IS NOT NULL" > sequences.sql
    psql -h appdb.xxxx.eu-central-1.rds.amazonaws.com -d appdb -f sequences.sql
  5. Κάντε validation (επόμενη ενότητα). Αποφασίστε go ή no-go με κριτήρια που γράψατε πριν ξεκινήσετε.
  6. Σταματήστε το subscription στο RDS με ALTER SUBSCRIPTION migrate_to_rds DISABLE;. Σβήστε το όταν δεν το χρειάζεστε πια· το drop αφαιρεί και το slot από την πηγή.
  7. Αλλάξτε τα connection strings. Ενημερώστε το secret ή το parameter που διαβάζουν τα services, κάντε restart και τρέξτε τα smoke tests πάνω στο RDS.
  8. Ξανανοίξτε τις εγγραφές και παρακολουθήστε errors, latency και αριθμό συνδέσεων την πρώτη ώρα.

Rollback: αποφασίστε πριν το cutover

Μέχρι να γραφτεί η πρώτη εγγραφή στο RDS, το rollback είναι εύκολο: γυρνάτε την εφαρμογή στην πηγή και αναιρείτε το read-only. Από εκεί και πέρα, κάθε εγγραφή στο RDS χάνεται αν γυρίσετε πίσω, εκτός αν κάνετε replication προς την αντίθετη κατεύθυνση.

Για πραγματικό δίχτυ ασφαλείας, στήστε reverse replication πριν ξανανοίξετε τις εγγραφές: φτιάξτε ένα publication στο RDS (θέλει rds.logical_replication = 1) και μετά στον παλιό server CREATE SUBSCRIPTION ... WITH (copy_data = false), ώστε να λαμβάνει μόνο τις νέες αλλαγές. Αν κάτι στραβώσει τις πρώτες μέρες, παγώνετε το RDS, συγχρονίζετε τα sequences προς τα πίσω και αλλάζετε ξανά. Κρατήστε τον παλιό server ανέγγιχτο για ένα συμφωνημένο διάστημα και αντιμετωπίστε τον σαν οποιοδήποτε άλλο backup στο σχέδιο disaster recovery σας μέχρι να αποσυρθεί.

Validation queries πριν το go-live

Συγκρίνετε ακριβή πλήθη γραμμών για κάθε table, checksums για τα tables που κρατάνε χρήματα ή κατάσταση πελατών, και τιμές sequences σε σχέση με τα μεγαλύτερα IDs. Τρέξτε τα ίδια queries και στις δύο πλευρές με τις ίδιες ρυθμίσεις συνεδρίας.

-- Ακριβές πλήθος γραμμών ανά table (psql: τρέξτε το και στις δύο πλευρές, κάντε diff)
SELECT format('SELECT %L AS tbl, count(*) FROM %I.%I',
              schemaname || '.' || relname, schemaname, relname)
FROM pg_stat_user_tables ORDER BY 1 \gexec

-- Checksum περιεχομένου για ένα κρίσιμο table. Ορίστε πρώτα τη ζώνη ώρας,
-- γιατί το timestamptz εμφανίζεται στη ζώνη της συνεδρίας.
SET TIME ZONE 'UTC';
SELECT count(*), md5(string_agg(o::text, '|' ORDER BY o.id))
FROM orders o;

-- Τα sequences πρέπει να είναι μπροστά από τα δεδομένα
SELECT max(id) AS max_id, (SELECT last_value FROM orders_id_seq) AS seq
FROM orders;

Για πολύ μεγάλα tables, κάντε checksum ανά εύρος IDs (π.χ. ανά εκατομμύριο γραμμές), ώστε μια διαφορά να σας δείχνει πού να ψάξετε.

Συνηθισμένες παγίδες

Για το ευρύτερο πλάνο γύρω από τη βάση (δίκτυο, DNS, σειρά μεταφοράς των services), δείτε το checklist μας για cloud migration.

Αν δεν θέλετε να κάνετε μόνοι σας το πρώτο σας cutover σε production, η υπηρεσία cloud migration σχεδιάζει και κάνει πρόβα της μεταφοράς μαζί με την ομάδα σας, τρέχει το cutover δίπλα σας και κρατάει ανοιχτό τον δρόμο για rollback μέχρι να νιώσετε σίγουροι στο RDS.

Συχνές ερωτήσεις

Πώς μεταφέρω PostgreSQL στο RDS χωρίς downtime;

Με native logical replication. Αντιγράφετε το schema με pg_dump --schema-only, φτιάχνετε publication στην πηγή και subscription στο RDS και το αφήνετε να προλάβει. Στο cutover παγώνετε τις εγγραφές για λίγα λεπτά, περιμένετε μηδενικό lag, συγχρονίζετε τα sequences με setval, κάνετε έλεγχο και αλλάζετε το connection string.

Αντιγράφει το logical replication της PostgreSQL τα sequences;

Όχι. Οι γραμμές έρχονται με τα IDs τους, αλλά τα sequences στον subscriber μένουν στις αρχικές τιμές, οπότε το πρώτο insert μετά το cutover μπορεί να αποτύχει με duplicate key. Παράγετε εντολές setval από το pg_sequences στην πηγή και τρέξτε τες στο RDS κατά το πάγωμα. Η PostgreSQL 19 προσθέτει συγχρονισμό, μόνο με publisher σε 19.

Είναι καλή επιλογή το AWS DMS για μεταφορά PostgreSQL σε RDS;

Δουλεύει, αλλά διαβάστε πρώτα τους περιορισμούς. Το DMS αγνοεί UPDATE και DELETE σε tables χωρίς primary key, μετατρέπει by default τις NUMERIC στήλες χωρίς όρια σε NUMERIC(28,6) και φτιάχνει μόνο tables και primary keys. Αν το RDS φτάνει στην πηγή σας, το native logical replication είναι συνήθως πιο απλό.

Πόσο κρατάει μια μεταφορά με pg_dump και pg_restore;

Εξαρτάται από το μέγεθος των δεδομένων, τα indexes, το δίκτυο και το instance, οπότε μετρήστε το. Κάντε πρόβα σε αντίγραφο του production από ένα EC2 στο ίδιο region με το RDS, με directory format και παράλληλα jobs (-Fd -j). Ο χρόνος της πρόβας συν ένα περιθώριο είναι το maintenance window σας.

Πείτε μας τι χρειάζεστε