Aus dem Passphrase (=deinem Passwort) wird mittels PBKDF2 der PSK abgeleitet. Der PSK ist somit sowohl dem Router, als auch dem Client bekannt, denn können für sich ohne Interaktion den PSK herleiten und dem Gegenüber ihr Wissen beweisen. Aus dem PSK werden im folgenden die Session Keys abgeleitet, die zur eigentlichen Verschlüsselung genutzt werden. Der PSK wird afaik niemals im Klartext übertragen.
Zu gut Deutsch: Deine Sicherheit hängt allein an dem von dir gewählten Passwort (und supertollen Features zum Schlüsselaustausch, wie z.B. WPS).