到京师，认出他来，于是到处替他宣扬。
京师人人称赞。
连圣祖皇帝都听说了有这么一个新科明经才子，饱学有才，且很有素心，又还能助人，于是钦授他为晋王府参军。
宰相魏征非常喜欢王义方的为人，并欣赏这个老乡的才学，于是主动提出把妻子裴氏的娘家侄女嫁给他，但王义方却一口拒绝了，理由是魏征是宰相，他不想攀驸宰相，趋附权贵。
后来魏征去世后，却又主动上门求婚，娶了裴氏。别人问他为什么，他说魏公如今已经去世了，我要继承他的遗志，实现他生前弘扬儒家、劝语君王的意愿，以报答他的知遇之恩。
王义方也因不肯攀附权贵所以仕途并不顺畅，到贞观末年也不过是弘文馆的绿袍小官。
结果还因为贞观末年对魏王党的清算，被人举报他曾经跟张亮交好，因此三十一岁的他受牵连贬到了海南岛为吉安县丞。当时的海南岛那是蛮荒之地，吉安县在后世时名字都是昌江黎族自治县。
他到任后却召集各峒首领商议，创办学校，挑选子弟，亲自讲经传学，教授礼乐，一时让那个蛮荒也登降有序人人悦顺。
三年后，因教化蛮荒有功，王义方调任河北洹水县丞。当时张亮有个侄子叫张皎，配流在崖州，来依义方而卒，临终托以妻子及致尸还乡。返回中原时，王义方使奴负柩，令皎妻抱其赤子，乘义方之马，身独步从而还。