亡命奔赵国，路乏资财，守节不为盗，闻太祖筑堤于圪芦河，遂输石于堤。光和二年末，霞堤将成，刺史刘焉往视，遇刺，为吕布与羽救。时太祖再侧，见而奇之，后闻其旧事，遂引为腹心。左右以逃人相讽，太祖笑而对曰：“今海内沸腾，当用贤者，焉以区区而不用？”
汉光和七年，广阳黄巾三万围涿城，太祖为涿郡守，见敌至城下立寨，乃引公孙越、刘备、关羽、牵招、张飞、魏越凡二十骑出城，透贼寨而还，贼不能伤也。及入城门中，众将自矜夸斩获不止，唯羽不言，太祖问之，答曰：“观彼辈形状多闾左氓首，不能救彼，罪也，故不敢夸功，但求速平此乱也。”太祖壮其志，任其假曲军侯，领新募之军。及程远志军败，太祖驱败兵冲击张宝大营，远志聚众返身死战，为羽所斩，贼复溃，遂夺黄巾营盘。五月羽克发干县城，约束军士，张榜安民。时县内游侠潘璋，字文珪，性博荡无赖，素无形状，其年十六，于城中见羽威风，乃大叹之，往投，自变行为善，遂成健将，专司扛刀，后致位将军。十月黄巾平，羽因斩将拔城之功迁河内朝歌令。
羽傲上而悯下，慢虚而务实。太祖尝行军过邯郸，访蔡国丈讳邕。时邕好清谈，闻太祖至，高踞其上。羽拍案叱之：“汝辈纯儒，全无治国安邦之能，只知沽名钓誉，汝等安稳度日乃吾等随君侯苦战得来，今安敢尔”。邕默然，避席而谢，后专于传道授业，著书立说，乃成大家。
中平二年冀州大乱，盗贼蜂起，劫掠四方，独避朝歌，有童谣曰：守土安民需良将，造福一方有云长。中平五年，太祖与袁绍将战，召羽往邯郸助战，将行，百姓万余随之。七月，及袁绍初围邯郸，审配守城，羽分兵三千，出城建营，参军郭嘉随之，曰：“敌虽众，及其未定，击之，可破也”。羽大善之，于是翌日三击敌营田银部，斩将溃营，惊怖其众，绍稍沮。隔日，乃建土山，欲诱羽而擒。嘉进曰：“此十面埋伏之策也，将军可稍缓。”羽对曰：“非其言也，且观成败。”羽既出营，见袁营动，知有伏，郭嘉复谏之，羽固慨然曰：“土鸡瓦狗者，不堪一击，何期胜负？未闻赵括斩武安君也！”遂战。乃趣千众出营，绕城缓行，及到土山前，正见雷雨大作，乃乘雨而攻，大破之，兼斩袁军大将高览，方得胜而归。“羽既破袁军归营，郭嘉冒雨迎之，大感慨：“以微末之资，擅测将军之神武，实不为智。将军此战，堪称神武。”羽面赤美须髯，抚须睥睨对曰：“昔在中山，卫将军曾语曰：为将者，焉能不知天文，不知地理?往来，已九载矣！今日以此言复赠奉孝，当勉之。”嘉拜服。绍既挫，又逢大雨，知不可为，竟以十万众不得为而走。待数月，邯郸疲敝，绍以秋收后兵马俱全，遂再发十万众合围邯郸，几得之，适逢太祖亲援将至，方走。时张飞在城中，乃语关羽：“卫将军至矣，将有大战，吾等为卫将军爪牙之任，不先折其势，则大战不得也。”羽大赞之，二将乃并骑兵，得七百众，追而攻之。绍忧，乃使中郎将文丑率骁骑八千，翼而阻，羽、飞以七百骑入八千骑中，辄杀伤百馀人，乃出，如此者六七，阻骑散乱难制，终不可卒脱。由是关张并得万人敌之言”。及绍平，迁镇东将军，领青州牧，屯济南，安抚泰山。
建安六年，太祖战于中原，委羽以东线，是岁，羽率众攻夏侯惇于兖东，屡有斩获，惇屡败，乃拒险而守，两军犬牙交错，互有胜负，急切难下，忽郭嘉书至，献策白衣袭下邳，羽以大略，本不欲行，然阅至信末，现太祖手书夹片，曰：“云长豪气凌云，实曰虎臣。勇如一国，堪敌万人。本非周公瑾、夏侯元让之俗流。然国家之一统，事关苍生，且弃名而屈谋！”羽大悟，即以潘璋将五千众佯攻夏侯惇，自引万人，弃军马，夜渡武水，袭缯国，复亲着草履，着白衣，推辎车向南。遂到下邳，陈珪、陈登、糜芳、曹宏、陈群皆就擒。羽入城，尽得徐州将