二 南官五年
成年后，米芾开始仕宦游历。熙宁三年（1070），米芾二十岁时，取字元章。古人名与字多互为表里，米芾此时仍用初名米黻，“黻”为官服纹饰，“元章”亦具纹饰美好意，其名与字皆具备出仕与文采之意，足见其父“亲儒嗜学”，渐至博洽。芾母曾侍奉高太后，又或曾为神宗乳母，神宗仅长米芾三岁，少时二人皆在邸，王邸虽然等级森严，二人偶有亲密接触亦并非不可能。米芾二十一岁时，因母恩“初补秘书省校书郎”，这是从九品的寄禄官，无权亦无须履职，但标志着他从此出仕了。此时神宗登基已四年，以母后之情补官米芾，更是顺理成章、水到渠成之事。只是按宋之规章，没有科举出身的米芾仍只能以任子资格入仕。任子须是因其父兄有功绩而得保任授予官职者，汉代已有，宋代亦然，皆须到达一定之官阶且满一定之年限后其子弟才具备以任子入仕资格。在重文之世，米芾父亲本为武官，卒后获赠中散大夫为正五品上阶文散官，官位不算显赫，米芾以任子入仕，只能是半依规章半就人情。任子入仕亦须由吏部诠试合格方得为官，原需满二十五岁才能参加诠试，但神宗变法正需用人之际，故于此年颁诏：“任子年及二十，听赴铨试。”[49]米芾刚好符合条件，又有君、后照顾，自不难通过铨试。不久，他便得补浛光尉，这是从九品的实职。浛光在今广东英德，地处粤北山区，在宋代属于上县，是第五等的边远恶县，离京城三千多里。县尉属最低等级之官，负责维持一县治安和司法。米芾乍得官并初赴外任，亦不嫌职俸低微，仍欣然赴任。
时浛光县小人稀，户不及三千，亦无县令、主簿，只米芾一人主事，他仍然应对裕如。米芾在浛光任上有两年多时间，所留下可考之事有题诗作字、娶妻生子数项。初到浛光的一年，米芾只是习吏事及日常的习字、读书为主，偶尔也游赏名胜。浛光县境内的名胜有尧山，相传尧曾巡狩于此，清《广东通志》载有米芾《尧山》五绝一首：“信矣此山高，穹窿远朝市。暑木结苍阴，飞泉落青翠。”[50]此诗未见墨迹、石刻，别处亦未见记载，米芾既曾为官此地，应有可能是他所作。第二年（熙宁六年，1073）七月，二十三岁的米芾由浛光南下广州，游览了药洲。药洲曾为南汉离宫，有池名白莲池，池畔有九曜石，皆高数丈。米芾有好奇石之性，于此诗兴书瘾俱发，故“于九曜石题‘药洲’二大字及五绝一首。”（“曹表”）此处米芾书刻在清代被发现，清《钦定续通志》云：“米芾‘药洲’二字，难以摹拓，未得拓本。米芾书。正书。广州。”[51]所题五绝为《题仙掌石》：“碧海出蜃阁，青空起夏云。瑰奇九怪石，错落动乾文。”署时为“熙宁六年七月”。此诗其文集未载[52]，陆耀遹《金石续编》卷十五录入，并云：“石仆池中，且为榕根盘结，久久湮埋。”故诸书失载，《全宋诗》据陆编收录。这应是米芾最早题诗书于名胜之确凿记载，此后遂一发不可收拾，遍留题刻，仅“第一山”之题刻就有多处记载。但米芾亦算勤于吏事，《广东通志》“广州府”名胜谓：“米芾字元章，淮南人，为含洸尉，工书善诗，……郡中佳山水品题殆遍，而公事不废。”[53]游玩、办公两不误，可见青年米芾精力充沛、才智机敏。
米芾《砚史》云“余尝至端”，并详细考察了端砚产地情况。端州即今广东肇庆，在宋代和含洸所属的英州同属广南东路管辖，米芾应是在浛光任职期间曾抽空到肇庆考察。
米芾大概在此年与许氏结婚，次年（熙宁七年，1074）生下长子米友仁。按当时规定，偏远州县如浛光之任不能带家属赴任，米芾与许氏可能在原来的家中结婚，孩子亦生于家。此年是甲寅年，属虎，故米友仁小名虎儿、寅哥，又叫鳌儿，初名尹仁，成年后，黄庭坚为他取字元晖。
在生下长子米友仁之年，二十四岁的米芾自浛光迁临桂尉（仍从九品），赴任桂林。桂林山水奇石甲天下，真遂了米芾之愿。他于这年五月末与潘景纯同游了桂林伏波山，题名石壁云：“潘景纯、米黻，熙宁七年五月晦同游。”[54]现石刻仍存还珠洞崖壁。潘景纯为浙江嘉兴人，英宗治平二年（1065）进士及第。王安石曾有《送潘景纯》七律，首联云：“东都曾以一当千，场屋声名十五年。”可见潘景纯颇有才华。他应比米芾年长、官高，故米芾将其名题于自己之前。米芾后有《送潘景纯》七律一首，首句云“五年相遇一行频”，二人当在英德时相识，米芾将离桂林分手时作诗，刚好五年，诗表达难舍难分之情。
南宋著名文人方信孺曾于宁宗嘉定八年（1215）八月访米芾初宦旧踪，其《宝晋米公画像记》云：“信孺顷过浛光，访公遗迹，得《北山养疾篇》及□□石刻□□。来桂林复得僧《绍言诗序》及伏波岩与潘景纯同游石刻。”后又云：“公遗文如《北山养疾篇》《绍言诗序》等作皆逸焉。”[55]记载已残。可见米芾在浛光及桂林行迹、字文当还有很多，只是多已失载。今桂林还珠洞壁还刻有一幅米芾自画像，像高一点二米，据残存的方信孺像记一文，此画当为其据米芾自画像拓本翻刻，至今仍依稀可见米芾真容。桂林龙隐岩侧洞摩崖尚刻有米芾与程节唱和诗，刻的是米芾书《诗送端臣桂林先生兼简信叔老兄帅座》以及李彦弼书程节的和诗，米芾书末署“建中建国元年（1101）真州清燕堂东园书”，这是米芾晚年在仪征所作。