诏令斛律光率五万步骑沿平阳道进攻姚襄、白亭等城戍，都攻下了，俘虏城主、仪同、大都督等九人及数千士卒。又别封长乐郡公。是月，北周派其柱国纥干广略围攻宜阳，斛律光率五万步骑赶往援救，两军在城下大战，战败周军，夺取了北周建安等四戍，俘获周军千余人，凯旋而归。

大军还没有抵达邺城，敕令放散兵众，令归其家。斛律光认为兵士多立有军功，没有得到慰劳奖赏，如果放散，不施恩泽，就不能赢得民心，于是秘密上表请求派人宣旨。军卒仍然前进，朝廷迟迟不发使，军队行至紫陌，斛律光只好命令驻营等待。后主听到说斛律光军营已逼近都城的通报，很不高兴，急派舍人请斛律光入见，然后慰劳奖赏兵众，令其放散。拜斛律光左丞相，又别封清河郡公。

斛律光常在朝堂垂帘而坐。祖珽不知晓，骑马从其朝堂门口走过。斛律光见后大怒，对人说：“此人好大胆子！”后来祖珽在内省，高声大气地讲话，斛律光正好路过，听到后，又十分恼怒。

祖珽知斛律光忿恨，向斛律光的随从奴仆行贿，还打听说：“相王很恼怒我吧？”答：“自从公主事后，相王每夜抱膝长叹说，‘盲人入朝，国家一定破灭’！”穆提婆请求娶斛律光庶女为妻，斛律光不同意。

后主将晋阳田地赏给穆提婆，斛律光在朝上大声讲：“晋阳的田地，神武帝以来常种禾，饲马几千匹，以平寇难，如今赏赐给穆提婆，这不是破坏军务吗？”因此斛律光与祖珽、穆提婆二人有了怨仇。

斛律光一个女儿作了皇后，两个女儿是太子妃，子弟皆封侯作将，还娶了三位公主。他的弟弟斛律羡都督幽州刺史，在边境筑城设险，养马练兵，修水利、劝农耕，威震突厥。全家功高位显，门第极盛。因此，斛律光常为此担忧，怕惹来祸患，居家很严，生活节俭，不谋私利，杜绝贿赂，门无宾客，也不肯干预朝政。

北齐后主高纬是个昏庸无能的皇帝，他宠信祖珽、穆提婆等小人，政治黑暗**。斛律光非常讨厌这些人，说“目人用权，国必破矣”！引起了他们的忌恨和陷害。

武平三年（572年），北周将军韦孝宽为解决斛律光这个北齐的前线支柱，便制造谣言，编成儿歌，在邺城歌唱，歌曰：“百升飞上天，明月照长安（百升为一斛，明月是斛律光的字，谣言暗喻斛律光有篡位野心）。”又说：“高山不推自崩，槲树不扶自竖。”

祖珽又乘机加了几句：“盲眼老公背上下大斧，饶舌老母不得语。”并让小儿在路上歌唱。穆提婆听唱后，告诉了自己的母亲陆令萱。陆令萱认为“饶舌”是指斥的自己；“盲老公”说的是祖珽。因而相与密谋，将歌谣向高纬启报，说：“斛律累世为朝廷大将，明月威震关西，丰乐威行突厥，女为皇后，男娶公主，谣言十分可怕。”

高纬事询问韩长鸾，韩长鸾认为不必大惊小怪，事情也就此作罢。祖珽又在后主面前挑拨，当时高纬身旁只有何洪珍在。

高纬说：“前得你的报告，本打算施行的，却给长鸾制止了。”祖珽没有回答，何洪珍进言说：“如若无此意，还行；既然有此意，就应该施行，万一泄露出去，那就把事情闹大了。”高纬说：“洪珍的话讲得有理。”但还是犹豫未决。