行业案例 | MongoDB 在 QQ 小世界 Feed 云系统中的应用及业务架构优化实践

 message InnerFeed   {       string        feedID = 1; //id，存储层使用，唯一标识一条feed       string        feedOwner = 2; //Feeds主人       trpc.feedcloud.ufobase.SingleFeed    feedData = 3;  //feed详情数据       uint32        feedMask = 4;      //信息中心内部使用的     //feed 权限flag标志，参考 ENUM_UGCFLAG       trpc.feedcloud.ufougcright.ENUM_UGCFLAG   feedRightFlag = 5;       };  

 message SingleFeed {       int32         feedType = 4;   //Feed类型，主动、评论被动、回复被动。。。     uint32        feedTime = 5;       FeedsSummary       summary = 7;   //FeedsSummary       map<string, string> ext = 14;      //拓展信息       ...   };

 //FeedsSummary   message FeedsSummary   {       UgcData            ugcData = 1;         //内容详情       OpratorInfo        opInfo  = 2;         //操作信息   };      // UgcData 详情   message UgcData   {       string              userID = 1 [(validate.rules).string.tsecstr = true]     uint32              cTime = 2;       bytes               content = 5;   //透传数据，二进制buffer   ...   };      message OpratorInfo   {       uint32        action = 1;  //操作类型，如评论、回复等，见FC_API_ACTION        //操作人uin       string        userID = 2 [(validate.rules).string.tsecstr = true];           uint32                  cTime = 3;           //操作时间      //如果是评论或者回复，当前评论或者回复详情放这里，其它回复内容是全部。         T2Body                  t2body = 4;             uint32                  modifyFlag = 11;      //ENUM_FEEDS_MODIFY_DEFINE      ...   };  

"key" : {"feedOwner" : -1,"feedData.feedKey" : -1}

"key" : {"feedOwner" : -1,"feedData.feedTime" : -1}

 message InnerT2Body   {       string   feedID = 1;       //如果是评论或者回复，当前评论或者回复详情放这里，其它回复内容是全部。     trpc.feedcloud.ufobase.T2Body t2body = 2;         };  

 message T2Body                   //comment（评论）   {       string              userID = 1;      //评论uin       uint32              cTime = 2;       //评论时间       string              ID = 3;          //ugc中的seq       //评论内容，二进制结构，可包含文字、图片等，业务自定义       string              content = 5;         uint32              respNum = 6;     //回复数       repeated T3Body     vt3Body = 7;        //回复列表       ...   };  

 message T3Body                     //reply（回复）   {       string              userID = 1;              //回复人       uint32              cTime = 2;               //回复时间       int32               modifyFlag = 3;      //见COMM_REPLY_MODIFYFLAG       string              ID = 4;                  //ugc中的seq       string              targetUID = 5;           //被回复人       //回复内容，二进制结构，可包含文字、图片等，业务自定义      string              content = 6;             };

 use feed   sh.enableSharding("feed")   //n为实际分片数   sh.shardCollection("feed.feed", {"feedowner": "hashed"}, false,{numInitialChunks:8192*n})  

 use config   db.settings.update({"_id":"balancer"},{"$set":{"activeWindow":{"start":"00:00","stop":"06:00"}}},true)

 def insert(num,retry):       print("insert:",num)       if retry <= 0:           print("unable to write to database")           return       db_client = pymongo.MongoClient(MONGO_URI,maxPoolSize=100,socketTimeoutMS=100)       db = db_client['test']       posts = db['tb3']       try:           saveData = []           for i in range(0, num):               saveData.append({               'task_id':i,               })               posts.insert({'task_id':i})       except Exception as e:           retry -= 1           insert(num,retry)           print("Exception:",e)      def main(process_num,num,retry):       pool = multiprocessing.Pool(processes=process_num)       for i in xrange(num):           pool.apply_async(insert, (100,retry, ))       pool.close()       pool.join()       print "Sub-processes done."      if __name__ == "__main__":       main(1000,1000,100)

 ShardingTaskExecutorPoolMaxSize: 70   ShardingTaskExecutorPoolMinSize: 35

社区招募
为了让社区组委会成员和志愿者朋友们灵活参与，同时我们为想要深度参与社区建设的伙伴们开设了“招募通道”，如果您想要在社区里面结交志同道合的技术伙伴，想要通过在社区沉淀有价值的干货内容，想要一个展示自己的舞台，提升自身的技术影响力，即刻加入社区贡献队伍~ 点击链接提交申请：http://mongoingmongoing.mikecrm.com/CPDCj1B




获取更多精彩内容点击社区网站www.mongoing.com
添加小芒果微信（ID：mongoingcom）进入中文用户组技术交流群
长按二维码加入我们