Mongodb利用aggregation实现抽样查询(按记录数和时间)
之前對mongodb不熟,但是項目要用,因為數(shù)據(jù)量比較大,并且領導要實現(xiàn)抽樣查詢,控制數(shù)據(jù)流量,所以自己研究了下,親測可用,分享一下!
話不多說,上代碼:
第一種方案:加自增主鍵,實現(xiàn)按記錄數(shù)抽樣
1、記錄在存入數(shù)據(jù)庫時不適用默認id,改為自增id,具體實現(xiàn)如下:
/*** 序列類,用于映射查詢的序列值* @author Administrator**/ public class MongoSequence {@Idprivate String id;private int seq;}
/*** 獲取序列號工具類* @author Administrator**/ @Component public class MongoAutoidUtil {@AutowiredMongoTemplate mongoTemplate;public int getNextSequence(String collectionName) {Query query = new Query(Criteria.where("collName").is(collectionName));Update update = new Update();update.inc("seq", 1);FindAndModifyOptions options = new FindAndModifyOptions();options.upsert(true);options.returnNew(true);MongoSequence seqId = mongoTemplate.findAndModify(query, update, options, MongoSequence.class);return seqId.getSeq();}} //插入數(shù)據(jù) public void insert(DeviceData110 de) {de.setId(mongoAutoidUtil.getNextSequence(de.getParamName())); mongoTemplate.save(de,de.getParamName());}
2、查詢數(shù)據(jù),具體實現(xiàn)如下:
@Autowiredprivate MongoTemplate mongoTemplate;public List<DeviceData110> find() {ProjectionOperation dateProjection = Aggregation.project("_id","paramName","retrieveTime");MatchOperation match1 = Aggregation.match(new Criteria("paramName").is("aaa"));MatchOperation match2 = Aggregation.match(new Criteria("retrieveTime").gte(DateUtil.getAssignTime(new Date(), -1)).lte(DateUtil.getAssignTime(new Date(), 1)));MatchOperation match3 = Aggregation.match(new Criteria("_id").mod(2, 0));Aggregation agg = Aggregation.newAggregation(dateProjection,match1,match2,match3);AggregationResults<DeviceData110> results = mongoTemplate.aggregate(agg,"aaa",DeviceData110.class);List<DeviceData110> list = results.getMappedResults();return list;}//實體類 public class DeviceData110 implements Serializable{private static final long serialVersionUID = -4763630558724084819L;public int id;public String paramName;public Date retrieveTime; }
在demo中可以查詢到按paramName為"aaa",retrieveTime為一天前至今,并且id值除以2余數(shù)為0的所有記錄,更改除數(shù)的大小便實現(xiàn)了不同粒度的抽樣查詢。
第二種方案:借助 date aggragation ,實現(xiàn)按時間查詢
前提是被查詢數(shù)據(jù)中有字段為iso date類型retrieveTime,然后在aggregation中加入一個這樣的MatchOperation,最后加入到Aggregation.newAggregation()即可實現(xiàn)查詢分鐘數(shù)為0,15,30,45的記錄,同時支持的其它操作還有hour、seconds等。
ProjectionOperation project1 = Aggregation.project("_id").andExpression("minute(retrieveTime)").as("minute"), MatchOperation match = Aggregation.match(new Criteria("minute").in("0","15","30","45")); Aggregation agg = Aggregation.newAggregation(project1 、match );
?
轉(zhuǎn)載于:https://www.cnblogs.com/hhhshct/p/8426068.html
總結
以上是生活随笔為你收集整理的Mongodb利用aggregation实现抽样查询(按记录数和时间)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【Linux】【Services】【Sa
- 下一篇: 【转载】OI生涯结束……在逸夫楼那些的日