PHP驱动MongoDB整数问题的BUG和策略

2018-02-0316:27:59后端程序开发Comments2,796 views字数 1684阅读模式

整数问题,其实并不是MongoDB的问题,而是PHP驱动的问题:MongoDB本身有两种整数类型,分别是:32位整数和64位整数,但旧版的PHP驱动不管操作系统是32位还是64位,把所有整数都当做32位整数处理,结果导致64位整数被截断。为了在尽可能保持兼容性的前提下解决这个问题,新版PHP驱动加入了mongo.native-long选项,以期在64位操作系统中把整数都当做64位来处理,有兴趣的可参考:64-bit integers in MongoDB文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

那么PHP驱动真的完全解决了整数问题么?NO!在处理group操作的时候还有BUG文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

为了说明问题,我们先来生成一些测试数据:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

<?php文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

ini_set('mongo.native_long', 1);文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$instance = new Mongo();文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$instance = $instance->selectCollection('test', 'test');文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

for ($i = 0; $i < 10; $i++) {
$instance->insert(array(
'group_id' => rand(1, 5),
'count'    => rand(1, 5),
));
}
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

?>

下面让我们使用group操作,根据group_id分组,汇总计算count:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

<?php文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

ini_set('mongo.native_long', 1);文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$instance = new Mongo();文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$instance = $instance->selectCollection('test', 'test');文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$keys = array('group_id' => 1);文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$initial = array('count' => 0);文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$reduce = '
function(obj, prev) {
prev.count += obj.count;
}
';
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$result = $instance->group($keys, $initial, $reduce);文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

var_dump($result);文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

?>

结果和预想的有出入,count没有实现累加,而是变成了[object Object],目前,如果必须使用group操作,那么有两种方法可以缓解这个问题:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

ini_set('mongo.native_long', 0);
$initial = array('count' => (float)0);

这两种方法都是治标不治本的权宜之计,既然当前PHP驱动里group的实现有问题,那我们就绕开它,用其它的方式实现同样的功能,这个方式就是MapReduce文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

<?php文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

ini_set('mongo.native_long', 1);文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$instance = new Mongo();文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$instance = $instance->selectDB('test');文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$map = '
function() {
emit(this.group_id, this.count);
}
';
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$reduce = '
function(key, values) {
var sum = 0;
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

        for (var index in values) {
sum += values[index];
}
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

        return sum;
}
';
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$result = $instance->command(array(
'mapreduce' => 'test',
'map'       => $map,
'reduce'    => $reduce
));
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

$result = iterator_to_array($instance->{$result['result']}->find());文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

var_dump($result);文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

?>

把大象放冰箱里需要三步,而使用MapReduce仅仅需要Map和Reduce两步即可,这里有一个PDF文档生动的说明了MySQL中GROUP BY和MongoDB中MapReduce的对应关系:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

PHP驱动MongoDB整数问题的BUG和策略文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

SQL to MongoDB文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

此外,还有很多资料可供参考,如:MongoDB Aggregation III: Map-Reduce Basics文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

说明:软件版本为MongoDB(1.6.5),PECL Mongo(1.1.4)。不同版本结论可能不同。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/545.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/bc/545.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定