文章/答案/技术大牛

发布

社区首页 >问答首页 >模拟上下文的Hadoop单元测试

问模拟上下文的Hadoop单元测试
EN

Stack Overflow用户

提问于 2014-02-05 21:47:46

回答 1查看 564关注 0票数 2

我正在尝试为hadoop作业编写单元测试。问题是映射器使用传递给它的上下文参数来确定此时它正在读取哪个文件。它进行以下调用：

String inputFile = ((FileSplit) context.getInputSplit()).getPath().toString();

但是，在使用MRUnit为映射器编写单元测试时，我似乎找不到任何方法来模拟这个上下文对象。即使是MapDriver似乎也没有任何选项来设置新的上下文对象。有没有办法为这个映射器类写一个单元测试？

java

unit-testing

hadoop

mrunit

回答 1

Stack Overflow用户

发布于 2014-07-01 14:56:51

您需要的是MockInputSplit：http://mrunit.apache.org/documentation/javadocs/0.9.0-incubating/org/apache/hadoop/mrunit/mock/MockInputSplit.html

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/21589231

复制

Mockito模拟进行单元测试

单元测试腾讯云测试服务 java http api

MOCK意思是模拟的意思，主要被用来进行数据的人工组织，不会真正地调用第三方服务器，类似redis，mysql等都不会调用，也不用关心数据底层是如何进行处理的，我们要做的只是将本单元的逻辑进行单元测试，验证数据的逻辑处理性，而其中mock较好的框架就是Mockito。

chinotan

2022/01/04

7K0

单元测试模拟框架：Nsubstitute

其他

Nsubstitute是一个开源的框架，源码是C#实现的。你可以在这里获得它的源码：https://github.com/nsubstitute/NSubstitute NSubstitute 更注重替代（Substitute）概念。它的设计目标是提供一个优秀的测试替代的.NET模拟框架。它是一个模拟测试框架，用最简洁的语法，使得我们能够把更多的注意力放在测试工作，减轻我们的测试配置工作，以满足我们的测试需求，帮助完成测试工作。它提供最经常需要使用的测试功能，且易于使用，语句更符合自然语言，可

张善友

2018/01/29

1.7K0

Mockito模拟进行单元测试

单元测试腾讯云测试服务 java http spring

chinotan

2019/07/15

9.5K0

[PHP] hyperf单元测试模拟http请求

composer 腾讯云测试服务单元测试

composer create-project hyperf/hyperf-skeleton

唯一Chat

2021/06/29

1.2K0

0基础学习PyFlink——模拟Hadoop流程

hadoop 大数据基础数据数组

学习大数据还是绕不开始祖级别的技术hadoop。我们不用了解其太多，只要理解其大体流程，然后用python代码模拟主要流程来熟悉其思想。还是以单词统计为例，如果使用hadoop流程实现，则如下图。

方亮

2023/10/23

2120

Orchard Core 中运行带程序上下文的单元测试

腾讯云测试服务单元测试 http https java

Orchard Core 带有很多单元测试，使用 Xunit 单元测试框架，除了简单的直接调用待测试的方法，有一些复杂的测试是需要上下文的，甚至需要 Application 程序启动起来，Orchard Core 的例子中有一个基于 HTTP 的 Application 测试，但是其测试都是通过调用 HTTP API 执行的，测试 Controller 挺方便，但是测试 Service 等就麻烦了，而且测试往往是需要调用内部的一些方法的，所以 HTTP API 测试适用范围有限。

全栈程序员站长

2022/07/11

3820

Unit Test单元测试时如何模拟HttpContext

其他

参考文章：http://blog.csdn.net/bclz_vs/article/details/6902638

跟着阿笨一起玩NET

2018/09/19

1.5K0

hadoop的简介_hadoop体系

hadoop 分布式大数据 mapreduce 存储

Hadoop起源：hadoop的创始者是Doug Cutting，起源于Nutch项目，该项目是作者尝试构建的一个开源的Web搜索引擎。起初该项目遇到了阻碍，因为始终无法将计算分配给多台计算机。谷歌发表的关于GFS和MapReduce相关的论文给了作者启发，最终让Nutch可以在多台计算机上稳定的运行;后来雅虎对这项技术产生了很大的兴趣，并组建了团队开发，从Nutch中剥离出分布式计算模块命名为“Hadoop”。最终Hadoop在雅虎的帮助下能够真正的处理海量的Web数据。

全栈程序员站长

2022/11/19

1.1K0

【单元测试】--编写单元测试

单元测试 assert 测试函数实践

这是一个简单的NUnit单元测试的示例，展示了如何创建测试项目，编写测试用例，运行测试以及查看测试结果。随着你的项目复杂性的增加，你可以编写更多的测试用例来确保你的代码按预期工作。

喵叔

2023/10/22

4780

【Hadoop入门】Hadoop的架构介绍

hive hadoop mapreduce hbase TDSQL MySQL 版

分析：Hadoop的核心组件分为：HDFS（分布式文件系统）、MapRuduce（分布式运算编程框架）、YARN（运算资源调度系统）

如来

2020/07/14

3.3K0

如何模拟一个XMLHttpRequest请求用于单元测试——nise源码阅读与分析

其他

在我们进行单元测试的过程中，如果我们需要对一些HTTP接口进行相关的业务测试，那么我们就需要来模拟HTTP请求的发送与响应，否则我们就无法完成测试的闭环。

黄Java

2018/09/18

2.5K0

限界上下文的边界

微服务 java 数据库 sql

边界通过限界上下文来确定，这在领域驱动设计中具有非凡的意义。对应于通用语言，限界上下文是语言的边界，对于领域模型，限界上下文是模型的边界，二者对应于问题空间（Problem Space）的界定。对于系统的架构，限界上下文还确定了应用边界和技术边界，进而帮助我们确定整个系统及各个限界上下文的解决方案。可以说，限界上下文是连接问题空间与解决方案空间的重要桥梁。那么，限界上下文所界定的边界，究竟是逻辑边界，还是物理边界？这并没有定论，需得依据不同场景而做出不同的决策。逻辑边界根据业务对领域进行逻辑分解时，

张逸

2018/03/07

1.4K0

go的单元测试

单元测试腾讯云测试服务 go 功能测试性能测试

package mytest import ( "fmt" "testing" ) //go本身提供一套轻量级的测试框架，符合规则的测试代码会在测试的时候被自动识别并且执行。 //单元测试源文件的命名规则是在需要测试的包下面创建以"_test"结尾的go文件，形式如[^.]*_test.go //单元测试函数分两类：功能测试函数和性能测试函数，分表以Test和Benchmark为函数名前缀并以*testing.T为单一参数的函数。下面是例子 //这里的测试文件最好单独放到一个文件夹下面，不放到一个文件夹下面。可能会执行其他测试文件 //要执行功能测试执行：go test mytest.go这样就行 //执行性能测试，执行：go test -bench 6_test.go func testAdd(t *testing.T) { r := 3 if r != 2 { fmt.Print("add err") } } func BenchmarkAdd2(b *testing.B) { for i := 0; i < 5; i++ { fmt.Println(i) } }

公众号-利志分享

2022/04/25

4020

在Go中使用Mocking技术进行数据库操作的单元测试（含模拟登录）

go 数据库单元测试 mocking 登录

假设我们有一个DBClient结构体，它包含一个*sql.DB字段，用于进行数据库操作：

运维开发王义杰

2023/08/10

7840

单元测试工具类_单元测试常用的方法

https 网络安全腾讯云测试服务

全栈程序员站长

2022/11/15

7950

hadoop | spark | hadoop的搭建和spark 的搭建

hadoop http spark html xml

版本hadoop-2.7.1.tar.gz,去官网下载就可以。解压到ubuntu下hadoop用户的目录下。

努力在北京混出人样

2019/02/18

7320

Flask 的上下文对象

flask http

request：封装了HTTP请求的内容，针对的是http请求。举例：user = request.args.get('user')，获取的是get请求的参数。

Devops海洋的渔夫

2019/12/16

3320

前端单元测试总结_javascript单元测试

腾讯云测试服务单元测试 node.js javascript jquery

目前，前端的测试框架很多，像QUnit、jasmine、mocha、jest、intern等框架，这些框架各有特点，简单描述下，感兴趣的可以具体研究：

全栈程序员站长

2022/09/20

1.6K0

Hadoop的安装

大数据

1）马克-to-win @ 马克java社区：首先到apache hadoop网站下载hadoop-2.7.4.tar.gz，随便解压到一个目录。

马克java社区

2021/06/27

3260

点击加载更多

相似问题

Mockito无法模拟Hadoop映射器上下文

128

Android单元测试:如何模拟Android的上下文

模拟Hadoop用户

Python 3上下文管理器模拟单元测试

如何为单元测试设置UserLanguages (使用模拟的http上下文)？

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问模拟上下文的Hadoop单元测试
EN