Hadoop中的排序的设计-创新互联

1. 排序经常会用，但是怎么在大数据中，以Map，Reduce这种形式来进行实现了？

   

   成都创新互联长期为1000多家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为南宁企业提供专业的网站设计制作、成都网站设计，南宁网站改版等技术服务。拥有10年丰富建站经验和众多成功案例,为您定制开发。

   首先你要明确目标对象，对谁进行排序，如果是自定义的对象，需要实现其CompareTo方法，因为这个是对象之间比较大小的方法。

   另外你需要设计排序策略，特殊情况，正常情况，编程的时候，应该先写特殊情况，最后写正常情况，这样的话，逻辑更加清晰。

2. 如何设计呢？

   首先按照正常逻辑写好Map和Reduce程序，然后输出，最后得到的是一些文本，

   在写一个Map，Reduce程序在写，进行排序。思想也是一样的，偏移量为key，（刚学的时候，不知道什么是偏移量，后来才明白，是字段的偏移量，比如第一行，开始偏移量为1，第二行，偏移量就是11，为什么，因为，第一行有10个字符，占据了10位）

3. 在所有的mapreduce程序当中k1,v1,k2,v2,k3,v3中的k1一点用都没有，至于其他的k2和v2，他们可以自己进行设计，这些都只是输出，可以是对象，也可以是数值，包括v3,也可以是NULLwriteable等等之类的。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

本文标题：Hadoop中的排序的设计-创新互联
网页地址：http://cdxtjz.cn/article/dccjgo.html