windpoplar的博客
windpoplar · 共 81 篇文章
Storm与Spark,Hadoop相比是否有优势
Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到. 当然它们各自都有其应用场景,各有各的优势.可以配合使用. 下面我转一份别人的资料,讲的很清楚. Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。 所以,在不同的应用场景下,应该选择不同的框架。 Storm是最佳的流式计算框架,Storm由Java和Clojure写成,Storm的优点是全内存计算,所以它的定位是分布式实时计算系统,按照Storm作者的说法,Storm对于实时计算的意义…
2017-02-03 22:06 · 评论(0)
linux下open too many files错误Socket未正确关闭的处理方法
linux下open too many files错误Socket未正确关闭的处理方法 1. 首先用lsof -p PID 查看一下打开文件的列表如果出现下图状况基本就两种可能,stream未关闭或者socket未关闭,出现can't identify protocol字样 2. 用netstat -anp | grep PID查看端口占用情况,若出现下图情况,证明Socket未关闭 原因: 是因为Socket协议本身,若正确关闭一个Socket需要往返消息4次,若中途有未接到的消息就会停留在某个状态下,比如当前的CLOSE_WAIT 解决办法: 客户端:主动关闭任何一个socket,尽量在…
2017-02-03 12:11 · 分布式系统 · 评论(0)
Lucene的基本概念
Lucene是什么? Lucene是一款高性能、可扩展的信息检索工具库。信息检索是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。 信息检索流程如下: 1、 将即将检索的资源集合放到本地,并使用某种特定的结构存储,称为索引,这个索引的集合称为索引库。由于索引库的结构按照专门为快速查询设计的,所以查询的速度非常的快; 2、 搜索操作时都是在本地的索引库中进行查找; 所以对于全文检索功能的开发,要做两方面:索引库管理(维护索引库中的数据)、在索引库中进行搜索。而Lucene就是操作索引库的工具; 索引库是什么样子? 索引库是一个目录,里面是一些二级制文件,就如同数据库,所有的数据也是以…
2017-02-02 21:16 · 分布式系统 · 评论(0)
Spring整合JMS——基于ActiveMQ实现
1.1 JMS简介 JMS的全称是Java Message Service,即Java消息服务。它主要用于在生产者和消费者之间进行消息传递,生产者负责产生消息,而消费者负责接收消息。把它应用到实际的业务需求中的话我们可以在特定的时候利用生产者生成一消息,并进行发送,对应的消费者在接收到对应的消息后去完成对应的业务逻辑。对于消息的传递有两种类型,一种是点对点的,即一个生产者和一个消费者一一对应;另一种是发布/订阅模式,即一个生产者产生消息并进行发送后,可以由多个消费者进行接收。 1.2 Spring整合JMS 对JMS做了一个简要介绍之后,接下来就讲一下Spring整合JMS的具体过程。JMS…
2017-02-02 19:39 · 分布式系统 · 评论(0)
hbase应用场景和不适用的场景
适用的场景: 摘自facebook的相关文档 1 storing large amounts of data(100s of TBs) 存储大量的数据(100s TB级数据) 2 need high write throughput 需要很高的写吞吐量 3 need efficient random access (key lookups) within large data sets 在大规模数据集中进行很好性能的随机访问(按列) 4 need to scale gracefully with data 需要进行优雅的数据扩展 5 for structured and semi-strur…
2017-02-02 18:47 · 分布式系统 · 评论(0)
redis中缓存的数据与数据库数据一致性的方案
方式1:数据库保存数据,redis不persist redis启动后,从数据库加载数据 不要求强一致实时性的读请求,都由redis处理 要求强一致实时性的读请求,由数据库处理 写请求有2种处理方式,由数据库处理 - 应用先写道数据库,然后更新redis - 应用先写道数据库,然后其它daemon同步到redis 优点:redis启动不用处理redis数据和数据库不一致 缺点:redis启动给数据库很大的读压力 方式2:数据库和redis分别处理不同的数据类型 数据库处理要求强一致实时性的数据,例如金融数据、交易数据 Redis 处理不要求强一致实时性的数据,例如网站最热贴排行榜 Redis …
2017-02-02 18:02 · 分布式系统 · 评论(0)
Spring集成Memcached三种方式
Memcached Client目前有3种: Memcached Client for Java SpyMemcached XMemcached 这三种Client一直存在各种争议: Memcached Client for Java 比 SpyMemcached更稳定、更早、更广泛; SpyMemcached 比 Memcached Client for Java更高效; XMemcached 比 SpyMemcache并发效果更好。 http://blog.csdn.net/u013725455/article/details/52102170
2017-02-02 16:40 · 分布式系统 · 评论(0)
linux虚拟机使用redis的一些问题记录
1.redis.conf放开bind: bind 192.168.30.128 2.端口开放需要,需要将该端口开放规则加到iptables中: iptables –I INPUT –p tcp –-dport 6379 –j ACCEPT 3.在ubuntu中由于不存在 /etc/init.d/iptales文件,所以无法使用service等命令来启动iptables,需要用modprobe命令。 启动iptables modprobe ip_tables save
2017-02-01 19:05 · linux · 评论(0)
轻量级分布式 RPC 框架
转https://my.oschina.net/huangyong/blog/361751 RPC,即 Remote Procedure Call(远程过程调用),说得通俗一点就是:调用远程计算机上的服务,就像调用本地服务一样。 RPC 可基于 HTTP 或 TCP 协议,Web Service 就是基于 HTTP 协议的 RPC,它具有良好的跨平台性,但其性能却不如基于 TCP 协议的 RPC。会两方面会直接影响 RPC 的性能,一是传输方式,二是序列化。 众所周知,TCP 是传输层协议,HTTP 是应用层协议,而传输层较应用层更加底层,在数据传输方面,越底层越快,因此,在一般情况下,TC…
2017-01-30 16:20 · 分布式系统 · 评论(0)
RPC好,还是RESTful好?
看到知乎上有这样一个问题 WEB开发中,使用JSON-RPC好,还是RESTful API好? 还有其他优秀的推荐方案吗? ----------------------------------------------------------------- 先科普一下 REST 和 RESTful 什么区别? REST,即Representational State Transfer的缩写。翻译过来是表现层状态转换。 如果一个 架构 符合REST原则,就称它为RESTful架构。 啥叫json-rpc? 接口调用通常包含两个部分,序列化和通信协议。常见的序列化协议包括json、xml、hess…
2017-01-29 18:17 · web开发 · 评论(0)
一个简易RPC框架
转:javatar.iteye.com/blog/1123915 因为要给百技上实训课,让新同学们自行实现一个简易RPC框架,在准备PPT时,就想写个示例,发现原来一个RPC框架只要一个类,10来分钟就可以写完了,虽然简陋,也晒晒: Java代码 /* * Copyright 2011 Alibaba.com All right reserved. This software is the * confidential and proprietary information of Alibaba.com ("Confidential * Information"). You shall no…
2017-01-29 13:49 · 分布式系统 · 评论(0)
URLConnection详解
针对JDK中的URLConnection连接Servlet的问题,网上有虽然有所涉及,但是只是说明了某一个或几个问题,是以FAQ的方式来解决的,而且比较零散,现在对这个类的使用就本人在项目中的使用经验做如下总结: 1:> URL请求的类别: 分为二类,GET与POST请求。二者的区别在于: a:) get请求可以获取静态页面,也可以把参数放在URL字串后面,传递给servlet, b:) post与get的不同之处在于post的参数不是放在URL字串里面,而是放在http请求的正文内。 2:> URLConnection的对象问题: URLConnection的对象,如下代码示例: // 下…
2017-01-28 20:48 · web开发 · 评论(0)
消息系统在微服务间通讯的数据一致性
前言 微服务是当下的热门话题,今天来聊下微服务中的一个敏感话题:如何保证微服务的数据一致性。谈到分布式事务,就避免不了CAP理论。 CAP理论是指对于一个分布式计算系统来说,不可能同时满足以下三点: 1. 一致性(Consistence) (等同于所有节点访问同一份最新的数据副本) 2. 可用性(Availability) (对数据更新具备高可用性) 3. 容忍网络分区(Partition tolerance) (以实际效果而言,分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性,就意味着发生了分区的情况,必须就当前操作在C和A之间做出选择。) 根据定理,分布式系统只能满足三项中…
2017-01-15 21:47 · 分布式系统 · 评论(0)
保证分布式系统数据一致性的6种方案
摘要: 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性?具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败。A、B、C 可 ... 问题的起源 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性? 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。 在 分布式系统 来说,如果不想牺牲一致性,CAP 理论告诉我们只能放弃可用性,这显然不能接受。为了便于讨论问题,先简…
2017-01-15 19:08 · 分布式系统 · 评论(0)
Base: 一种 Acid 的替代方案
Base: 一种 Acid 的替代方案 原文链接: BASE: An Acid Alternative Pdf下载链接: Base 数据库 ACID,都不陌生:原子性、一致性、隔离性和持久性,这在单台服务器就能搞定的时代,很容易实现,但是到了现在,面对如此庞大的访问量和数据量,单台服务器已经不可能适应了,而 ACID 在集群环境,几乎不可能达到我们的预期,保证了 ACID,效率就会大幅度下降,更要命的是,这么高的要求,不好扩展~于是又了 CAP 原则(Consistency(一致性)、Availability(可用性)、Partition tolerance(分区容错性))和 BASE 原则…
2017-01-15 18:13 · 分布式系统 · 评论(0)