windpoplar
- 浏览: 71017 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到.
当然它们各自都有其应用场景,各有各的优势.可以配合使用.
下面我转一份别人的资料,讲的很清楚.
Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。
所以，在不同的应用场景下，应该选择不同的框架。
Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时 ...
linux下open too many files错误Socket未正确关闭的处理方法
1. 首先用lsof -p PID 查看一下打开文件的列表如果出现下图状况基本就两种可能，stream未关闭或者socket未关闭，出现can't identify protocol字样
2. 用netstat -anp | grep PID查看端口占用情况，若出现下图情况，证明Socket未关闭
原因：
是因为Socket协议本身，若正确关闭一个Socket需要往返消息4次，若中途有未接到的消息就会停留在某个状态下，比如当前的CLOSE_WAIT
解决办法：
客户端 ...
Lucene的基本概念
- 博客分类：
- 分布式系统
Lucene是什么？
Lucene是一款高性能、可扩展的信息检索工具库。信息检索是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。
信息检索流程如下：
1、 将即将检索的资源集合放到本地，并使用某 ...
1.1 JMS简介
JMS的全称是Java Message Service，即Java消息服务。它主要用于在生产者和消费者之间进行消息传递，生产者负责产生消息，而消费者负责接收消息。把它应用到实际的业务需求中的话我们可以在特定的时候利用生产者生成一消息，并进行发送，对应的消费者在接收到对应的消息后去完成对应的业务逻辑。对于消息的传递有两种类型，一种是点对点的，即一个生产者和一个消费者一一对应；另一种是发布/订阅模式，即一个生产者产生消息并进行发送后，可以由多个消费者进行接收。
1.2 Spring整合JMS
hbase应用场景和不适用的场景
- 博客分类：
- 分布式系统
适用的场景：摘自facebook的相关文档1 storing large amounts of data（100s of TBs） 存储大量的数据（100s TB级数据）2 need high write throughput 需要很高的写吞吐量3 need efficient random access (key lookups) within large data sets
redis中缓存的数据与数据库数据一致性的方案
- 博客分类：
- 分布式系统
方式1：数据库保存数据，redis不persistredis启动后，从数据库加载数据不要求强一致实时性的读请求，都由redis处理要求强一致实时性的读请求，由数据库处理写请求有2种处理方式，由数据库处理- 应用先写道数据库，然后更新redis- 应用先写道数据库，然后其它daemon同步到redis优点：redis启动不用处理redis数据和数据库不一致
Spring集成Memcached三种方式
- 博客分类：
- 分布式系统
Memcached Client目前有3种： Memcached Client for Java SpyMemcached XMemcached
这三种Client一直存在各种争议： Memcached Client for Java 比 SpyMemcached更稳定、更早、更广泛； SpyMemcached 比 Memcached Client for Java更高效； XMemcached 比 SpyMemcache并发效果更好。
http://blog.csdn.net/u013725455/article/details/52102170
1.redis.conf放开bind:
bind 192.168.30.128
2.端口开放需要，需要将该端口开放规则加到iptables中：
iptables –I INPUT –p tcp –-dport 6379 –j ACCEPT
3.在ubuntu中由于不存在 /etc/init.d/iptales文件，所以无法使用service等命令来启动iptables，需要用modprobe命令。
启动iptables
modprobe ip_tables save
轻量级分布式 RPC 框架
- 博客分类：
- 分布式系统
转https://my.oschina.net/huangyong/blog/361751
RPC，即 Remote Procedure Call（远程过程调用），说得通俗一点就是：调用远程计算机上的服务，就像调用本地服务一样。
RPC 可基于 HTTP 或 TCP 协议，Web Service 就是基于 HTTP 协议的 RPC，它具有良好的跨平台性，但其性能却不如基于 TCP 协议的 RPC。会两方面会直接影响 RPC 的性能，一是传输方式，二是序列化。
众所周知，TCP 是传输层协议，HTTP 是应用层协议，而传输层较应用层更加底层，在数据传输方面，越底层越快，因此，在一般情况下， ...
看到知乎上有这样一个问题 WEB开发中，使用JSON-RPC好，还是RESTful API好？ 还有其他优秀的推荐方案吗？ ----------------------------------------------------------------- 先科普一下
转：javatar.iteye.com/blog/1123915
因为要给百技上实训课，让新同学们自行实现一个简易RPC框架，在准备PPT时，就想写个示例，发现原来一个RPC框架只要一个类，10来分钟就可以写完了，虽然简陋，也晒晒：
Java代码
/*
* Copyright 2011 Alibaba.com All right reserved. This software is the
URLConnection详解
- 博客分类：
- web开发
针对JDK中的URLConnection连接Servlet的问题,网上有虽然有所涉及,但是只是说明了某一个或几个问题，是以FAQ的方式来解决的，而且比较零散，现在对这个类的使用就本人在项目中的使用经验做如下总结： 1:> URL请求的类别: 分为 ...
消息系统在微服务间通讯的数据一致性
- 博客分类：
- 分布式系统
前言
微服务是当下的热门话题，今天来聊下微服务中的一个敏感话题：如何保证微服务的数据一致性。谈到分布式事务，就避免不了CAP理论。
CAP理论是指对于一个分布式计算系统来说，不可能同时满足以下三点：
1. 一致性（Consistence) （等同于所有节点访问同一份最新的数据副本）
2. 可用性（Availability）（对数据更新具备高可用性）
3. 容忍网络分区（Partition tolerance）（以实际效果而言，分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性，就意味着发生了分区的情况，必须就当前操作在C和A之间做出选择。）
...
保证分布式系统数据一致性的6种方案
- 博客分类：
- 分布式系统
摘要: 在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可 ...
问题的起源
在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？
具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。
在
Base: 一种 Acid 的替代方案
- 博客分类：
- 分布式系统
Base: 一种 Acid 的替代方案
原文链接: BASE: An Acid Alternative Pdf下载链接: Base
数据库 ACID，都不陌生：原子性、一致性、隔离性和持久性，这在单台服务器就能搞定的时代，很容易实现，但是到了现在，面对如此庞大的访问 ...