-
Notifications
You must be signed in to change notification settings - Fork 0
Expand file tree
/
Copy pathbigdata-storm-date-2017-12-05-1520-ch, java.html
More file actions
190 lines (176 loc) · 11.4 KB
/
bigdata-storm-date-2017-12-05-1520-ch, java.html
File metadata and controls
190 lines (176 loc) · 11.4 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
<!DOCTYPE html>
<html lang="en-US">
<head>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="author" content="kevin.xi" />
<meta name="copyright" content="kevin.xi" />
<meta name="keywords" content="storm, bigdata, bigdata, " />
<title>Storm介绍(一) · 寒玉 Blog
</title>
<!-- <link href="http://cdn-images.mailchimp.com/embedcode/slim-081711.css" rel="stylesheet" type="text/css"> -->
<link href="//netdna.bootstrapcdn.com/twitter-bootstrap/2.3.1/css/bootstrap-combined.min.css" rel="stylesheet">
<link rel="stylesheet" type="text/css" href="/theme/css/style.css" media="screen">
<link rel="stylesheet" type="text/css" href="/theme/css/solarizedlight.css" media="screen">
<link rel="shortcut icon" href="/theme/images/favicon.ico" type="image/x-icon" />
<link rel="apple-touch-icon" href="/theme/images/apple-touch-icon.png" />
<link rel="apple-touch-icon" sizes="57x57" href="/theme/images/apple-touch-icon-57x57.png" />
<link rel="apple-touch-icon" sizes="72x72" href="/theme/images/apple-touch-icon-72x72.png" />
<link rel="apple-touch-icon" sizes="114x114" href="/theme/images/apple-touch-icon-114x114.png" />
<link rel="apple-touch-icon" sizes="144x144" href="/theme/images/apple-touch-icon-144x144.png" />
<link rel="icon" href="/theme/images/apple-touch-icon-144x144.png" />
</head>
<body>
<div id="content-sans-footer">
<div class="navbar navbar-static-top">
<div class="navbar-inner">
<div class="container">
<a class="btn btn-navbar" data-toggle="collapse" data-target=".nav-collapse">
<span class="icon-bar"></span>
<span class="icon-bar"></span>
<span class="icon-bar"></span>
</a>
<a class="brand" href="/"><span class=site-name>寒玉 Blog</span></a>
<div class="nav-collapse collapse">
<ul class="nav pull-right top-menu">
<li ><a href="">Home</a></li>
<li ><a href="/pages/books-date-2017-12-05-1130-ch.html">Books</a></li>
<li ><a href="/pages/about-date-2015-05-10-1010-ch.html">About Me</a></li>
<li ><a href="/categories.html">Categories</a></li>
<li ><a href="/tags.html">Tags</a></li>
<li ><a href="/archives.html">Archives</a></li>
<li><form class="navbar-search" action="/search.html" onsubmit="return validateForm(this.elements['q'].value);"> <input type="text" class="search-query" placeholder="Search" name="q" id="tipue_search_input"></form></li>
</ul>
</div>
</div>
</div>
</div>
<div class="container-fluid">
<div class="row-fluid">
<div class="span1"></div>
<div class="span10">
<article>
<div class="row-fluid">
<header class="page_header span10 offset2">
<h1><a href="/bigdata-storm-date-2017-12-05-1520-ch, java.html"> Storm介绍(一) </a></h1>
</header>
</div>
<div class="row-fluid">
<div class="span8 offset2 article-content">
<hr>
<h1>Storm介绍</h1>
<blockquote>
<p>Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。Storm简单，可以使用任何编程语言。</p>
</blockquote>
<p>在Storm之前，进行实时处理是非常痛苦的事情: 需要维护一堆消息队列和消费者，他们构成了非常复杂的图结构。消费者进程从队列里取消息，处理完成后，去更新数据库，或者给其他队列发新消息。</p>
<p>这样进行实时处理是非常痛苦的。我们主要的时间都花在关注往哪里发消息，从哪里接收消息，消息如何序列化，真正的业务逻辑只占了源代码的一小部分。一个应用程序的逻辑运行在很多worker上，但这些worker需要各自单独部署，还需要部署消息队列。最大问题是系统很脆弱，而且不是容错的：需要自己保证消息队列和worker进程工作正常。</p>
<p>Storm完整地解决了这些问题。它是为分布式场景而生的，抽象了消息传递，会自动地在集群机器上并发地处理流式计算，让你专注于实时处理的业务逻辑。</p>
<h1>Storm的特点</h1>
<p>storm有如下特点:</p>
<ul>
<li>编程简单: 开发人员只需要关注应用逻辑，而且跟Hadoop类似，Storm提供的编程原语也很简单</li>
<li>高性能，低延迟：可以应用于广告搜索引擎这种要求对广告主的操作进行实时响应的场景。</li>
<li>分布式：可以轻松应对数据量大，单机搞不定的场景</li>
<li>可扩展：随着业务发展，数据量和计算量越来越大，系统可水平扩展</li>
<li>容错：单个节点挂了不影响应用</li>
<li>消息不丢失：保证消息处理</li>
</ul>
<h1>注意内容</h1>
<p>Storm不是一个完整的解决方案,使用storm需要关注几点:</p>
<ul>
<li>如果使用自己的消息队列,需要加入消息队列做数据的来源和产出的代码</li>
<li>需要考虑如何做故障处理</li>
<li>需要考虑如何做消息回退</li>
</ul>
<h1>Storm应用</h1>
<blockquote>
<p>Storm有很多应用：实时分析，在线机器学习(online machine learning)，连续计算(continuous computation)，分布式远程过程调用(RPC)、ETL等。Storm处理速度很快：每个节点每秒钟可以处理超过百万的数据组。它是可扩展(scalable)，容错(fault-tolerant)，保证你的数据会被处理，并且很容易搭建和操作。</p>
</blockquote>
<h1>Storm模型</h1>
<p>Storm实现了一个数据流(data flow)的模型,在这个模型中数据持续不断的流经一个由很多转换实体构成的网络.一个数据流的抽象叫做流(stream),流是无限的元组(Tuple)序列.元组是一个可以表示标准数据类型和用户自定义类型的数据结构,每一个流由唯一的ID来标识.这个ID可以用来构建拓扑中各个组件的数据源.</p>
<h1>并发模型(worker/executor/task)</h1>
<p>在一个Storm集群中.Storm主要通过以下三个部件来运行拓扑</p>
<ol>
<li>工作进程(worker processes)</li>
<li>执行器(executors)</li>
<li>任务(task)</li>
</ol>
<p>work,exexutors,task的相关关系</p>
<p><img alt="https://s1.ax1x.com/2017/12/07/TCUEt.png" src="https://s1.ax1x.com/2017/12/07/TCUEt.png"></p>
<p>在Worker中运行的是拓扑的一个子集.一个worker进程是从属于某一个特定的拓扑,在一个worker进程中会运行一个或多个与拓扑中组件相关的exector.一个运行中的拓扑就是由这些运行与storm集群的很多机器上的进程组成的.</p>
<p>一个executor是由worker进成上的一个线程,在executor中可能会有一个或者多个task,这些task都是为同一个组件(spout或者blot)服务的.</p>
<p>task是实际执行数据处理的最小工作单元(task不是线程).代码中实现的每一个spout或者blot都会在集群中运行很多task.在拓扑的整个生命周期中,每个task的数量保持不变,不过每个组件的executor数量有可能会随着时间变化.在默认情况下task数量和executor的数量是一样的.默认情况下Storm会在一个线程上运行一个task</p>
<div class="highlight"><pre><span></span><span class="n">topologyBuilder</span><span class="o">.</span><span class="na">setBolt</span><span class="o">(</span><span class="s">"green-bolt"</span><span class="o">,</span> <span class="k">new</span> <span class="n">GreenBolt</span><span class="o">(),</span> <span class="mi">2</span><span class="o">)</span>
<span class="o">.</span><span class="na">setNumTasks</span><span class="o">(</span><span class="mi">4</span><span class="o">)</span>
<span class="o">.</span><span class="na">shuffleGrouping</span><span class="o">(</span><span class="err">"</span><span class="n">blue</span><span class="o">-</span><span class="n">spout</span><span class="o">);</span>
</pre></div>
<p>在上面的代码中,我们为<code>GreenBolt</code>配置了2个初始线程(executor)和4个关联任务(task).这样,每一个执行线程中会运行2个任务.如果在设置blot的时候不指定task数量,那么每个executor和task的数量默认设置为1.</p>
<h1>参考资料</h1>
<p><a href="http://weyo.me/pages/techs/storm-translations-understanding-the-parallelism-of-a-storm-topology/">Storm 官方文档翻译(6) —— 理解 Storm 拓扑的并行度(parallelism)概念</a></p>
<aside>
<hr/>
<nav>
<ul class="articles_timeline">
<li class="previous_article">« <a href="/superset-2017-12-04-1748-ch.html" title="Previous: Superset">Superset</a></li>
<li class="next_article"><a href="/bigdata-parquet-date-2017-12-14-1520-ch.html" title="Next: Parquet文件">Parquet文件</a> »</li>
</ul>
</nav>
</aside>
</div>
<section>
<div class="span2" style="float:right;font-size:0.9em;">
<h4>Published</h4>
<time pubdate="pubdate" datetime="2017-12-05T15:20:53+08:00">12 5, 2017</time>
<h4>Last Updated</h4>
<div class="last_updated">2017-12-05 15:20:53+08:00</div>
<h4>Category</h4>
<a class="category-link" href="/categories.html#bigdata-ref">bigdata</a>
<h4>Tags</h4>
<ul class="list-of-tags tags-in-article">
<li><a href="/tags.html#bigdata-ref">bigdata
<span>12</span>
</a></li>
<li><a href="/tags.html#storm-ref">storm
<span>2</span>
</a></li>
</ul>
</div>
</section>
</div>
<div id="gitalk-container"></div>
</article>
<link rel="stylesheet" href="https://unpkg.com/gitalk/dist/gitalk.css">
<script src="https://unpkg.com/gitalk/dist/gitalk.min.js"></script>
<script>
var gitalk = new Gitalk({
clientID: '55daf540951794dd3faf',
clientSecret: 'd6eaad9fa6d9e7ff2647ef8b6e21327da0cc7cda',
repo: 'blog-comment',
owner: 'xixuebin',
admin: ['xixuebin'],
id: location.pathname, // Ensure uniqueness and length less than 50
distractionFreeMode: false // Facebook-like distraction free mode
})
gitalk.render('gitalk-container')
</script>
</div>
<div class="span1"></div>
</div>
</div>
</div>
<footer>
<div id="footer">
<ul class="footer-content">
<li class="elegant-power">Powered by <a href="http://getpelican.com/" title="Pelican Home Page">Pelican</a>. Theme: <a href="http://oncrashreboot.com/pelican-elegant" title="Theme Elegant Home Page">Elegant</a> by <a href="http://oncrashreboot.com" title="Talha Mansoor Home Page">Talha Mansoor</a></li>
</ul>
</div>
</footer> <script src="https://code.jquery.com/jquery.min.js"></script>
<script src="//netdna.bootstrapcdn.com/twitter-bootstrap/2.3.1/js/bootstrap.min.js"></script>
<script>
function validateForm(query)
{
return (query.length > 0);
}
</script>
</body>
</html>