Elasticsearch视频教程
关键词:elasticsearch教程、深入理解elasticsearch、elasticsearch中文教程
快速入门篇课程介绍
Elasticsearch,是目前行业中非常热门的一个技术。Elasticsearch是一种分布式的海量数据搜索与分析的技术,可以用于电商网站、门户网站、企业IT系统等各种场景下的搜索引擎,也可以用于对海量的数据进行近实时的数据分析。相较于Lucene来说,Elasticsearch天然的分布式特性,让其可以支持海量的、PB级的大数据搜索。相对于Spark Streaming、Storm等大数据实时计算引擎来说,Elasticsearch天生为分布式执行数据分析操作而生的架构,海量数据量级下的近实时(秒级)性能支持,以及无比强大的搜索和聚合分析的语法支持,让ES更加适合进行大数据场景下的数据分析应用。
Spark Streaming进行实时数据分析,有天然的无法全量多数据流join、内核shuffle过程大量基于磁盘落地等缺陷,导致其实时数据分析功能较差,实时数据分析性能也较差。Storm则作为实时计算引擎的鼻祖,由于其对SQL的支持很弱,导致其非常不适合进行实时数据分析,开发成本巨大。而Elasticsearch克服了上述大数据技术的缺点,更加适合进行大数据场景下的数据分析操作。
本课程深入浅出剖析了Elasticsearch的核心基础知识,带着大家一步一步,从快速入门,到理解Elasticsearch的工作原理、内核级原理,再到动手实战操作Elasticsearch的各种核心功能,到最后可以基于Java开发基本的搜索和分析应用程序。
课程特点如下:
1、基于Elasticsearch最新版本,5.2版本,进行课程的讲解,让大家学好技术后,绝对不会落伍。而市面上的书籍和视频,使用的Elasticsearch版本都非常陈旧,一般都是1.x,或者2.x,即使学了,也完全跟现在最新的版本无法兼容,无法让同学们学以致用。
2、大白话讲解各种复杂知识点,不用太官方和学术的语言照着ppt简单讲解,而是采用与朋友聊天式的方式,进行对话和讲解,尽量采用最通俗的语言来解释各种复杂的技术问题,还有底层原理。
3、课程知识体系设计的足够详细,将一门技术的各个知识点和技术点,全部包含在课程中,一点一点的细致剖析和展开讲解,绝不让大家遗漏任何有用的知识点,尽量做到,课程知识体系完整,系统化,有广度,而且也有深度。比如说本套课程中,既全面包括了从入门使用,到分布式文档系统操作,到搜索引擎操作,到索引管理,最后到Java API使用,这样完整的知识体系。同时还细致到包含很多独家的知识点,比如说Elasticsearch如何突破扩容瓶颈,search timeout机制,如何定位不合法的搜索,等等。
4、包含很多独家的核心知识点和技术,比如乐观锁并发控制,写一致性与quorum机制,bulk api底层性能优化,deep-paging性能问题,大数据量零停机重建索引,等等。
5、课程的原理性讲解足够深入,一直剖析到ES的内核层面,而且几乎所有原理知识点的讲解100%都使用现场一点一点手工画图的方式来剖析和讲解。比如ES容错机制,document数据路由,object类型底层结构,相关度评分TF/IDF算法,doc value,type底层数据结构,内核级数据写入流程,index segment、memory buffer、filesystem cache、flush、commit等内核级原理。
6、大量的上机动手实验,几乎所有功能都会带着大家上机动手实战操作,演练,掌握功能的使用。比如入门级的电商网站商品管理案例,基于版本号进行乐观锁并发控制的实验,mget+bulk批量处理的实验,scoll滚动搜索大量数据的实验,scoll+bulk+alias零停机重建索引的实验,基于Java开发的员工管理案例,等等。
本套课程学完以后能够达到的效果:
1、快速掌握Elasticsearch的各种使用,包括document管理,索引管理,搜索,聚合分析,等等。
2、细致掌握Elasticsearch的各种高级核心知识点,包括乐观锁并发控制,mget+bulk批处理,零停机场景下重建索引,dynamic mapping模板定制,分词器定制,等等。
3、深入理解Elasticsearch的各种核心原理,包括分布式架构原理,分布式文档系统原理,分布式搜索引擎原理,内核级原理。
4、快速掌握基于Java来开发Elasticsearch的简单应用程序,实现包括document增删改查,常见的搜索操作,常见的聚合分析操作。
5、基于上述4点的掌握,可以为更加进一步深入学习Elasticsearch这门技术打好基础。
《Elasticsearch顶尖高手系列课程:核心知识篇(下半季)》预告:
核心知识篇还会有下半季,会在这半季的基础上更加深入的去讲解Elasticsearch的核心知识,让大家一站式彻底掌握和精通ES的核心知识体系
1、深度探秘Elasticsearch的搜索功能,彻底讲解ES搜索相关的所有知识点,包括复杂多条件组合搜索,搜索权重控制,多域/跨域搜索,近似匹配搜索,search as you type,相关度评分彻底掌控,Stemmer,模糊匹配和自动纠错,等等。
2、彻底解析ES的数据聚合分析功能,包括基于时间跨度的聚合分析,聚合结果排序,近似聚合算法,doc value和fielddata大揭秘,等等。
3、深入讲解ES的数据建模,包括父子关系数据建模,嵌套关系数据建模,超大数据量场景下,搜索和分析应用的数据建模与设计原则,等等。
4、基于Java彻底玩转Elasticsearch,包括基于Java实现bulk,scoll,复杂搜索,复杂聚合,索引管理,等等。
5、项目实战:新闻门户网站的小型搜索引擎&数据分析系统
第一、二季———Elasticsearch基础知识篇
课程大纲:
01节:课程介绍
02节:用大白话告诉你什么是Elasticsearch
03节:Elasticsearch的功能、适用场景以及特点介绍
04节:手工画图剖析Elasticsearch核心概念:NRT、索引、分片、副本等
05节:在windows上安装和启动Elasticseach
06节:快速入门案例实战之电商网站商品管理:集群健康检查,文档CRUD
07节:快速入门案例实战之电商网站商品管理:多种搜索方式
08节:快速入门案例实战之电商网站商品管理:嵌套聚合,下钻分析,聚合分析
09节:手工画图剖析Elasticsearch的基础分布式架构
10节:shard&replica机制再次梳理以及单node环境中创建index图解
11节:图解2个node环境下replica shard是如何分配的
12节:图解横向扩容过程,如何超出扩容极限,以及如何提升容错性
13节:图解Elasticsearch容错机制:master选举,replica容错,数据恢复
14节:初步解析document的核心元数据以及图解剖析index创建反例
15节:分布式文档系统-document id的手动指定与自动生成两种方式解析
16节:分布式文档系统-document的_source元数据以及定制返回结果解析
17节:分布式文档系统-document的全量替换、强制创建以及图解lazy delete机制
18节:分布式文档系统-深度图解剖析Elasticsearch并发冲突问题
19节:分布式文档系统-深度图解剖析悲观锁与乐观锁两种并发控制方案
20节:分布式文档系统-图解Elasticsearch内部如何基于_version进行乐观锁并发控制
21节:分布式文档系统-上机动手实战演练基于_version进行乐观锁并发控制
22节:分布式文档系统-上机动手实战演练基于external version进行乐观锁并发控制
23节:分布式文档系统-图解partial update实现原理以及动手实战演练
24节:分布式文档系统-上机动手实战演练基于groovy脚本进行partial update
25节:分布式文档系统-图解partial update乐观锁并发控制原理以及相关操作讲解
26节:分布式文档系统-上机动手实战演练mget批量查询api
27节:分布式文档系统_上机动手实战演练bulk批量增删改
28节:分布式文档系统_阶段性总结以及什么是distributed document store
29节:分布式文档系统_深度图解剖析document数据路由原理
30节:分布式文档系统_document增删改内部原理图解揭秘
31节:分布式文档系统_图解写一致性原理以及quorum机制深入剖析
32节:分布式文档系统_document查询内部原理图解揭秘
33节:分布式文档系统_bulk api的奇特json格式与底层性能优化关系大揭秘
34节:初识搜索引擎_search结果深入解析(search timeout机制揭秘)
35节:初识搜索引擎_multi-index&multi-type搜索模式解析以及搜索原理初步图解
36节:初识搜索引擎_分页搜索以及deep paging性能问题深度图解揭秘
37节:初识搜索引擎_快速掌握query string search语法以及_all metadata原理揭秘
38节:初识搜索引擎_用一个例子告诉你mapping到底是什么
39节:初识搜索引擎_精确匹配与全文搜索的对比分析
40节:初识搜索引擎_倒排索引核心原理快速揭秘
41节:初识搜索引擎_分词器的内部组成到底是什么,以及内置分词器的介绍
42节:初识搜索引擎_query string的分词以及mapping引入案例遗留问题的大揭秘
43节:初识搜索引擎_什么是mapping再次回炉透彻理解
44节:初识搜索引擎_mapping的核心数据类型以及dynamic mapping
45节:初识搜索引擎_手动建立和修改mapping以及定制string类型数据是否分词
46节:初识搜索引擎_mapping复杂数据类型以及object类型数据底层结构大揭秘
47节:初识搜索引擎_search api的基础语法介绍
48节:初识搜索引擎_快速上机动手实战Query DSL搜索语法
49节:初识搜索引擎_filter与query深入对比解密:相关度,性能
50节:初识搜索引擎_上机动手实战常用的各种query搜索语法
51节:初识搜索引擎_上机动手实战多搜索条件组合查询
52节:初识搜索引擎_上机动手实战如何定位不合法的搜索以及其原因
53节:初识搜素引擎_上机动手实战如何定制搜索结果的排序规则
54节:初识搜索引擎_解密如何将一个field索引两次来解决字符串排序问题
55节:初识搜索引擎_相关度评分TF&IDF算法独家解密
56节:初识搜索引擎_内核级知识点之doc value初步探秘
57节:初识搜索引擎_分布式搜索引擎内核解密之query phase
58节:初识搜索引擎_分布式搜索引擎内核解密之fetch phase
59节:初识搜索引擎_搜索相关参数梳理以及bouncing results问题解决方案
60节:初识搜索引擎_上机动手实战基于scoll技术滚动搜索大量数据
61节:索引管理_快速上机动手实战创建、修改以及删除索引
62节:索引管理_快速上机动手实战修改分词器以及定制自己的分词器
63节:索引管理_内核级知识点:深入探秘type底层数据结构
64节:索引管理_mapping root object深入剖析
65节:索引管理_定制化自己的dynamic mapping策略
66节:索引管理_复杂上机实验:基于scoll+bulk+索引别名实现零停机重建索引
67节:内核原理探秘_倒排索引组成结构以及其索引可变原因揭秘
68节:内核原理探秘_深度图解剖析document写入原理(buffer,segment,commit)
69节:内核原理探秘_优化写入流程实现NRT近实时(filesystem cache,refresh)
70节:内核原理探秘_继续优化写入流程实现durability可靠存储(translog,flush)
71节:内核原理探秘_最后优化写入流程实现海量磁盘文件合并(segment merge,optimize)
72节:Java API初步使用_员工管理案例:基于Java实现员工信息的增删改查
73节:Java API初步使用_员工管理案例:基于Java对员工信息进行复杂的搜索操作
74节:Java API初步使用_员工管理案例:基于Java对员工信息进行聚合分析
第三、四季——Elasticsearch进阶篇
1结构化搜索_IT技术论坛案例背景介绍9分钟
2结构化搜索_在案例中实战使用term filter来搜索数据20分钟
3结构化搜索_filter执行原理深度剖析(bitset机制与caching机制)18分钟
4结构化搜索_在案例中实战基于bool组合多个filter条件来搜索数据12分钟
5结构化搜索_在案例中实战使用terms搜索多个值以及多值搜索结果优化7分钟
6结构化搜索_在案例中实战基于range filter来进行范围过滤5分钟
7深度探秘搜索技术_在案例中体验如何手动控制全文检索结果的精准度19分钟
8深度探秘搜索技术_基于term+bool实现的multiword搜索底层原理剖析4分钟
9深度探秘搜索技术_基于boost的细粒度搜索条件权重控制7分钟
10深度探秘搜索技术_多shard场景下relevance score不准确问题大揭秘12分钟
11深度探秘搜索技术_案例实战基于dis_max实现best fields策略进行多字段搜索17分钟
12深度探秘搜索技术_案例实战基于tie_breaker参数优化dis_max搜索效果10分钟
13深度探秘搜索技术_案例实战基于multi_match语法实现dis_max+tie_breaker6分钟
14深度探秘搜索技术_基于multi_match+most fiels策略进行multi-field搜索19分钟
15深度探秘搜索技术_使用most_fields策略进行cross-fields search弊端大揭秘12分钟
16深度探秘搜索技术_使用copy_to定制组合field解决cross-fields搜索弊端14分钟
17深度探秘搜索技术_使用原生cross-fiels技术解决搜索弊端12分钟
18深度探秘搜索技术_在案例实战中掌握phrase matching搜索技术23分钟
19深度探秘搜索技术_基于slop参数实现近似匹配以及原理剖析和相关实验17分钟
20深度探秘搜索技术_混合使用match和近似匹配实现召回率与精准度的平衡9分钟
21深度探秘搜索技术_使用rescoring机制优化近似匹配搜索的性能10分钟
22深度探秘搜索技术_实战前缀搜索、通配符搜索、正则搜索等技术19分钟
23深度探秘搜索技术_实战match_phrase_prefix实现search-time搜索推荐10分钟
24深度探秘搜索技术_实战通过ngram分词机制实现index-time搜索推荐16分钟
25深度探秘搜索技术_深入揭秘TF&IDF算法以及向量空间模型算法18分钟
26深度探秘搜索技术_深入揭秘lucene的相关度分数算法15分钟
27深度探秘搜索技术_实战掌握四种常见的相关度分数优化方法15分钟
28深度探秘搜索技术_实战用function_score自定义相关度分数算法7分钟
29深度探秘搜索技术_实战掌握误拼写时的fuzzy模糊搜索技术8分钟
30彻底掌握IK中文分词_上机动手实战IK中文分词器的安装和使用14分钟
31彻底掌握IK中文分词_IK分词器配置文件讲解以及自定义词库实战15分钟
32彻底掌握IK中文分词_修改IK分词器源码来基于mysql热更新词库20分钟
33深入聚合数据分析_bucket与metric两个核心概念的讲解7分钟
34深入聚合数据分析_家电卖场案例以及统计哪种颜色电视销量最高8分钟
35深入聚合数据分析_实战bucket+metric:统计每种颜色电视平均价格7分钟
36深入聚合数据分析_bucket嵌套实现颜色+品牌的多层下钻分析7分钟
37深入聚合数据分析_掌握更多metrics:统计每种颜色电视最大最小价格5分钟
38深入聚合数据分析_实战hitogram按价格区间统计电视销量和销售额5分钟
39深入聚合数据分析_实战date hitogram之统计每月电视销量6分钟
40深入聚合数据分析_下钻分析之统计每季度每个品牌的销售额6分钟
41深入聚合数据分析_搜索+聚合:统计指定品牌下每个颜色的销量4分钟
42深入聚合数据分析_global bucket:单个品牌与所有品牌销量对比6分钟
43深入聚合数据分析_过滤+聚合:统计价格大于1200的电视平均价格4分钟
44深入聚合数据分析_bucket filter:统计牌品最近一个月的平均价格7分钟
45深入聚合数据分析_排序:按每种颜色的平均销售额降序排序4分钟
46深入聚合数据分析_颜色+品牌下钻分析时按最深层metric进行排序4分钟
47深入聚合数据分析_易并行聚合算法,三角选择原则,近似聚合算法12分钟
48深入聚合数据分析_cardinality去重算法以及每月销售品牌数量统计3分钟
49深入聚合数据分析_cardinality算法之优化内存开销以及HLL算法7分钟
50深入聚合数据分析_percentiles百分比算法以及网站访问时延统计11分钟
51深入聚合数据分析_percentiles rank以及网站访问时延SLA统计7分钟
52深入聚合数据分析_基于doc value正排索引的聚合内部原理17分钟
53深入聚合数据分析_doc value机制内核级原理深入探秘7分钟
54深入聚合数据分析_string field聚合实验以及fielddata原理初探15分钟
55深入聚合数据分析_fielddata内存控制以及circuit breaker断路器8分钟
56深入聚合数据分析_fielddata filter的细粒度内存加载控制4分钟
57深入聚合数据分析_fielddata预加载机制以及序号标记预加载6分钟
58深入聚合数据分析_海量bucket优化机制:从深度优先到广度优先9分钟
59数据建模实战_关系型与document类型数据模型对比9分钟
60数据建模实战_通过应用层join实现用户与博客的关联12分钟
61数据建模实战_通过数据冗余实现用户与博客的关联7分钟
62数据建模实战_对每个用户发表的博客进行分组6分钟
63数据建模实战_对文件系统进行数据建模以及文件搜索实战10分钟
64数据建模实战_基于全局锁实现悲观锁并发控制12分钟
65数据建模实战_基于document锁实现悲观锁并发控制23分钟
66数据建模实战_基于共享锁和排他锁实现悲观锁并发控制18分钟
67数据建模实战_基于nested object实现博客与评论嵌套关系12分钟
68数据建模实战_对嵌套的博客评论数据进行聚合分析9分钟
69数据建模实战_研发中心管理案例以及父子关系数据建模11分钟
70数据建模实战_根据员工信息和研发中心互相搜索父子数据6分钟
71数据建模实战_对每个国家的员工兴趣爱好进行聚合统计4分钟
72数据建模实战_祖孙三层数据关系建模以及搜索实战7分钟
73elasticsearch高手进阶_基于term vector深入探查数据的情况30分钟
74elasticsearch高手进阶_深入剖析搜索结果的highlight高亮显示23分钟
75elasticsearch高手进阶_使用search template将搜索模板化24分钟
76elasticsearch高手进阶_基于completion suggest实现搜索提示12分钟
77elasticsearch高手进阶_使用动态映射模板定制自己的映射策略19分钟
78elasticsearch高手进阶_学习使用geo point地理位置数据类型12分钟
79elasticsearch高手进阶_酒店o2o搜索案例以及搜索指定区域内的酒店7分钟
80elasticsearch高手进阶_实战搜索距离当前位置一定范围内的酒店8分钟
81elasticsearch高手进阶_统计当前位置每个距离范围内有多少家酒店5分钟
82熟练掌握ES Java API_client集群自动探查以及汽车零售店案例背景9分钟
83熟练掌握ES Java API_基于upsert实现汽车最新价格的调整17分钟
84熟练掌握ES Java API_基于mget实现多辆汽车的配置与价格对比6分钟
85熟练掌握ES Java API_基于bulk实现多4S店销售数据批量上传13分钟
86熟练掌握ES Java API_基于scroll实现月度销售数据批量下载12分钟
87熟练掌握ES Java API_基于search template实现按品牌分页查询模板7分钟
88熟练掌握ES Java API_对汽车品牌进行全文检索、精准查询和前缀搜索7分钟
89熟练掌握ES Java API_对汽车品牌进行多种条件的组合搜索7分钟
90熟练掌握ES Java API_基于地理位置对周围汽车4S店进行搜索9分钟
91熟练掌握ES Java API_如何自己尝试API以掌握所有搜索和聚合的语法14分钟
92快速入门篇以及高手进阶篇课程总结,以及后续阶段课程介绍15分钟
01.高级架构师日志平台之ELKStack实践
01.elk简介、ES安装.flv
02.es集群.flv
03-logstash快速入门.flv
04-logstash收集系统日志-file.flv
05-logstash收集java日志-codec.flv
06-kibana介绍.flv
07-logstash收集nginx访问日志-json.flv
08-logstash收集syslog日志.flv
09-logstash收集tcp日志
10-logstash收集slowlog-grok.flv
11-logstash解耦之消息队列.flv
12-kibana实践.flv
13-elk上线流程.flv
02-ELKStack及Solr企业级搜索引擎实战-压缩版
第01课 Elasticsearch的安装与简单配置.zip
第02课 文档索引及管理.zip
第03课 信息检索与结果过滤.zip
第04课 信息统计分析与搜索提示.zip
第05课 Elasticsearch部分功能的Java客户端实现.zip
第06课 Elasticsearch配置与集群管理.zip
第07课 基于Logstash的日志处理.zip
第08课 基于Kibana的数据分析可视化.zip
第09课 检索与分析实践.zip
第10课 Solr介绍与环境安装.zip
第11课 Solr 特性介绍.zip
第12课 Solr 企业级案列介绍.zip