图数据库（neo4j）学习心得
什么是图？
图由两个元素组成：节点、关系
每一个节点代表一个实体，每一个关系代表两个节点的关联方式
图形数据库是NoSQL数据库的一种类型，它应用图形理论存储实体之间的关系信息。关系型数据库用于存储”关系型”数据的效果并不好，其查询复杂、缓慢、超出预期，而图形数据库的独特设计恰恰弥补了这个缺陷。
图数据库常用领域
1、社交网络
Facebook, Twitter，Linkedin用它来管理社交关系，实现好友推荐
2、推荐和个性化
eBay，沃尔玛使用它实现商品实时推荐，给买家更好的购物体验
3、欺诈识别
例如银行欺诈，信用卡欺诈，电子商务欺诈，保险欺诈等
4、金融领域
摩根大通，花旗和瑞银等银行在用图数据库做风控处理
5、汽车制造领域
沃尔沃，戴姆勒和丰田等顶级汽车制造商依靠图数据库推动创新制造解决方案
6、电信领域
Verizon, Orange和AT&T 等电信公司依靠图数据库来管理网络
图数据库的种类
数据库评分排行网站DB-Engines的评分截图图下：
; Neo4j相关特性
数据模型
Neo4j被称为property graph，除了顶点（Node）和边(Relationship，其包含一个类型)，还有一种重要的部分——属性。无论是顶点还是边，都可以有任意多的属性。属性的存放类似于一个hashmap，key为一个字符串，而value必须是Java基本类型、或者是基本类型数组，比如说String、int或者int[]都是合法的。
索引
Neo4j支持索引，其内部实际上通过Lucene实现。
遍历和查询遍历是图数据库中的主要查询方式，所以遍历是图数据中相当关键的一个概念。可以用两种方式来进行遍历查询：第一种是直接编写Java代码，使用Neo4j提供的traversal框架；第二种方式是使用Neo4j提供的描述型查询语言，Cypher。
图算法
Neo4j实现的三种图算法：最短路径（最少数目的关系）、Dijkstra算法（解决有向图中任意两个顶点之间的最短路径问题）以及A*算法（是解决静态路网中求解最短路最有效的方法）。
嵌入式可扩展
Neo4j是一个嵌入式，基于磁盘的，支持完整事务的Java持久化引擎，它在图像中而不是表中存储数据。Neo4j提供了大规模可扩展性，在一台机器上可以处理数十亿节点、关系、属性的图像，可以扩展到多台机器并行运行。相对于关系数据库来说，图形数据库善于处理大量复杂、互连接、低结构化的数据，这些数据变化迅速，需要频繁的查询——在关系数据库中，这些查询会导致大量的表连接，因此会产生性能上的问题。Neo4j重点解决了拥有大量连接的传统RDBMS在查询时出现的性能衰退问题。通过围绕图形进行数据建模，Neo4j会以相同的速度遍历节点与边，其遍历速度与构成图形的数据量没有任何关系。
Neo4j集群模式运行原理
一个Neo4J HA集群的协作运行，协调行为是通过zookeeper完成的。2.0以后基于Paxos协议开发了自己的集群协调机制。
当一个Neo4j HA实体开启时将去连接协调器服务（zookeeper）注册其本身并询问”谁是主机（master）？”。如果某个机器是主机，新的实体将以从机（slaver）开启并连接到主机（master）。如果机器开启时为第一个注册或者通过主机选择算法应该成为主机，将会作为主机开启。
当从一个从机上执行一个写入的事务时，每个写入操作将与主机同步（主机与从机将被锁定）。当事务提交时首先存在于主机上。当主机事务提交成功，从机上的事务也会被提交。为确保一致性，在执行写入操作前从机与主机同步必须是最新的。这是建立主机与从机之间的通讯协议，所以如果需要，更新将会自动发生。
可以通过在包含ha.slave_coordinator_update_mode=none配置参数的配置文件中将数据库实体设置成只做为从机。此实体虽然在系统故障恢复选择时将不可能再成为主机，然而此从机的行为与其他所有从机都一样，含有永久写入到主机的能力。
当从主机上执行写入操作，它将与在普通的嵌入模式中执行一样。此时主机将不会推送更新消息到从机。相反，从机可以配置一个拉取消息的时间间隔。没有选举，更新操作仅仅只会发生在从机上，任何时候都将同步一个写入到主机。
将所有写入操作通过从机执行的好处是数据将被复制到两台机器上。这是建议的，避免当新选主机时可能造成回滚失败。
当某台neo4j数据库服务不可用时，协调器（coordinator）将探测到并从集群中删除掉。当主机当机时，新的主机将自动被选择出来。一般地，一个新的主机被选定并在几秒钟内启动，在这段时间将不会执行任何写入操作（写入将抛出异常）。当某台机器从故障中恢复了，将会被自动重新连接到集群中。当没有得到其他任何机器的备份的旧的主机改变时, 是唯一不确定的。如果新的主机被选择并在旧的主机恢复前执行改变，将会有两个不同版本的数据。旧主机将移除分支数据库并从新主机下载一个全版本的数据。
所有这些可以归纳如下：
- 从机可以处理写入事务。
- 更新相对从机最终将会一致。
- Neo4j HA 是一个容错并能继续执行从x台机器到单独一台机器（基于zookeeper设置）。
- 在写入操作上从机将自动同步到主机。
- 当主机故障时新的主机将自动选出。
- 当任何导致运行中断的错误（网络、维护）解决时当台机器将会自动被重新连接到集群中。
- 事务的原子性、持久性和一致性并最终会广播到其他从机上。
- 主机故障了，所有正在运行写入事务将会被回滚，主机选举时任何写入操作都不能执行。
- 读取操作高度可用。
Neo4j优缺点
- 优点：
数据的插入，查询操作很直观，不用再像之前要考虑各个表之间的关系。
提供的图搜索和图遍历方法很方便，速度也是比较快的。
更快的数据库操作。当然，有一个前提条件，那就是数据量较大，在MySql中存储的话需要许多表，并且表之间联系较多（即有不少的操作需要join表）。 - 缺点：
当数据过大时插入速度可能会越来越慢。.
超大节点。当有一个节点的边非常多时（常见于大V），有关这个节点的操作的速度将大大下降。这个问题很早就有了，官方也说过会处理，然而现在仍然不能让人满意。
提高数据库速度的常用方法就是多分配内存，然而看了官方操作手册，貌似无法直接设置数据库内存占用量，而是需要计算后为其”预留”内存…
注：鉴于其明显的优缺点，Neo4j适合存储”修改较少，查询较多，没有超大节点”的图数据。
Neo4j常见问题
- neo4j数据库支持最大多少个节点？最大支持多少条边？
目前累积统计它有34.4亿个节点，344亿的关系，和6870亿条属性。 - neo4j数据库支持的最复杂的连接是什么？（比如每个节点都与其他任何一个节点相连）
可以从上面的数字得出理论的极限：它基本上就产生了262144节点和34359607296的关系图。我们从来没有见过这种使用情况。 - 在数据库中，读/写性能跟节点/边的数量有关吗？
这个问题意味着两个不同的问题。单次读/写操作不依赖数据库的大小。不管数据库是有10个节点还是有1千万个都一样。 — 然而，有一个事实是如果数据库太大，你的内存可能无法完全缓存住它，因此，你需要频繁的读写磁盘。虽然很多用户没有这样大尺寸的数据库，但有的人却有。如果不巧你的数据库达到了这个尺寸，你可以扩展到多台机器上以减轻缓存压力。 - neo4j数据库支持的读/写并发请求最大数量是多少呢？
在并发请求上面没有任何限制。服务器的并发量更多的是依赖于操作本身的性能（高压写操作，简单读，复杂的遍历等等），以及使用的硬件性能。据粗略估计，在遍历最简单路径时每毫秒可以达到1000次请求。在讨论了指定的用户案例后，我们能得到更好的性能优化方案。 - 在数据库集群环境中数据一致性如何保证的呢？
主从复制。从服务器从主服务器拉取数据变化。拉取间隔可以在每个从服务器上进行配置，从毫秒到分钟，根据你自己的需要来定。HA也可以通过从服务器来进行写操作。当发生时，从服务器通过追上主服务器来被写入，然后写入在主从之间完成。其他从服务器做一般处理。 - 当在一个数据库中发生更新操作时如何快速更新其他所有服务器呢？
拉取间隔在每个从服务器上面进行配置，从几秒到几分钟不等，根据需求而定。当通过一个从服务器写操作时，从服务器立即在写之前与主服务器进行同步。一般情况下，读写加载不并影响从服务器的同步工作。一个复杂的写操作会给从服务器的文件系统巨大压力，与此同时，从服务器也要求拉取同步数据。实际上，我们不系统这成为一个关注的问题。 - 在集群环境中，在不同服务器会出现按比例延迟新增吗？
在集群中从服务器超过10台的规模时，我们能预料到来自从服务器的大量的拉取请求会降低从服务器的性能。在集群中的写操作才会受影响，而读操作依然保持线性缩放。 - 支持在线扩展吗？换句话说，如果我们想新加入一台服务器到集群中需要关闭所有服务器吗？
新的从服务器在不用停止或者启动整个集群的情况下可以被加入到一个已经存在的集群中。我们的HA协议会新增入加入的服务器。从服务器也可以简单的通过关闭他们自己来从集群中移除。 - 新加入一台服务器到全部同步需要多长时间？
我们推荐在将从服务器加入之前先做一个最近的数据库的快照。一般通过备份来完成。从服务器之需要同步最近的更新，一般情况下只会一点点时间的数据。 - 重启需要多久呢？
如果重启，你的意思是关闭集群然后再重启它，这完全依赖与你打字的速度。一般是10秒的样子。Neo4j的缓存不会自动预加载，而操作系统的文件系统缓存不会重置。 - 是否有备份恢复机制？
Neo4j 企业版提供了一个在线备份（完整备份和增量备份）功能。 - 是否支持跨区集群？跨区集群是否比同区集群性能更低呢？
我们有用户在AWS上面测试了多区域部署的情况。跨地区部署在集群管理的效率和协议同步上有一定影响。集群管理大量的延迟会触发主服务器的频繁重选，拖慢整个集群的速度。在跨区部署支持上面以后还需大量提升。 - 是否有任何指定测控策略用于环境建立之类的需求？
关于这个话题我们有更深入的探讨。 - 写数据库是线程安全的吗？
不管在单服务模式还是HA模式，数据库在更新之前都通过锁定节点和关系来保证线程安全。 - 从HA读数据最好的策略是什么？保持会话。
在response中发送返回数据，而在独立的请求中移除需要读回的数据。
当操作需要时，强制请求从主服务器做一个拉取数据更新操作。 - 对于获取（如果不存在则创建）这中需求最好的策略是什么？
单线程模式。
如果不存在，悲观锁在一个普通节点上。
如果不存在，乐观创建他，然后再检查。 - 如何锁定服务？
悲观锁。在读数据时并不要求锁。写操作并不会阻塞读操作。不用任何明确的锁定操作就可以完成读取数据操作是非常重要的。当一个节点或者属性修改或者新增时，写锁定会自动完成，或者也可以通过明确的锁设置。它常被用来提供读取语义和保证必须的数据一致性。 - 数据存储占用空间如何？
Neo4j当前并不适合存储 BLOBs/CLOBs。节点，关系和属性并不是保存在磁盘的同一个地方。这个特性将来会进一步介绍。数据库索引怎么样？ Neo4j支持复杂的属性索引。额外的索引功能超过了图本身的索引。Lucene引擎管理独立分页的索引并要求一些空间来存储一个自动索引以及管理私有索引（通过API搜索）。 - 我如何进行数据库查询？
核心 API, Traversal API, REST API, Cypher, Gremlin Neo4j使用日志（在数据丢失时可以修复丢失的数据）功能吗？ 在HA集群环境中基于主从服务器之间的写增量来完成。 - 我如何提示Neo4j的性能？
采用内存映射存储Neo4j文件，Neo4j缓存策略解释如下：
软索引缓存: 软索引在GC认为需要时会被随时清理。如果应用加载并不高时使用。
弱索引缓存: 不管GC是否找到，都会清理弱索引。如果在读取大量数据或者遍历操作时使用。
强索引缓存: 所有的节点和关系都会保存在内存中，JVM会阻止高加载的操作。比如半分钟的暂停间隔。 更大的堆大小是好的，然而12G或者更大的内存对于GC是不切实际的。如果用从磁盘获取数据做比较，用内存映射文件缓存会提供100倍性能，而用Java堆则会是1000倍。
在主从服务器直接的ACID事务。
在初始从服务器到主服务器的事务同步中，最终从主服务器到其他从服务器。用死锁探测来完成多个从服务器事务并发支持。从一个数据完整性的角度看是完全一致的，但是必须得重多个点考虑。 - 独立服务器怎么样？
REST API是完全无状态的，但他也可以通过批量提交来实现大量事务支持。线程池和每个socket的线程：对于独立服务器和HA模式来说，Neo4j采用Jetty来连接线程池。（比如在HA集群中25/每节点）。 - 在HA环境中如何使用负载均衡？
通常一个小型服务器扩展被写入后会返回200或404，取决于机器是否是主或从。 扩展被负载均衡服务器用来探测主从服务器设置。只写到从服务器来确保至少在两个地方存在提交事务。 - Neo4j支持那些监控器？
Neo4j目前没有内建的追踪和解释计划。JMX是用于统计和监控的主要接口。线程内容可以用于调试。 - 我如何导入数据到Neo4j中？
Neo4j批量插入用于初始化一个数据库。在批量插入后，存储的内容可以用与嵌入模式或者HA环境。直接跟传统SQL服务器直接的数据交换目前没有官方支持。
Cypher介绍
“Cypher”是一个描述性的图形查询语言，允许不必编写图形结构的遍历代码对图形存储有表现力和效率的查询。Cypher还在继续发展和成熟，这也就意味着有可能会出现语法的变化。同时也意味着作为组件没有经历严格的性能测试。
Cypher设计的目的是一个人类查询语言，适合于开发者和在数据库上做点对点模式（ad-hoc）查询的专业操作人员（我认为这个很重要）。它的构念是基于英语单词和灵巧的图解。
Cyper通过一系列不同的方法和建立于确定的实践为表达查询而激发的。许多关键字如like和order by是受SQL的启发。模式匹配的表达式来自于SPARQL。正则表达式匹配实现实用Scala programming language语言。
Cypher是一个申明式的语言。对比命令式语言如Java和脚本语言如Gremlin和JRuby，它的焦点在于从图中如何找回（what to retrieve），而不是怎么去做。这使得在不对用户公布的实现细节里关心的是怎么优化查询。
这个查询语言包含以下几个明显的部分：
操作语句
START：在图中的开始点，通过元素的ID或所以查找获得。
MATCH：图形的匹配模式，束缚于开始点。
WHERE：过滤条件。
RETURN：返回所需要的。
操作符
Cypher中的操作符有三个不同种类：数学，相等和关系。
数学操作符有+，-，*，/和%。当然只有+对字符有作用。
等于操作符有=，<>，
因为Neo4j是一个模式少的图形数据库，Cypher有两个特殊的操作符?和!。
有些是用在属性上，有些事用于处理缺少值。对于一个不存在的属性做比较会导致错误。为替代与其他什么做比较时总是检查属性是否存在，在缺失属性时问号将使得比较总是返回true，感叹号使得比较总是返回false。
WHEREn.prop? = “foo”
这个断言在属性缺失情况下将评估为true。
WHEREn.prop! = “foo”
这个断言在属性缺失情况下将评估为false。
警告：在同一个比较中混合使用两个符号将导致不可预料的结果。
参数
Cypher支持带参数的查询。这允许开发者不需要必须构建一个string的查询，并且使得Cypher的查询计划的缓存更容易。
参数可以在where子句，start子句的索引key或索引值，索引查询中作为节点/关系id的引用。
以下是几个在java中使用参数的示例：
节点id参数
Map
params.put( “id”, 0 );
ExecutionResult result = engine.execute( “start n=node({id}) return n.name”, params );
节点对象参数
Map
params.put( “node”, andreasNode );
ExecutionResult result = engine.execute( “start n=node({node}) return n.name”, params );
多节点id参数
Map
params.put( “id”, Arrays.asList( 0, 1, 2 ) );
ExecutionResult result = engine.execute( “start n=node({id}) return n.name”, params );
字符串参数
Map
params.put( “name”, “Johan” );
ExecutionResult result = engine.execute( “start n=node(0,1,2) where n.name = {name} return n”, params );
索引键值参数
Map
params.put( “key”, “name” );
params.put( “value”, “Michaela” );
ExecutionResult result = engine.execute( “start n=node:people({key} = {value}) return n”, params );
索引查询参数
Map
params.put( “query”, “name:Andreas” );
ExecutionResult result = engine.execute( “start n=node:people({query}) return n”, params );
l SKIP 与LIMIT * 的数字参数
Map
params.put( “s”, 1 );
params.put( “l”, 1 );
ExecutionResult result = engine.execute( “start n=node(0,1,2) return n.name skip {s} limit {l}”, params );
正则表达式参数
Map
params.put( “regex”, “.h.” );
ExecutionResult result = engine.execute( “start n=node(0,1,2) where n.name =~ {regex} return n.name”, params );
标识符
当你参考部分的模式时，需要通过命名完成。定义的不同的命名部分就被称为标识符。
如下例中：
START n=node(1) MATCH n–>b RETURN b
标识符为n和b。
标识符可以是大写或小些，可以包含下划线。当需要其他字符时可以使用符号。对于属性名的规则也是一样。
注解
可以在查询语句中使用双斜杠来添加注解。如：
START n=node(1) RETURN b //这是行结束注释
START n=node(1) RETURN b
START n=node(1) WHERE n.property = “//这部是一个注释” RETURN b
Start
每一个查询都是描述一个图案（模式），在这个图案（模式）中可以有多个限制点。一个限制点是为模式匹配的从开始点出发的一条关系或一个节点。可以通过id或索引查询绑定点。
通过id绑定点
通过node(*)函数绑定一个节点作为开始点
查询：
START n=node(1)
RETURN n
返回引用的节点。
通过id绑定关系
可以通过relationship()函数绑定一个关系作为开始点。也可以通过缩写rel()。
查询：
START r=relationship(0)
RETURN r
Id为0的关系将被返回
通过id绑定多个节点
选择多个节点可以通过逗号分开。
查询：
START n=node(1, 2, 3)
RETURN n
所有节点
得到所有节点可以通过星号（*），同样对于关系也适用。
查询：
START n=node(*)
RETURN n
这个查询将返回图中所有节点。
通过索引查询获取节点
如果开始节点可以通过索引查询得到，可以如此来写：
node:index-name(key=”value”)。在此列子中存在一个节点索引叫nodes。
查询：
START n=node:nodes(name = “A”)
RETURN n
索引中命名为A的节点将被返回。
通过索引查询获取关系
如果开始点可以通过索引查询得到，可以如此做：
Relationship:index-name(key=”value”)。
查询：
START r=relationship:rels(property =”some_value”)
RETURN r
索引中属性名为”some_value”的关系将被返回。
多个开始点
有时需要绑定多个开始点。只需要列出并以逗号分隔开。
查询：
START a=node(1), b=node(2)
RETURN a,b
A和B两个节点都将被返回。
Match
在一个查询的匹配（match）部分申明图形（模式）。模式的申明导致一个或多个以逗号隔开的路径（path）。
节点标识符可以使用或者不是用圆括号。使用圆括号与不使用圆括号完全对等，如：
MATCH(a)–>(b) 与 MATCH a–>b 匹配模式完全相同。
模式的所有部分都直接或者间接地绑定到开始点上。可选关系是一个可选描述模式的方法，但在真正图中可能没有匹配（节点可能没有或者没有此类关系时），将被估值为null。与SQL中的外联结类似，如果Cypher发现一个或者多个匹配，将会全部返回。如果没有匹配，Cypher将返回null。
如以下例子，b和p都是可选的病都可能包含null：
START a=node(1) MATCH p = a-[?]->b
START a=node(1) MATCH p = a-[*?]->b
START a=node(1) MATCH p = a-[?]->x–>b
START a=node(1), x=node(100) MATCH p = shortestPath( a-[*?]->x )
相关节点
符号—意味着相关性，不需要关心方向和类型。
查询：
START n=node(3)
MATCH (n)–(x)
RETURN x
所有与A相关节点都被返回。
接出关系（Outgong relationship）
当对关系的方向感兴趣时，可以使用–>或
Original: https://blog.csdn.net/let_go_on/article/details/123395780
Author: 404个问号
Title: 图数据库（neo4j）学习心得
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/554872/
转载文章受原作者版权保护。转载请注明原作者出处！