问在REST中使用spark作为数据源

EN

有一个图表，计算星火和存储卡桑德拉。

此外，还有一个REST，它有端点来获取具有边和边的图节点。

这个二次图可能包含多达70000个节点。

目前使用Cassandra作为数据库，但是按键从Cassandra提取大量数据需要花费大量的时间和资源。

我们尝试了TitanDB，Neo4j和OriendDB来提高性能，但卡桑德拉表现出了最好的效果。

现在有了另一个想法。在API服务中持久化RDD (或者可能是GrapgX对象)，并在API调用过滤器中筛选来自持久化RDD的必要数据。

我猜当RDD适合内存时，它会工作得很快，但是在它缓存到磁盘的情况下，它将像一个全扫描一样工作(例如，全扫描地板文件)。此外，我期望我们会面对这些问题：

• 火花中的记忆泄漏；
• 更新此RDD (未持久化先前，读取新的和持久化新的)将需要停止API；
• 并发使用此RDD将需要手动管理CPU资源。

有人有这样的经验吗？