1回答
我有一个PHP应用程序，它将每个HTTP请求的几个性能指标收集到一个日志文件中。这包括与外部服务器的连接、数据库查询和长时间运行的代码块。现在，我有了一些数据，我想分析如下：
我不能依赖像NewRelic这样的外部服务。我只能解析日志文件。目前，我已经将日志数据放入数据库中，以便能够查询并使用RRDTool绘制聚合图。但这在我看来是很“低级”的。还有
浏览 0提问于2012-05-22得票数 0
2回答
有没有人知道可以帮助理解客户端-服务器日志的软件？
我有3个巨大的日志，其中有1个服务器和2个客户端，它们都有时间戳，但只有当我能按时间顺序在UI中并排排列它们时，我才能很容易地理解它们。
浏览 2提问于2010-10-26得票数 0
1回答
我试图分析每周收到的日志数据。我想每周对附加的数据运行相同的步骤。长期运行的集群
如何在集群上每周运行相同的步骤？如果我能在这样一个处理海量数据的场景中获得有关数据源类型的指导，那就太好了。
浏览 1提问于2018-09-26得票数 0
回答已采纳
3回答
我的应用程序每天都会构造大量日志。我曾经使用crontab和一些Java应用程序将这些数据存储到MySQL中。另外我还开发了一个管理系统，它的功能主要是基于MySQL对这些数据的分析。我的应用程序没有在一个web-app服务器上运行。因此，直接基于日志文件分析数据并不是一种很好的方法。但是由于日志文件越来越大，crontab需要很长时间才能完全存储日志文件，所以无法进行实时
浏览 1提问于2012-02-15得票数 3
我有一个托管在Azure上的flask API，我正在使用azure_storage_logging.handlers包将API运行时日志发送到Azure Storage。我在存储帐户中收到的日志很少。然而，大量的日志丢失了。我的API是CPU密集型的。请告诉我如何解决这个问题。
浏览 2提问于2018-11-20得票数 0
我正在运行一个应用程序，并将其作为存储。但数据每天都在海量增长，其目的是丢弃旧数据并用新数据补充。其目的既是为了满足存储限制，也是为了执行快速分析。是否有FIFO实现在使用新数据进行补充时转储旧数据(根据其索引)，从而保持存储大小不变？例如:如果索引达到阈值，则开始转储前N个索引，并推入新的N个记录(如果此操作需要缓冲区，则可以)。我的应用程序是Python语言，可以与psycopg一起使用。
浏览 25提问于2021-06-19得票数 1
回答已采纳
1回答
最近我偶然发现学习hadoop，我所发现的只是读取文本数据和计算字数的示例。所有的例子或多或少都有相同的任务。请帮我理解一下，这是hadoop的唯一用例吗？
浏览 2提问于2012-09-11得票数 0
1回答
我成功地使用了监督学习和文本向量化、主成分分析和SelectPercentile特征选择来执行同样的任务。我用科学工具-学习包来实现同样的目标。我已经创建了dataset，其中将每个数据点作为python列表中的一行。因为我是一个新手，没有监督，所以我想问，我是否可以应用相同的降维工具，在监督(TFIDF和SelectPercentile)。
浏览 4提问于2016-05-27得票数 2
回答已采纳
5回答
海量数据分析
、、
假设我们每天都有大约1e10行的日志文件，每一行都包含: ID号(小于15位数的整数)、登录时间和注销时间。一些ID可以登录和注销几次。如何计算已登录的ID总数？我想我们可以把一天的时间分成86400秒，然后对每一行日志文件，在在线时间间隔内每秒钟增加1秒钟。或者我可以根据登录时间对日志文件进行排序？
浏览 4提问于2013-04-14得票数 2
回答已采纳
我正在编写一个Rails应用程序，对导入的按点击付费的广告数据进行大量计算。导入的日志都存储在一个海量日志表中，其中包含印象、点击、转换等记录，然后需要与转换表连接，以计算每次转换的成本，每个活动的转化率。在MySQL中执行似乎足够快(400ms)，但是有理由在应用程序而不是数据库层执行此操作吗？
谢谢!
浏览 0提问于2010-09-08得票数 4
回答已采纳
我们计划使用PHP和MySQL/PostgreSQL构建一个基于web的自定义业务分析工具。在我们的应用程序中，我们计划使用Excel表上传客户的数据，这些数据将显示在定制的构建交互仪表板上。在开始处理这个应用程序之前，我没有几个问题。( 2)在某一时刻，是否有多个客户可以同时上载资料？为了处理这种情况，建议为每个客户创建一个单独的数据库，
浏览 0提问于2014-07-25得票数 0
我假设大多数分析和跟踪都是基于从浏览器操作(如页面请求)收集的数据进行的。像AWStats、和Omniture这样的工具就是在这里发生的。因此，请分享您的最佳实践：
您为DB或日志分析实现了什么样的方法？
浏览 7提问于2008-10-23得票数 2
回答已采纳
1回答
我们有不同的应用程序来密集地生成日志，我们对这些日志进行了大量的分析、可视化和监视。目前，我们正在使用azure应用洞察力来进行可视化，但这还不足以满足我们所需要的高级可视化的需要，因此我们决定将数据转移到另一个适合分析数据的数据库中，并能够与tableau连接。因此，我的问题是，什么是日志数据存储系统的最佳实践，这些日志数据具有活跃的、连续的<
浏览 0提问于2020-02-16得票数 1
3回答
我花了很多时间阅读和观看人们谈论如何在他们的架构中使用为处理海量数据集和实时处理而设计的工具的视频。虽然我知道Hadoop/Cassandra/Kafka等工具是做什么的，但似乎没有人解释数据是如何从这些大型处理工具中获得的，以便在客户端/网页上呈现一些东西。根据我对大数据工具的理解，你不能用标准的web应用查询MySQL的方式来构建你的应用程序，考虑到流经这些工具的数据的大小，我可以理解这一点，然而，对于所有这些“实时数据</em
浏览 0提问于2017-09-07得票数 0
3回答
实施大规模日志文件分析
、、、
有没有人能给我一个参考资料，或者提供一个像Facebook，Yahoo，Google等这样的公司是如何执行大规模(例如数TB范围)日志分析的，这些公司是如何进行运营分析的，特别是web分析？特别关注web分析，我对两个密切相关的方面感兴趣:查询性能和数据存储。
我知道一般的方法是使用map reduce将每个查询分布在一个集群上(例如使用Hadoop)。但是，最有效的存储格式是什么？这是日志数据，因此我们可以假设每个事件都有一个时间戳，并且通常
浏览 3提问于2009-04-27得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
