日志服务数据采集概述

日志服务数据采集概述

数据采集方式数据采集作为使用日志服务功能的第一步,帮助您将需要处理的日志或数据传输并保存到日志服务中。您需要根据具体的使用场景选择合适的数据采集方式,以便后续使用日志服务的其他功能。

数据采集方式主要分为Logtail采集,LoongCollector采集,SDK&API,云产品日志接入,数据导入,以及其他采集方式。

Logtail采集:Logtail是日志服务提供的日志采集Agent,用于采集阿里云ECS、自建IDC或其他云厂商等服务器上的日志。Logtail基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。

LoongCollector采集:LoongCollector是日志服务推出的新一代采集Agent,是Logtail的升级版,未来还将融合Arms的相关采集Agent能力,包括Prometheus抓取和eBPF无侵入采集等。

SDK&API:日志服务支持直接使用SDK/API等方式在代码中进行定制化开发,相比其他方式灵活性更高。

云产品日志接入:日志服务支持采集弹性计算、存储服务、安全、数据库等多种阿里云云产品的日志数据,包括云产品的操作信息、运行状况、业务动态等信息。如果您需要将其他云产品中的日志进行采集供后续分析,请选择不同产品的采集方式。

数据导入:日志服务支持导入已有数据,包括其他应用数据与历史文件数据。

其他采集方式:日志服务支持使用第三方采集工具、通过协议传输日志等方式上传日志。

日志服务数据采集的总体概览如下图:

数据导入如果您希望将已有的其他数据导入到日志服务进行分析,日志服务也支持以下数据导入的功能。

您可以将OSS Bucket中的日志文件,通过数据导入方式导入到日志服务。具体请参考导入OSS数据。

您可以将Elasticsearch数据导入到日志服务。具体请参考导入Elasticsearch数据。

您可以通过数据导入的方式将Amazon S3的日志文件导入到日志服务。具体请参考导入Amazon S3文件。

您可以将Kafka数据导入到日志服务,您可以参考导入Kafka数据。

Logtail只采集增量日志。如果您需要采集历史日志,可以参考导入历史日志文件。

其他采集方式如果以上方式不符合您的使用场景,您也可以通过WebTracking、Kafka协议、Syslog协议、Loggie实时上传日志到日志服务。

SysLog协议

您可以使用Syslog-ng采集日志并通过Syslog协议上传到日志服务,具体可以参考使用Syslog协议上传日志。

Kafka协议

您可以使用Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具采集日志,并通过Kafka协议上传到日志服务,具体可以参考示例Kafka协议。

网页/JS

如果您需要收集和分析用户在浏览器、小程序上的信息,请参考JS/Web Tracking。日志服务也支持使用Web Tracking采集Unity3D日志,请参考采集Unity3D日志。

Loggie

Loggie是一个基于Golang的轻量级、高性能的云原生日志采集Agent。您可以使用Loggie的Sink配置,将采集到的日志上传到日志服务。请参考使用Loggie上传日志。

相关星际资讯

考古学专业怎么样?校友点评
365bet体育在线导航

考古学专业怎么样?校友点评

🕒 07-29 👁️ 2178
40元以下的烟排行榜 30元左右的烟有哪些 30-40元的香烟盘点
什么是无限信用卡?最高等级信用卡产品
365体育手机版app下载

什么是无限信用卡?最高等级信用卡产品

🕒 07-29 👁️ 9063