数据采集方式数据采集作为使用日志服务功能的第一步,帮助您将需要处理的日志或数据传输并保存到日志服务中。您需要根据具体的使用场景选择合适的数据采集方式,以便后续使用日志服务的其他功能。
数据采集方式主要分为Logtail采集,LoongCollector采集,SDK&API,云产品日志接入,数据导入,以及其他采集方式。
Logtail采集:Logtail是日志服务提供的日志采集Agent,用于采集阿里云ECS、自建IDC或其他云厂商等服务器上的日志。Logtail基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。
LoongCollector采集:LoongCollector是日志服务推出的新一代采集Agent,是Logtail的升级版,未来还将融合Arms的相关采集Agent能力,包括Prometheus抓取和eBPF无侵入采集等。
SDK&API:日志服务支持直接使用SDK/API等方式在代码中进行定制化开发,相比其他方式灵活性更高。
云产品日志接入:日志服务支持采集弹性计算、存储服务、安全、数据库等多种阿里云云产品的日志数据,包括云产品的操作信息、运行状况、业务动态等信息。如果您需要将其他云产品中的日志进行采集供后续分析,请选择不同产品的采集方式。
数据导入:日志服务支持导入已有数据,包括其他应用数据与历史文件数据。
其他采集方式:日志服务支持使用第三方采集工具、通过协议传输日志等方式上传日志。
日志服务数据采集的总体概览如下图:
数据导入如果您希望将已有的其他数据导入到日志服务进行分析,日志服务也支持以下数据导入的功能。
您可以将OSS Bucket中的日志文件,通过数据导入方式导入到日志服务。具体请参考导入OSS数据。
您可以将Elasticsearch数据导入到日志服务。具体请参考导入Elasticsearch数据。
您可以通过数据导入的方式将Amazon S3的日志文件导入到日志服务。具体请参考导入Amazon S3文件。
您可以将Kafka数据导入到日志服务,您可以参考导入Kafka数据。
Logtail只采集增量日志。如果您需要采集历史日志,可以参考导入历史日志文件。
其他采集方式如果以上方式不符合您的使用场景,您也可以通过WebTracking、Kafka协议、Syslog协议、Loggie实时上传日志到日志服务。
SysLog协议
您可以使用Syslog-ng采集日志并通过Syslog协议上传到日志服务,具体可以参考使用Syslog协议上传日志。
Kafka协议
您可以使用Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具采集日志,并通过Kafka协议上传到日志服务,具体可以参考示例Kafka协议。
网页/JS
如果您需要收集和分析用户在浏览器、小程序上的信息,请参考JS/Web Tracking。日志服务也支持使用Web Tracking采集Unity3D日志,请参考采集Unity3D日志。
Loggie
Loggie是一个基于Golang的轻量级、高性能的云原生日志采集Agent。您可以使用Loggie的Sink配置,将采集到的日志上传到日志服务。请参考使用Loggie上传日志。