All Classes and Interfaces
Class
Description
@@
@@..
@@
@@..
A stub to allow clients to do synchronous rpc calls to service GRPCInferenceService.
A stub to allow clients to do ListenableFuture-style rpc calls to service GRPCInferenceService.
Base class for the server implementation of the service GRPCInferenceService.
A stub to allow clients to do asynchronous rpc calls to service GRPCInferenceService.
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
Protobuf type
inference.LogSettingsRequest.SettingValueProtobuf type
inference.LogSettingsRequest.SettingValue
@@
@@..
@@
@@..
Protobuf type
inference.LogSettingsResponse.SettingValueProtobuf type
inference.LogSettingsResponse.SettingValue
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
A stub to allow clients to do synchronous rpc calls to service Health.
A stub to allow clients to do ListenableFuture-style rpc calls to service Health.
Base class for the server implementation of the service Health.
A stub to allow clients to do asynchronous rpc calls to service Health.
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
An object of
InferInput class is used to describe an input tensor for
an inference request.Builder for constructing custom inference request parameters.
An object of InferResult holds the response of an inference request and
provides methods to retrieve inference results.
@@ ..
@@ ..
@@
@@ ..
@@..
@@..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@ ..
@@ ..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@ ..
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@ ..
@@ ..
Protobuf type
inference.ModelOptimizationPolicy.Cuda.GraphSpec.LowerBoundProtobuf type
inference.ModelOptimizationPolicy.Cuda.GraphSpec.LowerBound
@@ ..
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@ ..
@@ ..
@@ ..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@
@@..
@@ ..
@@ ..
@@
@@ ..
@@ ..
@@ ..
@@
@@ ..
@@
@@ ..
@@ ..
@@ ..
@@ ..
@@ ..
@@ ..
@@ ..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
@@
@@..
@@ ..
@@ ..
@@
@@..
@@ ..
@@ ..
@@ ..
@@ ..
@@
@@..
@@
@@..
@@
@@ ..
@@
@@ ..
Configuration object for the Triton Inference Server client.
Builder class for constructing
TritonClientConfig instances.Enumeration of data types supported by Triton Inference Server.
gRPC-based implementation of the TritonClient for communicating with NVIDIA
Triton Inference Server.
Encapsulates statistics for inference response times.
Encapsulates comprehensive inference statistics for a model.
Encapsulates memory usage information for a specific memory device on the Triton server.
Encapsulates configuration information for a Triton model.
Encapsulates metadata about a single model in the Triton repository index.
Encapsulates metadata information about a Triton model.
Encapsulates comprehensive statistics for a deployed Triton model.
Encapsulates the repository index information from a Triton server.
Encapsulates metadata information about a Triton Inference Server instance.
Encapsulates duration statistics for server operations.
Encapsulates metadata information about a single tensor in a model's input or output.