public static Token nextRealToken(CommonTokenStream tokens, int i) {
int n = tokens.size();
i++; // search after current i token
if ( i>=n || i<0 ) return null;
Token t = tokens.get(i);
while ( t.getChannel()==Token.HIDDEN_CHANNEL ) {
if ( t.getType()==Token.EOF ) {
TokenSource tokenSource = tokens.getTokenSource();
if ( tokenSource==null ) {
return new CommonToken(Token.EOF, "EOF");
}
TokenFactory<?> tokenFactory = tokenSource.getTokenFactory();
if ( tokenFactory==null ) {
return new CommonToken(Token.EOF, "EOF");
}
return tokenFactory.create(Token.EOF, "EOF");
}
i++;
if ( i>=n ) return null; // just in case no EOF
t = tokens.get(i);
}
return t;
}
java类org.antlr.v4.runtime.TokenFactory的实例源码
ParsingUtils.java 文件源码
项目:intellij-plugin-v4
阅读 23
收藏 0
点赞 0
评论 0
StashingTokenFactory.java 文件源码
项目:elasticsearch_my
阅读 20
收藏 0
点赞 0
评论 0
public StashingTokenFactory(TokenFactory<T> delegate) {
this.delegate = delegate;
}
ChannelTokenSource.java 文件源码
项目:grakn
阅读 24
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory<?> factory) {
source().setTokenFactory(factory);
}
ChannelTokenSource.java 文件源码
项目:grakn
阅读 19
收藏 0
点赞 0
评论 0
@Override
public TokenFactory<?> getTokenFactory() {
return source().getTokenFactory();
}
STLexer.java 文件源码
项目:jetbrains-plugin-st4
阅读 21
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory<?> tokenFactory) {
this.tokenFactory = tokenFactory;
}
STLexer.java 文件源码
项目:jetbrains-plugin-st4
阅读 19
收藏 0
点赞 0
评论 0
@Override
public TokenFactory<?> getTokenFactory() {
return tokenFactory;
}
PSITokenSource.java 文件源码
项目:jetbrains
阅读 20
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory<?> tokenFactory) {
this.tokenFactory = tokenFactory;
}
PSITokenSource.java 文件源码
项目:jetbrains
阅读 23
收藏 0
点赞 0
评论 0
@Override
public TokenFactory<?> getTokenFactory() {
return tokenFactory;
}
WrappedTokenSource.java 文件源码
项目:rpgleparser
阅读 17
收藏 0
点赞 0
评论 0
@Override
public TokenFactory<?> getTokenFactory() {
return tokenSource.getTokenFactory();
}
WrappedTokenSource.java 文件源码
项目:rpgleparser
阅读 21
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory<?> tokenFactory) {
tokenSource.setTokenFactory(tokenFactory);
}
CharsAsTokens.java 文件源码
项目:mini-markdown
阅读 21
收藏 0
点赞 0
评论 0
@Override
public TokenFactory<?> getTokenFactory() {
return CommonTokenFactory.DEFAULT;
}
CharsAsTokens.java 文件源码
项目:mini-markdown
阅读 23
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory<?> factory) {
}
GrammarHighlighterLexerWrapper.java 文件源码
项目:goworks
阅读 22
收藏 0
点赞 0
评论 0
@Override
public TokenFactory getTokenFactory() {
return grammarLexer.getTokenFactory();
}
GrammarHighlighterLexerWrapper.java 文件源码
项目:goworks
阅读 26
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory tokenFactory) {
grammarLexer.setTokenFactory(tokenFactory);
}
TemplateHighlighterLexer.java 文件源码
项目:goworks
阅读 21
收藏 0
点赞 0
评论 0
@Override
public TokenFactory getTokenFactory() {
return groupLexer.getTokenFactory();
}
TemplateHighlighterLexer.java 文件源码
项目:goworks
阅读 21
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory tokenFactory) {
groupLexer.setTokenFactory(tokenFactory);
}
GoHighlighterLexerWrapper.java 文件源码
项目:goworks
阅读 21
收藏 0
点赞 0
评论 0
@Override
public TokenFactory getTokenFactory() {
return lexer.getTokenFactory();
}
GoHighlighterLexerWrapper.java 文件源码
项目:goworks
阅读 17
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory tokenFactory) {
lexer.setTokenFactory(tokenFactory);
}
CodeCompletionTokenSource.java 文件源码
项目:goworks
阅读 19
收藏 0
点赞 0
评论 0
@Override
public TokenFactory getTokenFactory() {
return tokenFactory;
}
CodeCompletionTokenSource.java 文件源码
项目:goworks
阅读 23
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory tokenFactory) {
source.setTokenFactory(tokenFactory);
this.tokenFactory = tokenFactory != null ? tokenFactory : CommonTokenFactory.DEFAULT;
}
TaggerTokenSource.java 文件源码
项目:goworks
阅读 24
收藏 0
点赞 0
评论 0
@Override
public TokenFactory getTokenFactory() {
return tokenFactory;
}
TaggerTokenSource.java 文件源码
项目:goworks
阅读 28
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory tokenFactory) {
Parameters.notNull("tokenFactory", tokenFactory);
this.tokenFactory = tokenFactory;
}
PsiTokenSource.java 文件源码
项目:intellij-plugin-v4
阅读 23
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory<?> factory) {
this.factory = factory;
}
PsiTokenSource.java 文件源码
项目:intellij-plugin-v4
阅读 26
收藏 0
点赞 0
评论 0
@Override
public TokenFactory<?> getTokenFactory() {
return factory;
}
GrammarHighlighterLexerWrapper.java 文件源码
项目:antlrworks2
阅读 22
收藏 0
点赞 0
评论 0
@Override
public TokenFactory getTokenFactory() {
return grammarLexer.getTokenFactory();
}
GrammarHighlighterLexerWrapper.java 文件源码
项目:antlrworks2
阅读 21
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory tokenFactory) {
grammarLexer.setTokenFactory(tokenFactory);
}
TemplateHighlighterLexer.java 文件源码
项目:antlrworks2
阅读 17
收藏 0
点赞 0
评论 0
@Override
public TokenFactory getTokenFactory() {
return groupLexer.getTokenFactory();
}
TemplateHighlighterLexer.java 文件源码
项目:antlrworks2
阅读 27
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory tokenFactory) {
groupLexer.setTokenFactory(tokenFactory);
}
CodeCompletionTokenSource.java 文件源码
项目:antlrworks2
阅读 52
收藏 0
点赞 0
评论 0
@Override
public TokenFactory getTokenFactory() {
return tokenFactory;
}
CodeCompletionTokenSource.java 文件源码
项目:antlrworks2
阅读 20
收藏 0
点赞 0
评论 0
@Override
public void setTokenFactory(TokenFactory tokenFactory) {
source.setTokenFactory(tokenFactory);
this.tokenFactory = tokenFactory != null ? tokenFactory : CommonTokenFactory.DEFAULT;
}